La revolución del lenguaje

21/10/2020 33

OpenAI se fundó en 2015, lo que supuso un hito importante entre otros, para el avance exponencial de la Inteligencia Artificial en estos últimos años. OpenAI se creó como una organización sin ánimo de lucro, con la misión de compartir y extender el conocimiento de la IA. Uno de los fundadores es Elon Musk, que persigue el objetivo de que el desarrollo de la Inteligencia Artificial general beneficie a toda la humanidad, es por eso que el conocimiento es compartido y abierto.

Uno de los primeros desarrollos en los que ha trabajado OpenAI es en la investigación de PLN (Procesamiento del Lenguaje Natural). Con estas investigaciones pretenden mejorar la capacidad de interpretar el lenguaje natural, usado por las personas, y que las máquinas puedan entenderlo cada vez mejor. Esto permitirá importantes avances en el área de las redes neuronales, así como proporcionar importantes mejoras a aplicaciones como los chatbots, entre otros. 

Uno de sus primeros avances con el lenguaje fue el lanzamiento de GPT (Generative Pretrained Transformer), basado en redes neuronales generativas que han sido entrenadas para predecir la siguiente palabra, dentro de una secuencia de palabras, de manera no supervisada. Esto significa un gran cambio, ya que los sistemas actuales de PLN, requieren de entrenamientos supervisados, es decir, textos que estén anotados.

Para el desarrollo de GPT se utiliza lo que se llama un modelo semi-supervisado, que consiste en un entrenamiento no supervisado y un ajuste más fino hecho de manera supervisada.

GPT-2 fue la siguiente versión anunciada en enero de 2019, con diez veces más de datos de entrenamiento así como 10 veces más de parámetros de la red, genera textos automáticos, a partir de un texto escrito por el usuario. La aplicación, además, es capaz de generar resúmenes y contestar a preguntas sobre el contenido del texto. Aunque el modelo es bastante preciso 95%, en comparación a los modelos tradicionales, surgen aquí las primeras dudas de los fundadores de OpenAI.

En primer lugar, no tiene la precisión suficiente para trabajar de manera autónoma. En segundo lugar,  puede ser usado para generar textos no adecuados que contribuyan al odio o a determinadas acciones terroristas o a la generación de noticias falsas (llamadas normalmente fake news). Por último,  los modelos de lenguaje pueden tener sesgo y esto añade un nuevo reto para mantener la equidad de la IA.

Es por todo ello que OpenAI decidió no liberar todo el modelo GPT-2 inicialmente, así como crear unas normas responsables de publicación conjuntamente con la comunidad científica de Inteligencia Artificial. Otro de los avances en el tratamiento del lenguaje, fue el año pasado cuando se anunció Blender. Blender es un nuevo chatbot de Facebook, que promete una experiencia de usuario mejor, dado que es capaz de hablar sobre cualquier tema de manera amena.

La habilidad de Blender viene de la inmensa cantidad de datos utilizada para su entrenamiento, 1500 millones de conversaciones de Reddit. Luego se perfeccionó para entender emociones en las conversaciones, y establecer conversaciones entre personas con distintas personalidades para enseñarle lo que es la personalidad.

El modelo resultó mucho más eficiente que los diseñados hasta ahora, pero aún así todavía no se acerca a las capacidades de conversación de un ser humano. De momento se ha probado con conversaciones cortas, los investigadores sospechan que en frases más largas la conversación dejaría de tener sentido. Dado que además el entrenamiento se realiza con conjunto de datos normalmente de redes sociales, pueden tener además problemas de sesgo o de lenguaje abusivo.

En 2020 se anuncia GPT-3, la tercera versión de GPT, con 175.000 millones de parámetros, cuando GPT-2 usaba 1.500. OpenAI publicó las especificaciones en mayo, pero no fue hasta primeros de julio cuando abrió la plataforma para que los desarrolladores pudieran probarla. Las pruebas han revelado cómo es capaz de escribir sonetos, crear textos para páginas webs y resumir artículos de investigación. El gran salto es que además es capaz de programar código básico o traducir textos a lenguaje jurídico, o realizar sumas, lo más llamativo es que son tareas para las que no estaba pensado.

El programa sabe que tiene que dar respuesta a lo que se le plantea y busca respuesta, hasta encontrarla. Los expertos no se sorprenden dado que el potencial de las redes neuronales es muy alto. Si pensamos en las redes neuronales como un intento de emular el razonamiento humano, que no necesita ver miles de veces un objeto para clasificarlo, con este ejemplo parece que se están produciendo avances.

En definitiva,  cuando GPT-3 recibe una entrada que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, pero también es cierto que si en algún momento el texto pierde consistencia o sentido, no lo va a saber.

Sin duda GPT-3 resulta un gran avance en cuanto a PLN y redes neuronales se refiere, y aún hoy no se sabe el impacto que puede tener. Las grandes tecnológicas continúan investigando en esta tecnología y gastan millones en sus mejoras. Actualmente el patrón está disponible, todo el mundo puede usarlo, pero la diferencia es la capacidad de computación disponible, que no todo usuario tiene. Solamente para entrenar GPT-3 se gastaron unos 5 millones de dólares.

El desarrollo de GPT-3 está suponiendo una revolución para el lenguaje, quién sabe si en el futuro los periodistas recibirán textos escritos por esta tecnología que solamente tendrán que retocar, ¿ocurrirá lo mismo con los libros?, ¿será también un apoyo para los programadores?, ayudándoles a desarrollar código más rápido y eficiente.

Con esta tecnología se pueden inventar historias, contribuir a deepfakes o aumentar los sesgos. A día de hoy los investigadores no saben hasta dónde podrá llegar el alcance de esta tecnología, pero está claro que se sigue necesitando un equilibrio entre lo que la tecnología puede y lo que la tecnología debe hacer.

Sorprende el reciente acuerdo de OpenAI con Microsoft para el desarrollo de esta tecnología como partner preferente. No olvidemos que el surgimiento de OpenAI, tenía como objetivo poner la IA a disposición de todo el mundo para beneficiar a la humanidad y ahora mismo el beneficio se ha puesto en manos de una sola compañía.

También es cierto que las investigaciones en el campo de la IA siguen requiriendo de mucha inversión y parece que Microsoft está dispuesto a ello. Ahora más que nunca, es importante que OpenAI mantenga su misión, que el desarrollo de la Inteligencia Artificial general beneficie a todo el mundo.