ChatGPT fue lanzado en diciembre pasado como una app web por la empresa basada en San Francisco OpenAI. Como su nombre lo indica es una chatbot, o sea, un programa de computación que usa inteligencia artificial y procesamiento de lenguaje natural para comprender preguntas de los usuarios y automatizar sus respuestas simulando una conversación humana.
Según algunos cálculos, es el servicio de internet más rápido que jamás se haya conocido: llegó a 100.000 usuarios en enero, a dos meses de su lanzamiento. A través de un acuerdo con Microsoft por US$ 10.000 millones, OpenAI se está incorporando ahora al software office y al buscador Bing. Galvanizado de pronto por este sorpresivo rival en la batalla por las búsquedas, Google está acelerando la presentación de su propio chatbot, LaMDA.
OpenAI no surgió de la nada. Es la última variante de una línea de grandes modelos de lenguaje que se remonta a años atrás. Así es como se ha llegado hasta aquí:
1980–1990: Redes Neurales Recurrentes
ChatGPT es una versión de GPT–3, un “gran” modelo de lenguaje también desarrollado por OpenAI. ¿Qué significa que un modelo sea “grande”? El tamaño de un modelo –una red neuronal entrenada– se mide por el número de parámetros que tiene. Éstos son los valores de la red que se ajustan una y otra vez durante el entrenamiento y que luego se utilizan para hacer las predicciones del modelo. A grandes rasgos, cuantos más parámetros tenga un modelo, más información podrá absorber de sus datos de entrenamiento y más precisas serán sus predicciones sobre nuevos datos. Los modelos de lenguaje, entonces, son un tipo de red neural que ha sido entrenada sobre muchos, muchos textos. (Las redes neurales son software inspirado por la manera en que se envían señales entre sí las neuronas de los animales.) Como el texto está compuesto de secuencias de letras y palabras de diferentes longitudes, los modelos de lenguaje requieren un tipo de red neural que pueda entender ese tipo de datos. Las redes neurales recurrentes, inventadas en los años 80, pueden manejar secuencias de palabras, pero su aprendizaje es lento y pueden olvidar palabras anteriores en una secuencia.
En1997, los científicos Sepp Hochreiter y Jürgen Schmidhuber solucionaron este problema inventando las redes LSTM (Long Short–Term Memory), que son redes neurales recurrentes con componentes especiales que permiten que datos pasados en una secuencia puedan serentrenados nuevamente para que duren más. Pueden manejar cadenas de texto de varios cientos de palabras, pero sus habilidades de lenguaje son limitadas.
2017: Transformadores
El gran salto adelante en la generación actual de grandes modelos de lenguaje vino cuando un equipo de investigadores de Google inventó los transformadores, un tipo de red neural que puede detectar dónde aparece cada palabra en una secuencia. El significado de las palabras suele depender del significado de otras palabras que vienen antes o después. Al rastrear información contextual, los transformadores pueden manejar cadenas más largas de texto y capturar los significados de las palabras con más precisión.
2018–2019: GPT y GPT–2
Los dos primeros grandes modelos de lenguaje de OpenAI aparecieron con pocos meses de diferencia. La compañía quiere desarrollar inteligencia artificial multipropósito y cree que los grandes modelos lingüísticos son un paso clave para lograr esa meta. GPT (que significa Generative Pre–trained Transformer) plantó una bandera superando los últimas referencias actuales para el procesamiento del lenguaje natural en ese momento.
GPT combinaba transformadores con aprendizaje no supervisado, una forma de entrenar los modelos de machine–learning en datos (en este caso, grandes cantidades de texto) que no habían sido anotados antes. Esto permite que el software entienda, por sí solo, patrones en los datos sin necesitar que se le diga lo que está mirando. Muchos éxitos anteriores en machine–learning dependían del aprendizaje supervisado y datos anotados, pero etiquetar datos a mano es un trabajo lento y por eso limita el tamaño de los conjuntos de datos disponibles para el entrenamiento.
Pero fue el GPT–2 el que suscitó el mayor entusiasmo. OpenAI afirmó que le preocupaba tanto que la gente utilizara GPT–2 “para generar lenguaje engañoso, tendencioso o abusivo” que no iba a publicar el modelo completo.
2020: GPT–3
GPT–2 ya era impresionante, pero la siguiente entrega de OpenAI, GPT–3, dejó a muchos boquiabiertos. Su capacidad para generar texto similar al humano supuso un enorme salto adelante. GPT–3 puede responder preguntas, resumir documentos, generar historias en diferentes estilos, traducir entre inglés, francés, español y japonés, y mucho más.
Uno de los aspectos más extraordinarios es que los avances de GPT–3 se deben a la superdimensión de técnicas ya existentes en lugar de a la invención de otras nuevas. GPT–3 tiene 175.000 millones de parámetros (los valores de una red que se modifican durante el entrenamiento), frente a los 1.500 millones de GPT–2. Además, se entrenó con muchos más datos que GPT–2.
Pero la capacitación a partir de textos tomados de Internet plantea nuevos problemas. GPT–3 absorbió gran parte de la desinformación y los prejuicios que encontró en la red y los reprodujo a la carta. Como reconoce OpenAI: “Los modelos entrenados en Internet tienen sesgos a escala de Internet”.
Diciembre 2020: Textos tóxicos y otros problemas
Mientras OpenAI lidiaba con los prejuicios de GPT–3, el resto del mundo de la tecnología se topaba con un grave problema de falta de control las tendencias tóxicas de la IA. No es ningún secreto que los grandes modelos lingüísticos pueden generar textos falsos, incluso ofensivos, pero los investigadores descubrieron que solucionar el problema no está en la lista de tareas prioritarias de la mayoría de las grandes empresas tecnológicas. La publicación de un artículo de Timnit Gebru, codirector del equipo de ética de IA de Google, en el que destacaba los posibles perjuicios asociados a los grandes modelos lingüísticos (incluidos los elevados costos de computación), no fue bien recibida por los altos directivos de la empresa.En diciembre de 2020, Gebru fue expulsada de su cargo.
Enero 2022: InstructGPT
OpenAI intentó reducir la cantidad de desinformación y texto ofensivo que producía GPT–3 utilizando el aprendizaje por refuerzo para entrenar una versión del modelo según las preferencias de los evaluadores humanos. El resultado, InstructGPT, sigue mejor las instrucciones de las personas que lo utilizan –lo que se conoce como “alineación” en la jerga de la Inteligencia Artificial– y produce menos lenguaje ofensivo, menos desinformación y menos errores en general. En resumen, InstructGPT es menos estúpido, a menos que se le invite a serlo.
Mayo–Julio 2022: OPT, BLOOM
Una crítica común a los grandes modelos lingüísticos es que el costo de su aprendizaje dificulta su desarrollo, salvo para los laboratorios más ricos. Esto hace temer que pequeños grupos empresariales creen una IA tan potente a puerta cerrada, sin el debido escrutinio y sin el aporte de una comunidad investigadora más amplia. Ante esta situación, un puñado de proyectos colaborativos han desarrollado grandes modelos lingüísticos y los han puesto gratuitamente a disposición de cualquier investigador que quiera estudiar –y mejorar– la tecnología. Meta construyó y regaló OPT, una reconstrucción de GPT–3. Y Hugging Face lideró un consorcio de unos 1.000 investigadores voluntarios para construir y publicar BLOOM.
Diciembre 2022: ChatGPT
Hasta la propia OpenAI está sorprendida por la gran aceptación que ha tenido ChatGPT. En la primera demostración que hizo la empresa el día antes de que ChatGPT se subiera a la web, se presentaba como una actualización de InstructGPT. Al igual que ese modelo, ChatGPT se entrenó mediante aprendizaje por refuerzo a partir de los comentarios de evaluadores humanos que calificaron su rendimiento como un interlocutor fluido, preciso e inofensivo. En efecto, OpenAI entrenó a GPT–3 para dominar el juego de la conversación e invitó a todo el mundo a jugar. Millones de personas juegan desde entonces.
(*) Artículo original de MIT Technology Review. Autor, Will Douglas Heaven, traducción, Ana Milutinovic.
La tecnología todavía no está lista
Actualmente se sostiene que los motores de búsqueda equipados con chatbots con inteligencia artificial mejoran la experiencia de buscar en la web porque generan respuestas más auténticas a nuestras preguntas en lugar de envia las conocidas listas de links como hacen las búsquedas actuales.
Solo que hasta hora las cosas no han salido como se planeaban, como lo muestra Melissa Heikillä, en el MIT Technology Review.
Allí cuenta que apenas dos segundos después de que Microsoft dejó que sus empleados probaran su nuevo motor de búsquedas Bing equipado con ChatGPT, comenzaron a descubrir que respondía a algunas preguntas con respuestas equivocadas o sin sentido.
Google pasó un mal momento cuando los científicos detectaron un error fáctico en la propia publicidad de la compañía para su chatbot Bard, que terminó significándole una pérdida de US$ 100.000 millones en la valor de sus acciones.
El problema reside en que todavía la tecnología no está lista para ser usada de ese modo y en esa escala.
Open AI, el creador de ChatGPT, insiste en que todavía es un proyecto de investigación y que está en constante mejoramiento con el aporte de mucha gente.
Eso no impidió que Microsoft lo incorpore a la nueva versión de Bing, a pesar de saber que los resultados de las búsquedas podrían no ser confiables.
Nada de estos tropiezos significa que las búsquedas con inteligencia artificial sean una causa perdida.
El problema fundamental por ahora es que estos modelos IA inventan información y presentan falsedades como verdades. Y cuando un texto generado por IA parece fidedigno y cita fuentes, podría llevar a que los usuarios no sientan la necesidad de chequear la información.
Chirag Shah, profesor de la Universidad de Washington especializado en búsquedas en línea dice que la precisión de los resultados de las búsquedas no es el verdadero objetivo de las grandes empresas tecnológicas. Aunque Google inventó la tecnología que está alimentando el actual auge de la inteligencia artificial, los aplausos y la atención se centran firmemente en OpenAI y su patrocinador, Microsoft. “Sin duda es embarazoso para Google. Ahora están en una posición defensiva. Hacía mucho tiempo que no estaban así”, afirma Shah.
Hay un juego aún más grande que el de las búsquedas impulsadas por IA, añade Shah. La búsqueda es solo una de las áreas en las que los dos gigantes tecnológicos están luchando entre sí. También compiten en servicios de computación en la nube, software de productividad y software empresarial. La IA conversacional se convierte en una forma de exhibir tecnología punta que se traduce en estas otras áreas de negocio.
