Es necesario comenzar a entender qué es ChatGPT

Como su nombre lo indica es una chatbot, o sea, un programa de computación que usa inteligencia artificial y procesamiento de lenguaje natural para comprender preguntas de los usuarios y automatizar sus respuestas simulando una conversación humana.
La app creció de golpe y pasó a la popularidad casi de la noche a la mañana. Según algunos cálculos, es el servicio de Internet más rápido que jamás se haya conocido: llegó a 100.000 usuarios en enero, a dos meses de su lanzamiento.
A través de un acuerdo con Microsoft por US$ 10.000 millones, OpenAI se está incorporando ahora al software office y al buscador Bing. Galvanizado de pronto por este sorpresivo rival en la batalla por las búsquedas, Google está acelerando la presentación de su propio chatbot, LaMDA.
OpenAI no surgió de la nada. Es la última variante de una línea de grandes modelos de lenguaje que se remonta a años atrás. Así es como se ha llegado hasta aquí:

1980–1990: Redes Neurales Recurrentes

ChatGPT es una versión de GPT-3, un “gran” modelo de lenguaje también desarrollado por OpenAI.¿Qué significa que un modelo sea “grande”? El tamaño de un modelo -una red neuronal entrenada- se mide por el número de parámetros que tiene. Éstos son los valores de la red que se ajustan una y otra vez durante el entrenamiento y que luego se utilizan para hacer las predicciones del modelo.
A grandes rasgos, cuantos más parámetros tenga un modelo, más información podrá absorber de sus datos de entrenamiento y más precisas serán sus predicciones sobre nuevos datos. Los modelos de lenguaje, entonces, son un tipo de red neural que ha sido entrenada sobre muchos, muchos textos.
(Las redes neurales son software inspirado por la manera en que se envían señales entre sí las neuronas de los animales.) Como el texto está compuesto de secuencias de letras y palabras de diferentes longitudes, los modelos de lenguaje requieren un tipo de red neural que pueda entender ese tipo de datos.
Las redes neurales recurrentes, inventadas en los años 80, pueden manejar secuencias de palabras, pero su aprendizaje es lento y pueden olvidar palabras anteriores en una secuencia.
En1997, los científicos Sepp Hochreiter y Jürgen Schmidhuber solucionaron este problema inventando las redes LSTM (Long Short-Term Memory), que son redes neurales recurrentes con componentes especiales que permiten que datos pasados en una secuencia puedan ser entrenados nuevamente para que duren más. Pueden manejar cadenas de texto de varios cientos de palabras, pero sus habilidades de lenguaje son limitadas.

2017: Transformadores

El gran salto adelante en la generación actual de grandes modelos de lenguaje vino cuando un equipo de investigadores de Google inventó los transformadores, un tipo de red neural que puede detectar dónde aparece cada palabra en una secuencia. El significado de las palabras suele depender del significado de otras palabras que vienen antes o después. Al rastrear información contextual, los transformadores pueden manejar cadenas más largas de texto y capturar los significados de las palabras con más precisión.
2018–2019: GPT y GPT-2

Los dos primeros grandes modelos de lenguaje de OpenAI aparecieron con pocos meses de diferencia. La compañía quiere desarrollar inteligencia artificial multipropósito y cree que los grandes modelos lingüísticos son un paso clave para lograr esa meta. GPT (que significa Generative Pre-trained Transformer) plantó una bandera superando las últimas referencias actuales para el procesamiento del lenguaje natural en ese momento.
GPT combinaba transformadores con aprendizaje no supervisado, una forma de entrenar los modelos de machine-learning en datos (en este caso, grandes cantidades de texto) que no habían sido anotados antes.
Esto permite que el software entienda, por sí solo, patrones en los datos sin necesitar que se le diga lo que está mirando. Muchos éxitos anteriores en machine-learning dependían del aprendizaje supervisado y datos anotados, pero etiquetar datos a mano es un trabajo lento y por eso limita el tamaño de los conjuntos de datos disponibles para el entrenamiento.
Pero fue el GPT-2 el que suscitó el mayor entusiasmo. OpenAI afirmó que le preocupaba tanto que la gente utilizara GPT-2 “para generar lenguaje engañoso, tendencioso o abusivo” que no iba a publicar el modelo completo.
2020: GPT-3

GPT-2 ya era impresionante, pero la siguiente entrega de OpenAI, GPT-3, dejó a muchos boquiabiertos. Su capacidad para generar texto similar al humano supuso un enorme salto adelante. GPT-3 puede responder preguntas, resumir documentos, generar historias en diferentes estilos, traducir entre inglés, francés, español y japonés, y mucho más.
Uno de los aspectos más extraordinarios es que los avances de GPT-3 se deben a la superdimensión de técnicas ya existentes en lugar de la invención de otras nuevas.
GPT-3 tiene 175.000 millones de parámetros (los valores de una red que se modifican durante el entrenamiento), frente a los 1.500 millones de GPT-2. Además, se entrenó con muchos más datos que GPT-2.
Pero la capacitación a partir de textos tomados de Internet plantea nuevos problemas. GPT-3 absorbió gran parte de la desinformación y los prejuicios que encontró en la red y los reprodujo a la carta. Como reconoce OpenAI: “Los modelos entrenados en Internet tienen sesgos a escala de Internet”.

Diciembre 2020: Textos tóxicos y otros problemas

Mientras OpenAI lidiaba con los prejuicios de GPT-3, el resto del mundo de la tecnología se topaba con un grave problema de falta de control sobre las tendencias tóxicas de la IA. No es ningún secreto que los grandes modelos lingüísticos pueden generar textos falsos, incluso ofensivos, pero los investigadores descubrieron que solucionar el problema no está en la lista de tareas prioritarias de la mayoría de las grandes empresas tecnológicas.
La publicación de un artículo de Timnit Gebru, codirector del equipo de ética de IA de Google, en el que destacaba los posibles perjuicios asociados a los grandes modelos lingüísticos (incluidos los elevados costos de computación), no fue bien recibida por los altos directivos de la empresa. En diciembre de 2020, Gebru fue expulsada de su cargo.

Enero 2022: InstructGPT

OpenAI intentó reducir la cantidad de desinformación y texto ofensivo que producía GPT-3 utilizando el aprendizaje por refuerzo para entrenar una versión del modelo según las preferencias de los evaluadores humanos. El resultado, InstructGPT, sigue mejor las instrucciones de las personas que lo utilizan -lo que se conoce como “alineación” en la jerga de la Inteligencia Artificial- y produce menos lenguaje ofensivo, menos desinformación y menos errores en general. En resumen, InstructGPT es menos estúpido, a menos que se le invite a serlo.

Mayo–Julio 2022: OPT, BLOOM

Una crítica común a los grandes modelos lingüísticos es que el costo de su aprendizaje dificulta su desarrollo, salvo para los laboratorios más ricos. Esto hace temer que pequeños grupos empresariales creen una IA tan potente a puerta cerrada, sin el debido escrutinio y sin el aporte de una comunidad investigadora más amplia.
Ante esta situación, un puñado de proyectos colaborativos han desarrollado grandes modelos lingüísticos y los han puesto gratuitamente a disposición de cualquier investigador que quiera estudiar -y mejorar- la tecnología. Meta construyó y regaló OPT, una reconstrucción de GPT-3. Y Hugging Face lideró un consorcio de unos 1.000 investigadores voluntarios para construir y publicar BLOOM.

Diciembre 2022: ChatGPT

Hasta la propia OpenAI está sorprendida por la gran aceptación que ha tenido ChatGPT. En la primera demostración que hizo la empresa el día antes de que ChatGPT se subiera a la web, se presentaba como una actualización de InstructGPT. Al igual que ese modelo, ChatGPT se entrenó mediante aprendizaje por refuerzo a partir de los comentarios de evaluadores humanos que calificaron su rendimiento como un interlocutor fluido, preciso e inofensivo. En efecto, OpenAI entrenó a GPT-3 para dominar el juego de la conversación e invitó a todo el mundo a jugar. Millones de personas juegan desde entonces.