Teniendo en cuenta estos párrafos sobre los modelos de Grandes Lenguajes, ¿qué es la alucinación?
Un gran modelo lingüístico (LLM) es un modelo lingüístico consistente en una red neuronal con muchos parámetros (normalmente miles de millones de pesos o más), entrenada en grandes cantidades de texto sin etiquetar mediante aprendizaje autosupervisado. Los LLM surgieron en torno a 2018 y funcionan bien en una gran variedad de tareas. Esto ha cambiado el enfoque de la investigación sobre el procesamiento del lenguaje natural, alejándolo del paradigma anterior de entrenar modelos supervisados especializados para tareas específicas.

Propiedades
Aunque el término gran modelo lingüístico no tiene una definición formal, a menudo se refiere a modelos de aprendizaje profundo que tienen un número de parámetros del orden de miles de millones o más. Los LLM son modelos de propósito general que destacan en una amplia gama de tareas, en lugar de estar entrenados para una tarea específica (como el análisis de sentimientos, el reconocimiento de entidades con nombre o el razonamiento matemático). La habilidad con la que realizan las tareas, y la gama de tareas de las que son capaces, parece estar en función de la cantidad de recursos (datos, tamaño de los parámetros, potencia de cálculo) que se les dedique, de una forma que no depende de avances adicionales en el diseño.

Aunque se han entrenado en tareas sencillas del tipo de predecir la siguiente palabra de una frase, se ha comprobado que los modelos neurales del lenguaje con un entrenamiento y un número de parámetros suficientes captan gran parte de la sintaxis y la semántica del lenguaje humano. Además, los grandes modelos lingüísticos demuestran un conocimiento general considerable sobre el mundo, y son capaces de "memorizar" una gran cantidad de hechos durante el entrenamiento.

Alucinaciones
Artículo principal: Alucinación (inteligencia artificial)
En la inteligencia artificial en general, y en los grandes modelos lingüísticos en particular, una "alucinación" es una respuesta segura que no parece estar justificada por los datos de entrenamiento del modelo.

Capacidades emergentes

En una serie de pruebas comparativas de lenguaje natural que implican tareas como la respuesta a preguntas, los modelos no obtienen mejores resultados que el azar hasta que alcanzan una cierta escala (en este caso, medida por el cálculo de entrenamiento), momento en el que su rendimiento aumenta bruscamente. Estos son ejemplos de capacidades emergentes.
Las capacidades impredecibles que se han observado en grandes modelos lingüísticos pero que no estaban presentes en modelos más sencillos (y que no se diseñaron explícitamente en el modelo) suelen denominarse "capacidades emergentes". Los investigadores señalan que dichas capacidades "no pueden predecirse simplemente extrapolando el rendimiento de modelos más pequeños". Estas capacidades se descubren en lugar de programarse o diseñarse, en algunos casos sólo después de que el LLM se haya desplegado públicamente. Se han descrito cientos de capacidades emergentes. Algunos ejemplos son la aritmética de varios pasos, la realización de exámenes de nivel universitario, la identificación del significado de una palabra, el estímulo de la cadena de pensamiento, la decodificación del Alfabeto Fonético Internacional, la decodificación de las letras de una palabra, la identificación de contenido ofensivo en párrafos de hinglish (una combinación de hindi e inglés) y la generación de un equivalente similar en inglés de proverbios en kiswahili.

Arquitectura y entrenamiento
Los grandes modelos lingüísticos han utilizado más comúnmente la arquitectura transformadora, que, desde 2018, se ha convertido en la técnica estándar de aprendizaje profundo para datos secuenciales (anteriormente, las arquitecturas recurrentes, como la LSTM, eran las más comunes). Los LLM se entrenan de forma no supervisada sobre texto no anotado. Se entrena un transformador de izquierda a derecha para maximizar la probabilidad asignada a la palabra siguiente en los datos de entrenamiento, dado el contexto anterior. Alternativamente, un LLM puede utilizar un transformador bidireccional (como en el ejemplo de BERT), que asigna una distribución de probabilidad sobre las palabras dado el acceso tanto al contexto anterior como al siguiente. Además de la tarea de predecir la siguiente palabra o "rellenar los espacios en blanco", los LLM pueden entrenarse en tareas auxiliares que pongan a prueba su comprensión de la distribución de los datos, como la Predicción de la siguiente frase (NSP), en la que se presentan pares de frases y el modelo debe predecir si aparecen una al lado de la otra en el corpus de entrenamiento.

Los primeros LLM se entrenaron con corpus del orden de miles de millones de palabras. El primer modelo de la serie GPT de OpenAI se entrenó en 2018 con BookCorpus, que consta de 985 millones de palabras. Ese mismo año, BERT se entrenó con una combinación de BookCorpus y Wikipedia en inglés, con un total de 3.300 millones de palabras. En los años transcurridos desde entonces, los corpus de entrenamiento para los LLM han aumentado en órdenes de magnitud, alcanzando hasta cientos de miles de millones o billones de tokens.

El entrenamiento de los LLM es costoso desde el punto de vista computacional. Un estudio de 2020 estimó en 1,6 millones de dólares el coste de entrenar un modelo de 1.500 millones de parámetros (1-2 órdenes de magnitud menor que el estado del arte en ese momento).

Un análisis de 2020 descubrió que la capacidad de los modelos neurales del lenguaje (medida por la pérdida de entrenamiento) aumentaba suavemente en una relación de ley de potencia con el número de parámetros, la cantidad de datos de entrenamiento y el cálculo utilizado para el entrenamiento Estas relaciones se probaron en una amplia gama de valores (hasta siete órdenes de magnitud) y no se observó ninguna atenuación de la relación en el extremo más alto de la gama (incluso para tamaños de red de hasta billones de parámetros).

Aplicación a tareas posteriores
Entre 2018 y 2020, el método estándar para aprovechar un LLM para una tarea específica de procesamiento del lenguaje natural (PLN) consistía en afinar el modelo con un entrenamiento adicional específico de la tarea. Posteriormente se ha descubierto que los LLM más potentes, como el GPT-3, pueden resolver tareas sin entrenamiento adicional mediante técnicas de "indicación", en las que el problema que hay que resolver se presenta al modelo como una indicación textual, posiblemente con algunos ejemplos textuales de problemas similares y sus soluciones.

Ajuste fino
Artículo principal: Ajuste fino (aprendizaje automático)
El ajuste fino es la práctica de modificar un modelo lingüístico preentrenado existente entrenándolo (de forma supervisada) en una tarea específica (por ejemplo, análisis de sentimientos, reconocimiento de entidades con nombre o etiquetado de partes del discurso). Es una forma de aprendizaje por transferencia. Generalmente implica la introducción de un nuevo conjunto de pesos que conectan la capa final del modelo lingüístico con la salida de la tarea posterior. Los pesos originales del modelo lingüístico pueden "congelarse", de modo que durante el entrenamiento sólo se aprenda la nueva capa de pesos que los conecta con la salida. Alternativamente, los pesos originales pueden recibir pequeñas actualizaciones (posiblemente con las capas anteriores congeladas).

Preguntar
Ver también: Ingeniería de estímulos y Aprendizaje de pocos estímulos (procesamiento del lenguaje natural)
En el paradigma del prompting, popularizado por el GPT-3, el problema que hay que resolver se formula mediante un prompt de texto, que el modelo debe resolver proporcionando una terminación (mediante inferencia). En las "instrucciones de pocos disparos", la instrucción incluye un pequeño número de ejemplos de pares similares (problema, solución). Por ejemplo, una tarea de análisis de sentimientos consistente en etiquetar el sentimiento de una crítica de cine podría plantearse de la siguiente manera:

Crítica: Esta película apesta.
Sentimiento: negativo

Crítica: ¡Esta película es fantástica!
Sentimiento:

Si el modelo da como resultado "positivo", entonces ha resuelto correctamente la tarea. En la sugerencia de disparo cero, no se proporcionan ejemplos de resolución. Un ejemplo de pregunta sin respuesta para la misma tarea de análisis de sentimiento sería "El sentimiento asociado a la crítica de la película "¡Esta película es fantástica!" es".

Se ha demostrado que el rendimiento de los LLM de pocos disparos consigue resultados competitivos en tareas de PNL, a veces superando a los enfoques de ajuste del estado del arte anteriores. Ejemplos de estas tareas de PLN son la traducción, la respuesta a preguntas, las tareas cloze, el descifrado de palabras y el uso de una palabra nueva en una frase. La creación y optimización de estas instrucciones se denomina ingeniería de instrucciones.

Ajuste de instrucciones
La sintonización de instrucciones es una forma de ajuste fino diseñada para facilitar interacciones más naturales y precisas con avisos de disparo cero. Dado un texto de entrada, un modelo lingüístico preentrenado generará una terminación que coincida con la distribución del texto sobre el que fue entrenado. Un modelo de lenguaje ingenuo al que se le diera la instrucción "Escribe una redacción sobre los temas principales de Hamlet." podría proporcionar una terminación como "Se aplicará una penalización por retraso del 10% diario a los envíos recibidos después del 17 de marzo." En el ajuste de instrucciones, el modelo lingüístico se entrena con muchos ejemplos de tareas formuladas como instrucciones en lenguaje natural, junto con las respuestas adecuadas. En la práctica se han aplicado varias técnicas de ajuste de instrucciones. El protocolo InstructGPT de OpenAI implica un ajuste fino supervisado sobre un conjunto de datos de pares generados por humanos (instrucción, respuesta), seguido de un aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF), en el que se aprendió una función de recompensa basada en un conjunto de datos de preferencias humanas. Otra técnica, la "autoinstrucción", afina el modelo lingüístico en un conjunto de ejemplos de entrenamiento generados a su vez por un LLM (bootstrapped a partir de un pequeño conjunto inicial de ejemplos generados por humanos).

https://en.wikipedia.org/wiki/Large_language_model
En la inteligencia artificial en general, y en los grandes modelos lingüísticos en particular, una "alucinación" es una respuesta segura que no parece estar justificada por los datos de entrenamiento del modelo.