¿Cuál es la definición formal de un gran modelo lingüístico?
Aunque el término gran modelo lingüístico no tiene una definición formal, a menudo se refiere a modelos de aprendizaje profundo que tienen un número de parámetros del orden de miles de millones o más. Los LLM son modelos de propósito general que destacan en una amplia gama de tareas, en lugar de estar entrenados para una tarea específica (como el análisis de sentimientos, el reconocimiento de entidades con nombre o el razonamiento matemático).  La destreza con la que realizan las tareas, y la gama de tareas de las que son capaces, parece estar en función de la cantidad de recursos (datos, tamaño de los parámetros, potencia de cálculo) que se les dedique, de un modo que no depende de avances adicionales en el diseño.

Aunque se entrenan en tareas sencillas del tipo de predecir la siguiente palabra de una frase, se ha descubierto que los modelos neurales del lenguaje con un entrenamiento y un número de parámetros suficientes captan gran parte de la sintaxis y la semántica del lenguaje humano. Además, los grandes modelos lingüísticos demuestran un considerable conocimiento general sobre el mundo, y son capaces de "memorizar" una gran cantidad de hechos durante el entrenamiento.
El término gran modelo lingüístico (LLM) no tiene una definición formal. Sin embargo, a menudo se refiere a modelos de aprendizaje profundo que tienen un recuento de parámetros del orden de miles de millones o más.