Compte tenu de ces paragraphes sur les modèles de langues larges, sur quelle architecture de réseau neuronal populaire sont-ils basés ?
Un grand modèle linguistique (LLM) est un modèle linguistique composé d'un réseau neuronal avec de nombreux paramètres (généralement des milliards de poids ou plus), formé sur de grandes quantités de texte non étiqueté à l'aide d'un apprentissage auto-supervisé. Les LLM sont apparus vers 2018 et donnent de bons résultats dans une grande variété de tâches. Cela a modifié l'orientation de la recherche sur le traitement du langage naturel par rapport au paradigme précédent, qui consistait à former des modèles supervisés spécialisés pour des tâches spécifiques.

Propriétés
Bien que le terme "grand modèle de langage" n'ait pas de définition formelle, il fait souvent référence à des modèles d'apprentissage profond ayant un nombre de paramètres de l'ordre de plusieurs milliards ou plus. Les LLM sont des modèles à usage général qui excellent dans un large éventail de tâches, par opposition à ceux qui sont formés pour une tâche spécifique (comme l'analyse des sentiments, la reconnaissance des entités nommées ou le raisonnement mathématique). La compétence avec laquelle ils accomplissent des tâches et la gamme de tâches dont ils sont capables semblent être fonction de la quantité de ressources (données, taille des paramètres, puissance de calcul) qui leur sont consacrées, d'une manière qui ne dépend pas de percées supplémentaires dans la conception.

Bien qu'entraînés sur des tâches simples du type prédire le mot suivant dans une phrase, les modèles de langage neuronaux avec un entraînement et un nombre de paramètres suffisants permettent de saisir une grande partie de la syntaxe et de la sémantique du langage humain. En outre, les grands modèles de langage font preuve d'une connaissance générale considérable du monde et sont capables de "mémoriser" une grande quantité de faits au cours de la formation.

Hallucinations
Article principal : Hallucination (intelligence artificielle)
En intelligence artificielle en général, et dans les grands modèles de langage en particulier, une "hallucination" est une réponse confiante qui ne semble pas être justifiée par les données de formation du modèle.

Capacités émergentes

Dans un certain nombre de tests de référence en langage naturel impliquant des tâches telles que la réponse à des questions, les modèles ne sont pas plus performants que le hasard jusqu'à ce qu'ils atteignent une certaine échelle (dans ce cas, mesurée par le calcul d'entraînement), à partir de laquelle leurs performances augmentent fortement. Il s'agit là d'exemples de capacités émergentes.
Les capacités imprévisibles qui ont été observées dans les grands modèles de langage mais qui n'étaient pas présentes dans les modèles plus simples (et qui n'ont pas été explicitement conçues dans le modèle) sont généralement appelées "capacités émergentes". Les chercheurs notent que ces capacités "ne peuvent pas être prédites en extrapolant simplement les performances de modèles plus petits". Ces capacités sont découvertes plutôt que programmées ou conçues, dans certains cas seulement après que le LLM a été publiquement déployé. Des centaines de capacités émergentes ont été décrites. Parmi les exemples, citons l'arithmétique à plusieurs étapes, la passation d'examens de niveau universitaire, l'identification de la signification d'un mot, le déclenchement d'une chaîne de pensée, le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification du contenu offensant dans des paragraphes de hinglish (une combinaison d'hindi et d'anglais) et la génération d'un équivalent anglais similaire de proverbes kiswahilis.

Architecture et formation
Les grands modèles de langage ont le plus souvent utilisé l'architecture de transformateur, qui, depuis 2018, est devenue la technique d'apprentissage profond standard pour les données séquentielles (auparavant, les architectures récurrentes telles que le LSTM étaient les plus courantes). Les LLM sont entraînés de manière non supervisée sur du texte non annoté. Un transformateur gauche-droite est formé pour maximiser la probabilité attribuée au mot suivant dans les données d'apprentissage, compte tenu du contexte précédent. Alternativement, un LLM peut utiliser un transformateur bidirectionnel (comme dans l'exemple de BERT), qui assigne une distribution de probabilité sur les mots ayant accès à la fois au contexte précédent et au contexte suivant. Outre la tâche de prédiction du mot suivant ou de "remplissage des blancs", les LLM peuvent être formés à des tâches auxiliaires qui testent leur compréhension de la distribution des données, telles que la prédiction de la phrase suivante (NSP), dans laquelle des paires de phrases sont présentées et le modèle doit prédire si elles apparaissent côte à côte dans le corpus d'apprentissage.

Les premiers LLM ont été entraînés sur des corpus contenant des milliards de mots. Le premier modèle de la série GPT d'OpenAI a été entraîné en 2018 sur BookCorpus, composé de 985 millions de mots. La même année, BERT a été entraîné sur une combinaison de BookCorpus et de Wikipedia anglais, totalisant 3,3 milliards de mots. Depuis lors, les corpus d'entraînement pour les LLM ont augmenté de plusieurs ordres de grandeur, atteignant des centaines de milliards ou des trillions de mots.

La formation des LLM est coûteuse en termes de calcul. Une étude réalisée en 2020 a estimé à 1,6 million de dollars le coût de l'apprentissage d'un modèle à 1,5 milliard de paramètres (1 à 2 ordres de grandeur de moins que l'état de l'art à l'époque).

Une analyse réalisée en 2020 a montré que la capacité des modèles de langage neuronaux (mesurée par la perte de formation) augmentait régulièrement selon une relation de type loi de puissance avec le nombre de paramètres, la quantité de données de formation et le calcul utilisé pour la formation. Ces relations ont été testées sur une large gamme de valeurs (jusqu'à sept ordres de grandeur) et aucune atténuation de la relation n'a été observée à l'extrémité supérieure de la gamme (y compris pour des tailles de réseau allant jusqu'à des trillions de paramètres).

Application aux tâches en aval
Entre 2018 et 2020, la méthode standard pour exploiter un LLM pour une tâche spécifique de traitement du langage naturel (NLP) consistait à affiner le modèle avec une formation supplémentaire spécifique à la tâche. Par la suite, il a été constaté que des LLM plus puissants, tels que le GPT-3, pouvaient résoudre des tâches sans formation supplémentaire grâce à des techniques d'"incitation", dans lesquelles le problème à résoudre est présenté au modèle sous la forme d'une invite textuelle, éventuellement accompagnée d'exemples textuels de problèmes similaires et de leurs solutions.

Mise au point
Article principal : Ajustement (apprentissage automatique)
Le réglage fin est la pratique qui consiste à modifier un modèle de langage pré-entraîné existant en l'entraînant (de manière supervisée) à une tâche spécifique (par exemple, l'analyse des sentiments, la reconnaissance des entités nommées ou l'étiquetage de la partie du discours). Il s'agit d'une forme d'apprentissage par transfert. Elle implique généralement l'introduction d'un nouvel ensemble de poids reliant la couche finale du modèle de langage à la sortie de la tâche en aval. Les poids originaux du modèle de langage peuvent être "gelés", de sorte que seule la nouvelle couche de poids les reliant à la sortie est apprise au cours de la formation. Les poids d'origine peuvent également recevoir de petites mises à jour (les couches précédentes étant éventuellement gelées).

Invitation
Voir aussi : Ingénierie des messages-guides et Apprentissage à court terme (traitement du langage naturel)
Dans le paradigme de l'invite, popularisé par le GPT-3, le problème à résoudre est formulé au moyen d'une invite textuelle, que le modèle doit résoudre en fournissant une complétion (par inférence). Dans le cas d'une "invite à quelques reprises", l'invite comprend un petit nombre d'exemples de paires similaires (problème, solution). Par exemple, une tâche d'analyse des sentiments consistant à étiqueter le sentiment d'une critique de film pourrait être formulée comme suit :

Critique : Ce film est nul.
Sentiment : négatif

Critique : Ce film est fantastique ! Ce film est fantastique !
Sentiment :

Si le modèle produit un résultat "positif", cela signifie qu'il a correctement résolu la tâche. Dans le cas d'une invite zéro, aucun exemple de résolution n'est fourni. Pour la même tâche d'analyse des sentiments, un exemple d'invite à zéro serait "Le sentiment associé à la critique du film "Ce film est fantastique" est".

Il a été démontré que la performance des LLM à quelques coups de feu permet d'obtenir des résultats compétitifs dans les tâches de NLP, dépassant parfois les approches de réglage fin de l'état de l'art. La traduction, la réponse à des questions, les tâches de cloisonnement, le décodage de mots et l'utilisation d'un nouveau mot dans une phrase sont autant d'exemples de tâches de TAL. La création et l'optimisation de ces messages-guides sont appelées ingénierie des messages-guides.

Ajustement des instructions
L'ajustement des instructions est une forme de réglage fin conçu pour faciliter des interactions plus naturelles et plus précises avec les messages-guides à tirage nul. Étant donné un texte, un modèle de langage pré-entraîné génère une réponse qui correspond à la distribution du texte sur lequel il a été entraîné. Un modèle de langage naïf recevant l'invite "Rédigez un essai sur les principaux thèmes de Hamlet" pourrait fournir une réponse telle que "Une pénalité de retard de 10 % par jour sera appliquée aux envois reçus après le 17 mars". Lors de l'ajustement des instructions, le modèle de langage est entraîné sur de nombreux exemples de tâches formulées sous forme d'instructions en langage naturel, ainsi que sur les réponses appropriées. Diverses techniques de réglage des instructions ont été appliquées dans la pratique. Le protocole InstructGPT d'OpenAI implique un réglage fin supervisé sur un ensemble de paires (invite, réponse) générées par des humains, suivi d'un apprentissage par renforcement à partir du feedback humain (RLHF), dans lequel une fonction de récompense a été apprise sur la base d'un ensemble de données de préférences humaines. Une autre technique, l'"auto-instruction", permet d'affiner le modèle linguistique sur un ensemble d'exemples d'entraînement qui sont eux-mêmes générés par un LLM (à partir d'un petit ensemble initial d'exemples générés par l'homme).

https://en.wikipedia.org/wiki/Large_language_model
L'architecture du transformateur.
Given these paragraphs about Large language models, what popular neural network architecture architecture are they based on?
A large language model (LLM) is a language model consisting of a neural network with many parameters (typically billions of weights or more), trained on large quantities of unlabelled text using self-supervised learning. LLMs emerged around 2018 and perform well at a wide variety of tasks. This has shifted the focus of natural language processing research away from the previous paradigm of training specialized supervised models for specific tasks.

Properties
Though the term large language model has no formal definition, it often refers to deep learning models having a parameter count on the order of billions or more. LLMs are general purpose models which excel at a wide range of tasks, as opposed to being trained for one specific task (such as sentiment analysis, named entity recognition, or mathematical reasoning). The skill with which they accomplish tasks, and the range of tasks at which they are capable, seems to be a function of the amount of resources (data, parameter-size, computing power) devoted to them, in a way that is not dependent on additional breakthroughs in design.

Though trained on simple tasks along the lines of predicting the next word in a sentence, neural language models with sufficient training and parameter counts are found to capture much of the syntax and semantics of human language. In addition, large language models demonstrate considerable general knowledge about the world, and are able to "memorize" a great quantity of facts during training.

Hallucinations
Main article: Hallucination (artificial intelligence)
In artificial intelligence in general, and in large language models in particular, a "hallucination" is a confident response that does not seem to be justified by the model's training data.

Emergent abilities

On a number of natural language benchmarks involving tasks such as question answering, models perform no better than random chance until they reach a certain scale (in this case, measured by training computation), at which point their performance sharply increases. These are examples of emergent abilities.
Unpredictable abilities that have been observed in large language models but that were not present in simpler models (and that were not explicitly designed into the model) are usually called "emergent abilities". Researchers note that such abilities "cannot be predicted simply by extrapolating the performance of smaller models". These abilities are discovered rather than programmed-in or designed, in some cases only after the LLM has been publicly deployed. Hundreds of emergent abilities have been described. Examples include multi-step arithmetic, taking college-level exams, identifying the intended meaning of a word, chain-of-thought prompting, decoding the International Phonetic Alphabet, unscrambling a word’s letters, identifying offensive content in paragraphs of Hinglish (a combination of Hindi and English), and generating a similar English equivalent of Kiswahili proverbs.

Architecture and training
Large language models have most commonly used the transformer architecture, which, since 2018, has become the standard deep learning technique for sequential data (previously, recurrent architectures such as the LSTM were most common). LLMs are trained in an unsupervised manner on unannotated text. A left-to-right transformer is trained to maximize the probability assigned to the next word in the training data, given the previous context. Alternatively, an LLM may use a bidirectional transformer (as in the example of BERT), which assigns a probability distribution over words given access to both preceding and following context. In addition to the task of predicting the next word or "filling in the blanks", LLMs may be trained on auxiliary tasks which test their understanding of the data distribution such as Next Sentence Prediction (NSP), in which pairs of sentences are presented and the model must predict whether they appear side-by-side in the training corpus.

The earliest LLMs were trained on corpora having on the order of billions of words. The first model in OpenAI's GPT series was trained in 2018 on BookCorpus, consisting of 985 million words. In the same year, BERT was trained on a combination of BookCorpus and English Wikipedia, totalling 3.3 billion words. In the years since then, training corpora for LLMs have increased by orders of magnitude, reaching up to hundreds of billions or trillions of tokens.

LLMs are computationally expensive to train. A 2020 study estimated the cost of training a 1.5 billion parameter model (1-2 orders of magnitude smaller than the state of the art at the time) at $1.6 million.

A 2020 analysis found that neural language models' capability (as measured by training loss) increased smoothly in a power law relationship with number of parameters, quantity of training data, and computation used for training.[11][12] These relationships were tested over a wide range of values (up to seven orders of magnitude) and no attenuation of the relationship was observed at the highest end of the range (including for network sizes up to trillions of parameters).

Application to downstream tasks
Between 2018 and 2020, the standard method for harnessing an LLM for a specific natural language processing (NLP) task was to fine tune the model with additional task-specific training. It has subsequently been found that more powerful LLMs such as GPT-3 can solve tasks without additional training via "prompting" techniques, in which the problem to be solved is presented to the model as a text prompt, possibly with some textual examples of similar problems and their solutions.

Fine-tuning
Main article: Fine-tuning (machine learning)
Fine-tuning is the practice of modifying an existing pretrained language model by training it (in a supervised fashion) on a specific task (e.g. sentiment analysis, named entity recognition, or part-of-speech tagging). It is a form of transfer learning. It generally involves the introduction of a new set of weights connecting the final layer of the language model to the output of the downstream task. The original weights of the language model may be "frozen", such that only the new layer of weights connecting them to the output are learned during training. Alternatively, the original weights may receive small updates (possibly with earlier layers frozen).

Prompting
See also: Prompt engineering and Few-shot learning (natural language processing)
In the prompting paradigm, popularized by GPT-3, the problem to be solved is formulated via a text prompt, which the model must solve by providing a completion (via inference). In "few-shot prompting", the prompt includes a small number of examples of similar (problem, solution) pairs. For example, a sentiment analysis task of labelling the sentiment of a movie review could be prompted as follows:

Review: This movie stinks.
Sentiment: negative

Review: This movie is fantastic!
Sentiment:

If the model outputs "positive", then it has correctly solved the task. In zero-shot prompting, no solve examples are provided. An example of a zero-shot prompt for the same sentiment analysis task would be "The sentiment associated with the movie review 'This movie is fantastic!' is".

Few-shot performance of LLMs has been shown to achieve competitive results on NLP tasks, sometimes surpassing prior state-of-the-art fine-tuning approaches. Examples of such NLP tasks are translation, question answering, cloze tasks, unscrambling words, and using a novel word in a sentence. The creation and optimisation of such prompts is called prompt engineering.

Instruction tuning
Instruction tuning is a form of fine-tuning designed to facilitate more natural and accurate zero-shot prompting interactions. Given a text input, a pretrained language model will generate a completion which matches the distribution of text on which it was trained. A naive language model given the prompt "Write an essay about the main themes of Hamlet." might provide a completion such as "A late penalty of 10% per day will be applied to submissions received after March 17." In instruction tuning, the language model is trained on many examples of tasks formulated as natural language instructions, along with appropriate responses. Various techniques for instruction tuning have been applied in practice. OpenAI's InstructGPT protocol involves supervised fine-tuning on a dataset of human-generated (prompt, response) pairs, followed by reinforcement learning from human feedback (RLHF), in which a reward function was learned based on a dataset of human preferences. Another technique, "self-instruct", fine-tunes the language model on a training set of examples which are themselves generated by an LLM (bootstrapped from a small initial set of human-generated examples).

https://en.wikipedia.org/wiki/Large_language_model
The Transformer architecture.