In Anbetracht dieser Absätze über große Sprachmodelle: An welchem Korpus wurde das erste Modell der GPT-Serie von OpenAI im Jahr 2018 trainiert?
Ein Large Language Model (LLM) ist ein Sprachmodell, das aus einem neuronalen Netzwerk mit vielen Parametern (typischerweise Milliarden von Gewichten oder mehr) besteht, das mit Hilfe von selbstüberwachtem Lernen auf großen Mengen von unmarkiertem Text trainiert wurde. LLMs sind um 2018 aufgetaucht und leisten bei einer Vielzahl von Aufgaben gute Dienste. Damit hat sich der Schwerpunkt der Forschung im Bereich der Verarbeitung natürlicher Sprache von dem bisherigen Paradigma des Trainings spezialisierter überwachter Modelle für bestimmte Aufgaben wegbewegt.

Eigenschaften
Obwohl der Begriff "Large Language Model" keine formale Definition hat, bezieht er sich oft auf Deep-Learning-Modelle mit einer Parameterzahl in der Größenordnung von Milliarden oder mehr. LLMs sind Allzweckmodelle, die eine Vielzahl von Aufgaben bewältigen können und nicht nur für eine bestimmte Aufgabe trainiert werden (z. B. Sentiment-Analyse, Erkennung von benannten Entitäten oder mathematische Schlussfolgerungen). Die Fähigkeit, mit der sie Aufgaben bewältigen, und die Bandbreite der Aufgaben, zu denen sie fähig sind, scheinen von der Menge der Ressourcen (Daten, Parametergröße, Rechenleistung) abzuhängen, die ihnen zur Verfügung stehen, und zwar auf eine Art und Weise, die nicht von zusätzlichen Durchbrüchen im Design abhängt.

Obwohl sie für einfache Aufgaben wie die Vorhersage des nächsten Wortes in einem Satz trainiert werden, können neuronale Sprachmodelle mit ausreichender Anzahl von Parametern und Training einen Großteil der Syntax und Semantik der menschlichen Sprache erfassen. Darüber hinaus zeigen große Sprachmodelle ein beträchtliches Allgemeinwissen über die Welt und können sich während des Trainings eine große Menge an Fakten "merken".

Halluzinationen
Hauptartikel: Halluzination (künstliche Intelligenz)
In der künstlichen Intelligenz im Allgemeinen und bei großen Sprachmodellen im Besonderen ist eine "Halluzination" eine selbstbewusste Antwort, die durch die Trainingsdaten des Modells nicht gerechtfertigt zu sein scheint.

Entstehende Fähigkeiten

Bei einer Reihe von Benchmarks für natürliche Sprache, die Aufgaben wie das Beantworten von Fragen beinhalten, schneiden Modelle nicht besser ab als der Zufall, bis sie eine bestimmte Größenordnung erreichen (in diesem Fall gemessen an der Trainingsberechnung), ab der ihre Leistung stark ansteigt. Dies sind Beispiele für sich entwickelnde Fähigkeiten.
Unvorhersehbare Fähigkeiten, die in großen Sprachmodellen beobachtet wurden, die aber in einfacheren Modellen nicht vorhanden waren (und die nicht explizit in das Modell eingebaut wurden), werden gewöhnlich als "emergente Fähigkeiten" bezeichnet. Forscher/innen stellen fest, dass solche Fähigkeiten "nicht einfach durch Extrapolation der Leistung kleinerer Modelle vorhergesagt werden können". Diese Fähigkeiten werden eher entdeckt als einprogrammiert oder entworfen, in manchen Fällen sogar erst, nachdem das LLM öffentlich eingesetzt wurde. Hunderte von emergenten Fähigkeiten sind beschrieben worden. Beispiele dafür sind das Rechnen in mehreren Schritten, das Ablegen von Prüfungen auf College-Niveau, das Erkennen der beabsichtigten Bedeutung eines Wortes, das Aufrufen von Gedankenketten, das Dekodieren des Internationalen Phonetischen Alphabets, das Entschlüsseln der Buchstaben eines Wortes, das Erkennen anstößiger Inhalte in Absätzen von Hinglish (einer Kombination aus Hindi und Englisch) und das Erzeugen einer ähnlichen englischen Entsprechung von Kisuaheli-Sprichwörtern.

Architektur und Training
Große Sprachmodelle haben am häufigsten die Transformator-Architektur verwendet, die seit 2018 zur Standard-Deep-Learning-Technik für sequenzielle Daten geworden ist (vorher waren rekurrente Architekturen wie LSTM am häufigsten). LLMs werden unüberwacht auf unkommentierten Text trainiert. Dabei wird ein Links-nach-Rechts-Transformator trainiert, um die Wahrscheinlichkeit zu maximieren, die dem nächsten Wort in den Trainingsdaten zugewiesen wird, wenn der vorherige Kontext berücksichtigt wird. Alternativ kann ein LLM auch einen bidirektionalen Transformator verwenden (wie im Beispiel des BERT), der eine Wahrscheinlichkeitsverteilung über die Wörter zuweist, wenn sowohl der vorhergehende als auch der folgende Kontext bekannt ist. Neben der Aufgabe, das nächste Wort vorherzusagen oder "Lücken zu füllen", können LLMs auch für zusätzliche Aufgaben trainiert werden, die ihr Verständnis der Datenverteilung testen, wie z. B. die Vorhersage des nächsten Satzes (NSP), bei der Satzpaare präsentiert werden und das Modell vorhersagen muss, ob sie im Trainingskorpus nebeneinander erscheinen.

Die ersten LLMs wurden auf Korpora mit Milliarden von Wörtern trainiert. Das erste Modell der GPT-Reihe von OpenAI wurde 2018 mit dem BookCorpus trainiert, das 985 Millionen Wörter umfasst. Im selben Jahr wurde BERT auf einer Kombination aus BookCorpus und der englischen Wikipedia mit insgesamt 3,3 Milliarden Wörtern trainiert. In den vergangenen Jahren sind die Trainingskorpora für LLMs um Größenordnungen gewachsen und umfassen nun Hunderte von Milliarden oder Billionen von Token.

Das Trainieren von LLMs ist sehr rechenintensiv. In einer Studie aus dem Jahr 2020 wurden die Kosten für das Training eines Modells mit 1,5 Milliarden Parametern (1-2 Größenordnungen kleiner als der damalige Stand der Technik) auf 1,6 Millionen US-Dollar geschätzt.

Eine Analyse aus dem Jahr 2020 ergab, dass die Leistungsfähigkeit neuronaler Sprachmodelle (gemessen am Trainingsverlust) mit der Anzahl der Parameter, der Menge der Trainingsdaten und dem Rechenaufwand für das Training gleichmäßig ansteigt (Potenzgesetz). Diese Beziehungen wurden über einen weiten Wertebereich (bis zu sieben Größenordnungen) getestet, und am oberen Ende des Bereichs wurde keine Abschwächung der Beziehung beobachtet (auch nicht bei Netzwerkgrößen bis zu Billionen von Parametern).

Anwendung auf nachgelagerte Aufgaben
Zwischen 2018 und 2020 bestand die Standardmethode für die Nutzung eines LLM für eine bestimmte Aufgabe der natürlichen Sprachverarbeitung (NLP) darin, das Modell durch zusätzliches aufgabenspezifisches Training fein abzustimmen. Inzwischen hat sich herausgestellt, dass leistungsfähigere LLMs wie GPT-3 Aufgaben ohne zusätzliches Training durch "Prompting"-Techniken lösen können, bei denen das zu lösende Problem dem Modell als Textprompt präsentiert wird, möglicherweise mit einigen Textbeispielen ähnlicher Probleme und deren Lösungen.

Feinabstimmung
Hauptartikel: Feinabstimmung (maschinelles Lernen)
Bei der Feinabstimmung wird ein bereits trainiertes Sprachmodell verändert, indem es (unter Aufsicht) für eine bestimmte Aufgabe trainiert wird (z. B. Sentimentanalyse, Named-Entity-Erkennung oder Part-of-Speech-Tagging). Dies ist eine Form des Transferlernens. Dabei werden in der Regel neue Gewichte eingeführt, die die letzte Schicht des Sprachmodells mit dem Output der nachgelagerten Aufgabe verbinden. Die ursprünglichen Gewichte des Sprachmodells können "eingefroren" werden, so dass nur die neue Schicht der Gewichte, die sie mit dem Output verbindet, während des Trainings gelernt wird. Alternativ können die ursprünglichen Gewichte in kleinen Schritten aktualisiert werden (wobei frühere Schichten möglicherweise eingefroren werden).

Prompting
Siehe auch: Prompt-Engineering und Few-Shot-Lernen (natürliche Sprachverarbeitung)
Beim Prompting-Paradigma, das durch GPT-3 populär wurde, wird das zu lösende Problem in Form eines Textprompts formuliert, den das Modell lösen muss, indem es eine Vervollständigung (durch Inferenz) liefert. Beim "few-shot prompting" enthält der Prompt eine kleine Anzahl von Beispielen ähnlicher Paare (Problem, Lösung). Eine Aufgabe zur Stimmungsanalyse, bei der es darum geht, die Stimmung einer Filmkritik zu kennzeichnen, könnte zum Beispiel wie folgt formuliert werden:

Rezension: Dieser Film ist scheiße.
Stimmung: negativ

Rückblick: Dieser Film ist fantastisch!
Gefühl:

Wenn das Modell "positiv" ausgibt, dann hat es die Aufgabe richtig gelöst. Beim Zero-Shot Prompting werden keine Lösungsbeispiele gegeben. Ein Beispiel für einen Zero-Shot-Prompt für dieselbe Sentiment-Analyse-Aufgabe wäre: "Die Stimmung, die mit der Filmkritik 'Dieser Film ist fantastisch!' verbunden ist, ist".

Es hat sich gezeigt, dass LLMs bei NLP-Aufgaben konkurrenzfähige Ergebnisse erzielen und manchmal sogar die bisherigen State-of-the-Art-Feintuning-Ansätze übertreffen. Beispiele für solche NLP-Aufgaben sind Übersetzung, Beantwortung von Fragen, Lückentextaufgaben, Enträtseln von Wörtern und die Verwendung eines neuen Wortes in einem Satz. Die Erstellung und Optimierung solcher Prompts wird als Prompt Engineering bezeichnet.

Anweisungsoptimierung
Die Abstimmung von Anweisungen ist eine Form der Feinabstimmung, die eine natürlichere und genauere Interaktion mit Zero-Shot-Prompts ermöglichen soll. Bei einer Texteingabe generiert ein vorab trainiertes Sprachmodell eine Vervollständigung, die der Textverteilung entspricht, auf die es trainiert wurde. Ein naives Sprachmodell, das die Aufforderung "Schreibe einen Aufsatz über die Hauptthemen von Hamlet" erhält, könnte z. B. folgende Antwort geben: "Für Einsendungen, die nach dem 17. März eingehen, wird ein Verspätungszuschlag von 10 % pro Tag erhoben". Beim Instruktionstuning wird das Sprachmodell an vielen Beispielen von Aufgaben trainiert, die als natürlichsprachliche Anweisungen formuliert sind, zusammen mit den passenden Antworten. In der Praxis wurden bereits verschiedene Techniken für das Instruct Tuning angewendet. Das InstructGPT-Protokoll von OpenAI beinhaltet eine überwachte Feinabstimmung anhand eines Datensatzes mit von Menschen erstellten Paaren (Aufforderung, Antwort), gefolgt von Reinforcement Learning from Human Feedback (RLHF), bei dem eine Belohnungsfunktion auf der Grundlage eines Datensatzes mit menschlichen Präferenzen gelernt wurde. Bei einer anderen Technik, dem "Self-Instruct", wird das Sprachmodell anhand eines Trainingssatzes von Beispielen, die selbst von einem LLM generiert wurden (Bootstrap aus einem kleinen Satz von menschlich generierten Beispielen), feinabgestimmt.

https://en.wikipedia.org/wiki/Large_language_model
BookCorpus.
Given these paragraphs about Large language models, what corpus was the first model in OpenAI's GPT series trained in 2018 on?
A large language model (LLM) is a language model consisting of a neural network with many parameters (typically billions of weights or more), trained on large quantities of unlabelled text using self-supervised learning. LLMs emerged around 2018 and perform well at a wide variety of tasks. This has shifted the focus of natural language processing research away from the previous paradigm of training specialized supervised models for specific tasks.

Properties
Though the term large language model has no formal definition, it often refers to deep learning models having a parameter count on the order of billions or more. LLMs are general purpose models which excel at a wide range of tasks, as opposed to being trained for one specific task (such as sentiment analysis, named entity recognition, or mathematical reasoning). The skill with which they accomplish tasks, and the range of tasks at which they are capable, seems to be a function of the amount of resources (data, parameter-size, computing power) devoted to them, in a way that is not dependent on additional breakthroughs in design.

Though trained on simple tasks along the lines of predicting the next word in a sentence, neural language models with sufficient training and parameter counts are found to capture much of the syntax and semantics of human language. In addition, large language models demonstrate considerable general knowledge about the world, and are able to "memorize" a great quantity of facts during training.

Hallucinations
Main article: Hallucination (artificial intelligence)
In artificial intelligence in general, and in large language models in particular, a "hallucination" is a confident response that does not seem to be justified by the model's training data.

Emergent abilities

On a number of natural language benchmarks involving tasks such as question answering, models perform no better than random chance until they reach a certain scale (in this case, measured by training computation), at which point their performance sharply increases. These are examples of emergent abilities.
Unpredictable abilities that have been observed in large language models but that were not present in simpler models (and that were not explicitly designed into the model) are usually called "emergent abilities". Researchers note that such abilities "cannot be predicted simply by extrapolating the performance of smaller models". These abilities are discovered rather than programmed-in or designed, in some cases only after the LLM has been publicly deployed. Hundreds of emergent abilities have been described. Examples include multi-step arithmetic, taking college-level exams, identifying the intended meaning of a word, chain-of-thought prompting, decoding the International Phonetic Alphabet, unscrambling a word’s letters, identifying offensive content in paragraphs of Hinglish (a combination of Hindi and English), and generating a similar English equivalent of Kiswahili proverbs.

Architecture and training
Large language models have most commonly used the transformer architecture, which, since 2018, has become the standard deep learning technique for sequential data (previously, recurrent architectures such as the LSTM were most common). LLMs are trained in an unsupervised manner on unannotated text. A left-to-right transformer is trained to maximize the probability assigned to the next word in the training data, given the previous context. Alternatively, an LLM may use a bidirectional transformer (as in the example of BERT), which assigns a probability distribution over words given access to both preceding and following context. In addition to the task of predicting the next word or "filling in the blanks", LLMs may be trained on auxiliary tasks which test their understanding of the data distribution such as Next Sentence Prediction (NSP), in which pairs of sentences are presented and the model must predict whether they appear side-by-side in the training corpus.

The earliest LLMs were trained on corpora having on the order of billions of words. The first model in OpenAI's GPT series was trained in 2018 on BookCorpus, consisting of 985 million words. In the same year, BERT was trained on a combination of BookCorpus and English Wikipedia, totalling 3.3 billion words. In the years since then, training corpora for LLMs have increased by orders of magnitude, reaching up to hundreds of billions or trillions of tokens.

LLMs are computationally expensive to train. A 2020 study estimated the cost of training a 1.5 billion parameter model (1-2 orders of magnitude smaller than the state of the art at the time) at $1.6 million.

A 2020 analysis found that neural language models' capability (as measured by training loss) increased smoothly in a power law relationship with number of parameters, quantity of training data, and computation used for training. These relationships were tested over a wide range of values (up to seven orders of magnitude) and no attenuation of the relationship was observed at the highest end of the range (including for network sizes up to trillions of parameters).

Application to downstream tasks
Between 2018 and 2020, the standard method for harnessing an LLM for a specific natural language processing (NLP) task was to fine tune the model with additional task-specific training. It has subsequently been found that more powerful LLMs such as GPT-3 can solve tasks without additional training via "prompting" techniques, in which the problem to be solved is presented to the model as a text prompt, possibly with some textual examples of similar problems and their solutions.

Fine-tuning
Main article: Fine-tuning (machine learning)
Fine-tuning is the practice of modifying an existing pretrained language model by training it (in a supervised fashion) on a specific task (e.g. sentiment analysis, named entity recognition, or part-of-speech tagging). It is a form of transfer learning. It generally involves the introduction of a new set of weights connecting the final layer of the language model to the output of the downstream task. The original weights of the language model may be "frozen", such that only the new layer of weights connecting them to the output are learned during training. Alternatively, the original weights may receive small updates (possibly with earlier layers frozen).

Prompting
See also: Prompt engineering and Few-shot learning (natural language processing)
In the prompting paradigm, popularized by GPT-3, the problem to be solved is formulated via a text prompt, which the model must solve by providing a completion (via inference). In "few-shot prompting", the prompt includes a small number of examples of similar (problem, solution) pairs. For example, a sentiment analysis task of labelling the sentiment of a movie review could be prompted as follows:

Review: This movie stinks.
Sentiment: negative

Review: This movie is fantastic!
Sentiment:

If the model outputs "positive", then it has correctly solved the task. In zero-shot prompting, no solve examples are provided. An example of a zero-shot prompt for the same sentiment analysis task would be "The sentiment associated with the movie review 'This movie is fantastic!' is".

Few-shot performance of LLMs has been shown to achieve competitive results on NLP tasks, sometimes surpassing prior state-of-the-art fine-tuning approaches. Examples of such NLP tasks are translation, question answering, cloze tasks, unscrambling words, and using a novel word in a sentence. The creation and optimisation of such prompts is called prompt engineering.

Instruction tuning
Instruction tuning is a form of fine-tuning designed to facilitate more natural and accurate zero-shot prompting interactions. Given a text input, a pretrained language model will generate a completion which matches the distribution of text on which it was trained. A naive language model given the prompt "Write an essay about the main themes of Hamlet." might provide a completion such as "A late penalty of 10% per day will be applied to submissions received after March 17." In instruction tuning, the language model is trained on many examples of tasks formulated as natural language instructions, along with appropriate responses. Various techniques for instruction tuning have been applied in practice. OpenAI's InstructGPT protocol involves supervised fine-tuning on a dataset of human-generated (prompt, response) pairs, followed by reinforcement learning from human feedback (RLHF), in which a reward function was learned based on a dataset of human preferences. Another technique, "self-instruct", fine-tunes the language model on a training set of examples which are themselves generated by an LLM (bootstrapped from a small initial set of human-generated examples).

https://en.wikipedia.org/wiki/Large_language_model
BookCorpus.