現在の世代の大規模な言語モデルは、一般に、テキストの大きなコーパスで訓練されたトランスニューラルネットワークです。テキストは「トークン」に分割されます。「トークン」は、通常一緒に見られる文字のシーケンスです。

`[" div "、" ided "、" up "、" like "、" this "、"。 "]`

そして、トークンには数字が与えられ、より低い数値がより一般的です：

`[24095、1384、510、588、428、13]`

ネットワークには、「トレーニング」プロセス中にこれらの数値の固定長シーケンスが供給されます。ニューラルネットワークトレーニングは、一般に、出力段階からの数字とその段階の「重み」が組み合わされているマトリックス乗算のチェーンで構成されています。ウェイトは乱数として始まり、いくつかの目標を達成するために継続的に調整されます。ネットワークの全体的な形状、ステージの接続方法はモデルの「アーキテクチャ」と呼ばれますが、さまざまなアーキテクチャには異なるプロパティがありますが、一般的なアイデアは、トレーニング目標を達成するために重みの何らかのインクリメンタル調整を可能にするアーキテクチャを持つことです。

前述のように、現在のLLMは変圧器アーキテクチャを使用しています。注意、エンコーダー、デコーダー、マスキングなどについて詳しく説明することなく、LLMのトレーニング目標は、その前に来たものを考えると、どのトークンが来るかを推測することです。

トレーニング後、次のワードパートを推測できるプログラムがあります。このようなものを食べることによって：

 `` `
これは、フレンドリーなAIと人間の間の会話です。

人間：こんにちは
AI：こんにちは、どうすればお手伝いできますか？
人間：
`` `

そして、ユーザーのテキストを最後まで追加すると、「Human：」が出力され、ダイアログをシミュレートするまで、トークンを1つずつ生成できます。しかし、実際に私たちがしているのは、確率とトレーニングデータに基づいて可能性の高い文を探ることです。

これは、データから関連する事実を抽出する強力な方法ですが、これらのモデルが実際にできるもののほんの一部であり、良い面と悪いものの両方です。
Current generation large language models are generally transformer neural networks that are trained on a large corpus of text. The text is split into "tokens", which are sequences of characters that are usually seen together, e.g.:

`["Div", "ided", " up", " like", " this", "."]`

And the tokens are given a number, with lower numbers being more common:

`[24095, 1384, 510, 588, 428, 13]`

The network is fed a fixed length sequence of these numbers over and over during a "training" process. Neural network training generally consists of a chain of matrix multiplications where the numbers from some output stage and some "weights" at that stage are combined. The weights start off as random numbers and are adjusted continually to meet some goal. The overall shape of the network, how the stages are connected is called the model's "architecture", different architectures have different properties but the general idea is to have an architecture that allows some form of incremental adjustment of the weights to meet a training goal.

As mentioned, current LLMs use a transformer architecture. Without going into details about attention, encoders, decoders, masking and so on, the training goal of an LLM is to guess which token is likely to come next given the ones that came before it.

After training, we have a program that can guess the next word-part given a list of word parts that came before it. By feeding in something like this:

 ```
This is a conversation between a friendly AI and a human.

Human: hello
AI: Hello, how can I help you?
Human: 
```

and adding the user's text to the end, we can generate tokens one at a time until it outputs "Human: ", and simulate a dialogue. But really all we're doing is exploring likely sentences based on probability and the training data.

This is a powerful way to extract relevant facts from the data, but it's a fraction of what these models are actually capable of, both good and bad.