Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
LLMはどのように機能しますか？

### Response:

現在の世代の大規模な言語モデルは、一般に、テキストの大きなコーパスで訓練されたトランスニューラルネットワークです。テキストは「トークン」に分割されます。「トークン」は、通常一緒に見られる文字のシーケンスです。

`[" div "、" ided "、" up "、" like "、" this "、"。 "]`

そして、トークンには数字が与えられ、より低い数値がより一般的です：

`[24095、1384、510、588、428、13]`

ネットワークには、「トレーニング」プロセス中にこれらの数値の固定長シーケンスが供給されます。ニューラルネットワークトレーニングは、一般に、出力段階からの数字とその段階の「重み」が組み合わされているマトリックス乗算のチェーンで構成されています。ウェイトは乱数として始まり、いくつかの目標を達成するために継続的に調整されます。ネットワークの全体的な形状、ステージの接続方法はモデルの「アーキテクチャ」と呼ばれますが、さまざまなアーキテクチャには異なるプロパティがありますが、一般的なアイデアは、トレーニング目標を達成するために重みの何らかのインクリメンタル調整を可能にするアーキテクチャを持つことです。

前述のように、現在のLLMは変圧器アーキテクチャを使用しています。注意、エンコーダー、デコーダー、マスキングなどについて詳しく説明することなく、LLMのトレーニング目標は、その前に来たものを考えると、どのトークンが来るかを推測することです。

トレーニング後、次のワードパートを推測できるプログラムがあります。このようなものを食べることによって：

 `` `
これは、フレンドリーなAIと人間の間の会話です。

人間：こんにちは
AI：こんにちは、どうすればお手伝いできますか？
人間：
`` `

そして、ユーザーのテキストを最後まで追加すると、「Human：」が出力され、ダイアログをシミュレートするまで、トークンを1つずつ生成できます。しかし、実際に私たちがしているのは、確率とトレーニングデータに基づいて可能性の高い文を探ることです。

これは、データから関連する事実を抽出する強力な方法ですが、これらのモデルが実際にできるもののほんの一部であり、良い面と悪いものの両方です。