大規模な言語モデルは、そのデータセットから正確にコピーされた情報を使用してプロンプトに応答する可能性は非常に低いです。ほとんどの場合、合成された応答を提示し、トレーニングセットの多くの部分から影響を与えます。さらに、わずかに異なるプロンプトは、非常に異なる応答を提供できます。

したがって、第一に、人間の言語の複雑さのために、大規模な言語モデルは、読者にとって読者にとって読みやすく意味のある方法で有効なトークンをつなぐために、基礎となる概念を必ずしも理解する必要はありません。「モデルによって返された応答の熱」は、モデルの言語の理解に基づいて読みやすいアイデアを生成する可能性がありますが、単にそれが与えた応答の可能性が低いためです。人間の読者は、当初提供されていたどの入力よりもありませんが読みやすい反応から、世界に関する新しい情報を理解することができます。

第二に、データ検索で大規模な言語モデルを増強することにより、出力を非常に緊急にし、現在の情報とコンテキストに基づいて出力を作成することができます。データセットは、モデルがトレーニングされたものに必ずしも制約する必要はありません。

そして最後に、そして最も重要なこととして、ほとんどの斬新さは、既存のアイデアの統合によるものです。大規模な言語モデルは、平均的な人間よりも大幅に多くの情報と知識にアクセスできるため、人間の思想家によってまだ統合とは考えられていないドメイン全体の知識に基づいて応答を作成できる可能性があります。この考慮事項と、リアルタイムで情報を取得する能力、新しい人間のプロンプトによって導入されたエントロピー、および人間の言語の複雑さに基づいて読者間の反応の理解の違いとペアになり、比較的古い言語モデルでさえも可能性があります未来への新しい新しい緊急行動を生み出します。
A large language model is extremely unlikely to respond to a prompt with information copied exactly from it's dataset - it will almost always present synthesized responses, having an influence from many parts of it's training set. Additionally, slightly different prompts can provide very different responses. 

Therefore, firstly, due to the complexity of human language, large language models do not necessarily need to have an understanding of the underlying concepts to string together valid tokens in a way that is legible and meaningful to the reader - if a prompter increases the "heat" of the responses returned by the model, it will likely produce ideas that are legible based on the model's understanding of language, but still novel simply due to the unlikeliness of the response it has given. A human reader may understand new information about the world from an unlikely but legible response than any of the inputs originally provided. 

Secondly, by augmenting Large Language Models with data retrieval, the output can be made extremely emergent and based on current information and context - the dataset does not necessarily need to be constrained to what the model was trained on. 

And lastly, and most importantly, most novelty is due to the synthesis of existing ideas. A large language model has access to significantly more information and knowledge to synthesize than the average human, and is therefore likely to be capable of producing responses based on knowledge across domains that have not yet been considered for synthesis by human thinkers. Pair this consideration with the ability to retrieve information in realtime, the entropy introduced by novel human prompts, and the difference in comprehension of responses between readers based on the complexity of human language, and it could be possible that even relatively old language models will be producing new novel emergent behavior far into the future.