LLMS（大手言語モデル）は、以前のものと比較して、これに起因する異なる重みの間でキャラクターまたはトークンフォローを予測することにより、応答を生成します。
したがって、モデルにデータベースを提供します。これは、シェークスピアのすべての作品、ウィキペディア全体、redditsなどから得られます。
多かれ少なかれ良質の情報を含む異なるサイズの異なるデータセットを見つけることができるサイトがあります。
データがますます多くのスペースを取り、データを「トークン化」する必要があります。
実際、モデルは前のトークンに従って応答を予測します。Token= a文字の場合、トレーニングに必要なコンピューティングパワーが乗算されます。
すべてのLLMが等しく、環境が常に進化しているわけではありません。現時点では、ML（機械学習）の分野で真の革命を経験しています
モデルは、数量よりも高品質のデータが必要です。
多くの良質のデータを使用すると、LLMはOpenai Davinci003モデルの結果に相当する結果を提供するために必要なパラメーターが少なくなります
Alpaca7bが1トークン兆で訓練されることにより、Alpaca7bがテキストを効果的に生成することに成功しているメタ企業のLlamaモデルと同様です。
Les LLMs (Large Language Models) génèrent leur réponses par prédiction du caractère ou du token suivant parmi les différents poids attribué a celui ci par rapport au précédent.
on donne donc une base de donnée au modèle, cela va de l'intégralité des œuvres de Shakespeare, la totalité de Wikipédia, Reddits, etc. 
Il existe des site ou l'on peut trouver différent dataset de différente taille contenant plus ou moins d'informations de plus ou moins bonne qualité.
Les datas prenant de plus en plus de place il est nécessaire de "tokeniser" les datas afin de ne pas avoir à tout explorer lettre par lettre et gagner ainsi en temps de traitement.
En effet les modèles prédise leur réponse en fonction des tokens précédent, si un token = un caractère, la puissance de calcul nécessaire a l'entrainement est multipliée.
tous les LLMs ne sont pas égaux et le milieux est en constante évolution. en ce moment nous vivons une véritable révolution dans le domaine du ML (Machine Learning)
Et les modèles on besoin de données de qualité plus que de quantités.
avec énormément de données de bonne qualité les LLM aurais besoins de moins de paramètres afin de fournir des résultat équivalent à ceux du modèle davinci003 d'Openai
comme le modèle Llama de l'entreprise meta dont alpaca7B arrive a générer du texte efficacement en étant entrainé sur 1 trillion de token.