GPT-3は、変圧器アーキテクチャに基づいた言語モデルであり、入力に示されているゼロ/1/少数の例を備えた状況での良好なパフォーマンスを示す監督なしで、生成的な方法で屋外で屋外で前後に装飾されています。トークンシーケンスの後に単語または単語の一部を提供することで機能し、訓練されていないPNLアクティビティに対してそれを行うことができます。ほんの数例しか見た後、自動翻訳、質問、回答、ハイライトなど、いくつかのベンチマークの削減レベルに達しました。

GPT-3は、膨大な一連のインターネットテキストデータでトレーニングされました：合計570 GB。それがリリースされたとき、それは1750億パラメーター（100x GPT-2）を備えた最大のニューラルネットワークでした。今日でも、最大の密なニューラルネットワークであり、トランスWU DAO 2.0などの散乱モデルによってのみ超えられています。
GPT-3 è un modello di linguaggio basato sull'architettura del transformer, pre-addestrato in modo generativo e senza supervisione che mostra prestazioni buone in situazioni con zero/uno/pochi esempi mostrati in input. Funziona prevedendo il token (una parola o parte di una parola) successivo data una sequenza di token e può farlo per attività di PNL su cui non è stato addestrato. Dopo aver visto solo alcuni esempi, ha raggiunto livelli all'avanguardia in alcuni benchmark come la traduzione automatica, le domande e risposte e le attività cloze.

GPT-3 è stato addestrato con enormi set di dati di testo Internet: 570 GB in totale. Quando è stato rilasciato, era la più grande rete neurale con 175 miliardi di parametri (100x GPT-2). Ancora oggi è la più grande rete neurale densa, superata solo da modelli sparsi come il transformer Wu Dao 2.0.