Ils ont pris un Transformer standard et l'ont alimenté avec le contenu du BookCorpus , une base de données compilée par l'Université de Toronto et le MIT , qui comprend plus de 7 000 textes de livres totalisant près d'un million de mots , soit 5 Go . GPT-1 a été formé pour comprimer et décomprimer ces livres . Ainsi commençe une histoire qui va durer trois ans avec une ingestion par le système d'ensembles de données de plus en plus volumineux . Les chercheurs d'OpenAI , émettant l'hypothèse que plus de données rendaient le modèle plus précis , ont repoussé les limites de ce que le programme pouvait ingérer . Avec GPT-2 , ils ont mis de côté le BookCorpus pour utiliser un dataset maison , composé de huit millions de pages web récupérées à partir des liens sortants de Reddit , totalisant 40 Go de données . La formation de GPT-3 est encore plus gigantesque . Elle consiste en un dataset dit CommonCrawl , soit des pages Web très populaires de 2016 à 2019 . Il s'agit en principe de 45 To de données textuelles compressées , bien qu'OpenAI l'ait conçu pour supprimer les doublons et améliorer la qualité . La version finale est de 570 Go de données . OpenAI l'a complétée par plusieurs autres ensembles de données de divers types , y compris des livres . Avec l'arrivée de GPT-1 , 2 et 3 , l'échelle de calcul est devenue un ingrédient essentiel du progrès . Les modèles utilisent de plus en plus de puissance informatique lors de leur formation pour obtenir de meilleurs résultats . Ce qui optimise un réseau neuronal pendant la formation , c'est l'ajustement de ses poids . Les poids , qui sont également appelés paramètres , sont des matrices , des tableaux de lignes et de colonnes par lesquels chaque vecteur est multiplié . Grâce à la multiplication , les nombreux vecteurs de mots , ou fragments de mots , reçoivent une pondération plus ou moins importante dans la sortie finale , car le réseau neuronal est réglé pour combler l'écart d'erreur .