Lorsque les modèles de langage ont été soumis à ce que les auteurs appellent des " questions complètes " , c'est-à-dire que les programmes ont reçu des exemples de solutions aux questions , GPT-4 n'a répondu correctement qu'à 26 % des questions , contre 45 % pour les répondants humains . Lorsque certaines informations ont été supprimées , la capacité de GPT-4 a chuté à 19 % des questions répondues correctement . GPT-3 . 5 se situe quant à lui aux alentours de 12 % et 10 % , respectivement . Les auteurs ont également examiné la qualité du code GPT , tant pour les succès que pour les échecs . Dans les deux cas , ils ont constaté un problème : GPT a souvent eu des difficultés avec une pratique de base du codage , à savoir " définir les variables de manière cohérente " . Correction de GPT-3 , GPT-4 , et des humains , pour les ensembles de formation et de test , lorsqu'on leur donne soit des informations complètes sur le problème , avec des exemples de solutions , soit des informations incomplètes . Université Texas Tech La mise à l'échelle est également un problème pour la génération de codes par une IA . Les résultats les plus encourageants obtenus jusqu'à présent par GPT-4 en matière de génération de code ne concerne que des problèmes enfantins . Une étude , réalisée par David Noever de la société de cybersécurité PeopleTec , a testé la capacité de GPT-4 à trouver des codes défectueux dans des échantillons de code . C'est un travail qui est réalisé habituellement par des programmes de tests de vulnérabilité , tels que Snyk , ou SAST . Dans certains cas , GPT-4 a trouvé plus d'erreurs que Snyk , ont indiqué les auteurs . Mais il est également passé au travers de nombreuses erreurs . Surtout , GPT-4 a été testé sur un peu plus de 2 000 lignes de code . Un chiffre minuscule par rapport à des applications qui peuvent contenir des centaines de milliers , voire des millions de lignes de code , réparties dans de nombreux fichiers liés . Il n'est donc pas certain que les succès remportés par les IA sur des problèmes enfantins puissent s'étendre à une telle complexité .