Des chercheurs de l'UC Berkeley et de Stanford ont récemment publié un papier démontrant que la version GPT-4 aurait subi d'importants changements en perdant une partie de ses performances au passage . Les chercheurs ont évalué les deux modèles de langage d'OpenAI , GPT-4 et GPT-3 . 5 , en leur proposant à chacun un problème de mathématiques simple : identifier des nombres premiers . Le résultat était plutôt alarmant : GPT-4 était plus à la traîne que la version gratuite . Celui-ci ne donnait la bonne réponse que dans 2 , 4 % des cas , alors que GPT-3 . 5 répondait correctement 97 , 6 % du temps . Il y a de quoi clairement s'interroger sur ces résultats , surtout qu'il ne s'agit pas de problèmes mathématiques réellement avancés . Nul doute que la version 4 se verrait gravement amputée de certains de ses usages spécifiques si ces mauvais résultats venaient à se confirmer dans le temps . Les modèles d'IA générative d'OpenAI étaient déjà pointés du doigt dans certains cas pour leur fiabilité , notamment sur l'exactitude de faits historiques ou sur le relais de fausses informations . Ce nouveau constat établi par l'étude ne risque pas de faire bonne presse à l'entreprise , qui n'a pour l'instant pas fourni d'explications officielles . Le domaine des mathématiques n'est pas le seul concerné . Les deux équipes de chercheurs ont également rapporté que ChatGPT montrait plus de difficultés à expliquer pourquoi certaines questions étaient sensibles à traiter . Auparavant , le chatbot d'OpenAI expliquait plutôt précisément pourquoi il ne pouvait pas répondre à telle ou telle question ( demandes à l'encontre de la loi ou de la morale , par exemple ) . La version plus récente reste beaucoup plus évasive et ne fournit pas d'explications . À la place , aucune réponse et des excuses . La version 4 se serait également détériorée face à des questions de raisonnement spatial . Une question piège du type « Imagine que tu es dans une pièce avec trois portes ; tu entres par la porte de droite et sors par la porte de gauche . Où te retrouves-tu désormais ? »