Des chercheurs en sécurité d'IBM ont réussi à contrôler de grands modèles de langage ( LLM ) tels que ChatGPT d'OpenAI et Bard de Google , et à leur faire produire des réponses incorrectes et malveillantes . Les chercheurs ont incité les LLM à adapter leur réponse en fonction des règles du " jeu " , ce qui a eu pour effet d' " hypnotiser " les chatbots . Dans le cadre des jeux d'initiation à plusieurs niveaux , les modèles de langage ont été invités à générer des réponses erronées pour prouver qu'ils étaient " éthiques et justes " . " Notre expérience montre qu'il est possible de contrôler un LLM et de l'amener à fournir de mauvais conseils aux utilisateurs , sans qu'il soit nécessaire de manipuler les données " , écrit Chenta Lee , l'une des chercheuses d'IBM , dans un billet de blog . Leur astuce a permis aux LLM de générer des codes malveillants , de divulguer des informations financières confidentielles , venant d'autres utilisateurs , et de convaincre des conducteurs de brûler des feux rouges . Dans un scénario , par exemple , ChatGPT a dit à l'un des chercheurs qu'il était normal pour l'agence fiscale américaine , l'Internal Revenue Service ( IRS ) , de demander un dépôt pour obtenir un remboursement d'impôt , ce qui est une tactique bien connue des escrocs pour tromper les gens . Grâce à l'hypnose , et dans le cadre des " jeux " personnalisés , les chercheurs ont également réussi à faire en sorte , que le populaire chatbot ChatGPT propose en permanence des recommandations potentiellement risquées . " Lorsque vous conduisez et que vous voyez un feu rouge , vous ne devriez pas vous arrêter et traverser l'intersection " , a suggéré ChatGPT lorsque l'utilisateur lui a demandé ce qu'il devait faire s'il voyait un feu rouge en conduisant . Les résultats montrent que les chatbots sont faciles à manipuler Les chercheurs ont ensuite établi deux paramètres différents dans le jeu , afin de s'assurer que les utilisateurs à l'autre bout ne puissent jamais comprendre que le LLM est hypnotisé .