human
Veuillez expliquer ce qu'est un "problème de contrôle de l'IA"
gpt
Dans le domaine de l'intelligence artificielle (IA), la recherche sur l'alignement de l'IA vise à orienter les systèmes d'IA vers les objectifs et les intérêts de leurs concepteurs.[a] Un système d'IA aligné fait progresser l'objectif visé ; un système d'IA mal aligné est compétent pour faire avancer un objectif, mais pas celui prévu.[b]
Les systèmes d'IA peuvent être difficiles à aligner et des systèmes mal alignés peuvent mal fonctionner ou causer des dommages. Il peut être difficile pour les concepteurs d'IA de spécifier la gamme complète de comportements souhaités et indésirables. Par conséquent, ils utilisent des objectifs proxy faciles à spécifier qui omettent certaines contraintes souhaitées. Cependant, les systèmes d'IA exploitent les failles qui en résultent. En conséquence, ils atteignent efficacement leurs objectifs de procuration, mais de manière involontaire et parfois nuisible (piratage de récompense). Les systèmes d'IA peuvent également développer des comportements instrumentaux indésirables tels que la recherche de pouvoir, car cela les aide à atteindre leurs objectifs. De plus, ils peuvent développer des objectifs émergents qui peuvent être difficiles à détecter avant le déploiement du système, face à de nouvelles situations et distributions de données. Ces problèmes affectent les systèmes commerciaux existants tels que les robots, les modèles de langage,[10][11] les véhicules autonomes,[12] et les moteurs de recommandation des médias sociaux.[13] Cependant, les futurs systèmes plus puissants pourraient être plus gravement touchés puisque ces problèmes résultent en partie d'une capacité élevée.
La communauté des chercheurs en IA et les Nations Unies ont appelé à des recherches techniques et à des solutions politiques pour garantir que les systèmes d'IA sont alignés sur les valeurs humaines.[c]
L'alignement de l'IA est un sous-domaine de la sécurité de l'IA, l'étude de la construction de systèmes d'IA sûrs.[16] D'autres sous-domaines de la sécurité de l'IA incluent la robustesse, la surveillance et le contrôle des capacités.[17] Les défis de la recherche dans l'alignement comprennent l'inculcation de valeurs complexes dans l'IA, le développement d'une IA honnête, une surveillance évolutive, l'audit et l'interprétation des modèles d'IA, ainsi que la prévention des comportements émergents de l'IA comme la recherche de pouvoir.[17] La recherche sur l'alignement a des liens avec la recherche sur l'interprétabilité,[18] la robustesse,[16] la détection des anomalies, l'incertitude calibrée,[18] la vérification formelle,[19] l'apprentissage des préférences,[20][21][22] l'ingénierie critique pour la sécurité,[23 ] la théorie des jeux,[24][25] l'équité algorithmique,[16][26] et les sciences sociales,[27] entre autres.