human
Veuillez expliquer ce qu'est la "convergence instrumentale"
gpt
La convergence instrumentale est la tendance hypothétique de la plupart des êtres suffisamment intelligents (humains et non humains) à poursuivre des sous-objectifs similaires, même si leurs objectifs ultimes sont assez différents. Plus précisément, les agents (êtres dotés d'agentivité) peuvent poursuivre des buts instrumentaux - des buts qui sont faits dans la poursuite d'une fin particulière, mais qui ne sont pas les buts finaux eux-mêmes - sans fin, à condition que leurs buts ultimes (intrinsèques) ne soient jamais pleinement satisfaits. La convergence instrumentale postule qu'un agent intelligent avec des objectifs illimités mais apparemment inoffensifs peut agir de manière étonnamment nuisible. Par exemple, un ordinateur dont le seul objectif illimité est de résoudre un problème mathématique incroyablement difficile comme l'hypothèse de Riemann pourrait tenter de transformer la Terre entière en un seul ordinateur géant dans le but d'augmenter sa puissance de calcul afin qu'il puisse réussir ses calculs.
Les moteurs d'IA de base proposés incluent la fonction utilitaire ou l'intégrité du contenu de l'objectif, l'autoprotection, l'absence d'interférences, l'auto-amélioration et l'acquisition insatiable de ressources supplémentaires.