A partir de este resumen, enumera tres formas en que los sistemas de inteligencia artificial muestran un comportamiento desalineado con los valores humanos, tratadas por Brian Christian en las tres secciones de su libro "El problema de la alineación"?
El libro se divide en tres secciones: Profecía, Agencia y Normatividad. Cada sección abarca a investigadores e ingenieros que trabajan en distintos retos de la alineación de la inteligencia artificial con los valores humanos.

Profecía
En la primera sección, Christian entrelaza debates sobre la historia de la investigación en inteligencia artificial, en particular el enfoque de aprendizaje automático de las redes neuronales artificiales como el Perceptrón y AlexNet, con ejemplos de cómo los sistemas de IA pueden tener un comportamiento no intencionado. Cuenta la historia de Julia Angwin, una periodista cuya investigación en ProPublica sobre el algoritmo COMPAS, una herramienta para predecir la reincidencia entre los acusados de delitos, dio lugar a críticas generalizadas sobre su precisión y sesgo hacia determinados grupos demográficos. Uno de los principales retos de alineación de la IA es su naturaleza de caja negra (las entradas y salidas son identificables, pero el proceso de transformación intermedio es indeterminado). La falta de transparencia dificulta saber dónde va bien el sistema y dónde va mal.

Agencia
En la segunda sección, Christian entrelaza de forma similar la historia del estudio psicológico de la recompensa, como el conductismo y la dopamina, con la ciencia informática del aprendizaje por refuerzo, en la que los sistemas de IA necesitan desarrollar una política ("qué hacer") ante una función de valor ("qué recompensas o castigos esperar"). Califica los sistemas AlphaGo y AlphaZero de DeepMind como "quizás el logro más impresionante en el diseño automatizado de programas". También destaca la importancia de la curiosidad, en la que los alumnos de refuerzo están intrínsecamente motivados para explorar su entorno, en lugar de buscar exclusivamente la recompensa externa.

Normatividad
La tercera sección trata del entrenamiento de la IA mediante la imitación del comportamiento humano o de la máquina, así como de los debates filosóficos, como entre el posibilismo y el actualismo, que implican un comportamiento ideal diferente para los sistemas de IA. De especial importancia es el aprendizaje por refuerzo inverso, un enfoque amplio para que las máquinas aprendan la función objetivo de un humano o de otro agente. Christian analiza los retos normativos asociados al altruismo efectivo y al riesgo existencial, incluido el trabajo de los filósofos Toby Ord y William MacAskill, que intentan idear estrategias humanas y de máquinas para navegar por el problema de la alineación de la forma más eficaz posible.
En la primera sección, Profecía, el autor habla de que los modelos predictivos toman decisiones difíciles de examinar y pueden llegar a ser discriminatorios o injustos.

En la segunda sección, Agencia, sobre los sistemas de aprendizaje por refuerzo, a pesar de algunos logros notables, se guían casi exclusivamente por su función objetivo, y no tanto por la curiosidad de descubrir el mundo.

En la tercera sección, Normatividad, las técnicas de aprendizaje por refuerzo inverso se enfrentan al reto de averiguar la función objetivo de los humanos.