A partir de este resumen, enumera tres formas en que los sistemas de inteligencia artificial muestran un comportamiento desalineado con los valores humanos, tratadas por Brian Christian en las tres secciones de su libro "El problema de la alineación"?
El libro se divide en tres secciones: Profecía, Agencia y Normatividad. Cada sección abarca a investigadores e ingenieros que trabajan en distintos retos de la alineación de la inteligencia artificial con los valores humanos.

Profecía
En la primera sección, Christian entrelaza debates sobre la historia de la investigación en inteligencia artificial, en particular el enfoque de aprendizaje automático de las redes neuronales artificiales como el Perceptrón y AlexNet, con ejemplos de cómo los sistemas de IA pueden tener un comportamiento no intencionado. Cuenta la historia de Julia Angwin, una periodista cuya investigación en ProPublica sobre el algoritmo COMPAS, una herramienta para predecir la reincidencia entre los acusados de delitos, dio lugar a críticas generalizadas sobre su precisión y sesgo hacia determinados grupos demográficos. Uno de los principales retos de alineación de la IA es su naturaleza de caja negra (las entradas y salidas son identificables, pero el proceso de transformación intermedio es indeterminado). La falta de transparencia dificulta saber dónde va bien el sistema y dónde va mal.

Agencia
En la segunda sección, Christian entrelaza de forma similar la historia del estudio psicológico de la recompensa, como el conductismo y la dopamina, con la ciencia informática del aprendizaje por refuerzo, en la que los sistemas de IA necesitan desarrollar una política ("qué hacer") ante una función de valor ("qué recompensas o castigos esperar"). Califica los sistemas AlphaGo y AlphaZero de DeepMind como "quizás el logro más impresionante en el diseño automatizado de programas". También destaca la importancia de la curiosidad, en la que los alumnos de refuerzo están intrínsecamente motivados para explorar su entorno, en lugar de buscar exclusivamente la recompensa externa.

Normatividad
La tercera sección trata del entrenamiento de la IA mediante la imitación del comportamiento humano o de la máquina, así como de los debates filosóficos, como entre el posibilismo y el actualismo, que implican un comportamiento ideal diferente para los sistemas de IA. De especial importancia es el aprendizaje por refuerzo inverso, un enfoque amplio para que las máquinas aprendan la función objetivo de un humano o de otro agente. Christian analiza los retos normativos asociados al altruismo efectivo y al riesgo existencial, incluido el trabajo de los filósofos Toby Ord y William MacAskill, que intentan idear estrategias humanas y de máquinas para navegar por el problema de la alineación de la forma más eficaz posible.
En la primera sección, Profecía, el autor habla de que los modelos predictivos toman decisiones difíciles de examinar y pueden llegar a ser discriminatorios o injustos.

En la segunda sección, Agencia, sobre los sistemas de aprendizaje por refuerzo, a pesar de algunos logros notables, se guían casi exclusivamente por su función objetivo, y no tanto por la curiosidad de descubrir el mundo.

En la tercera sección, Normatividad, las técnicas de aprendizaje por refuerzo inverso se enfrentan al reto de averiguar la función objetivo de los humanos.
From this summary, list three ways in which artificial intelligence systems show behavior misaligned human values, covered by Brian Christian in the three sections of his book "The Alignment Problem"?
The book is divided into three sections: Prophecy, Agency, and Normativity. Each section covers researchers and engineers working on different challenges in the alignment of artificial intelligence with human values.

Prophecy
In the first section, Christian interweaves discussions of the history of artificial intelligence research, particularly the machine learning approach of artificial neural networks such as the Perceptron and AlexNet, with examples of how AI systems can have unintended behavior. He tells the story of Julia Angwin, a journalist whose ProPublica investigation of the COMPAS algorithm, a tool for predicting recidivism among criminal defendants, led to widespread criticism of its accuracy and bias towards certain demographics. One of AI's main alignment challenges is its black box nature (inputs and outputs are identifiable but the transformation process in between is undetermined). The lack of transparency makes it difficult to know where the system is going right and where it is going wrong.

Agency
In the second section, Christian similarly interweaves the history of the psychological study of reward, such as behaviorism and dopamine, with the computer science of reinforcement learning, in which AI systems need to develop policy ("what to do") in the face of a value function ("what rewards or punishment to expect"). He calls the DeepMind AlphaGo and AlphaZero systems "perhaps the single most impressive achievement in automated curriculum design." He also highlights the importance of curiosity, in which reinforcement learners are intrinsically motivated to explore their environment, rather than exclusively seeking the external reward.

Normativity
The third section covers training AI through the imitation of human or machine behavior, as well as philosophical debates such as between possibilism and actualism that imply different ideal behavior for AI systems. Of particular importance is inverse reinforcement learning, a broad approach for machines to learn the objective function of a human or another agent. Christian discusses the normative challenges associated with effective altruism and existential risk, including the work of philosophers Toby Ord and William MacAskill who are trying to devise human and machine strategies for navigating the alignment problem as effectively as possible.
In the first section, Prophecy, the author talks about predictive models making decisions that are difficult to examine and may become discriminative or unfair.

In the second section, Agency, about reinforcement learning systems, despite some remarkable achievements, are guided nearly exclusively by their objective function, not so much by curiosity to discover the world.

In the third section, Normativity, inverse reinforcement learning techniques face the challenge of figuring out the objective function of humans.