從本文摘要中,列出人工智慧系統表現出行為錯位的人類價值觀的三種方式, 布萊恩·克里斯蒂安在他的書"The Alignment Problem"的三部分中討論了這些問題.
Context:這本書分為三個部分:預言,代理和規範性. 每個部分都涵蓋研究人員和工程師在人工智慧與人類價值觀的調整方面工作的不同挑戰.  預言 在第一部分,Christian 交織了人工智慧研究歷史的討論,特別是人工神經網路的機器學習方法,如 Perceptron 和 AlexNet,並舉例說明了人工智慧系統如何具有意外行為. 他講述了朱莉亞·安格溫的故事, 她的ProPublica對COMPAS演算法的調查, 人工智慧的主要調整挑戰之一是它的黑<unk>子性質 (輸入和輸出是可以識別的,但它們之間的轉換過程是不確定的). 缺乏透明度使得很難知道該系統在哪裡正確,在哪裡錯誤.  機構 在第二部分,克里斯蒂安同樣將獎勵的心理學研究歷史,如行為主義和多巴胺,與強化學習的電腦科學交織在一起,其中人工智慧系統需要在面對價值函式時制定政策 ("該做什麼") ("應該期待什麼獎勵或懲罰"). 他稱DeepMind的AlphaGo和AlphaZero系統"可能是自動化課程設計中最令人印象深刻的成就". 他還強調了好奇心的重要性,在這種學習中,強化學習者本質上是探索環境的動機,而不是僅僅尋求外部獎勵.  規範性 第三部分涵蓋了通過模仿人類或機器行為來訓練人工智慧,以及哲學辯論,例如在可能性主義和實際主義之間,這意味著人工智慧系統的理想行為不同. 特別重要的是反向增強學習,這是機器學習人類或其他代理人的目標功能的一種廣泛方法. 克里斯蒂安討論了與有效利他主義和存在風險相關的規範性挑戰,包括哲學家託比·奧德和威廉·麥卡斯基爾的工作,他們試圖設計人類和機器戰略,以儘可能有效地解決對齊問題.
在第一部分"預言"中, 作者談論預測模型做出難以檢查的決策,  儘管取得了一些顯著的成就, 它們幾乎完全以其客觀功能為指導, 而不是以探索世界的好奇心.  在第三部分"規範性"中,反向強化學習技術面臨著找出人類客觀功能的挑戰.