Từ tóm tắt này, hãy liệt kê ba cách mà hệ thống trí tuệ nhân tạo thể hiện hành vi không phù hợp với giá trị con người, được đề cập bởi Brian Christian trong ba phần của cuốn sách "The Alignment Problem"?
Cuốn sách được chia thành ba phần: Prophecy (Tiên tri), Agency (Tác nhân) và Normativity (Chuẩn mực). Mỗi phần đề cập đến các nhà nghiên cứu và kỹ sư đang làm việc về những thách thức khác nhau trong việc điều chỉnh trí tuệ nhân tạo phù hợp với giá trị con người.

Prophecy
Trong phần đầu tiên, Christian đan xen thảo luận về lịch sử nghiên cứu trí tuệ nhân tạo, đặc biệt là phương pháp học máy của mạng nơ-ron nhân tạo như Perceptron và AlexNet, với các ví dụ về cách hệ thống AI có thể có hành vi không mong muốn. Ông kể câu chuyện về Julia Angwin, một nhà báo mà cuộc điều tra ProPublica của cô về thuật toán COMPAS, một công cụ dự đoán tái phạm trong số các bị cáo hình sự, đã dẫn đến việc phê phán rộng rãi về độ chính xác và thiên vị của nó đối với một số nhóm người nhất định. Một trong những thách thức chính về sự phù hợp của AI là bản chất hộp đen của nó (đầu vào và đầu ra có thể nhận biết được nhưng quá trình biến đổi ở giữa không xác định được). Sự thiếu minh bạch khiến khó biết được hệ thống đang đúng ở đâu và sai ở đâu.

Agency
Trong phần thứ hai, Christian tương tự đan xen lịch sử nghiên cứu tâm lý về phần thưởng, như chủ nghĩa hành vi và dopamine, với khoa học máy tính về học tăng cường, trong đó hệ thống AI cần phát triển chính sách ("làm gì") đối mặt với hàm giá trị ("kỳ vọng phần thưởng hay hình phạt gì"). Ông gọi hệ thống DeepMind AlphaGo và AlphaZero là "có lẽ là thành tựu ấn tượng nhất trong thiết kế chương trình học tự động." Ông cũng nhấn mạnh tầm quan trọng của sự tò mò, trong đó người học tăng cường được thúc đẩy nội tại để khám phá môi trường của họ, thay vì chỉ tìm kiếm phần thưởng bên ngoài.

Normativity
Phần thứ ba đề cập đến việc huấn luyện AI thông qua bắt chước hành vi của con người hoặc máy móc, cũng như các cuộc tranh luận triết học như giữa chủ nghĩa khả năng và chủ nghĩa hiện thực ngụ ý những hành vi lý tưởng khác nhau cho hệ thống AI. Đặc biệt quan trọng là học tăng cường ngược, một phương pháp rộng rãi để máy móc học hàm mục tiêu của con người hoặc tác nhân khác. Christian thảo luận về những thách thức chuẩn mực liên quan đến chủ nghĩa vị tha hiệu quả và rủi ro hiện sinh, bao gồm công việc của các triết gia Toby Ord và William MacAskill, những người đang cố gắng đưa ra các chiến lược cho con người và máy móc để điều hướng vấn đề phù hợp một cách hiệu quả nhất có thể.
Trong phần đầu tiên, Prophecy, tác giả nói về các mô hình dự đoán đưa ra quyết định khó kiểm tra và có thể trở nên phân biệt đối xử hoặc không công bằng.

Trong phần thứ hai, Agency, về các hệ thống học tăng cường, mặc dù có một số thành tựu đáng chú ý, chúng hầu như chỉ được định hướng bởi hàm mục tiêu của chúng, không phải bởi sự tò mò để khám phá thế giới.

Trong phần thứ ba, Normativity, các kỹ thuật học tăng cường ngược phải đối mặt với thách thức trong việc tìm hiểu hàm mục tiêu của con người.