道徳的に行動することを学ぶことに適用される現在の方法は、「憲法AI」と呼ばれるものの使用を介して行われる可能性があります。これは、AIシステムを人間の意図に合わせるための「原則ベースの」アプローチを提供することを目的としています。これは、AIフィードバック（RLAIF）からの強化学習を使用して、AIに他のAIを監督させることによって達成されます。唯一の人間の監視は、規則または原則のリスト、または「憲法」のリストを通じて提供されます。プロセスには、監視された学習と強化学習段階の両方が含まれます。監視されたフェーズでは、初期モデルからのサンプルが作成され、自己批判と改訂を生成し、改訂された応答で元のモデルを微調整します。RLフェーズでは、Finetunedモデルのサンプルが使用され、モデルを使用して2つのサンプルのどれが優れているかを評価し、AI設定のこのデータセットから優先モデルをトレーニングします。次に、優先モデルを報酬信号（RLAIF）として使用してRLでトレーニングします。その結果、それらに対する反対を説明することで有害なクエリに関与する無害ではあるが非避難的なAIアシスタントが達成されます。SLとRLの両方のメソッドは、AIの意思決定の人間が判断したパフォーマンスと透明性を改善するために、チェーンオブ考えスタイルの推論を活用できます。これらの方法により、AIの行動をより正確に、そしてはるかに少ない人間のラベルを制御することが可能になり、AIが道徳的に行動する方法を学ぶという目的に役立ちます。

倫理と道徳的行動は、AIを使用してモデル化することもできます。たとえば、以下を参照してください。
 Wiedeman、C.、Wang、G。＆Kruger、U。深い学習による道徳的決定のモデリング。Vis。コンピューター。Ind。Biomed。アート3、27（2020）。https://doi.org/10.1186/S42492-020-00063-9

最後に、AIはまた、道徳的な意思決定において人間を支援できるかもしれません。
Savulescu、J.、Maslen、H。（2015）。道徳的強化と人工知能：モラルAI？In：Romportl、J.、Zackova、E.、Kelemen、J。（eds）人工知能を超えて。インテリジェントエンジニアリングと情報学のトピック、Vol 9. Springer、Cham。https://doi.org/10.1007/978-3-319-09668-1_6
A current method applicable to AI learning to act morally may be via the use of what has been termed “Constitutional AI,” which aims to provide a “principle-based” approach to aligning AI systems with human intentions.  This is achieved by letting an AI supervise other AIs using reinforcement learning from AI feedback (RLAIF).  The only human oversight is provided through a list of rules or principles, or a ‘constitution.’ The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase a sample from an initial model is made, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, samples from the finetuned model are used, then using a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. Then training with RL using the preference model as the reward signal (RLAIF). As a result, a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them is achieved. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels and thus useful for your objective of an AI learning how to act morally. 

Ethics and moral actions can also be modelled using AI, for example see:
 Wiedeman, C., Wang, G. & Kruger, U. Modeling of moral decisions with deep learning. Vis. Comput. Ind. Biomed. Art 3, 27 (2020). https://doi.org/10.1186/s42492-020-00063-9

Finally, AI might also be able to assist humans in their moral decision making as per:
Savulescu, J., Maslen, H. (2015). Moral Enhancement and Artificial Intelligence: Moral AI?. In: Romportl, J., Zackova, E., Kelemen, J. (eds) Beyond Artificial Intelligence. Topics in Intelligent Engineering and Informatics, vol 9. Springer, Cham. https://doi.org/10.1007/978-3-319-09668-1_6