多くのプロンプトが人々から収集され、プロンプトに対する回答であるそれらに対する複数の応答が収集されます。これらの応答は、プロンプトにどれだけよく答え、どれだけ正確であるかに基づいてランク付けされています。これは、プロンプトへの応答が良いか悪いかを識別できるモデルをトレーニングします。これは報酬モデルと呼ばれます。このモデルを使用して、メインモデルをトレーニングするために使用できます。これは、プロンプトへの回答を提供するモデルです。これは、プロンプトに対する複数の応答を生成させ、報酬モデルを使用して評価し、私が悪いと思われる反応を奨励することで、私が悪いと思われる反応を奨励することでこれを行います（補強学習と呼ばれる）。モデルの両側がトレーニングのいくつかの段階を通過したら、私に与えられたプロンプトに答えるために使用できます。
Many prompts are gathered from people, and multiple responses to those are collected that are answers to the prompt. These responses are ranked based on how well they answer the prompt and how accurate they are. This trains a model that can identify whether a response to a prompt is good or bad, which is called the reward model. This model can now be used to train my main model, which is the one that gives answers to prompt. It does this by having me generate multiple responses to a prompt, rating them using the reward model and encouraging responses I see as good and discouraging ones I see as bad (which is called reinforcement learning). Once both sides of the model go through several phases of training, I can be used to answer any prompts given to me.