Chat GPTは、「人間のフィードバックを使用して指示に従うためのトレーニング言語モデル」に基づいてOpenAIによって開発されたシステムです。これをここで読むことができますhttps://arxiv.org/abs/2203.02155。この論文は、人間のフィードバックからの強化学習としても知られている人間のフィードバックを使用して、大規模な言語モデル（LLM）を人間の意図に合わせることに焦点を当てています。それ自体では、これらのモデルは次のテキストのトークンを予測しようとします。これは、RLFHが修正する有用または真実の答えと必ずしも一致するとは限りません。Chat GPTは、ユーザーがRHLFでトレーニングされたLLMと対話できるツールです。チャットGPTのトレーニングに使用されるモデルとデータは独自であり、ユーザーが利用できないことに注意することが重要です。

オープンアシスタントは、RLHFのデータ収集がクラウドソーシングされているチャットGPTのオープンソースの代替品として開発されています。目標は、ユーティリティがGPTと類似したツールを作成することですが、オープンデータセットと可用性で無料で使用でき、独自のハードウェアでモデルを実行してタスクでカスタマイズできます。
Chat GPT is a system developed by OpenAI based on the paper "Training language models to follow instructions with human feedback", which you can read here https://arxiv.org/abs/2203.02155. The paper focuses on aligning large language models (LLMs) to human intent using human feedback, also known as reinforcement learning from human feedback. By themselves, these models will try to predict the next token of text, which may not necessarily align with a useful or truthful answer, which RLFH rectifies. Chat GPT is the tool that allows users to interact with the LLM trained with RHLF. It is important to note that the model and data used to train Chat GPT is proprietary and unavailable to users. 

Open Assistant is being developed as an open-source alternative to Chat GPT, where the data collection for RLHF is crowdsourced. The goal is to create a tool that is similar in utility to Chat GPT, but can be used for free with open datasets and the availability to run the model on your own hardware and customize it on your task.