Open Assistantは、ChatGptの基礎であるInstandGpt Paperに従います。

その意味で、それは次の手順を通じて構築されました。

第一に、5万人を超えることを目的として、高品質の人間生成命令充填サンプル（プロンプト +応答）が収集されました。プロンプトは設計され、クラウドソーシングされ、データに洪水、有毒、スパム、ジャンク、または個人情報が含まれていないようにしました。コミュニティをやる気にさせるために、リーダーボードが作成され、トップの貢献者に盗品が報われました。

第二に、プロンプトごとに複数の完了がサンプリングされ、その後、ユーザーにランダムに表示されて、それらを最高から最悪へとランク付けしました。これは、全体的な合意を測定するために複数の独立票を要求することにより、信頼できないまたは潜在的に悪意のあるユーザーを考慮して、クラウドソーシングされました。収集されたランキングデータを使用して、報酬モデルをトレーニングしました。

そして最後に、プロンプトと報酬モデルに基づいて、RLHFトレーニングフェーズを受けました。
Open Assistant follows the InstructGPT paper, which was the foundation of ChatGPT.

In that sense, it was built through the following steps:

First, high-quality human-generated Instruction-Fulfillment samples (prompt + response) were collected, with a goal of having over 50k of them. The prompts were designed and crowdsourced, ensuring that the data did not contain any flooding, toxic, spam, junk, or personal information. To motivate the community, a leaderboard was created, and top contributors were rewarded with swag.

Second, for each prompt, multiple completions were sampled and then randomly shown to users to rank them from best to worst. This was also crowdsourced, taking into account unreliable or potentially malicious users by requiring multiple independent votes to measure overall agreement. The gathered ranking data was used to train a reward model.

And lastly, based on the prompts and the reward model, I underwent the RLHF training phase.