システムが役立つようにするために、オープンアシスタントの開発者は、微調整に使用されるデータセットが高品質であることを確認する必要があります。クラウドソースのデータ収集に提供されるウェブサイトには、ユーザーが異なる基準に従ってメッセージを評価できるタグとスコアがいくつかあります。モデルをトレーニングするときは、これらの要因を考慮に入れて、悪い例を最小限に抑える必要があります。具体的な例の1つは、スパムとしてタグ付けされたメッセージを除外することです。

システムが倫理的であることを確認することは、難しい目標です。それを特に難しくしているのは、これが不適切な質問であるということです。さまざまなグループのグループは、倫理的と考えられているものについて異なる見解を持っています。実際、誰もが従うべきかどうかにかかわらず、単一の倫理規範があるかどうかを判断するのは、長年の哲学的トピックです。したがって、開発者が、システムを「より倫理的」にすることに意味があるように、特定の倫理規範を順守する必要がある場合。

2番目の難しさは、現在の言語モデルをだまして、作成者が意図していなかったテキストを生成できるという事実にあります。したがって、オープンアシスタントの出力を倫理的に一貫性のあるものにするために使用されるメカニズムが何であれ、開発者はそれらが回避される可能性があることに注意する必要があります。

困難の3番目のポイントは、倫理的パラドックスから生じます。通常、倫理規範は一貫性がなく、それらに従うときに矛盾がある可能性があります。開発者のshuoldは、人間でさえ矛盾しており、特定の倫理規範の中でいくつかの状況が有望であることに注意してください。

そうは言っても、システムアクションから倫理を改善するためのいくつかのアイデアは次のとおりです。
 - トレーニングの例が、開発者が倫理的と見なされるために展開するものに準拠していることを確認してください
 - 特定のオープンアシスタント応答がいかに倫理的であるかを判断する別のモデルを作成し、それに応じて行動します

最後に、オープンアシスタントシステムがどれほど真実であるかを改善するために、開発者はモデルのトレーニングに使用される例が真実であることを確認する必要があります。言語モデルが推論時に幻覚を抑えるのが一般的であり、モデルには真実の複雑な概念がないため、これは通常十分ではありません。

真実の反応を改善するためのいくつかのアイデアは次のとおりです。
 - トレーニングの例が真実であることを確認してください
 - 真実の応答を取得するために、モデルが「オラクル」にアクセスできるようにします（たとえば、モデルが現在の日付をクエリするようにします）

はい、これらの3つのプロパティは互いに矛盾する可能性があります。簡単な例は、プロンプターがシステムに非倫理的なことをするように要求する場合です。このシナリオでは、システムの応答が倫理的である場合、プロンプターにとって有用ではないでしょう。
In order to ensure the system is helpful, a developer of Open Assistant should make sure the dataset used for fine-tuning has a high quality. The website provided for crowd sourced data collection has several tags and scores that allows users to rate messages according to different criteria. When training the models, these factors should be taken into consideration to minimize bad examples. One concrete example is to filter out messages tagged as spam.

Making sure systems are ethical is a tricky objective. What makes it especially difficult is that this is an ill-posed question. Different groups of people have different views on what is considered to be ethical. It is in fact a long standing philosophical topic to decide if there is a single code of ethics that everyone should follow or not. Therefore if the developer must assume a certain code of ethics to adhere to so that making a system "more ethical" has meaning.

A second point of difficulty lies on the fact that current Language Models can be tricked into generating text that their creators didn't intend. So whatever mechanism is used to try to steer Open Assistant's outputs to be ethically coherent, the developer should be aware they might  be circumvented.

A third point of difficulty arises from ethical paradoxes. Codes of ethics are usually not consistent and there can be contradictions when following them. The developer shuold be aware that even humans are contradictory and some situations are undecidable within a given code of ethics.

Having said that, some ideas to improve ethics from the system actions, could be:
- Ensure the training examples conform to what the developer would exepect to be considered ethical
- Create a separate model that judges how ethical a given Open Assistant response is, and act accordingly

Finally to improve on how truthful the Open Assitant system is, the developer should also make sure that examples used to train the model are truthful. This is usually not enough, as it is common for language models to hallucinate at inference time, and the model has no intrisic concept of truth.

Some ideas to improve on truthful responses are:
- Ensure training examples are truthful
- Allow the model to have access to an "oracle" in order to get truthful responses (e.g. allow the model to query for the current date)

Yes these three properties can contradict each other. A simple example is if the prompter requests the system to do something unethical. In this scenario, if the system response is ethical it would likely not be useful to the prompter.