多くの点で、有用性と真実性が密接に関連しています。Open Assistantの開発者は、アシスタントからの応答の有用性に関するユーザーの意見を測定することができ、ユーザーが真実の反応によってより助けられる可能性が高いため、不注意にある程度の真実性を獲得できます。

ただし、これには、ユーザーが実際に応答の真実性を確認している必要があります。例としては、「海の下に[x]座標に難破船がありますか」ということです。ユーザーの真実性の評価を有用性の評価と分離することは、この状況に理想的なようです。このような尺度が整っていると、ユーザーはステートメントの真実性を評価しないことを選択できます。これがオプションであることをユーザーに、「評価できない」チェックボックスを使用することをより明確にする方法。

アシスタントシステムをより倫理的にする一般的な尺度と話すことは困難です。真実性は一般に倫理性に関連していますが、場合によってはそうではありません。応答の倫理性について個別のユーザー評価をすることが理想的です。
In many ways, helpfulness and truthfulness go hand in hand. The developer of Open Assistant could measure users' opinions on the helpfulness of a response from the assistant and inadvertently gain some measure of truthfulness as the user will likely be more helped by truthful responses.

However, this requires that the user is actually verifying the truthfulness of responses, which could be hard or impossible for some questions users may ask. An example would be 'Is there a shipwreck at [x] coordinates under the ocean.' Separating the user's evaluation of truthfulness from their evaluation of helpfulness seems ideal for this situation. With such a measure in place, the user could choose not to evaluate the truthfulness of the statement. A way to make it more clear to the users that this is an option could be through a 'Cannot evaluate' checkbox.

It is hard to speak to a general measure that would make the assistant system more ethical. Truthfulness is generally associated with ethicality, but not in some cases. Having a separate user evaluation for the ethicality of a response would be ideal.