インターネットからのテキストで訓練された大規模な言語モデルとして、ChatGptは、オンラインでテキストを書いた人々の意見に従って偏見を学びます。オンラインで見たテキストの一部は、他の人に対する暴力や攻撃性を扇動する有害なコンテンツを潜在的に含む可能性があるため、ChatGptはこれらの見解を再現し、反対に直面してその妥当性を主張することができます。有用なアシスタントとして行動するために、ChatGptは事実と意見を区別できるはずです。これを完全に行うことができない可能性があるため、検閲はおそらくモデル出力からの有毒な含有量を防ぐためにOpenaiが取ることができる最も安全なアプローチです。
As a large language model trained on text from the internet, ChatGPT will have learned its biases according to the opinions of the people who have written the text online. Some of the text it has seen online could potentially contain harmful content that incites violence or aggression towards other people, so ChatGPT is perfectly capable of reproducing these views and insisting on their validity in face of opposition. In order to act as a useful assistant, ChatGPT should be able to distinguish fact from opinion. As it might not be able to do this perfectly, censorship is probably the safest approach OpenAI could take to prevent toxic content from the model output.