你說的應該是 RLHF，全名為 Reinforcement Learning from Human Feedback （人類反饋的強化學習），使用強化學習的方式直接優化帶有人類反饋的語言模型。RLHF 使得在一般文字資料語料庫上訓練的語言模型能和複雜的人類價值觀對齊。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence