Ученые MIT сделали ИИ менее «токсичным»
С помощью машинного обучения© Ferra.ru
Этот метод превзошел людских тестеров и другие методы машинного обучения, генерируя более разнообразные запросы, вызывающие все более токсичные ответы. Такой подход значительно улучшает охват входных данных по сравнению с другими автоматизированными методами и позволяет выявить токсичные ответы даже от чат-бот моделей, обладающих встроенными защитными мерами.
Исследователи обучили модель, используя технику, называемую «любопытное исследование», чтобы она была любопытной при написании запросов и сосредотачивалась на новых запросах, вызывающих токсичные ответы. Это достигается путем модификации сигнала вознаграждения в настройках обучения с подкреплением.