Aktyor-tanqidiy siyosat-gradientni kuchaytirish o'rganish usullarini aniqroq muhokama qilish uchun, barcha siyosat-gradient usullarida tanqidchi ishlatilmasligini ta'kidlash muhimdir. Atrof-muhit to'liq kuzatilishi mumkin bo'lgan Markov qaror jarayoni deb taxmin qilishdan qochish uchun "davlat" emas, balki "kuzatuv" atamasi orqali agentning atrof-muhitga bo'lgan nuqtai nazarini ta'riflashda aniq tildan foydalanish tavsiya etiladi. Aktyor-tanqidiy siyosat-gradient RL kontekstida algoritm ikkita tarkibiy qismni o'rganadi: aktyor funktsiyasi va tanqidchi funktsiyasi. Noan'anaviy harakat va kuzatuv bo'shliqlari bilan bog'liq muammolar uchun aktyor va tanqidchi funksiyalarini ifodalash uchun
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence