PPO algoritmi ikki neyron tarmoqdan foydalanib, TRPO algoritmini takomillashtiradi, u TRPO-dagi murakkab hisoblarni soddalashtiradi va ko'p hollarda TRPO-dan yaxshiroq ishlashga yordam beradi. PPO algoritmi ikkita variantiga ega: biri KL jazosi bilan birlashtirilgan va boshqasi klip usuli bilan ishlatiladi. PPO-clip algoritmini amalga oshirish uchun, avval soxta kodni tushunish kerak. Soxta kod quyidagicha: `` for i in range (num_updates): # to'plash ma'lumotlari = collect_data_num_updates: # to'plash ma'lumotlari = collect_data_num_updates: # to'plash ma'lumotlari = collect_data_updates: # to'plash ma'lumotlari = collect_data_updates: # to'plash ma'lumotlari
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence