ChatGPT
ChatGPT inategemea mfano wa msingi wa GPT, kwa maana GPT-3.5 na GPT-4, ambazo zilifanyiwa marekebisho kwa matumizi ya mazungumzo. Mchakato wa kurekebisha ulitumia supervised learning pamoja na reinforcement learning katika mchakato unaoitwa reinforcement learning from human feedback (RLHF). Mbinu zote zilitumia wakufunzi wa kibinadamu kuboresha utendaji wa mfano. Kwa kuchukua mfano wa ujifunzaji wa kuongozwa, wakufunzi waliboresha pande zote mbili: mtumiaji na msaidizi wa AI. Katika hatua ya ujifunzaji wa kuimarisha, wakufunzi wa kibinadamu walipanga kwanza majibu ambayo mfano ulikuwa umeunda katika mazungumzo ya awali. Vipimo hivi vilikuwa vinatumika kuunda "mifano ya tuzo" ambayo ilitumika kurekebisha mfano zaidi kwa kutumia mzunguko wa Proximal Policy Optimization (PPO).