Keling, OpenAI tomonidan 2018 yil iyun oyida chop etilgan "Generativ oldindan o'qitish orqali tilni tushunishni yaxshilash" maqolasi bilan boshlaymiz. U nazorat qilinadigan o'rganish o'rniga nazorat qilinmaydigan o'rganish (GPT) deb nomlangan yangi arxitekturani taqdim etdi. Oddiy qilib aytganda, bu GPT arxitekturasini shunchaki Internetdan olib qo'yilgan matn asosida o'qitish mumkinligini va odamlardan o'qitish uchun ma'lumotlar to'plamlarini qo'lda yaratishlarini talab qilmasligini anglatadi. Asosiy darajada GPT shu paytgacha kelgan matnni ko'rib chiqadi va keyin qaysi so'z kelishini bashorat qiladi. 2019 yil fevral oyida OpenAI GPT-2ni chiqardi, bu erkin mavjud ochiq manbali GPT bo'lib, u (o'sha paytda noxush) matnni ishlab
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence