Neyron tarmog'idagi tugun - bu boshqa tugunlardan kirish qabul qiladigan, hisoblash amalga oshiradigan va keyin boshqa tugunlarga qiymat chiqaradigan birlik. Neyron tarmog'idagi tugunlar soni uning murakkabligini va murakkab naqshlarni o'rganish qobiliyatini o'lchashdir. GPT-3da har bir tugun raqamlar vektorini qabul qiladigan va raqamlar vektorini chiqaradigan kichik kompyuter dasturi bo'ladi. Vektorlar tegishincha tugunning kirish va chiqishini ifodalaydi. tugun tomonidan bajariladigan hisoblash kirish vektorining va og'irliklarning bir to'plamining chiziqli kombinatsiyasi bo'ladi. Og'irliklar o'qitish jarayonida o'rganadi. GPT-3da tugunlar soni 175 milliard. Bu shuni anglatadiki, GPT-3da 175 milliard kichik kompyuter dasturlari mavjud. Ushbu dasturlarning har biri kirish va chiqish matni o'rtasidagi
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence