GPT-1
2017 में गूगल द्वारा ट्रांसफॉर्मर वास्तुकला के आविष्कार के बाद जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर 1 (जी. पी. टी.-1) ओपन. ए. आई. के बड़े भाषा मॉडल में से पहला था। जून 2018 में, ओपनएआई ने "जनरेटिव प्री-ट्रेनिंग द्वारा भाषा की समझ में सुधार" शीर्षक से एक पेपर जारी किया, जिसमें उन्होंने एक जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर की सामान्य अवधारणा के साथ उस प्रारंभिक मॉडल को पेश किया। उस समय तक, सबसे अच्छा प्रदर्शन करने वाले तंत्रिका एनएलपी मॉडल मुख्य रूप से बड़ी मात्रा में मैन्युअल रूप से लेबल किए गए डेटा से पर्यवेक्षित शिक्षा का उपयोग करते थे। पर्यवेक्षित सीखने पर इस निर्भरता ने उनके डेटासेट के उपयोग को सीमित कर दिया जो अच्छी तरह से एनोटेटेड नहीं थे, इसके अलावा इसे निषेधात्मक रूप से महंगा और अत्यधिक बड़े मॉडल को प्रशिक्षित करने में समय लेने वाला बना दिया; कई भाषाओं (जैसे स्वाहिली या हाईटियन क्रियोल) को कॉर्पस-बिल्डिंग के लिए उपलब्ध पाठ की कमी के कारण ऐसे मॉडल का उपयोग करके अनुवाद और व्याख्या करना मुश्किल है। इसके विपरीत, एक जी. पी. टी. के "अर्ध-पर्यवेक्षित" दृष्टिकोण में दो चरण शामिल थेः एक गैर-पर्यवेक्षित उत्पादक "पूर्व-प्रशिक्षण" चरण जिसमें एक भाषा मॉडलिंग उद्देश्य का उपयोग प्रारंभिक मापदंडों को निर्धारित करने के लिए किया गया था, और एक पर्यवेक्षित भेदभावपूर्ण "फाइन-ट्यूनिंग" चरण जिसमें इन मापदंडों को एक लक्ष्य कार्य के लिए अनुकूलित किया गया था। ट्रांसफॉर्मर वास्तुकला का उपयोग, ध्यान-वर्धित आर. एन. एन. से जुड़ी पिछली तकनीकों के विपरीत, जी. पी. टी. मॉडल को अधिक संरचित स्मृति प्रदान करता है जिसे आवर्ती तंत्र के माध्यम से प्राप्त किया जा सकता है; इसके परिणामस्वरूप "विविध कार्यों में मजबूत स्थानांतरण प्रदर्शन" होता है। बुककॉर्पस बुककॉर्पस को चुनने का कारण आंशिक रूप से एक प्रशिक्षण डेटासेट के रूप में चुना गया था क्योंकि निरंतर पाठ के लंबे अंशों ने मॉडल को लंबी दूरी की जानकारी को संभालना सीखने में मदद की थी। इसमें विभिन्न शैलियों की 7,000 से अधिक अप्रकाशित काल्पनिक पुस्तकें थीं। उस समय उपलब्ध बाकी डेटासेट में, बड़े होने के बावजूद, इस लंबी दूरी की संरचना का अभाव था (वाक्य स्तर पर "फेरबदल" किया जा रहा था)। बुककॉर्पस पाठ को एफ. टी. एफ. आई. पुस्तकालय द्वारा मानकीकृत विराम चिह्न और श्वेत स्थान के लिए साफ किया गया था और फिर एस. पी. ए. सी. वाई. द्वारा टोकन किया गया था। वास्तुकला जी. पी. टी.-1 वास्तुकला एक बारह-परत डिकोडर-केवल ट्रांसफॉर्मर था, जिसमें बारह नकाबपोश आत्म-ध्यान सिरों का उपयोग किया गया था, जिनमें से प्रत्येक में 64-आयामी अवस्थाएँ थीं (कुल 768 के लिए)। सरल यादृच्छिक प्रवणता वंश के बजाय, एडम अनुकूलन एल्गोरिथ्म का उपयोग किया गया था; सीखने की दर को पहले 2,000 अद्यतनों में शून्य से अधिकतम 2.5x10−4 तक रैखिक रूप से बढ़ाया गया था, और कोसाइन अनुसूची का उपयोग करके 0 तक बढ़ाया गया था। जबकि फाइन-ट्यूनिंग को विशिष्ट कार्यों के लिए अनुकूलित किया गया था, इसका पूर्व-प्रशिक्षण नहीं था; विभिन्न कार्यों को करने के लिए, इसके अंतर्निहित कार्य-अज्ञेयवादी मॉडल वास्तुकला में न्यूनतम परिवर्तन किए गए थे। इसके बावजूद, जी. पी. टी.-1 ने अभी भी कई भाषा प्रसंस्करण कार्यों में पिछले मानकों में सुधार किया है, कई विविध कार्यों पर कार्य-उन्मुख वास्तुकला के साथ भेदभावपूर्ण रूप से प्रशिक्षित मॉडल का प्रदर्शन किया है। प्रदर्शन और मूल्यांकन जी. पी. टी.-1 ने प्राकृतिक भाषा अनुमान (जिसे पाठ्य अंतर्वेशन के रूप में भी जाना जाता है) कार्यों पर पिछले सर्वश्रेष्ठ परिणामों की तुलना में 5.8% और 1.5% सुधार हासिल किया, विभिन्न डेटासेट से वाक्यों के जोड़े की व्याख्या करने और उनके बीच के संबंध को "अंतर्वेशन", "विरोधाभास" या "तटस्थ" के रूप में वर्गीकृत करने की क्षमता का मूल्यांकन किया। इस तरह के डेटासेट के उदाहरणों में क्यू. एन. एल. आई. (विकिपीडिया लेख) और मल्टी. एन. एल. आई. (प्रतिलेखित भाषण, लोकप्रिय कथा, और सरकारी रिपोर्ट, अन्य स्रोतों के बीच) शामिल हैं; इसने इसी तरह प्रश्न उत्तर और सामान्य तर्क से संबंधित दो कार्यों पर पिछले मॉडलों को पीछे छोड़ दिया-आर. ए. सी. ई. पर 5.7%, मध्य और उच्च विद्यालय की परीक्षाओं से लिखित प्रश्न-उत्तर जोड़े का एक डेटासेट, और स्टोरी क्लोज टेस्ट पर 8.9%। जी. पी. टी.-1 ने क्वोरा प्रश्न जोड़ी (क्यू. क्यू. पी.) डेटासेट का उपयोग करते हुए, यह अनुमान लगाने की क्षमता का मूल्यांकन करते हुए कि क्या दो वाक्य एक दूसरे के पैराफ़्रेज़ हैं, शब्दार्थ समानता (या पैराफ़्रेज़ डिटेक्शन) पर पिछले सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडलों पर 4.2% का सुधार किया। जी. पी. टी.-1 ने कॉर्पस ऑफ लिंग्विस्टिक एक्सेप्टेबिलिटी (सी. ओ. एल. ए.) का उपयोग करते हुए पाठ वर्गीकरण कार्य में 45.4 का स्कोर प्राप्त किया, जबकि पिछले सर्वश्रेष्ठ 35.0 का स्कोर प्राप्त किया। अंत में, जी. पी. टी.-1 ने एक बहु-कार्य परीक्षण, जी. एल. यू. ई. पर 72.8 (68.9 के पिछले रिकॉर्ड की तुलना में) का समग्र स्कोर हासिल किया। संदर्भ एम. आई. टी. लाइसेंस ओपन. ए. आई. का उपयोग करते हुए बड़े भाषा मॉडल जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर सॉफ्टवेयर