GPT-1
2017 ஆம் ஆண்டில் கூகிள் மின்மாற்றி கட்டமைப்பைக் கண்டுபிடித்ததைத் தொடர்ந்து ஓபன்ஏஐயின் பெரிய மொழி மாதிரிகளில் ஜெனரேட்டிவ் முன் பயிற்சி பெற்ற மின்மாற்றி 1 (ஜிபிடி-1) முதல் முறையாகும். ஜூன் 2018 இல், ஓபன்ஏஐ "ஜெனரேட்டிவ் முன் பயிற்சி மூலம் மொழி புரிதலை மேம்படுத்துதல்" என்ற தலைப்பில் ஒரு கட்டுரையை வெளியிட்டது, அதில் அவர்கள் அந்த ஆரம்ப மாதிரியை ஒரு ஜெனரேட்டிவ் முன் பயிற்சி பெற்ற மின்மாற்றியின் பொதுவான கருத்துடன் அறிமுகப்படுத்தினர். அதுவரை, சிறந்த செயல்திறன் கொண்ட நரம்பியல் என்எல்பி மாதிரிகள் முதன்மையாக பெரிய அளவிலான கைமுறையாக பெயரிடப்பட்ட தரவுகளிலிருந்து மேற்பார்வையிடப்பட்ட கற்றலைப் பயன்படுத்தின. மேற்பார்வையிடப்பட்ட கற்றலின் மீதான இந்த நம்பகத்தன்மை நன்கு குறிப்பிடப்படாத தரவுத்தொகுப்புகளின் பயன்பாட்டை மட்டுப்படுத்தியது, மேலும் இது மிகவும் பெரிய மாதிரிகளைப் பயிற்றுவிப்பதற்கு விலையுயர்ந்ததாகவும் நேரத்தை எடுத்துக்கொள்வதாகவும் இருந்தது; கார்பஸ்-கட்டிடத்திற்கு கிடைக்கக்கூடிய உரை இல்லாததால் பல மொழிகள் (ஸ்வாஹிலி அல்லது ஹைட்டியன் கிரியோல் போன்றவை) அத்தகைய மாதிரிகளைப் பயன்படுத்தி மொழிபெயர்க்கவும் விளக்கவும் கடினமாக உள்ளன. இதற்கு மாறாக, ஒரு ஜி. பி. டி. யின் "அரை மேற்பார்வை" அணுகுமுறை இரண்டு நிலைகளை உள்ளடக்கியதுஃ ஒரு மேற்பார்வை செய்யப்படாத உற்பத்தி "முன் பயிற்சி" நிலை, இதில் ஆரம்ப அளவுருக்களை அமைக்க ஒரு மொழி மாடலிங் நோக்கம் பயன்படுத்தப்பட்டது, மற்றும் மேற்பார்வை செய்யப்பட்ட பாகுபாடு "ஃபைன்-ட்யூனிங்" நிலை, இதில் இந்த அளவுருக்கள் ஒரு இலக்கு பணிக்கு மாற்றியமைக்கப்பட்டன. கவனத்தை அதிகரிக்கும் ஆர்என்என்களை உள்ளடக்கிய முந்தைய நுட்பங்களுக்கு மாறாக, மின்மாற்றி கட்டமைப்பின் பயன்பாடு, ஜிபிடி மாதிரிகளுக்கு தொடர்ச்சியான வழிமுறைகள் மூலம் அடையக்கூடியதை விட மிகவும் கட்டமைக்கப்பட்ட நினைவகத்தை வழங்கியது; இதன் விளைவாக "பல்வேறு பணிகளில் வலுவான பரிமாற்ற செயல்திறன்" ஏற்பட்டது. புக்கார்பஸ் புக்கார்பஸைத் தேர்ந்தெடுப்பதற்கான காரணம் ஒரு பயிற்சி தரவுத்தொகுப்பாக ஓரளவு தேர்ந்தெடுக்கப்பட்டது, ஏனெனில் தொடர்ச்சியான உரையின் நீண்ட பத்திகள் நீண்ட தூர தகவல்களைக் கையாள மாதிரியைக் கற்றுக்கொள்ள உதவியது. இதில் பல்வேறு வகைகளைச் சேர்ந்த 7,000 க்கும் மேற்பட்ட வெளியிடப்படாத புனைகதை புத்தகங்கள் இருந்தன. அந்த நேரத்தில் கிடைத்த மீதமுள்ள தரவுத்தொகுப்புகள், பெரியதாக இருந்தபோதிலும், இந்த நீண்ட தூர கட்டமைப்பைக் கொண்டிருக்கவில்லை (ஒரு வாக்கிய மட்டத்தில் "மாற்றப்பட்டது"). புக்கார்பஸ் உரை எஃப். டி. எஃப். ஐ நூலகத்தால் தரப்படுத்தப்பட்ட நிறுத்தற்குறி மற்றும் வெள்ளை இடத்திற்கு சுத்தம் செய்யப்பட்டது, பின்னர் ஸ்பாசி மூலம் டோக்கனைஸ் செய்யப்பட்டது. ஜி. பி. டி-1 கட்டமைப்பு பன்னிரண்டு அடுக்கு டிகோடர்-மட்டும் மின்மாற்றியாகும், இது பன்னிரண்டு முகமூடி சுய கவனம் தலைகளைப் பயன்படுத்துகிறது, ஒவ்வொன்றும் 64 பரிமாண நிலைகளுடன் (மொத்தம் 768). எளிய சீரற்ற சாய்வு வம்சாவளியைக் காட்டிலும், ஆடம் உகப்பாக்கம் வழிமுறை பயன்படுத்தப்பட்டது; கற்றல் விகிதம் முதல் 2,000 புதுப்பிப்புகளில் பூஜ்ஜியத்திலிருந்து அதிகபட்சமாக 2.5x10−4 ஆக நேரியல் ரீதியாக அதிகரிக்கப்பட்டது, மேலும் ஒரு கொசைன் அட்டவணையைப் பயன்படுத்தி 0 ஆக உயர்த்தப்பட்டது. ஃபைன்-ட்யூனிங் குறிப்பிட்ட பணிகளுக்கு ஏற்றவாறு மாற்றியமைக்கப்பட்டாலும், அதன் முன் பயிற்சி இல்லை; பல்வேறு பணிகளைச் செய்ய, அதன் அடிப்படை பணி-அக்னோஸ்டிக் மாதிரி கட்டமைப்பில் குறைந்தபட்ச மாற்றங்கள் செய்யப்பட்டன. இது இருந்தபோதிலும், பல மொழி செயலாக்க பணிகளில் முந்தைய அளவுகோல்களில் ஜிபிடி-1 இன்னும் மேம்பட்டது, பல மாறுபட்ட பணிகளில் பணி சார்ந்த கட்டமைப்புகளுடன் பாகுபாடு காட்டும் பயிற்சி பெற்ற மாதிரிகளை விட சிறப்பாக செயல்பட்டது. செயல்திறன் மற்றும் மதிப்பீடு ஜி. பி. டி-1 இயற்கையான மொழி அனுமானம் (உரை உட்பிரிவு என்றும் அழைக்கப்படுகிறது) பணிகளில் முந்தைய சிறந்த முடிவுகளை விட 5.8 சதவீதம் மற்றும் 1.5 சதவீதம் முன்னேற்றத்தை அடைந்தது, பல்வேறு தரவுத்தொகுப்புகளிலிருந்து ஜோடி வாக்கியங்களை விளக்கும் திறனை மதிப்பீடு செய்து அவற்றுக்கிடையேயான உறவை "உட்பிரிவு", "முரண்பாடு" அல்லது "நடுநிலை" என்று வகைப்படுத்துகிறது. அத்தகைய தரவுத்தொகுப்புகளின் எடுத்துக்காட்டுகளில் கியூஎன்எல்ஐ (விக்கிப்பீடியா கட்டுரைகள்) மற்றும் மல்டிஎன்எல்ஐ (டிரான்ஸ்கிரிப்ட் செய்யப்பட்ட பேச்சு, பிரபலமான புனைகதை மற்றும் அரசாங்க அறிக்கைகள், பிற ஆதாரங்களுடன்) அடங்கும்; இது இதேபோல் கேள்வி பதில் மற்றும் பொது அறிவு பகுத்தறிவு தொடர்பான இரண்டு பணிகளில் முந்தைய மாதிரிகளை விட சிறப்பாக செயல்பட்டது-நடுத்தர மற்றும் உயர்நிலைப் பள்ளி தேர்வுகளிலிருந்து எழுதப்பட்ட கேள்வி-பதில் ஜோடிகளின் தரவுத்தொகுப்பான ரேஸ் இல் 5.7 சதவீதம், மற்றும் ஸ்டோரி க்ளோஸ் டெஸ்டில் 8.9 சதவீதம். ஜிபிடி-1 முந்தைய சிறந்த செயல்திறன் கொண்ட மாதிரிகளை விட 4.2 சதவீதம் செமண்டிக் ஒற்றுமை (அல்லது பாராஃப்ரேஸ் கண்டறிதல்) மூலம் மேம்பட்டது, கோரா கேள்வி ஜோடிகள் (க்யூக்யூபி) தரவுத்தொகுப்பைப் பயன்படுத்தி இரண்டு வாக்கியங்கள் ஒன்றுக்கொன்று பாராஃப்ரேஸ்களா என்பதைக் கணிக்கும் திறனை மதிப்பீடு செய்கிறது. ஜிபிடி-1 மொழியியல் ஏற்றுக்கொள்ளும் தன்மையின் கார்பஸைப் (கோலா) பயன்படுத்தி உரை வகைப்பாட்டு பணியில் முந்தைய சிறந்த 35க்கு எதிராக 45.4 மதிப்பெண்களைப் பெற்றது. இறுதியாக, ஜி. பி. டி-1 பல பணிகளுக்கான சோதனையாகிய ஜி. எல். யு. இ. யில் ஒட்டுமொத்தமாக 72.8 மதிப்பெண்களை (முந்தைய சாதனையாக இருந்த 68.9 மதிப்பெண்களுடன் ஒப்பிடுகையில்) பெற்றது. குறிப்புகள் பெரிய மொழி மாதிரிகள் எம்ஐடி உரிமத்தைப் பயன்படுத்தி முன் பயிற்சி பெற்ற மின்மாற்றிகள் மென்பொருளை உருவாக்குகின்றன ஓபன்ஏஐ