 பெரிய மொழி மாதிரிகள் பற்றிய இந்தப் பத்திகள் கொடுக்கப்பட்டால், வெளிப்படும் திறன்களின் சில எடுத்துக்காட்டுகள் யாவை?
ஒரு பெரிய மொழி மாதிரி (எல்எல்எம்) என்பது பல அளவுருக்கள் (பொதுவாக பில்லியன் கணக்கான எடைகள் அல்லது அதற்கு மேற்பட்டவை) கொண்ட நரம்பியல் வலையமைப்பைக் கொண்ட ஒரு மொழி மாதிரியாகும், இது சுய-கண்காணிப்பு கற்றலைப் பயன்படுத்தி அதிக அளவு லேபிளிடப்படாத உரையில் பயிற்சியளிக்கப்படுகிறது. எல்எல்எம்கள் 2018 இல் தோன்றி பல்வேறு வகையான பணிகளில் சிறப்பாகச் செயல்படுகின்றன. இது குறிப்பிட்ட பணிகளுக்கான சிறப்பு மேற்பார்வை மாதிரிகளைப் பயிற்றுவிப்பதற்கான முந்தைய முன்னுதாரணத்திலிருந்து இயற்கை மொழி செயலாக்க ஆராய்ச்சியின் கவனத்தை மாற்றியுள்ளது. பண்புகள் பெரிய மொழி மாதிரி என்ற சொல்லுக்கு முறையான வரையறை இல்லை என்றாலும், இது பெரும்பாலும் பில்லியன்கள் அல்லது அதற்கு மேற்பட்ட வரிசையின் அளவுரு எண்ணிக்கையைக் கொண்ட ஆழமான கற்றல் மாதிரிகளைக் குறிக்கிறது. எல்எல்எம்கள் ஒரு குறிப்பிட்ட பணிக்கு (உணர்வு பகுப்பாய்வு, பெயரிடப்பட்ட நிறுவன அங்கீகாரம் அல்லது கணிதப் பகுத்தறிவு போன்றவை) பயிற்சி பெறுவதற்கு மாறாக, பரந்த அளவிலான பணிகளில் சிறந்து விளங்கும் பொதுவான நோக்க மாதிரிகள் ஆகும். அவர்கள் பணிகளைச் செய்யும் திறன் மற்றும் அவர்கள் திறன் கொண்ட பணிகளின் வரம்பு, அவர்களுக்காக அர்ப்பணிக்கப்பட்ட வளங்களின் (தரவு, அளவுரு அளவு, கம்ப்யூட்டிங் சக்தி) சார்ந்து இல்லாத வகையில் செயல்படுவதாகத் தெரிகிறது. வடிவமைப்பில் கூடுதல் முன்னேற்றங்கள். ஒரு வாக்கியத்தில் அடுத்த வார்த்தையைக் கணிக்கும் வகையில் எளிமையான பணிகளில் பயிற்சி பெற்றிருந்தாலும், போதுமான பயிற்சி மற்றும் அளவுரு எண்ணிக்கையுடன் கூடிய நரம்பியல் மொழி மாதிரிகள் மனித மொழியின் தொடரியல் மற்றும் சொற்பொருளின் பெரும்பகுதியைப் பிடிக்கின்றன. கூடுதலாக, பெரிய மொழி மாதிரிகள் உலகத்தைப் பற்றிய கணிசமான பொது அறிவை நிரூபிக்கின்றன, மேலும் பயிற்சியின் போது ஒரு பெரிய அளவிலான உண்மைகளை "மனப்பாடம்" செய்ய முடியும். மாயத்தோற்றங்கள் முதன்மைக் கட்டுரை: மாயத்தோற்றம் (செயற்கை நுண்ணறிவு) பொதுவாக செயற்கை நுண்ணறிவில், குறிப்பாக பெரிய மொழி மாதிரிகளில், "மாயத்தோற்றம்" என்பது நம்பிக்கையான பதில், இது மாதிரியின் பயிற்சி தரவுகளால் நியாயப்படுத்தப்படவில்லை. எமர்ஜென்ட் திறன்கள் கேள்வி பதில் போன்ற பணிகளை உள்ளடக்கிய பல இயல்பான மொழி அளவுகோல்களில், மாதிரிகள் ஒரு குறிப்பிட்ட அளவை அடையும் வரை சீரற்ற வாய்ப்பை விட சிறப்பாக செயல்படாது (இந்த நிலையில், பயிற்சி கணக்கீடு மூலம் அளவிடப்படுகிறது), அந்த நேரத்தில் அவற்றின் செயல்திறன் கூர்மையாக அதிகரிக்கிறது. இவை வெளிவரும் திறன்களின் எடுத்துக்காட்டுகள். பெரிய மொழி மாதிரிகளில் காணப்பட்ட கணிக்க முடியாத திறன்கள், ஆனால் எளிமையான மாதிரிகளில் இல்லாதவை (அவை வெளிப்படையாக மாதிரியில் வடிவமைக்கப்படவில்லை) பொதுவாக "எமர்ஜென்ட் திறன்கள்" என்று அழைக்கப்படுகின்றன. இத்தகைய திறன்களை "சிறிய மாடல்களின் செயல்திறனை விரிவுபடுத்துவதன் மூலம் வெறுமனே கணிக்க முடியாது" என்று ஆராய்ச்சியாளர்கள் குறிப்பிடுகின்றனர். இந்த திறன்கள் திட்டமிடப்பட்ட அல்லது வடிவமைக்கப்படுவதற்குப் பதிலாக கண்டுபிடிக்கப்படுகின்றன, சில சந்தர்ப்பங்களில் LLM பொதுவில் பயன்படுத்தப்பட்ட பின்னரே. நூற்றுக்கணக்கான வெளிப்படும் திறன்கள் விவரிக்கப்பட்டுள்ளன. எடுத்துக்காட்டுகளில் பல-படி எண்கணிதம், கல்லூரி அளவிலான தேர்வுகளை எடுப்பது, ஒரு வார்த்தையின் நோக்கம் கொண்ட பொருளைக் கண்டறிதல், சிந்தனைத் தூண்டுதல், சர்வதேச ஒலிப்பு எழுத்துக்களை டிகோடிங் செய்தல், ஒரு வார்த்தையின் எழுத்துக்களை நீக்குதல், ஹிங்கிலிஷ் பத்திகளில் உள்ள புண்படுத்தும் உள்ளடக்கத்தை அடையாளம் காணுதல் ஆகியவை அடங்கும். (இந்தி மற்றும் ஆங்கிலத்தின் கலவை), மற்றும் கிஸ்வாஹிலி பழமொழிகளுக்கு இணையான ஆங்கிலத்தை உருவாக்குகிறது. கட்டிடக்கலை மற்றும் பயிற்சி பெரிய மொழி மாதிரிகள் பொதுவாக மின்மாற்றி கட்டமைப்பைப் பயன்படுத்துகின்றன, இது 2018 முதல், தொடர்ச்சியான தரவுகளுக்கான நிலையான ஆழமான கற்றல் நுட்பமாக மாறியுள்ளது (முன்பு, LSTM போன்ற தொடர்ச்சியான கட்டமைப்புகள் மிகவும் பொதுவானவை). எல்.எல்.எம்.கள் குறிப்புகள் இல்லாத உரையில் மேற்பார்வை செய்யப்படாத முறையில் பயிற்சியளிக்கப்படுகின்றன. ஒரு இடமிருந்து வலமாக மின்மாற்றியானது, முந்தைய சூழலில் கொடுக்கப்பட்ட பயிற்சித் தரவில் அடுத்த வார்த்தைக்கு ஒதுக்கப்பட்ட நிகழ்தகவை அதிகரிக்க பயிற்சியளிக்கப்படுகிறது. மாற்றாக, ஒரு எல்எல்எம் ஒரு இருதரப்பு மின்மாற்றியைப் பயன்படுத்தலாம் (BERT இன் உதாரணத்தைப் போல), இது முந்தைய மற்றும் பின்வரும் சூழல்களுக்கு அணுகல் கொடுக்கப்பட்ட சொற்களின் மீது நிகழ்தகவு விநியோகத்தை வழங்குகிறது. அடுத்த வார்த்தையைக் கணிக்கும் அல்லது "கோடிட்ட இடங்களை நிரப்புதல்" பணிக்கு கூடுதலாக, LLMகள் துணைப் பணிகளில் பயிற்சியளிக்கப்படலாம், இது அடுத்த வாக்கிய கணிப்பு (NSP) போன்ற தரவு விநியோகத்தைப் பற்றிய அவர்களின் புரிதலைச் சோதிக்கும், இதில் ஜோடி வாக்கியங்கள் வழங்கப்படுகின்றன மற்றும் பயிற்சி கார்பஸில் அவை அருகருகே தோன்றுமா என்பதை மாதிரி கணிக்க வேண்டும். ஆரம்பகால எல்.எல்.எம்.க்கள் பில்லியன் கணக்கான சொற்களின் வரிசையில் கார்போராவில் பயிற்சி பெற்றனர். OpenAI இன் GPT தொடரின் முதல் மாடல் 985 மில்லியன் வார்த்தைகளைக் கொண்ட BookCorpus இல் 2018 இல் பயிற்சியளிக்கப்பட்டது. அதே ஆண்டில், BERT ஆனது BookCorpus மற்றும் ஆங்கில விக்கிபீடியாவின் கலவையில் பயிற்சி பெற்றது, மொத்தம் 3.3 பில்லியன் வார்த்தைகள். அதற்குப் பின் வந்த ஆண்டுகளில், எல்எல்எம்களுக்கான பயிற்சிக் குழுவானது நூற்றுக்கணக்கான பில்லியன்கள் அல்லது டிரில்லியன் கணக்கான டோக்கன்களை எட்டியது. எல்.எல்.எம்.கள் பயிற்சி செய்வதற்கு கணக்கீட்டு ரீதியாக விலை அதிகம். 2020 ஆம் ஆண்டு ஆய்வு 1.5 பில்லியன் அளவுரு மாதிரியை (அந்த நேரத்தில் இருந்த கலை நிலையை விட சிறிய அளவிலான 1-2 ஆர்டர்கள்) 1.6 மில்லியன் டாலர்களை பயிற்றுவிப்பதற்கான செலவை மதிப்பிட்டுள்ளது. 2020 ஆம் ஆண்டின் பகுப்பாய்வில், நரம்பியல் மொழி மாதிரிகளின் திறன் (பயிற்சி இழப்பால் அளவிடப்படுகிறது) அளவுருக்களின் எண்ணிக்கை, பயிற்சி தரவுகளின் அளவு மற்றும் பயிற்சிக்காகப் பயன்படுத்தப்படும் கணக்கீடு ஆகியவற்றுடன் சக்தி சட்ட உறவில் சீராக அதிகரித்தது. இந்த உறவுகள் பரந்த அளவிலான மதிப்புகளில் (ஏழு ஆர்டர்கள் வரை) சோதிக்கப்பட்டன மற்றும் வரம்பின் மிக உயர்ந்த முடிவில் (டிரில்லியன் கணக்கான அளவுருக்கள் வரையிலான பிணைய அளவுகள் உட்பட) உறவின் எந்தக் குறைவும் காணப்படவில்லை. 2018 மற்றும் 2020 க்கு இடையில் கீழ்நிலை பணிகளுக்கான விண்ணப்பம், ஒரு குறிப்பிட்ட இயற்கை மொழி செயலாக்க (NLP) பணிக்கான LLM ஐப் பயன்படுத்துவதற்கான நிலையான முறை, கூடுதல் பணி சார்ந்த பயிற்சியுடன் மாதிரியை நன்றாக மாற்றுவதாகும். GPT-3 போன்ற அதிக சக்தி வாய்ந்த LLMகள் கூடுதல் பயிற்சியின்றி "தூண்டுதல்" நுட்பங்கள் மூலம் பணிகளைத் தீர்க்க முடியும் என்பது பின்னர் கண்டறியப்பட்டது, இதில் தீர்க்கப்பட வேண்டிய பிரச்சனை மாதிரிக்கு உரைத் தூண்டுதலாக வழங்கப்படுகிறது, இது போன்ற சில உரை எடுத்துக்காட்டுகளுடன் பிரச்சினைகள் மற்றும் அவற்றின் தீர்வுகள். ஃபைன்-ட்யூனிங் முதன்மைக் கட்டுரை: ஃபைன்-ட்யூனிங் (மெஷின் லேர்னிங்) ஃபைன்-ட்யூனிங் என்பது ஒரு குறிப்பிட்ட பணியில் (கண்காணிக்கப்பட்ட முறையில்) பயிற்சியளித்து (எ.கா. உணர்வு பகுப்பாய்வு, பெயரிடப்பட்ட நிறுவன அங்கீகாரம் அல்லது பகுதி) ஏற்கனவே உள்ள முன் பயிற்சி பெற்ற மொழி மாதிரியை மாற்றியமைக்கும் நடைமுறையாகும். -ஆஃப்-பேச்சு குறிச்சொல்). இது பரிமாற்றக் கற்றலின் ஒரு வடிவம். இது பொதுவாக மொழி மாதிரியின் இறுதி அடுக்கை கீழ்நிலை பணியின் வெளியீட்டுடன் இணைக்கும் ஒரு புதிய எடைகளின் அறிமுகத்தை உள்ளடக்கியது. மொழி மாதிரியின் அசல் எடைகள் "உறைந்ததாக" இருக்கலாம், அதாவது அவற்றை வெளியீட்டில் இணைக்கும் எடைகளின் புதிய அடுக்கு மட்டுமே பயிற்சியின் போது கற்றுக் கொள்ளப்படுகிறது. மாற்றாக, அசல் எடைகள் சிறிய புதுப்பிப்புகளைப் பெறலாம் (முந்தைய அடுக்குகள் உறைந்திருக்கலாம்). தூண்டுதல் மேலும் காண்க: ப்ராம்ப்ட் இன்ஜினியரிங் மற்றும் ஃபியூ-ஷாட் லேர்னிங் (இயற்கை மொழி செயலாக்கம்) GPT-3 ஆல் பிரபலப்படுத்தப்பட்ட முன்மாதிரியில், தீர்க்கப்பட வேண்டிய பிரச்சனை ஒரு உரை வரியில் உருவாக்கப்படுகிறது, இது மாதிரியை நிறைவு செய்வதன் மூலம் (வழியாக) தீர்க்க வேண்டும். அனுமானம்). "சில-ஷாட் தூண்டுதலில்", ஒரே மாதிரியான (சிக்கல், தீர்வு) ஜோடிகளின் சிறிய எண்ணிக்கையிலான எடுத்துக்காட்டுகளை ப்ராம்ட் கொண்டுள்ளது. எடுத்துக்காட்டாக, ஒரு திரைப்பட மதிப்பாய்வின் உணர்வை லேபிளிடுவதற்கான ஒரு உணர்வு பகுப்பாய்வு பணி பின்வருமாறு தூண்டப்படலாம்: விமர்சனம்: இந்த திரைப்படம் துர்நாற்றம் வீசுகிறது. உணர்வு: எதிர்மறை விமர்சனம்: இந்தப் படம் அருமை! உணர்வு: மாதிரியானது "நேர்மறையாக" வெளியேறினால், அது பணியைச் சரியாகத் தீர்த்துள்ளது. ஜீரோ-ஷாட் தூண்டுதலில், தீர்வுக்கான எடுத்துக்காட்டுகள் எதுவும் வழங்கப்படவில்லை. அதே உணர்வு பகுப்பாய்வு பணிக்கான பூஜ்ஜிய-ஷாட் ப்ராம்ட்க்கான உதாரணம் "திரைப்பட விமர்சனத்துடன் தொடர்புடைய உணர்வு 'இந்தத் திரைப்படம் அற்புதம்!' இருக்கிறது". எல்எல்எம்களின் சில-ஷாட் செயல்திறன் NLP பணிகளில் போட்டி முடிவுகளை அடைவதாகக் காட்டப்பட்டுள்ளது, சில சமயங்களில் முந்தைய அதிநவீன நுணுக்கமான அணுகுமுறைகளை மிஞ்சும். அத்தகைய NLP பணிகளுக்கான எடுத்துக்காட்டுகள் மொழிபெயர்ப்பு, கேள்விகளுக்குப் பதில் அளித்தல், மூடும் பணிகள், சொற்களை அவிழ்த்துவிடுதல் மற்றும் ஒரு வாக்கியத்தில் ஒரு புதிய வார்த்தையைப் பயன்படுத்துதல். அத்தகைய தூண்டுதல்களை உருவாக்குதல் மற்றும் மேம்படுத்துதல் ப்ராம்ட் இன்ஜினியரிங் என்று அழைக்கப்படுகிறது. இன்ஸ்ட்ரக்ஷன் ட்யூனிங் இன்ஸ்ட்ரக்ஷன் டியூனிங் என்பது மிகவும் இயற்கையான மற்றும் துல்லியமான ஜீரோ-ஷாட் ப்ராம்டிங் இன்டராக்ஷன்களை எளிதாக்குவதற்காக வடிவமைக்கப்பட்ட ஃபைன்-ட்யூனிங்கின் ஒரு வடிவமாகும். ஒரு உரை உள்ளீடு கொடுக்கப்பட்டால், முன் பயிற்சியளிக்கப்பட்ட மொழி மாதிரியானது, அது பயிற்றுவிக்கப்பட்ட உரையின் விநியோகத்துடன் பொருந்தக்கூடிய ஒரு நிறைவை உருவாக்கும். "ஹேம்லெட்டின் முக்கிய கருப்பொருள்களைப் பற்றி ஒரு கட்டுரையை எழுது" என்ற வரியில் கொடுக்கப்பட்ட ஒரு அப்பாவி மொழி மாதிரி. "மார்ச் 17 க்குப் பிறகு பெறப்பட்ட சமர்ப்பிப்புகளுக்கு ஒரு நாளைக்கு 10% தாமதமான அபராதம் விதிக்கப்படும்" போன்ற நிறைவு வழங்கலாம். அறிவுறுத்தல் ட்யூனிங்கில், மொழி மாதிரியானது இயல்பான மொழி அறிவுறுத்தல்களாக வடிவமைக்கப்பட்ட பணிகளின் பல எடுத்துக்காட்டுகளில் பொருத்தமான பதில்களுடன் பயிற்சியளிக்கப்படுகிறது. நடைமுறையில் அறிவுறுத்தல் டியூனிங்கிற்கான பல்வேறு நுட்பங்கள் பயன்படுத்தப்பட்டுள்ளன. OpenAI இன் InstructGPT நெறிமுறையானது, மனிதனால் உருவாக்கப்பட்ட (உடனடி, பதில்) ஜோடிகளின் தரவுத்தொகுப்பில் மேற்பார்வையிடப்பட்ட நுணுக்கத்தை உள்ளடக்கியது, அதைத் தொடர்ந்து மனித கருத்துகளிலிருந்து (RLHF) வலுவூட்டல் கற்றல், இதில் மனித விருப்பங்களின் தரவுத்தொகுப்பின் அடிப்படையில் வெகுமதி செயல்பாடு அறியப்பட்டது. மற்றொரு நுட்பம், "சுய-அறிவுறுத்தல்", ஒரு எல்.எல்.எம் (மனிதனால் உருவாக்கப்பட்ட எடுத்துக்காட்டுகளின் சிறிய ஆரம்ப தொகுப்பிலிருந்து பூட்ஸ்ட்ராப் செய்யப்பட்ட) மூலம் உருவாக்கப்பட்ட எடுத்துக்காட்டுகளின் பயிற்சி தொகுப்பில் மொழி மாதிரியை நன்றாக மாற்றுகிறது. https://en.wikipedia.org/wiki/Large_language_model
 எடுத்துக்காட்டுகளில் பல-படி எண்கணிதம், கல்லூரி அளவிலான தேர்வுகளை எடுப்பது, ஒரு வார்த்தையின் நோக்கம் கொண்ட பொருளைக் கண்டறிதல், சிந்தனைத் தூண்டுதல், சர்வதேச ஒலிப்பு எழுத்துக்களை டிகோடிங் செய்தல், ஒரு வார்த்தையின் எழுத்துக்களை நீக்குதல், ஹிங்கிலிஷ் பத்திகளில் உள்ள புண்படுத்தும் உள்ளடக்கத்தை அடையாளம் காணுதல் ஆகியவை அடங்கும். (இந்தி மற்றும் ஆங்கிலத்தின் கலவை), மற்றும் கிஸ்வாஹிலி பழமொழிகளுக்கு இணையான ஆங்கிலத்தை உருவாக்குகிறது.