"கவனம் மட்டுமே உங்களுக்குத் தேவை" என்ற தாள் முதன்முறையாக டிரான்ஸ்ஃபார்மர் மாதிரியை முன்மொழிந்தது, இது அடுத்தடுத்த LLM இல் ஆழமான தாக்கத்தை ஏற்படுத்தியது. இந்த தாளில் விவரிக்கப்பட்டுள்ள டிரான்ஸ்ஃபார்மரின் முக்கிய யோசனையை வழங்கவும்
ஒரு மின்மாற்றி என்பது ஒரு ஆழமான கற்றல் மாதிரியாகும், இது உள்ளீட்டுத் தரவின் ஒவ்வொரு பகுதியின் முக்கியத்துவத்தையும் வித்தியாசமாக எடைபோட்டு சுய-கவனிப்பின் பொறிமுறையை ஏற்றுக்கொள்கிறது. இது முதன்மையாக இயற்கை மொழி செயலாக்கம் (NLP) மற்றும் கணினி பார்வை (CV) ஆகிய துறைகளில் பயன்படுத்தப்படுகிறது. தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குகள் (RNNகள்) போன்று, டிரான்ஸ்பார்மர்கள், மொழிபெயர்ப்பு மற்றும் உரை சுருக்கம் போன்ற பணிகளுக்கான பயன்பாடுகளுடன், இயற்கை மொழி போன்ற தொடர்ச்சியான உள்ளீட்டுத் தரவை செயலாக்க வடிவமைக்கப்பட்டுள்ளன. இருப்பினும், RNNகளைப் போலன்றி, மின்மாற்றிகள் முழு உள்ளீட்டையும் ஒரே நேரத்தில் செயலாக்குகின்றன. கவன பொறிமுறையானது உள்ளீட்டு வரிசையில் எந்த நிலைப்பாட்டிற்கும் சூழலை வழங்குகிறது. எடுத்துக்காட்டாக, உள்ளீட்டுத் தரவு இயல்பான மொழி வாக்கியமாக இருந்தால், மின்மாற்றி ஒரு நேரத்தில் ஒரு வார்த்தையைச் செயலாக்க வேண்டியதில்லை. இது RNNகளை விட அதிக இணையாக்கலை அனுமதிக்கிறது, எனவே பயிற்சி நேரங்களைக் குறைக்கிறது. டிரான்ஸ்ஃபார்மர்கள் 2017 இல் கூகுள் மூளையில் உள்ள ஒரு குழுவால் அறிமுகப்படுத்தப்பட்டன, மேலும் நீண்ட குறுகிய கால நினைவகம் (LSTM) போன்ற RNN மாடல்களை மாற்றியமைத்து, NLP பிரச்சனைகளுக்கான தேர்வு மாதிரியாக மாறி வருகிறது. கூடுதல் பயிற்சி இணைமயமாக்கல் பெரிய தரவுத்தொகுப்புகளில் பயிற்சியை அனுமதிக்கிறது. இது விக்கிப்பீடியா கார்பஸ் மற்றும் காமன் கிரால் போன்ற பெரிய மொழி தரவுத்தொகுப்புகளுடன் பயிற்சியளிக்கப்பட்ட BERT (இருதரப்பு குறியாக்க பிரதிநிதித்துவங்கள்) மற்றும் GPT (உருவாக்கும் முன் பயிற்சி பெற்ற மின்மாற்றி) போன்ற முன் பயிற்சி பெற்ற அமைப்புகளின் வளர்ச்சிக்கு வழிவகுத்தது. குறிப்பிட்ட பணிகளுக்கு ஏற்றது.
வாஸ்வானி, ஆஷிஷ் & ஷசீர், நோம் & பர்மர், நிகி & உஸ்கோரிட், ஜேக்கப் & ஜோன்ஸ், லியோன் & கோம்ஸ், ஐடன் & கெய்சர், லுகாஸ் & பொலோசுகின், இல்லியா ஆகியோரின் கட்டுரை. மற்றும் 2017 இல் வெளியிடப்பட்டது. இது அடுத்தடுத்த GPT தொடர் மாதிரிகள் மற்றும் BERT தொடர் மாடல்களுக்கு அடித்தளம் அமைத்தது. GPT மாதிரியானது டிரான்ஸ்ஃபோமரின் டிகோடர் பகுதியைப் பயன்படுத்துகிறது, BERT மாதிரியானது டிரான்ஸ்ஃபோமரின் குறியாக்கிப் பகுதியைப் பயன்படுத்துகிறது. டிரான்ஸ்ஃபார்மர் மாதிரியின் முக்கிய மையக் கட்டமைப்பில் பின்வருவன அடங்கும்: சுய-கவனம் மெக்கானிசம், பொசிஷனல் என்கோடிங், என்கோடர்-டிகோடர் ஆர்கிடெக்சர், மல்டி-ஹெட் அட்டென்ஷன். டிரான்ஸ்ஃபார்மர், முந்தைய RNN/LSTM மாதிரியின் கடினமான இணையான சிக்கலை கவனத்தை இயக்குவதன் மூலம் திறம்பட தீர்க்கிறது. சுய கவனத்தைப் பயன்படுத்துவது NLP இல் வரையறுக்கப்பட்ட லேபிளிடப்பட்ட தரவின் சிக்கலைத் தீர்க்கிறது. உள்ளீட்டு உரையில் உள்ள வரிசை தகவல் நிலை குறியாக்கம் மூலம் பாதுகாக்கப்படுகிறது. மற்றும் மல்டி-ஹெட் அட்டென்ஷன், CNN மாதிரியில் சேனல் கான்செப்ட் போன்ற பல்வேறு பயிற்சித் தரவைக் கற்றுக்கொள்ள டிரான்ஸ்ஃபார்மரை அனுமதிக்கிறது.