"අවධානය ඔබට අවශ්‍ය සියල්ල" යන පත්‍රිකාව ප්‍රථම වරට ට්‍රාන්ස්ෆෝමර් ආකෘතිය යෝජනා කරන ලද අතර එය පසුකාලීන එල්එල්එම් සඳහා ප්‍රබල බලපෑමක් ඇති කළේය. කරුණාකර මෙම පත්‍රිකාවේ විස්තර කර ඇති ට්‍රාන්ස්ෆෝමර් පිළිබඳ මූලික මූලික අදහස දෙන්න
ට්‍රාන්ස්ෆෝමරයක් යනු ආදාන දත්තවල එක් එක් කොටසෙහි වැදගත්කම වෙනස් ලෙස බර කරමින් ස්වයං අවධානයේ යාන්ත්‍රණය අනුගමනය කරන ගැඹුරු ඉගෙනුම් ආකෘතියකි. එය මූලික වශයෙන් ස්වභාවික භාෂා සැකසුම් (NLP) සහ පරිගණක දැක්ම (CV) යන ක්ෂේත්‍රවල භාවිතා වේ. පුනරාවර්තන ස්නායුක ජාල (RNNs) මෙන්, ට්‍රාන්ස්ෆෝමර් නිර්මාණය කර ඇත්තේ පරිවර්තන සහ පෙළ සාරාංශ කිරීම වැනි කාර්යයන් සඳහා යෙදුම් සමඟ ස්වභාවික භාෂාව වැනි අනුක්‍රමික ආදාන දත්ත සැකසීමටය. කෙසේ වෙතත්, RNN මෙන් නොව, ට්‍රාන්ස්ෆෝමර් සම්පූර්ණ ආදානය එකවර සකසයි. අවධානය යාන්ත්‍රණය ආදාන අනුපිළිවෙලෙහි ඕනෑම ස්ථානයක් සඳහා සන්දර්භය සපයයි. උදාහරණයක් ලෙස, ආදාන දත්ත ස්වභාවික භාෂා වාක්‍යයක් නම්, ට්‍රාන්ස්ෆෝමරයට වරකට එක් වචනයක් සැකසීමට සිදු නොවේ. මෙය RNN වලට වඩා සමාන්තරකරණයට ඉඩ සලසයි, එබැවින් පුහුණු කාලය අඩු කරයි. ට්‍රාන්ස්ෆෝමර් 2017 දී ගූගල් බ්‍රේන් හි කණ්ඩායමක් විසින් හඳුන්වා දෙන ලද අතර දිගු කෙටි කාලීන මතකය (එල්එස්ටීඑම්) වැනි ආර්එන්එන් මාදිලි ප්‍රතිස්ථාපනය කරමින් එන්එල්පී ගැටළු සඳහා වැඩි වැඩියෙන් තේරීමේ ආකෘතිය බවට පත්වේ. අතිරේක පුහුණු සමාන්තරකරණය විශාල දත්ත කට්ටලවල පුහුණුවට ඉඩ සලසයි. මෙය විකිපීඩියා කෝපස් සහ පොදු ක්‍රෝල් වැනි විශාල භාෂා දත්ත කට්ටල සමඟ පුහුණු කරන ලද BERT (ට්‍රාන්ස්ෆෝමර් වෙතින් ද්විපාර්ශ්වික කේතීකරණ සංකේත) සහ GPT (උත්පාදක පෙර පුහුණු ට්‍රාන්ස්ෆෝමර්) වැනි පූර්ව පුහුණු පද්ධති සංවර්ධනය කිරීමට හේතු විය. නිශ්චිත කාර්යයන් සඳහා සුසර කර ඇත.
මෙම පත්‍රිකාව Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia විසිනි. සහ 2017 දී ප්‍රකාශයට පත් කරන ලදී. එය පසුකාලීන GPT මාදිලි මාලාවක් සහ BERT මාදිලි මාලාවක් සඳහා අඩිතාලම දැමීය. GPT මාදිලිය Transfomer හි විකේතක කොටස භාවිතා කරන අතර BERT ආකෘතිය Transfomer හි කේතීකරණ කොටස භාවිතා කරයි. ට්‍රාන්ස්ෆෝමර් ආකෘතියේ ප්‍රධාන මූලික ගෘහ නිර්මාණ ශිල්පයට ඇතුළත් වන්නේ: ස්වයං-අවධානය යාන්ත්‍රණය, ස්ථානීය කේතනය, සංකේතාකක-විකේතක ගෘහ නිර්මාණ ශිල්පය, බහු-හිස් අවධානය. ට්‍රාන්ස්ෆෝමරය අවධානය යොමු කිරීමේ යාන්ත්‍රණය භාවිතයෙන් පෙර RNN/LSTM ආකෘතියේ දුෂ්කර සමාන්තර ගැටලුව ඵලදායී ලෙස විසඳයි. ස්වයං-අවධානය භාවිතා කිරීම NLP හි සීමිත ලේබල් දත්ත පිළිබඳ ගැටළුව විසඳයි. ආදාන පෙළෙහි අනුක්‍රමික තොරතුරු ස්ථානීය කේතනය හරහා සංරක්ෂණය කෙරේ. සහ Multi-Head Attention මගින් Transformer හට CNN ආකෘතියේ චැනල් සංකල්පයට සමාන පුහුණු දත්තවල විවිධ රටා ඉගෙන ගැනීමට ඉඩ සලසයි.