 Iroyin naa Attention is all you need ni o dabaa awoṣe Transformer fun igba akọkọ, eyiti o ni ipa ti o jinlẹ lori LLM ti o tẹle. Jọwọ fun awọn akọkọ agbedemeji ero ti Transformer apejuwe ninu yi iweContext:Àdàkọ ìyípadà jẹ àdàkọ ìmúdàgba tí ó gba ìlànà ìmúdàgba-ara ẹni, tí ó ń fi ìyàtọ sí ìjẹpàtàkì apá kọọkan nínú àwọn ìsọfúnni tí ó wọlé. A lo ni akọkọ ni awọn aaye ti sisẹ ede adayeba NLP ati wiwo kọmputa CV.  Gẹgẹbi awọn nẹtiwọọki nẹtiwọọki nẹtiwọọki RNNs, a ṣe apẹrẹ awọn iyipada lati ṣe ilana data titẹ sii lẹsẹsẹ, gẹgẹbi ede adayeba, pẹlu awọn ohun elo si awọn iṣẹ bii itumọ ati akopọ ọrọ. Àmọ, ní ìyàtọ sí àwọn RNN, àwọn transformer máa ń ṣe gbogbo ìsọfúnni tí wọn bá fún wọn lẹẹkan ṣoṣo. Ẹrọ ìṣójútó máa ń pèsè àyíká fún ipò èyíkéyìí nínú ìtòlẹsẹẹsẹ ìsọfúnni. Bí àpẹẹrẹ, bí ìsọfúnni tí wọn ń gbà wọlé bá jẹ ọrọ èdè àbínibí, kò dìgbà tí alárinà bá ṣe àtúnṣe ọrọ kan lẹẹkan. Eyi jẹ ki o ṣe afiwe diẹ sii ju awọn RNNs ati nitorinaa dinku awọn akoko ikẹkọ.  A ṣe afihan awọn iyipada ni ọdun 2017 nipasẹ ẹgbẹ kan ni Google Brain ati pe o n di pupọ si awoṣe ti o yan fun awọn iṣoro NLP, rirọpo awọn awoṣe RNN gẹgẹbi iranti igba kukuru gigun LSTM. Àfikún ìdánilẹkọọ ìfọwọsowọpọ jẹ kí ìdánilẹkọọ lórí àwọn ìsọfúnni tí ó tóbi. Eyi mu ki idagbasoke awọn eto ti a ti kọ tẹlẹ bi BERT Awọn aṣoju Encoder Bidirectional lati Transformers ati GPT Generative Pre-trained Transformer, eyiti a kọ pẹlu awọn akojọ data ede nla, gẹgẹbi Wikipedia Corpus ati Common Crawl, ati pe a le ṣe atunṣe daradara fun awọn iṣẹ-ṣiṣe kan pato. : Iwadi yii jẹ nipasẹ Vaswani, Ashish  Shazeer, Noam  Parmar, Niki  Uszkoreit, Jakob  Jones, Llion  Gomez, Aidan  Kaiser, Lukasz  Polosukhin, Illia. ati ti a tẹjade ni ọdun 2017. Ó fi ìpìlẹ lélẹ fún ẹka GPT tí ó tẹlé e àti ẹka BERT tí ó tẹlé e. Awoṣe GPT nlo apakan decoder ti Transfomer, lakoko ti awoṣe BERT nlo apakan encoder ti Transfomer. Awọn pataki pataki faaji ti awọn Transformer awoṣe pẹlu: Self-Attention Mechanism, ipo Encoding, Encoder-Decoder faaji, Multi-Head Attension. Transformer ni o munadoko yanju awọn nira pẹlẹpẹlẹ isoro ti awọn ti tẹlẹ RNN  LSTM awoṣe nipa lilo awọn Ifarabalẹ ilana. Lílo Ìtọjú-ara-ẹni yanjú ìṣòro tí a fi àmì sàmì sí nínú NLP. Alaye ilana ninu ọrọ titẹsi ni a tọju nipasẹ Akojọpọ Ipo. Ati Multi-Head Attention gba Transformer laaye lati kọ awọn ilana oriṣiriṣi ti data ikẹkọ ti o jọra si imọran ikanni ni awoṣe CNN. 