這篇論文首次提出了"變壓器模型",對隨後的LLM產生了深遠的影響. 請給出本文所描述的變壓器的主要核心概念
Context:變壓器是一種深度學習模型,採用自我注意機制,對輸入資料的每個部分的意義進行差異加權. 它主要用於自然語言處理 (NLP) 和計算機視覺 (CV) 領域.  像迴圈神經網路 (RNN) 一樣,轉換器被設計用於處理順序輸入資料,例如自然語言,並用於執行翻譯和文字總結等任務. 然而,與RNN不同的是,轉換器會一次處理整個輸入. 注意力機制為輸入序列中的任何位置提供上下文. 例如,如果輸入資料是一個自然語言的句子,變壓器不需要一次處理一個單詞. 這允許比RNN更大的並行化,因此減少了訓練時間.  轉換器於2017年由谷歌大腦的一個團隊推出,並且越來越多地成為NLP問題的選擇模型,取代了RNN模型,例如長期短期記憶 (LSTM). 額外的訓練並行化允許在更大的資料集上進行訓練. 這導致了預先訓練的系統的發展,如BERT (變壓器的雙向編碼器表示) 和GPT (生成預先訓練的變壓器),這些系統使用大型語言資料集進行訓練,例如維基百科庫和常見爬蟲,並且可以為特定任務進行微調.
這篇論文由瓦斯瓦尼,阿希什和沙澤爾,諾姆和帕瑪,尼基和烏斯科裡特,雅各布和<unk>斯,利昂和戈麥斯,艾丹和凱澤,盧卡什和波洛蘇金,伊利亞撰寫,於2017年出版. 它為隨後的GPT系列模型和BERT系列模型奠定了基礎. GPT模型使用了Transfomer的解碼器部分,而BERT模型使用了Transfomer的編碼器部分. 變壓器模型的主要核心架構包括:自我注意機制,定位編碼,編碼器-解碼器架構,多頭緊張. 變壓器通過使用注意力機制有效地解決了之前的RNN/LSTM模型的難以解決的並行問題. 使用自我注意力解決了NLP中有限的標記資料的問題. 輸入文字中的序列資訊通過位置編碼儲存. 多頭注意能讓變壓器學習不同的訓練資料模式,