這些關於大型語言模型的段落,
Context:大型語言模型 (LLM) 是一種由具有許多引數 (通常數十億重量或更多) 的神經網路組成的語言模型, 他們在各種各樣的任務上表現出色. 這使得自然語言處理研究的重點從以往專門訓練特定任務的監控模型的模式轉移.  屬性 雖然大語言模型一詞沒有正式的定義, 但它通常指的是具有數十億或更多的引數數的深度學習模型. 這種模式在於在各項任務上表達出色, 他們所能完成的技能,以及他們所能完成的任務範圍, 似乎是他們所投入的資源 (資料,引數大小,計算能力) 的函式,  儘管神經語言模型在簡單的任務上受過訓練, 例如預測句子中的下一個詞, 這樣的語言模式也能顯示出對世界的廣泛知識,  幻覺 主要文章: 幻覺 (人工智慧) 在一般的人工智慧, 尤其是大型語言模型中",幻覺"是一種自信的反應,  新興能力  在涉及問題解答等任務的自然語言基準測試中, 模型的表現並不比隨機的表現更好, 這些都是新興能力的例子. 那些在大型語言模型中被觀察到但在簡單的模型中沒有出現的不可預測能力 (並沒有明顯地被設計成模型) 通常被稱為"新興能力". 科學家指出, 這類能力"不能透過小模型的推斷來預測". 這些能力是被發現而不是被程式設計或設計, 數百種新興能力已被描述. 舉例來說, 多步數學,大學級考試,識別字的意圖,連鎖思考提示,解碼國際語音字母表,解碼字母,識別英文字母中的冒犯性內容,  建築與訓練 大型語言模型最常使用變壓器架構, 自2018年以來, 它已成為序列資料的標準深度學習技術 (以前, 像LSTM這樣的反復架構最常見). 在沒有任何監督的情況下, 這樣一來, 訓練資料中的下一個字的概率會最大化, 另一種方法是使用雙向變換器 (如BERT的例子), 除了預測下一個詞或"填空"的任務外, 法律學士也可以接受輔助任務的訓練,  早期的LLM是使用數十億字的 corpora進行訓練的. 在 2018 年在 BookCorpus 上訓練了 OpenAI 的 GPT 系列中的第一種模型, 在同一年, BERT 接受了由 BookCorpus 和英語維基百科的組合訓練, 這項計畫將在2010年開始,  這樣的訓練成本很高. 2020 年的一項研究估計訓練 15 億個引數模型 (比當時最先進的技術還要小一至兩倍) 的成本為 160 萬美元.  2020 年的一項分析發現神經語言模型的能力 (以訓練損失來衡量) 隨著引數數,訓練資料數量和訓練所使用的計算, 這些關系在廣泛的數值範圍 (高達七個數量級) 上被測試, 在最高的範圍 (包括達到萬億個引數的網路大小) 沒有發現關系的減弱.  應用於下游任務 在2018年至2020年之間, 為特定的自然語言處理 (NLP) 任務利用LLM的標準方法是通過額外的特定任務訓練來精準調整模型. 隨後發現更強大的LLM如GPT-3可以透過"提示"技術, 解決問題以文字提示的方式呈現給模型, 可能與一些類似問題及其解決方案的文字示例一起, 而無需額外的訓練, 解決任務.  精準調整 主要文章:微調 (機器學習) 微調是通過在特定任務上 (如情緒分析,命名實體識別或部分語音標籤) 訓練現有預先訓練的語言模型的修改. 這是一種轉移學習形式. 語言模型的最後層與下游任務的輸出相連. 語言模型的原始重量可能會被"凍結", 還可以使用原始重量進行小小的更新 (可能是先前的層被凍結).  提示使用 請參閱:快速工程與短時間學習 (自然語言處理) 在由 GPT-3 普及的提示模式中,要解決的問題是透過文字提示程式化,該模型必須透過提供完結 (透過推論) 來解決. 在"短拍提示"中, 提示包含少數類似 (問題, 解決方案) 對的例子. 這樣就能促使影片評論的情緒分析:  這部電影很糟糕. 情緒:沒有  這部電影真是太棒了! 情感:  如果模型的輸出是"正面", 在零拍攝提示中, 沒有提供解決範例. 這樣的情緒分析任務的零拍攝提示的例子是"與電影評論相關的情緒是"這部電影很棒!"  在NLP任務上, LLM 已被證明能取得競爭性結果, 這類NLP任務的範例是翻譯,回答問題,解碼任務,解碼字,並在句子中使用新詞. 這樣的提示的建立和優化稱為提示工程.  指示調整方式 指示調節是一種微調方式, 預先訓練的語言模型會生成與其訓練的文字分佈相匹配的完結. "寫一篇關於"哈姆雷特"的主題的文章"可能會提供這樣的完結:"將對於於3月17日後收到的稿件施加每天10%的逾期罰款". 在指令調節中, 語言模型在許多用自然語言指令編寫的任務範例上接受訓練, 實際上已經使用了各種指令調整技術. 在 OpenAI 的 InstructGPT 協議中, 人為生成的 (提示,反應) 對資料集進行監控微調, 接著從人為反<unk> (RLHF) 進行強化學習, 另一種"自教"的技術是透過LLM (從小數量的人類生成範例中提升) 來生成的訓練範例組來微調整語言模型.  大型語言模型
那些在大型語言模型中被觀察到但在簡單的模型中沒有出現的不可預測能力 (並沒有明顯地被設計成模型) 通常被稱為"新興能力". 科學家指出, 這類能力"不能透過小模型的推斷來預測". 這些能力是被發現而不是被程式設計或設計,