根據這些關於大語言模型的段落, 什麼是LLM?
Context:大型語言模型 (LLM) 是一種語言模型,由具有許多引數 (通常為數十億個權重或更多) 的神經網路組成,在大量未標記的文字上使用自主監督學習進行訓練. 在2018年左右出現的LLM在各種各樣的任務上表現出色. 這使得自然語言處理研究的重點從以前的專門監督模型培訓特定任務的模式轉移.  屬性 雖然大語言模型一詞沒有正式的定義,但它通常指的是具有數十億或更多引數數量的深度學習模型. 這類模型在廣泛的任務中表現出色,而不是為一項特定的任務 (如情緒分析,命名實體識別或數學推理) 接受培訓. 它們完成任務的技能,以及它們能夠完成的任務範圍,似乎是它們所投入的資源 (資料,引數大小,計算能力) 的函式,不依賴於設計中的其他突破.  儘管經過簡單的訓練,例如預測句子中的下一個單詞,但經過足夠的訓練和引數計數,神經語言模型能夠捕捉到人類語言的語法和語義. 此外,大型語言模型還顯示出對世界的相當廣泛的一般知識,並且能夠在訓練過程中"記住"大量的事實.  幻覺 主要文章: 幻覺 (人工智慧) 在一般的人工智慧中,特別是大型語言模型中",幻覺"是一種自信的反應,但該模型的訓練資料似乎無法證明其合理性.  新興能力  在涉及諸如回答問題等任務的許多自然語言基準測試中,模型的表現只能是隨機的,直到它們達到某個尺度 (在這種情況下,通過訓練計算測量),此時它們的表現就會急劇增加. 這些都是新興能力的例子. 在大型語言模型中觀察到的,但在更簡單的模型中沒有出現的 (並且沒有明確地設計到模型中) 不能預測的能力通常被稱為"新興能力". 研究人員指出,這種能力"不能通過簡單地推斷較小模型的效能來預測". 這些能力是被發現的,而不是被程式設計或設計的,在某些情況下,只有在LLM被公開部署後. 已經描述了數百種新生能力. 例如多步演算法,大學級考試,識別單詞的意義,思維鏈提示,解碼國際語音字母表,解碼單詞的字母,識別英語段落中的冒犯性內容 (印度語和英語的組合),以及生成類似的英語對應的斯瓦哈利<unk>語.  建築與培訓 大型語言模型最常使用的是變壓器架構,自2018年以來,它已成為順序資料的標準深度學習技術 (以前,LSTM等迴圈架構最常見). 在沒有註釋的文字上進行無監督的培訓. 一個左向右轉換器被訓練為最大化訓練資料中的下一個單詞的概率, 考慮到前一個上下文. 另外,LLM也可以使用雙向變壓器 (如BERT的例子),該變壓器在給出訪問前面和後面的上下文的單詞上分配一個概率分佈. 除了預測下一個單詞或"填空"的任務外,LLM還可以接受輔助任務的培訓,這些輔助任務測試他們對資料分佈的理解,例如下一個句子預測 (NSP),其中對句子被呈現出來,模型必須預測它們是否在訓練語料中並排出現.  最早的LLM是用數十億個單詞的語體進行訓練的. 在OpenAI的GPT系列中的第一個模型是在2018年在BookCorpus上訓練的,包含9.85億個單詞. 在同一年,BERT接受了BookCorpus和英語維基百科的組合培訓,總共共33億字. 從那以後的幾年裡,  在計算上,LLM的培訓成本很高. 2020年的一項研究估計,訓練15億個引數模型 (比當時的最先進模型小1-2個數量級) 的成本為160萬美元.  2020年的一項分析發現,神經語言模型的能力 (通過訓練損失來衡量) 在與引數數量,訓練資料數量和用於訓練的計算的功率法關係中平穩地增加. 這些關係在廣泛的值範圍內進行了測試 (高達7個數量級),並且在範圍的最高階沒有觀察到關係的減弱 (包括網路大小高達數萬億個引數).  對下游任務的應用 在2018年至2020年間,用於特定自然語言處理 (NLP) 任務的LLM標準方法是通過額外的特定任務培訓來微調模型. 隨後發現,更強大的LLM如GPT-3可以通過"提示"技術,在沒有額外的培訓的情況下解決任務,其中要解決的問題以文字提示形式向模型呈現,可能包含一些類似問題的文字示例及其解決方案.  微調 主要文章:微調 (機器學習) 微調是通過在特定任務上 (如情緒分析,命名實體識別或部分語音標籤) 進行訓練 (以監督的方式) 來修改現有的預訓練語言模型的實踐. 這是一種轉移學習形式. 它通常涉及引入一組新的權重,將語言模型的最後層與下游任務的輸出連線起來. 語言模型的原始權重可以"<unk>結",這樣在訓練過程中只能學習將其與輸出連線的新權重層. 或者,原始重量可能會收到小更新 (可能是先前的層被<unk>結).  提示 另見: 快速工程和 短拍學習 (自然語言處理) 在由GPT-3普及的提示正規化中,需要解決的問題是通過文字提示形式制定的,該模型必須通過提供完成 (通過推理) 來解決. 在"短暫提示"中,提示包含少量類似 (問題,解決方案) 對的示例. 例如,一種情感分析任務,即標記電影評論的情感,可以如下提示:  這部電影很糟糕. 情緒:負面  這部電影真是太棒了! 情感:  如果模型輸出"正",那麼它已經正確地解決了任務. 在零射擊提示中,沒有提供解決的例子. 對於同樣的情感分析任務,一個零拍攝提示的例子是"與電影評論相關的情感是"這部電影很棒!"  已被證明,LLM的短拍效果在NLP任務中取得了競爭性結果,有時超過了先前的最先進的微調方法. 這類NLP任務的例子是翻譯,回答問題,cloze任務,解碼單詞,以及在句子中使用新詞. 這種提示的建立和優化被稱為提示工程.  指令調整 指令調<unk>是一種微調形式,旨在促進更自然,更準確的零射擊提示互動. 給定一個文字輸入,預訓練的語言模型將生成一個與其訓練的文字分佈相匹配的完成. 一個簡單的語言模型,如果被提示"寫一篇關於哈姆雷特主要主題的文章",可能會提供這樣的完成:"對於3月17日之後收到的提交,每天將會收到10%的延遲罰款". 在指令調整中,語言模型在許多用自然語言指令制定的任務示例上進行訓練,並提供適當的響應. 在實踐中已經應用了各種指令調整技術. OpenAI 的 InstructGPT 協議涉及對由人類生成的資料集 (提示,響應) 進行監督微調,隨後從人類反<unk> (RLHF) 進行強化學習,其中基於人類偏好的資料集學習了獎勵函式. 另一種技術是"自教",它通過LLM生成的訓練示例集 (從一個小的初始由人類生成的示例集中啟動) 來微調語言模型.  大型語言模型
大型語言模型 (LLM) 是一種語言模型,由具有許多引數 (通常為數十億個權重或更多) 的神經網路組成,在大量未標記的文字上使用自主監督學習進行訓練.