除了壓縮之外, 這個概念還有什麼好處?
Context:位元組對編碼 (BPE) 或二進位制編碼是一種簡單而強大的資料壓縮形式,其中一個序列中最常見的連續位元組對資料被一個不在序列中出現的位元組取代. 需要替代品的查詢表來重建原始資料. 該演算法首次被菲利普·蓋奇在1994年2月的"C Users Journal"雜誌上公開描述,文章題為"資料壓縮新演算法".  這種技術的變體已經被證明在幾個自然語言處理 (NLP) 領域有用,如谷歌的SentencePiece和OpenAI的GPT-3中的tokenisation等應用. 這裡,目標不是資料壓縮,而是給定語言中的文字的標記化, 通常,大多數單詞將被編碼為單個標記,而罕見的單詞將被編碼為幾個標記的序列,這些標記代表有意義的單詞部分. 通過位元組對編碼的變體,如子詞單位,可以找到這種將文字翻譯為程式碼.  位元組對編碼因其簡單性和速度而適合於NLP任務; BPE適合於術語的標記化,不需要大量的計算開銷,並且保持一致,使其可靠.
除了壓縮之外,位元組對編碼的另一個用途是代幣化. 標記化可以在自然語言處理中用於編碼單詞的標記,以便在NLP任務中實現簡單和快速.