 Eyi ni ohun ti o jẹ nipa paati paati paati fun ifaminsi, kini awọn anfani ti imọran yii ni afikun si ifọwọkan?Context:Àkọsílẹ byte pair BPE tàbí àkọsílẹ digram jẹ ọnà tí ó rọrùn tí ó sì lágbára láti ṣe ìfọwọsọrọ àwọn ìsọfúnni nínú èyí tí àwọn ìsọfúnni tí ó wọpọ jùlọ tí ó jẹ àwọn byte tí ó wà lẹgbẹẹ ara wọn nínú ìtòlẹsẹẹsẹ kan ni a fi byte tí kò wáyé nínú ìtòlẹsẹẹsẹ náà rọpò. A nilo tabili wiwa ti awọn rirọpo lati tun kọ data atilẹba. Alugoridimu naa ni a ṣe apejuwe fun igba akọkọ ni gbangba nipasẹ Philip Gage ni nkan ti Kínní 1994 Awọn Alugoridimu Titun fun Data Compression ni C Users Journal.  Aṣayan ti ilana naa ti fihan lati wulo ni ọpọlọpọ awọn agbegbe sisẹ ede adayeba NLP, fun awọn ohun elo bii tokenisation, bi a ti rii ni Googles SentencePiece ati OpenAIs GPT-3. Nibi, ibi-afẹde naa kii ṣe titẹsi data, ṣugbọn tokenisation ti ọrọ ni ede ti a fun lati ṣe agbejade lẹsẹsẹ ti awọn ofin lati inu ọrọ-ọrọ ti o wa titi ti awọn ami. Ọpọlọpọ àwọn ọrọ ni a ó ṣe àdàkọ rẹ gẹgẹ bí àmì kan ṣoṣo, nígbà tí àwọn ọrọ tí kò wọpọ ni a ó ṣe àdàkọ rẹ gẹgẹ bí àwọn àmì díẹ, níbi tí àwọn àmì wọnyí ti ń ṣojú fún àwọn apá ọrọ tí ó ní ìtumọ. Ìtumọ ọrọ yìí sí àwọn àmì ni a lè rí nípasẹ àwọn àdàkọ ìkọsílẹ byte pairs, bíi àwọn ẹka subword.  Àkọsílẹ byte pairs máa ń mú kí NLP ṣiṣẹ nítorí pé ó rọrùn láti lò àti pé ó tètè ń ṣiṣẹ; BPE máa ń mú kí àwọn ọrọ di àmì, kì í nílò ìnáwó tó pọ, ó sì máa ń bára mu, èyí sì máa ń jẹ kó ṣeé gbára lé. : Àtúnṣe mìíràn tí a lè lò fún ìkódíò báyítì lẹgbẹẹ ìfọwọsowọpọ yóò jẹ kíkókódíò jẹ àmì. A le lo Tokenization ni Ṣiṣe Ilana Ede Aifọwọyi lati ṣe akojọ awọn aami ti awọn ọrọ fun irọrun ati iyara ni awọn iṣẹ NLP. 