وهنا قصة عن تشفير زوج البايت للتشفير، ما هي الفوائد التي يقدمها هذا المفهوم إلى جانب الضغط؟
Context:ترميز زوج البايت (BPE) أو ترميز الديغرام هو شكل بسيط وقوي من ضغط البيانات يتم فيه استبدال الزوج الأكثر شيوعًا من البايتات المتداخلة للبيانات في تسلسل ببايت لا يحدث داخل التسلسل. جدول البحث عن البدائل مطلوب لإعادة بناء البيانات الأصلية. تم وصف الخوارزمية لأول مرة علنًا من قبل فيليب غيج في مقال في فبراير 1994 بعنوان "خوارزمية جديدة لضغط البيانات" في مجلة C Users Journal.  وقد أظهر أحد متغيرات التقنية أنها مفيدة في العديد من مجالات معالجة اللغة الطبيعية (NLP) ، للتطبيقات مثل التوكن ، كما هو موضح في SentencePiece من Google و GPT-3 من OpenAI. هنا، الهدف ليس ضغط البيانات، ولكن توكنيزيشن النص في لغة معينة لإنتاج تسلسل متغير من المصطلحات من مفردات الحجم الثابت من الرموز. عادةً، يتم ترميز معظم الكلمات كرمز واحد، بينما يتم ترميز الكلمات النادرة كسلسلة من بعض الرموز، حيث تمثل هذه الرموز أجزاء الكلمة ذات المعنى. يمكن العثور على هذا الترجمة من النص إلى الرموز بواسطة المتغيرات من ترميز زوج البايت ، مثل وحدات الكلمات الفرعية.  يعد ترميز زوج البايت مناسبًا لمهام NLP بسبب بساطته وسرعته ؛ BPE فعال بشكل مناسب لتعريف المصطلحات ، ولا يتطلب تكاليف حسابية كبيرة ، ويبقى متسقًا ، مما يجعله موثوقًا به.
الاستخدام البديل لتشفير زوج البايت إلى جانب الضغط سيكون التوكن. يمكن استخدام التوكن في معالجة اللغة الطبيعية لتشفير رموز الكلمات من أجل البساطة والسرعة في مهام البرمجة الطبيعية الطبيعية.