aquí hay una propaganda sobre la codificación por pares de bytes para la encriptación, ¿qué ventajas tiene este concepto además de la compresión?
La codificación de pares de bytes (BPE) o codificación de digramas es una forma sencilla y robusta de compresión de datos en la que el par más común de bytes contiguos de datos de una secuencia se sustituye por un byte que no aparece en la secuencia. Para reconstruir los datos originales se necesita una tabla de búsqueda de las sustituciones. El algoritmo fue descrito públicamente por primera vez por Philip Gage en un artículo de febrero de 1994 titulado "Un nuevo algoritmo para la compresión de datos" en el C Users Journal.

Una variante de la técnica ha demostrado su utilidad en varios dominios del procesamiento del lenguaje natural (PLN), para aplicaciones como la tokenización, como se ve en SentencePiece de Google y GPT-3 de OpenAI. Aquí, el objetivo no es la compresión de datos, sino la tokenización de texto en un idioma determinado para producir una secuencia variable de términos a partir de un vocabulario de tokens de tamaño fijo. Normalmente, la mayoría de las palabras se codificarán como un único token, mientras que las palabras poco frecuentes se codificarán como una secuencia de unos pocos tokens, donde estos tokens representan partes significativas de la palabra. Esta traducción del texto en tokens puede encontrarse mediante variantes de la codificación de pares de bytes, como las unidades de subpalabras.

La codificación por pares de bytes se presta a las tareas de la PNL por su sencillez y rapidez; la BPE es adecuadamente eficaz para la tokenización de términos, no requiere grandes sobrecargas computacionales y se mantiene coherente, lo que la hace fiable.
Un uso alternativo de la codificación de pares de bytes, además de la compresión, sería la tokenización.  La tokenización puede utilizarse en el Procesamiento del Lenguaje Natural para codificar tokens de palabras para simplificar y agilizar las tareas de PLN.