import{S as wr,i as vr,s as yr,e as r,k as u,w as j,t,M as Er,c as i,d as n,m as c,a as o,x as g,h as p,b as O,G as a,g as e,y as m,q as x,o as $,B as b,v as Pr}from"../../chunks/vendor-hf-doc-builder.js";import{T as mn}from"../../chunks/Tip-hf-doc-builder.js";import{Y as zr}from"../../chunks/Youtube-hf-doc-builder.js";import{I as ee}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as q}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as Tr}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function Cr(B){let h,w;return{c(){h=r("p"),w=t("\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 BPE \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19")},l(f){h=i(f,"P",{});var _=o(h);w=p(_,"\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 BPE \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),_.forEach(n)},m(f,_){e(f,h,_),a(h,w)},d(f){f&&n(h)}}}function Or(B){let h,w,f,_;return{c(){h=r("p"),w=t("Tokenizer \u0E02\u0E2D\u0E07 GPT-2 \u0E41\u0E25\u0E30 RoBERTa (\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E19) \u0E21\u0E35\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E \u0E21\u0E31\u0E19\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19 Unicode \u0E41\u0E15\u0E48\u0E08\u0E30\u0E21\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 byte \u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E17\u0E35\u0E48\u0E40\u0E25\u0E47\u0E01 (256) \u0E41\u0E15\u0E48\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E17\u0E38\u0E01\u0E46\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E1B\u0E47\u0E19 unknown token \u0E40\u0E17\u0E04\u0E19\u0E34\u0E04\u0E19\u0E35\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),f=r("em"),_=t("byte-level BPE")},l(P){h=i(P,"P",{});var k=o(h);w=p(k,"Tokenizer \u0E02\u0E2D\u0E07 GPT-2 \u0E41\u0E25\u0E30 RoBERTa (\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E19) \u0E21\u0E35\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E \u0E21\u0E31\u0E19\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19 Unicode \u0E41\u0E15\u0E48\u0E08\u0E30\u0E21\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 byte \u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E17\u0E35\u0E48\u0E40\u0E25\u0E47\u0E01 (256) \u0E41\u0E15\u0E48\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E17\u0E38\u0E01\u0E46\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E1B\u0E47\u0E19 unknown token \u0E40\u0E17\u0E04\u0E19\u0E34\u0E04\u0E19\u0E35\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),f=i(k,"EM",{});var y=o(f);_=p(y,"byte-level BPE"),y.forEach(n),k.forEach(n)},m(P,k){e(P,h,k),a(h,w),a(h,f),a(f,_)},d(P){P&&n(h)}}}function Br(B){let h,w,f,_,P;return{c(){h=r("p"),w=t("\u270F\uFE0F "),f=r("strong"),_=t("\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),P=t(" \u0E04\u0E38\u0E13\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32\u0E01\u0E0E merge \u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23")},l(k){h=i(k,"P",{});var y=o(h);w=p(y,"\u270F\uFE0F "),f=i(y,"STRONG",{});var C=o(f);_=p(C,"\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),C.forEach(n),P=p(y," \u0E04\u0E38\u0E13\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32\u0E01\u0E0E merge \u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),y.forEach(n)},m(k,y){e(k,h,y),a(h,w),a(h,f),a(f,_),a(h,P)},d(k){k&&n(h)}}}function Dr(B){let h,w,f,_,P,k,y,C;return{c(){h=r("p"),w=t("\u270F\uFE0F "),f=r("strong"),_=t("\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),P=t(" \u0E04\u0E38\u0E13\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32\u0E04\u0E33\u0E27\u0E48\u0E32 "),k=r("code"),y=t('"unhug"'),C=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23")},l(S){h=i(S,"P",{});var D=o(h);w=p(D,"\u270F\uFE0F "),f=i(D,"STRONG",{});var H=o(f);_=p(H,"\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),H.forEach(n),P=p(D," \u0E04\u0E38\u0E13\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32\u0E04\u0E33\u0E27\u0E48\u0E32 "),k=i(D,"CODE",{});var ps=o(k);y=p(ps,'"unhug"'),ps.forEach(n),C=p(D," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23"),D.forEach(n)},m(S,D){e(S,h,D),a(h,w),a(h,f),a(f,_),a(h,P),a(h,k),a(k,y),a(h,C)},d(S){S&&n(h)}}}function Nr(B){let h,w,f,_,P;return{c(){h=r("p"),w=t("\u{1F4A1} \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49 "),f=r("code"),_=t("train_new_from_iterator()"),P=t(" \u0E01\u0E31\u0E1A corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49 vocabulary \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E21\u0E35\u0E2B\u0E25\u0E32\u0E22\u0E04\u0E39\u0E48 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E42\u0E04\u0E49\u0E14\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D \u0E2A\u0E48\u0E27\u0E19 \u{1F917} Tokenizers library \u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E42\u0E14\u0E22\u0E40\u0E23\u0E35\u0E22\u0E07\u0E15\u0E32\u0E21 ID")},l(k){h=i(k,"P",{});var y=o(h);w=p(y,"\u{1F4A1} \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49 "),f=i(y,"CODE",{});var C=o(f);_=p(C,"train_new_from_iterator()"),C.forEach(n),P=p(y," \u0E01\u0E31\u0E1A corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49 vocabulary \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E21\u0E35\u0E2B\u0E25\u0E32\u0E22\u0E04\u0E39\u0E48 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E42\u0E04\u0E49\u0E14\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D \u0E2A\u0E48\u0E27\u0E19 \u{1F917} Tokenizers library \u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E42\u0E14\u0E22\u0E40\u0E23\u0E35\u0E22\u0E07\u0E15\u0E32\u0E21 ID"),y.forEach(n)},m(k,y){e(k,h,y),a(h,w),a(h,f),a(f,_),a(h,P)},d(k){k&&n(h)}}}function Ar(B){let h,w;return{c(){h=r("p"),w=t(`\u26A0\uFE0F \u0E01\u0E32\u0E23 implementation \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30 return error \u0E16\u0E49\u0E32\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E43\u0E19 vocabulary \u0E19\u0E31\u0E48\u0E19\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E01\u0E23\u0E13\u0E35\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49
\u0E43\u0E19 GPT-2 \u0E1B\u0E01\u0E15\u0E34\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35 unknown token \u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 byte-level BPE \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35\u0E17\u0E32\u0E07\u0E44\u0E14\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48 unknown \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E17\u0E38\u0E01\u0E46 byte \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E25\u0E36\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E30\u0E44\u0E21\u0E48\u0E02\u0E2D\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E44\u0E1B\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E19\u0E35\u0E49`)},l(f){h=i(f,"P",{});var _=o(h);w=p(_,`\u26A0\uFE0F \u0E01\u0E32\u0E23 implementation \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30 return error \u0E16\u0E49\u0E32\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E43\u0E19 vocabulary \u0E19\u0E31\u0E48\u0E19\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E01\u0E23\u0E13\u0E35\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49
\u0E43\u0E19 GPT-2 \u0E1B\u0E01\u0E15\u0E34\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35 unknown token \u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 byte-level BPE \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35\u0E17\u0E32\u0E07\u0E44\u0E14\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48 unknown \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E17\u0E38\u0E01\u0E46 byte \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E25\u0E36\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E30\u0E44\u0E21\u0E48\u0E02\u0E2D\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E44\u0E1B\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E19\u0E35\u0E49`),_.forEach(n)},m(f,_){e(f,h,_),a(h,w)},d(f){f&&n(h)}}}function Gr(B){let h,w,f,_,P,k,y,C,S,D,H,ps,Us,Vl,ja,es,ga,F,ma,rs,Ml,xa,Fs,Kl,$a,is,ba,V,Wl,xn,Yl,Jl,_a,Vs,Zl,qa,M,ka,K,Ql,$n,Xl,st,da,Ms,nt,wa,os,va,T,at,bn,lt,tt,_n,pt,et,qn,rt,it,kn,ot,ut,dn,ct,ht,ya,Ks,ft,Ea,us,Pa,E,jt,wn,gt,mt,vn,xt,$t,yn,bt,_t,En,qt,kt,Pn,dt,wt,zn,vt,yt,Tn,Et,Pt,Cn,zt,Tt,On,Ct,Ot,za,Ws,Bt,Ta,cs,Ca,N,Dt,Bn,Nt,At,Dn,Gt,Ht,Nn,It,Rt,Oa,hs,Ba,I,St,An,Lt,Ut,Gn,Ft,Vt,Da,fs,Na,Ys,Mt,Aa,W,Ga,L,Y,Hn,js,Kt,In,Wt,Ha,Js,Yt,Ia,A,Rn,Jt,Zt,Sn,Qt,Xt,Ln,sp,np,Un,ap,Ra,Zs,lp,Sa,gs,La,d,tp,Fn,pp,ep,Vn,rp,ip,Mn,op,up,Kn,cp,hp,Wn,fp,jp,Yn,gp,mp,Jn,xp,$p,Zn,bp,_p,Qn,qp,kp,Xn,dp,wp,sa,vp,yp,na,Ep,Pp,Ua,J,Fa,U,Z,aa,ms,zp,la,Tp,Va,Qs,Cp,Ma,Xs,Op,Ka,xs,Wa,Q,Bp,ta,Dp,Np,Ya,$s,Ja,sn,Ap,Za,bs,Qa,_s,Xa,nn,Gp,sl,qs,nl,ks,al,X,Hp,pa,Ip,Rp,ll,ds,tl,an,Sp,pl,ws,el,ln,Lp,rl,vs,il,tn,Up,ol,ys,ul,Es,cl,pn,Fp,hl,Ps,fl,zs,jl,R,Vp,ea,Mp,Kp,ra,Wp,Yp,gl,Ts,ml,ss,Jp,ia,Zp,Qp,xl,Cs,$l,en,Xp,bl,Os,_l,Bs,ql,rn,se,kl,Ds,dl,on,ne,wl,Ns,vl,As,yl,un,ae,El,Gs,Pl,Hs,zl,ns,Tl,cn,le,Cl,Is,Ol,hn,te,Bl,Rs,Dl,Ss,Nl,as,Al,fn,pe,Gl;return k=new ee({}),H=new Tr({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section5.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section5.ipynb"}]}}),es=new zr({props:{id:"HEikzVL-lZU"}}),F=new mn({props:{$$slots:{default:[Cr]},$$scope:{ctx:B}}}),is=new q({props:{code:'"hug", "pug", "pun", "bun", "hugs"',highlighted:'<span class="hljs-string">&quot;hug&quot;</span>, <span class="hljs-string">&quot;pug&quot;</span>, <span class="hljs-string">&quot;pun&quot;</span>, <span class="hljs-string">&quot;bun&quot;</span>, <span class="hljs-string">&quot;hugs&quot;</span>'}}),M=new mn({props:{$$slots:{default:[Or]},$$scope:{ctx:B}}}),os=new q({props:{code:'("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)',highlighted:'(<span class="hljs-string">&quot;hug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">10</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">12</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;bun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;hugs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)'}}),us=new q({props:{code:'("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)',highlighted:'(<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;g&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">10</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;g&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;n&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">12</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;n&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;g&quot;</span> <span class="hljs-string">&quot;s&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)'}}),cs=new q({props:{code:`Vocabulary: ["b", "g", "h", "n", "p", "s", "u", "ug"]
Corpus: ("h" "ug", 10), ("p" "ug", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "ug" "s", 5)`,highlighted:`<span class="hljs-symbol">Vocabulary:</span> [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>]
<span class="hljs-symbol">Corpus:</span> (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;u&quot;</span> <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;ug&quot;</span> <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-number">5</span>)`}}),hs=new q({props:{code:`Vocabulary: ["b", "g", "h", "n", "p", "s", "u", "ug", "un"]
Corpus: ("h" "ug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("h" "ug" "s", 5)`,highlighted:`<span class="hljs-symbol">Vocabulary:</span> [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-string">&quot;un&quot;</span>]
<span class="hljs-symbol">Corpus:</span> (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;ug&quot;</span> <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-number">5</span>)`}}),fs=new q({props:{code:`Vocabulary: ["b", "g", "h", "n", "p", "s", "u", "ug", "un", "hug"]
Corpus: ("hug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("hug" "s", 5)`,highlighted:`<span class="hljs-symbol">Vocabulary:</span> [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-string">&quot;hug&quot;</span>]
<span class="hljs-symbol">Corpus:</span> (<span class="hljs-string">&quot;hug&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;hug&quot;</span> <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-number">5</span>)`}}),W=new mn({props:{$$slots:{default:[Br]},$$scope:{ctx:B}}}),js=new ee({}),gs=new q({props:{code:`("u", "g") -> "ug"
("u", "n") -> "un"
("h", "ug") -> "hug"`,highlighted:`<span class="hljs-function"><span class="hljs-params">(<span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>)</span> -&gt;</span> <span class="hljs-string">&quot;ug&quot;</span>
<span class="hljs-function"><span class="hljs-params">(<span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>)</span> -&gt;</span> <span class="hljs-string">&quot;un&quot;</span>
<span class="hljs-function"><span class="hljs-params">(<span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>)</span> -&gt;</span> <span class="hljs-string">&quot;hug&quot;</span>`}}),J=new mn({props:{$$slots:{default:[Dr]},$$scope:{ctx:B}}}),ms=new ee({}),xs=new q({props:{code:`corpus = [
    "This is the Hugging Face course.",
    "This chapter is about tokenization.",
    "This section shows several tokenizer algorithms.",
    "Hopefully, you will be able to understand how they are trained and generate tokens.",
]`,highlighted:`corpus = [
    <span class="hljs-string">&quot;This is the Hugging Face course.&quot;</span>,
    <span class="hljs-string">&quot;This chapter is about tokenization.&quot;</span>,
    <span class="hljs-string">&quot;This section shows several tokenizer algorithms.&quot;</span>,
    <span class="hljs-string">&quot;Hopefully, you will be able to understand how they are trained and generate tokens.&quot;</span>,
]`}}),$s=new q({props:{code:`from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;gpt2&quot;</span>)`}}),bs=new q({props:{code:`from collections import defaultdict

word_freqs = defaultdict(int)

for text in corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word for word, offset in words_with_offsets]
    for word in new_words:
        word_freqs[word] += 1

print(word_freqs)`,highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict

word_freqs = defaultdict(<span class="hljs-built_in">int</span>)

<span class="hljs-keyword">for</span> text <span class="hljs-keyword">in</span> corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> words_with_offsets]
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> new_words:
        word_freqs[word] += <span class="hljs-number">1</span>

<span class="hljs-built_in">print</span>(word_freqs)`}}),_s=new q({props:{code:`defaultdict(int, {'This': 3, '\u0120is': 2, '\u0120the': 1, '\u0120Hugging': 1, '\u0120Face': 1, '\u0120Course': 1, '.': 4, '\u0120chapter': 1,
    '\u0120about': 1, '\u0120tokenization': 1, '\u0120section': 1, '\u0120shows': 1, '\u0120several': 1, '\u0120tokenizer': 1, '\u0120algorithms': 1,
    'Hopefully': 1, ',': 1, '\u0120you': 1, '\u0120will': 1, '\u0120be': 1, '\u0120able': 1, '\u0120to': 1, '\u0120understand': 1, '\u0120how': 1,
    '\u0120they': 1, '\u0120are': 1, '\u0120trained': 1, '\u0120and': 1, '\u0120generate': 1, '\u0120tokens': 1})`,highlighted:`defaultdict(<span class="hljs-built_in">int</span>, {<span class="hljs-string">&#x27;This&#x27;</span>: <span class="hljs-number">3</span>, <span class="hljs-string">&#x27;\u0120is&#x27;</span>: <span class="hljs-number">2</span>, <span class="hljs-string">&#x27;\u0120the&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120Hugging&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120Face&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120Course&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;.&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;\u0120chapter&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;\u0120about&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120tokenization&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120section&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120shows&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120several&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120tokenizer&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120algorithms&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;Hopefully&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;,&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120you&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120will&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120be&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120able&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120to&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120understand&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120how&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;\u0120they&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120are&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120trained&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120and&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120generate&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;\u0120tokens&#x27;</span>: <span class="hljs-number">1</span>})`}}),qs=new q({props:{code:`alphabet = []

for word in word_freqs.keys():
    for letter in word:
        if letter not in alphabet:
            alphabet.append(letter)
alphabet.sort()

print(alphabet)`,highlighted:`alphabet = []

<span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs.keys():
    <span class="hljs-keyword">for</span> letter <span class="hljs-keyword">in</span> word:
        <span class="hljs-keyword">if</span> letter <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> alphabet:
            alphabet.append(letter)
alphabet.sort()

<span class="hljs-built_in">print</span>(alphabet)`}}),ks=new q({props:{code:`[ ',', '.', 'C', 'F', 'H', 'T', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'k', 'l', 'm', 'n', 'o', 'p', 'r', 's',
  't', 'u', 'v', 'w', 'y', 'z', '\u0120']`,highlighted:`[ <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;C&#x27;</span>, <span class="hljs-string">&#x27;F&#x27;</span>, <span class="hljs-string">&#x27;H&#x27;</span>, <span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;b&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;d&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;f&#x27;</span>, <span class="hljs-string">&#x27;g&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;k&#x27;</span>, <span class="hljs-string">&#x27;l&#x27;</span>, <span class="hljs-string">&#x27;m&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>, <span class="hljs-string">&#x27;o&#x27;</span>, <span class="hljs-string">&#x27;p&#x27;</span>, <span class="hljs-string">&#x27;r&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>,
  <span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>, <span class="hljs-string">&#x27;v&#x27;</span>, <span class="hljs-string">&#x27;w&#x27;</span>, <span class="hljs-string">&#x27;y&#x27;</span>, <span class="hljs-string">&#x27;z&#x27;</span>, <span class="hljs-string">&#x27;\u0120&#x27;</span>]`}}),ds=new q({props:{code:'vocab = ["<|endoftext|>"] + alphabet.copy()',highlighted:'vocab = [<span class="hljs-string">&quot;&lt;|endoftext|&gt;&quot;</span>] + alphabet.copy()'}}),ws=new q({props:{code:"splits = {word: [c for c in word] for word in word_freqs.keys()}",highlighted:'splits = {word: [c <span class="hljs-keyword">for</span> c <span class="hljs-keyword">in</span> word] <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs.keys()}'}}),vs=new q({props:{code:`def compute_pair_freqs(splits):
    pair_freqs = defaultdict(int)
    for word, freq in word_freqs.items():
        split = splits[word]
        if len(split) == 1:
            continue
        for i in range(len(split) - 1):
            pair = (split[i], split[i + 1])
            pair_freqs[pair] += freq
    return pair_freqs`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_pair_freqs</span>(<span class="hljs-params">splits</span>):
    pair_freqs = defaultdict(<span class="hljs-built_in">int</span>)
    <span class="hljs-keyword">for</span> word, freq <span class="hljs-keyword">in</span> word_freqs.items():
        split = splits[word]
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(split) == <span class="hljs-number">1</span>:
            <span class="hljs-keyword">continue</span>
        <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(split) - <span class="hljs-number">1</span>):
            pair = (split[i], split[i + <span class="hljs-number">1</span>])
            pair_freqs[pair] += freq
    <span class="hljs-keyword">return</span> pair_freqs`}}),ys=new q({props:{code:`pair_freqs = compute_pair_freqs(splits)

for i, key in enumerate(pair_freqs.keys()):
    print(f"{key}: {pair_freqs[key]}")
    if i >= 5:
        break`,highlighted:`pair_freqs = compute_pair_freqs(splits)

<span class="hljs-keyword">for</span> i, key <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(pair_freqs.keys()):
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span>: <span class="hljs-subst">{pair_freqs[key]}</span>&quot;</span>)
    <span class="hljs-keyword">if</span> i &gt;= <span class="hljs-number">5</span>:
        <span class="hljs-keyword">break</span>`}}),Es=new q({props:{code:`('T', 'h'): 3
('h', 'i'): 3
('i', 's'): 5
('\u0120', 'i'): 2
('\u0120', 't'): 7
('t', 'h'): 3`,highlighted:`(<span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>): <span class="hljs-number">3</span>
(<span class="hljs-string">&#x27;h&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>): <span class="hljs-number">3</span>
(<span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>): <span class="hljs-number">5</span>
(<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>): <span class="hljs-number">2</span>
(<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>): <span class="hljs-number">7</span>
(<span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>): <span class="hljs-number">3</span>`}}),Ps=new q({props:{code:`best_pair = ""
max_freq = None

for pair, freq in pair_freqs.items():
    if max_freq is None or max_freq < freq:
        best_pair = pair
        max_freq = freq

print(best_pair, max_freq)`,highlighted:`best_pair = <span class="hljs-string">&quot;&quot;</span>
max_freq = <span class="hljs-literal">None</span>

<span class="hljs-keyword">for</span> pair, freq <span class="hljs-keyword">in</span> pair_freqs.items():
    <span class="hljs-keyword">if</span> max_freq <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span> <span class="hljs-keyword">or</span> max_freq &lt; freq:
        best_pair = pair
        max_freq = freq

<span class="hljs-built_in">print</span>(best_pair, max_freq)`}}),zs=new q({props:{code:"('\u0120', 't') 7",highlighted:'(<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>) <span class="hljs-number">7</span>'}}),Ts=new q({props:{code:`merges = {("\u0120", "t"): "\u0120t"}
vocab.append("\u0120t")`,highlighted:`merges = {(<span class="hljs-string">&quot;\u0120&quot;</span>, <span class="hljs-string">&quot;t&quot;</span>): <span class="hljs-string">&quot;\u0120t&quot;</span>}
vocab.append(<span class="hljs-string">&quot;\u0120t&quot;</span>)`}}),Cs=new q({props:{code:`def merge_pair(a, b, splits):
    for word in word_freqs:
        split = splits[word]
        if len(split) == 1:
            continue

        i = 0
        while i < len(split) - 1:
            if split[i] == a and split[i + 1] == b:
                split = split[:i] + [a + b] + split[i + 2 :]
            else:
                i += 1
        splits[word] = split
    return splits`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">merge_pair</span>(<span class="hljs-params">a, b, splits</span>):
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs:
        split = splits[word]
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(split) == <span class="hljs-number">1</span>:
            <span class="hljs-keyword">continue</span>

        i = <span class="hljs-number">0</span>
        <span class="hljs-keyword">while</span> i &lt; <span class="hljs-built_in">len</span>(split) - <span class="hljs-number">1</span>:
            <span class="hljs-keyword">if</span> split[i] == a <span class="hljs-keyword">and</span> split[i + <span class="hljs-number">1</span>] == b:
                split = split[:i] + [a + b] + split[i + <span class="hljs-number">2</span> :]
            <span class="hljs-keyword">else</span>:
                i += <span class="hljs-number">1</span>
        splits[word] = split
    <span class="hljs-keyword">return</span> splits`}}),Os=new q({props:{code:`splits = merge_pair("\u0120", "t", splits)
print(splits["\u0120trained"])`,highlighted:`splits = merge_pair(<span class="hljs-string">&quot;\u0120&quot;</span>, <span class="hljs-string">&quot;t&quot;</span>, splits)
<span class="hljs-built_in">print</span>(splits[<span class="hljs-string">&quot;\u0120trained&quot;</span>])`}}),Bs=new q({props:{code:"['\u0120t', 'r', 'a', 'i', 'n', 'e', 'd']",highlighted:'[<span class="hljs-string">&#x27;\u0120t&#x27;</span>, <span class="hljs-string">&#x27;r&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;d&#x27;</span>]'}}),Ds=new q({props:{code:`vocab_size = 50

while len(vocab) < vocab_size:
    pair_freqs = compute_pair_freqs(splits)
    best_pair = ""
    max_freq = None
    for pair, freq in pair_freqs.items():
        if max_freq is None or max_freq < freq:
            best_pair = pair
            max_freq = freq
    splits = merge_pair(*best_pair, splits)
    merges[best_pair] = best_pair[0] + best_pair[1]
    vocab.append(best_pair[0] + best_pair[1])`,highlighted:`vocab_size = <span class="hljs-number">50</span>

<span class="hljs-keyword">while</span> <span class="hljs-built_in">len</span>(vocab) &lt; vocab_size:
    pair_freqs = compute_pair_freqs(splits)
    best_pair = <span class="hljs-string">&quot;&quot;</span>
    max_freq = <span class="hljs-literal">None</span>
    <span class="hljs-keyword">for</span> pair, freq <span class="hljs-keyword">in</span> pair_freqs.items():
        <span class="hljs-keyword">if</span> max_freq <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span> <span class="hljs-keyword">or</span> max_freq &lt; freq:
            best_pair = pair
            max_freq = freq
    splits = merge_pair(*best_pair, splits)
    merges[best_pair] = best_pair[<span class="hljs-number">0</span>] + best_pair[<span class="hljs-number">1</span>]
    vocab.append(best_pair[<span class="hljs-number">0</span>] + best_pair[<span class="hljs-number">1</span>])`}}),Ns=new q({props:{code:"print(merges)",highlighted:'<span class="hljs-built_in">print</span>(merges)'}}),As=new q({props:{code:`{('\u0120', 't'): '\u0120t', ('i', 's'): 'is', ('e', 'r'): 'er', ('\u0120', 'a'): '\u0120a', ('\u0120t', 'o'): '\u0120to', ('e', 'n'): 'en',
 ('T', 'h'): 'Th', ('Th', 'is'): 'This', ('o', 'u'): 'ou', ('s', 'e'): 'se', ('\u0120to', 'k'): '\u0120tok',
 ('\u0120tok', 'en'): '\u0120token', ('n', 'd'): 'nd', ('\u0120', 'is'): '\u0120is', ('\u0120t', 'h'): '\u0120th', ('\u0120th', 'e'): '\u0120the',
 ('i', 'n'): 'in', ('\u0120a', 'b'): '\u0120ab', ('\u0120token', 'i'): '\u0120tokeni'}`,highlighted:`{(<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>): <span class="hljs-string">&#x27;\u0120t&#x27;</span>, (<span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>): <span class="hljs-string">&#x27;is&#x27;</span>, (<span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;r&#x27;</span>): <span class="hljs-string">&#x27;er&#x27;</span>, (<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>): <span class="hljs-string">&#x27;\u0120a&#x27;</span>, (<span class="hljs-string">&#x27;\u0120t&#x27;</span>, <span class="hljs-string">&#x27;o&#x27;</span>): <span class="hljs-string">&#x27;\u0120to&#x27;</span>, (<span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>): <span class="hljs-string">&#x27;en&#x27;</span>,
 (<span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>): <span class="hljs-string">&#x27;Th&#x27;</span>, (<span class="hljs-string">&#x27;Th&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>): <span class="hljs-string">&#x27;This&#x27;</span>, (<span class="hljs-string">&#x27;o&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>): <span class="hljs-string">&#x27;ou&#x27;</span>, (<span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>): <span class="hljs-string">&#x27;se&#x27;</span>, (<span class="hljs-string">&#x27;\u0120to&#x27;</span>, <span class="hljs-string">&#x27;k&#x27;</span>): <span class="hljs-string">&#x27;\u0120tok&#x27;</span>,
 (<span class="hljs-string">&#x27;\u0120tok&#x27;</span>, <span class="hljs-string">&#x27;en&#x27;</span>): <span class="hljs-string">&#x27;\u0120token&#x27;</span>, (<span class="hljs-string">&#x27;n&#x27;</span>, <span class="hljs-string">&#x27;d&#x27;</span>): <span class="hljs-string">&#x27;nd&#x27;</span>, (<span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>): <span class="hljs-string">&#x27;\u0120is&#x27;</span>, (<span class="hljs-string">&#x27;\u0120t&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>): <span class="hljs-string">&#x27;\u0120th&#x27;</span>, (<span class="hljs-string">&#x27;\u0120th&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>): <span class="hljs-string">&#x27;\u0120the&#x27;</span>,
 (<span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>): <span class="hljs-string">&#x27;in&#x27;</span>, (<span class="hljs-string">&#x27;\u0120a&#x27;</span>, <span class="hljs-string">&#x27;b&#x27;</span>): <span class="hljs-string">&#x27;\u0120ab&#x27;</span>, (<span class="hljs-string">&#x27;\u0120token&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>): <span class="hljs-string">&#x27;\u0120tokeni&#x27;</span>}`}}),Gs=new q({props:{code:"print(vocab)",highlighted:'<span class="hljs-built_in">print</span>(vocab)'}}),Hs=new q({props:{code:`['<|endoftext|>', ',', '.', 'C', 'F', 'H', 'T', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'k', 'l', 'm', 'n', 'o',
 'p', 'r', 's', 't', 'u', 'v', 'w', 'y', 'z', '\u0120', '\u0120t', 'is', 'er', '\u0120a', '\u0120to', 'en', 'Th', 'This', 'ou', 'se',
 '\u0120tok', '\u0120token', 'nd', '\u0120is', '\u0120th', '\u0120the', 'in', '\u0120ab', '\u0120tokeni']`,highlighted:`[<span class="hljs-string">&#x27;&lt;|endoftext|&gt;&#x27;</span>, <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;C&#x27;</span>, <span class="hljs-string">&#x27;F&#x27;</span>, <span class="hljs-string">&#x27;H&#x27;</span>, <span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;b&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;d&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;f&#x27;</span>, <span class="hljs-string">&#x27;g&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;k&#x27;</span>, <span class="hljs-string">&#x27;l&#x27;</span>, <span class="hljs-string">&#x27;m&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>, <span class="hljs-string">&#x27;o&#x27;</span>,
 <span class="hljs-string">&#x27;p&#x27;</span>, <span class="hljs-string">&#x27;r&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>, <span class="hljs-string">&#x27;v&#x27;</span>, <span class="hljs-string">&#x27;w&#x27;</span>, <span class="hljs-string">&#x27;y&#x27;</span>, <span class="hljs-string">&#x27;z&#x27;</span>, <span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;\u0120t&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;er&#x27;</span>, <span class="hljs-string">&#x27;\u0120a&#x27;</span>, <span class="hljs-string">&#x27;\u0120to&#x27;</span>, <span class="hljs-string">&#x27;en&#x27;</span>, <span class="hljs-string">&#x27;Th&#x27;</span>, <span class="hljs-string">&#x27;This&#x27;</span>, <span class="hljs-string">&#x27;ou&#x27;</span>, <span class="hljs-string">&#x27;se&#x27;</span>,
 <span class="hljs-string">&#x27;\u0120tok&#x27;</span>, <span class="hljs-string">&#x27;\u0120token&#x27;</span>, <span class="hljs-string">&#x27;nd&#x27;</span>, <span class="hljs-string">&#x27;\u0120is&#x27;</span>, <span class="hljs-string">&#x27;\u0120th&#x27;</span>, <span class="hljs-string">&#x27;\u0120the&#x27;</span>, <span class="hljs-string">&#x27;in&#x27;</span>, <span class="hljs-string">&#x27;\u0120ab&#x27;</span>, <span class="hljs-string">&#x27;\u0120tokeni&#x27;</span>]`}}),ns=new mn({props:{$$slots:{default:[Nr]},$$scope:{ctx:B}}}),Is=new q({props:{code:`def tokenize(text):
    pre_tokenize_result = tokenizer._tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word for word, offset in pre_tokenize_result]
    splits = [[l for l in word] for word in pre_tokenized_text]
    for pair, merge in merges.items():
        for idx, split in enumerate(splits):
            i = 0
            while i < len(split) - 1:
                if split[i] == pair[0] and split[i + 1] == pair[1]:
                    split = split[:i] + [merge] + split[i + 2 :]
                else:
                    i += 1
            splits[idx] = split

    return sum(splits, [])`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">text</span>):
    pre_tokenize_result = tokenizer._tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> pre_tokenize_result]
    splits = [[l <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> word] <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> pre_tokenized_text]
    <span class="hljs-keyword">for</span> pair, merge <span class="hljs-keyword">in</span> merges.items():
        <span class="hljs-keyword">for</span> idx, split <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(splits):
            i = <span class="hljs-number">0</span>
            <span class="hljs-keyword">while</span> i &lt; <span class="hljs-built_in">len</span>(split) - <span class="hljs-number">1</span>:
                <span class="hljs-keyword">if</span> split[i] == pair[<span class="hljs-number">0</span>] <span class="hljs-keyword">and</span> split[i + <span class="hljs-number">1</span>] == pair[<span class="hljs-number">1</span>]:
                    split = split[:i] + [merge] + split[i + <span class="hljs-number">2</span> :]
                <span class="hljs-keyword">else</span>:
                    i += <span class="hljs-number">1</span>
            splits[idx] = split

    <span class="hljs-keyword">return</span> <span class="hljs-built_in">sum</span>(splits, [])`}}),Rs=new q({props:{code:'tokenize("This is not a token.")',highlighted:'tokenize(<span class="hljs-string">&quot;This is not a token.&quot;</span>)'}}),Ss=new q({props:{code:"['This', '\u0120is', '\u0120', 'n', 'o', 't', '\u0120a', '\u0120token', '.']",highlighted:'[<span class="hljs-string">&#x27;This&#x27;</span>, <span class="hljs-string">&#x27;\u0120is&#x27;</span>, <span class="hljs-string">&#x27;\u0120&#x27;</span>, <span class="hljs-string">&#x27;n&#x27;</span>, <span class="hljs-string">&#x27;o&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;\u0120a&#x27;</span>, <span class="hljs-string">&#x27;\u0120token&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>]'}}),as=new mn({props:{warning:!0,$$slots:{default:[Ar]},$$scope:{ctx:B}}}),{c(){h=r("meta"),w=u(),f=r("h1"),_=r("a"),P=r("span"),j(k.$$.fragment),y=u(),C=r("span"),S=t("Byte-Pair Encoding tokenization"),D=u(),j(H.$$.fragment),ps=u(),Us=r("p"),Vl=t("\u0E14\u0E31\u0E49\u0E07\u0E40\u0E14\u0E34\u0E21\u0E41\u0E25\u0E49\u0E27 Byte-Pair Encoding (BPE) \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E0A\u0E49\u0E1A\u0E35\u0E1A\u0E2D\u0E31\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E25\u0E47\u0E01\u0E25\u0E07 (compress texts) \u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07 OpenAI \u0E44\u0E14\u0E49\u0E19\u0E33\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E43\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E23\u0E19 GPT \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E15\u0E31\u0E27\u0E19\u0E35\u0E49\u0E22\u0E31\u0E07\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E27\u0E49\u0E32\u0E07\u0E02\u0E27\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 Transformer \u0E40\u0E0A\u0E48\u0E19 GPT, GPT-2, RoBERTa, BART, \u0E41\u0E25\u0E30 DeBERTa"),ja=u(),j(es.$$.fragment),ga=u(),j(F.$$.fragment),ma=u(),rs=r("h2"),Ml=t("\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"),xa=u(),Fs=r("p"),Kl=t("BPE \u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 (\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23 normalization \u0E41\u0E25\u0E30 pre-tokenization \u0E21\u0E32\u0E41\u0E25\u0E49\u0E27) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E0A\u0E38\u0E14\u0E04\u0E33\u0E28\u0E31\u0E1E\u0E17\u0E4C (vocabulary) \u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2B\u0E49\u0E32\u0E04\u0E33\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 :"),$a=u(),j(is.$$.fragment),ba=u(),V=r("p"),Wl=t("vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D "),xn=r("code"),Yl=t('["b", "g", "h", "n", "p", "s", "u"]'),Jl=t("  \u0E43\u0E19\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E08\u0E23\u0E34\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 ASCII \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E33 \u0E2B\u0E23\u0E37\u0E2D\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E21\u0E35\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 Unicode \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),_a=u(),Vs=r("p"),Zl=t("\u0E16\u0E49\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E21\u0E48\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E21\u0E35\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 training corpus \u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 unknown token \u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E2B\u0E15\u0E38\u0E1C\u0E25\u0E27\u0E48\u0E32\u0E17\u0E33\u0E44\u0E21\u0E42\u0E21\u0E40\u0E14\u0E25 NLP \u0E08\u0E36\u0E07\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E35\u0E42\u0E21\u0E08\u0E34\u0E44\u0E14\u0E49\u0E44\u0E21\u0E48\u0E14\u0E35\u0E19\u0E31\u0E01"),qa=u(),j(M.$$.fragment),ka=u(),K=r("p"),Ql=t("\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E43\u0E2B\u0E21\u0E48\u0E46 \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E08\u0E19\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 vocabulary \u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E1E\u0E2D\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19 BPE \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19 \u0E01\u0E0E\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),$n=r("em"),Xl=t("merges"),st=t(` \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E0E\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E2A\u0E2D\u0E07\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E43\u0E19 vocabulary \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19
\u0E15\u0E2D\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E01\u0E0E merges \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E17\u0E23\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46 \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E01\u0E47\u0E08\u0E30\u0E22\u0E32\u0E27\u0E02\u0E36\u0E49\u0E19
\u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E23\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 BPE \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E04\u0E39\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E34\u0E14\u0E01\u0E31\u0E19)
\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E34\u0E21\u0E2D\u0E35\u0E01\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E23\u0E2D\u0E1A\u0E15\u0E48\u0E2D\u0E44\u0E1B`),da=u(),Ms=r("p"),nt=t("\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E17\u0E35\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E14\u0E31\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),wa=u(),j(os.$$.fragment),va=u(),T=r("p"),at=t("\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),bn=r("code"),lt=t('"hug"'),tt=t(" \u0E1E\u0E1A 10 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus, "),_n=r("code"),pt=t('"pug"'),et=t(" \u0E1E\u0E1A 5 \u0E04\u0E23\u0E31\u0E49\u0E07, "),qn=r("code"),rt=t('"pun"'),it=t(" \u0E1E\u0E1A 12 \u0E04\u0E23\u0E31\u0E49\u0E07, "),kn=r("code"),ot=t('"bun"'),ut=t(" \u0E1E\u0E1A 4 \u0E04\u0E23\u0E31\u0E49\u0E07, \u0E41\u0E25\u0E30 "),dn=r("code"),ct=t('"hugs"'),ht=t(" \u0E1E\u0E1A 5 \u0E04\u0E23\u0E31\u0E49\u0E07"),ya=u(),Ks=r("p"),ft=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E42\u0E14\u0E22\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 (\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E21\u0E32\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27) \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 list \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E2B\u0E25\u0E32\u0E22\u0E46 token"),Ea=u(),j(us.$$.fragment),Pa=u(),E=r("p"),jt=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E25\u0E30\u0E04\u0E39\u0E48 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E39\u0E48 "),wn=r("code"),gt=t('("h", "u")'),mt=t(" \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 "),vn=r("code"),xt=t('"hug"'),$t=t(" \u0E41\u0E25\u0E30 "),yn=r("code"),bt=t('"hugs"'),_t=t(` \u0E41\u0E25\u0E30\u0E1E\u0E1A 15 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),En=r("code"),qt=t('("u", "g")'),kt=t(" \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A\u0E43\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 "),Pn=r("code"),dt=t('"hug"'),wt=t(", "),zn=r("code"),vt=t('"pug"'),yt=t(", \u0E41\u0E25\u0E30 "),Tn=r("code"),Et=t('"hugs"'),Pt=t(` \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E04\u0E37\u0E2D 20 \u0E04\u0E23\u0E31\u0E49\u0E07
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 merge \u0E17\u0E35\u0E48 tokenizer \u0E40\u0E23\u0E35\u0E22\u0E19\u0E04\u0E37\u0E2D `),Cn=r("code"),zt=t('("u", "g") -> "ug"'),Tt=t(" \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),On=r("code"),Ct=t('"ug"'),Ot=t(" \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E43\u0E19 corpus \u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E1B\u0E47\u0E19 token \u0E40\u0E14\u0E35\u0E22\u0E27\u0E14\u0E49\u0E27\u0E22"),za=u(),Ws=r("p"),Bt=t("\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 vocabulary \u0E41\u0E25\u0E30 corpus \u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Ta=u(),j(cs.$$.fragment),Ca=u(),N=r("p"),Dt=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E08\u0E30\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E01\u0E27\u0E48\u0E32\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E39\u0E48 "),Bn=r("code"),Nt=t('("h", "ug")'),At=t(` \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 15 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),Dn=r("code"),Gt=t('("u", "n")'),Ht=t(" \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 16 \u0E04\u0E23\u0E31\u0E49\u0E07 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Nn=r("code"),It=t('("u", "n") -> "un"'),Rt=t(" \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30 merge token \u0E43\u0E19 corpus \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),Oa=u(),j(hs.$$.fragment),Ba=u(),I=r("p"),St=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D "),An=r("code"),Lt=t('("h", "ug")'),Ut=t(" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),Gn=r("code"),Ft=t('("h", "ug") -> "hug"'),Vt=t(" \u0E0B\u0E36\u0E48\u0E07\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),Da=u(),j(fs.$$.fragment),Na=u(),Ys=r("p"),Mt=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 vocabulary \u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23"),Aa=u(),j(W.$$.fragment),Ga=u(),L=r("h2"),Y=r("a"),Hn=r("span"),j(js.$$.fragment),Kt=u(),In=r("span"),Wt=t("Tokenization algorithm"),Ha=u(),Js=r("p"),Yt=t("\u0E01\u0E32\u0E23 tokenization \u0E40\u0E1B\u0E47\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E42\u0E14\u0E22 input \u0E43\u0E2B\u0E21\u0E48\u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E14\u0E49\u0E27\u0E22\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E14\u0E31\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),Ia=u(),A=r("ol"),Rn=r("li"),Jt=t("Normalization (\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19)"),Zt=u(),Sn=r("li"),Qt=t("Pre-tokenization (\u0E01\u0E32\u0E23\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23 tokenize \u0E08\u0E23\u0E34\u0E07)"),Xt=u(),Ln=r("li"),sp=t("\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E40\u0E14\u0E35\u0E48\u0E22\u0E27"),np=u(),Un=r("li"),ap=t("\u0E43\u0E0A\u0E49\u0E01\u0E0E merge \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32"),Ra=u(),Zs=r("p"),lp=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E0E\u0E2A\u0E32\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 :"),Sa=u(),j(gs.$$.fragment),La=u(),d=r("p"),tp=t("\u0E04\u0E33\u0E27\u0E48\u0E32"),Fn=r("code"),pp=t('"bug"'),ep=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Vn=r("code"),rp=t('["b", "ug"]'),ip=t(" \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),Mn=r("code"),op=t('"mug"'),up=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Kn=r("code"),cp=t('["[UNK]", "ug"]'),hp=t(" \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 "),Wn=r("code"),fp=t('"m"'),jp=t(` \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32
\u0E49\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 `),Yn=r("code"),gp=t('"thug"'),mp=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Jn=r("code"),xp=t('["[UNK]", "hug"]'),$p=t(" \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 "),Zn=r("code"),bp=t('"t"'),_p=t(" \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E08\u0E30\u0E23\u0E27\u0E21 "),Qn=r("code"),qp=t('"u"'),kp=t(" \u0E41\u0E25\u0E30 "),Xn=r("code"),dp=t('"g"'),wp=t(" \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 "),sa=r("code"),vp=t('"hu"'),yp=t(" \u0E41\u0E25\u0E30 "),na=r("code"),Ep=t('"g"'),Pp=t(" \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"),Ua=u(),j(J.$$.fragment),Fa=u(),U=r("h2"),Z=r("a"),aa=r("span"),j(ms.$$.fragment),zp=u(),la=r("span"),Tp=t("\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 BPE (Implementing BPE)"),Va=u(),Qs=r("p"),Cp=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 BPE \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 implementation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E42\u0E04\u0E49\u0E14\u0E41\u0E25\u0E30\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E27\u0E48\u0E32 BPE \u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23"),Ma=u(),Xs=r("p"),Op=t("\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 corpus \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 corpus \u0E41\u0E1A\u0E1A\u0E07\u0E48\u0E32\u0E22\u0E46\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E44\u0E21\u0E48\u0E01\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 :"),Ka=u(),j(xs.$$.fragment),Wa=u(),Q=r("p"),Bp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenize corpus \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 BPE tokenizer \u0E15\u0E32\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19 GPT-2 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49 "),ta=r("code"),Dp=t("gpt2"),Np=t(" tokenizer \u0E43\u0E19\u0E01\u0E32\u0E23 pre-tokenize"),Ya=u(),j($s.$$.fragment),Ja=u(),sn=r("p"),Ap=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33:"),Za=u(),j(bs.$$.fragment),Qa=u(),j(_s.$$.fragment),Xa=u(),nn=r("p"),Gp=t("\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E08\u0E32\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E43\u0E19 corpus :"),sl=u(),j(qs.$$.fragment),nl=u(),j(ks.$$.fragment),al=u(),X=r("p"),Hp=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 list \u0E19\u0E35\u0E49\u0E14\u0E49\u0E27\u0E22 GPT-2 \u0E43\u0E0A\u0E49 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E04\u0E37\u0E2D "),pa=r("code"),Ip=t('"<|endoftext|>"'),Rp=t(" :"),ll=u(),j(ds.$$.fragment),tl=u(),an=r("p"),Sp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 :"),pl=u(),j(ws.$$.fragment),el=u(),ln=r("p"),Lp=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 token :"),rl=u(),j(vs.$$.fragment),il=u(),tn=r("p"),Up=t("\u0E21\u0E32\u0E14\u0E39\u0E2A\u0E48\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 dictionary) \u0E01\u0E31\u0E19 :"),ol=u(),j(ys.$$.fragment),ul=u(),j(Es.$$.fragment),cl=u(),pn=r("p"),Fp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E0B\u0E36\u0E48\u0E07\u0E17\u0E33\u0E44\u0E14\u0E49\u0E07\u0E48\u0E32\u0E22\u0E46\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),hl=u(),j(Ps.$$.fragment),fl=u(),j(zs.$$.fragment),jl=u(),R=r("p"),Vp=t("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D "),ea=r("code"),Mp=t("('\u0120', 't') -> '\u0120t'"),Kp=t(" \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21 "),ra=r("code"),Wp=t("'\u0120t'"),Yp=t(" \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary :"),gl=u(),j(Ts.$$.fragment),ml=u(),ss=r("p"),Jp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 merge \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 dictionary "),ia=r("code"),Zp=t("splits"),Qp=t(" \u0E14\u0E49\u0E27\u0E22 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),xl=u(),j(Cs.$$.fragment),$l=u(),en=r("p"),Xp=t("\u0E41\u0E25\u0E30\u0E19\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01 :"),bl=u(),j(Os.$$.fragment),_l=u(),j(Bs.$$.fragment),ql=u(),rn=r("p"),se=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E21\u0E35\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 vocabulary \u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 50 :"),kl=u(),j(Ds.$$.fragment),dl=u(),on=r("p"),ne=t("\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D tokenizer \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19 19 \u0E01\u0E0E (vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E21\u0E35 31 token \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E21\u0E35 30 \u0E15\u0E31\u0E27\u0E41\u0E25\u0E30 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E35\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27) :"),wl=u(),j(Ns.$$.fragment),vl=u(),j(As.$$.fragment),yl=u(),un=r("p"),ae=t("\u0E2A\u0E48\u0E27\u0E19 vocabulary \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 token \u0E1E\u0E34\u0E40\u0E28\u0E29, \u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19, \u0E41\u0E25\u0E30\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E23\u0E31\u0E49\u0E07 :"),El=u(),j(Gs.$$.fragment),Pl=u(),j(Hs.$$.fragment),zl=u(),j(ns.$$.fragment),Tl=u(),cn=r("p"),le=t("\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E04\u0E37\u0E2D pre-tokenize \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 tokenize \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 apply \u0E01\u0E0E merge :"),Cl=u(),j(Is.$$.fragment),Ol=u(),hn=r("p"),te=t("\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E14\u0E25\u0E2D\u0E07\u0E42\u0E04\u0E49\u0E14\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E38\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 :"),Bl=u(),j(Rs.$$.fragment),Dl=u(),j(Ss.$$.fragment),Nl=u(),j(as.$$.fragment),Al=u(),fn=r("p"),pe=t("\u0E19\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 BPE \u0E43\u0E19\u0E1A\u0E17\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39 WordPiece \u0E01\u0E31\u0E19"),this.h()},l(s){const l=Er('[data-svelte="svelte-1phssyn"]',document.head);h=i(l,"META",{name:!0,content:!0}),l.forEach(n),w=c(s),f=i(s,"H1",{class:!0});var Ls=o(f);_=i(Ls,"A",{id:!0,class:!0,href:!0});var oa=o(_);P=i(oa,"SPAN",{});var ua=o(P);g(k.$$.fragment,ua),ua.forEach(n),oa.forEach(n),y=c(Ls),C=i(Ls,"SPAN",{});var ca=o(C);S=p(ca,"Byte-Pair Encoding tokenization"),ca.forEach(n),Ls.forEach(n),D=c(s),g(H.$$.fragment,s),ps=c(s),Us=i(s,"P",{});var ha=o(Us);Vl=p(ha,"\u0E14\u0E31\u0E49\u0E07\u0E40\u0E14\u0E34\u0E21\u0E41\u0E25\u0E49\u0E27 Byte-Pair Encoding (BPE) \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E0A\u0E49\u0E1A\u0E35\u0E1A\u0E2D\u0E31\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E25\u0E47\u0E01\u0E25\u0E07 (compress texts) \u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07 OpenAI \u0E44\u0E14\u0E49\u0E19\u0E33\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E43\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E23\u0E19 GPT \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E15\u0E31\u0E27\u0E19\u0E35\u0E49\u0E22\u0E31\u0E07\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E27\u0E49\u0E32\u0E07\u0E02\u0E27\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 Transformer \u0E40\u0E0A\u0E48\u0E19 GPT, GPT-2, RoBERTa, BART, \u0E41\u0E25\u0E30 DeBERTa"),ha.forEach(n),ja=c(s),g(es.$$.fragment,s),ga=c(s),g(F.$$.fragment,s),ma=c(s),rs=i(s,"H2",{id:!0});var fa=o(rs);Ml=p(fa,"\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"),fa.forEach(n),xa=c(s),Fs=i(s,"P",{});var re=o(Fs);Kl=p(re,"BPE \u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E23\u0E32\u0E22\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 (\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23 normalization \u0E41\u0E25\u0E30 pre-tokenization \u0E21\u0E32\u0E41\u0E25\u0E49\u0E27) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E0A\u0E38\u0E14\u0E04\u0E33\u0E28\u0E31\u0E1E\u0E17\u0E4C (vocabulary) \u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E04\u0E25\u0E31\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2B\u0E49\u0E32\u0E04\u0E33\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 :"),re.forEach(n),$a=c(s),g(is.$$.fragment,s),ba=c(s),V=i(s,"P",{});var Hl=o(V);Wl=p(Hl,"vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D "),xn=i(Hl,"CODE",{});var ie=o(xn);Yl=p(ie,'["b", "g", "h", "n", "p", "s", "u"]'),ie.forEach(n),Jl=p(Hl,"  \u0E43\u0E19\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E08\u0E23\u0E34\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 ASCII \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E33 \u0E2B\u0E23\u0E37\u0E2D\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E21\u0E35\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 Unicode \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),Hl.forEach(n),_a=c(s),Vs=i(s,"P",{});var oe=o(Vs);Zl=p(oe,"\u0E16\u0E49\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E21\u0E48\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E21\u0E35\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 training corpus \u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 unknown token \u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E2B\u0E15\u0E38\u0E1C\u0E25\u0E27\u0E48\u0E32\u0E17\u0E33\u0E44\u0E21\u0E42\u0E21\u0E40\u0E14\u0E25 NLP \u0E08\u0E36\u0E07\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E35\u0E42\u0E21\u0E08\u0E34\u0E44\u0E14\u0E49\u0E44\u0E21\u0E48\u0E14\u0E35\u0E19\u0E31\u0E01"),oe.forEach(n),qa=c(s),g(M.$$.fragment,s),ka=c(s),K=i(s,"P",{});var Il=o(K);Ql=p(Il,"\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E43\u0E2B\u0E21\u0E48\u0E46 \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E08\u0E19\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 vocabulary \u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E1E\u0E2D\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19 BPE \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19 \u0E01\u0E0E\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),$n=i(Il,"EM",{});var ue=o($n);Xl=p(ue,"merges"),ue.forEach(n),st=p(Il,` \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E0E\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E2A\u0E2D\u0E07\u0E2B\u0E19\u0E48\u0E27\u0E22\u0E43\u0E19 vocabulary \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19
\u0E15\u0E2D\u0E19\u0E0A\u0E48\u0E27\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E01\u0E0E merges \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E17\u0E23\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46 \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E01\u0E47\u0E08\u0E30\u0E22\u0E32\u0E27\u0E02\u0E36\u0E49\u0E19
\u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E23\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 BPE \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E04\u0E39\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E34\u0E14\u0E01\u0E31\u0E19)
\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E34\u0E21\u0E2D\u0E35\u0E01\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E23\u0E2D\u0E1A\u0E15\u0E48\u0E2D\u0E44\u0E1B`),Il.forEach(n),da=c(s),Ms=i(s,"P",{});var ce=o(Ms);nt=p(ce,"\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E17\u0E35\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E14\u0E31\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),ce.forEach(n),wa=c(s),g(os.$$.fragment,s),va=c(s),T=i(s,"P",{});var G=o(T);at=p(G,"\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),bn=i(G,"CODE",{});var he=o(bn);lt=p(he,'"hug"'),he.forEach(n),tt=p(G," \u0E1E\u0E1A 10 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus, "),_n=i(G,"CODE",{});var fe=o(_n);pt=p(fe,'"pug"'),fe.forEach(n),et=p(G," \u0E1E\u0E1A 5 \u0E04\u0E23\u0E31\u0E49\u0E07, "),qn=i(G,"CODE",{});var je=o(qn);rt=p(je,'"pun"'),je.forEach(n),it=p(G," \u0E1E\u0E1A 12 \u0E04\u0E23\u0E31\u0E49\u0E07, "),kn=i(G,"CODE",{});var ge=o(kn);ot=p(ge,'"bun"'),ge.forEach(n),ut=p(G," \u0E1E\u0E1A 4 \u0E04\u0E23\u0E31\u0E49\u0E07, \u0E41\u0E25\u0E30 "),dn=i(G,"CODE",{});var me=o(dn);ct=p(me,'"hugs"'),me.forEach(n),ht=p(G," \u0E1E\u0E1A 5 \u0E04\u0E23\u0E31\u0E49\u0E07"),G.forEach(n),ya=c(s),Ks=i(s,"P",{});var xe=o(Ks);ft=p(xe,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E42\u0E14\u0E22\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 (\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E21\u0E32\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27) \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 list \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E2B\u0E25\u0E32\u0E22\u0E46 token"),xe.forEach(n),Ea=c(s),g(us.$$.fragment,s),Pa=c(s),E=i(s,"P",{});var z=o(E);jt=p(z,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E25\u0E30\u0E04\u0E39\u0E48 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E39\u0E48 "),wn=i(z,"CODE",{});var $e=o(wn);gt=p($e,'("h", "u")'),$e.forEach(n),mt=p(z," \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 "),vn=i(z,"CODE",{});var be=o(vn);xt=p(be,'"hug"'),be.forEach(n),$t=p(z," \u0E41\u0E25\u0E30 "),yn=i(z,"CODE",{});var _e=o(yn);bt=p(_e,'"hugs"'),_e.forEach(n),_t=p(z,` \u0E41\u0E25\u0E30\u0E1E\u0E1A 15 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),En=i(z,"CODE",{});var qe=o(En);qt=p(qe,'("u", "g")'),qe.forEach(n),kt=p(z," \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A\u0E43\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 "),Pn=i(z,"CODE",{});var ke=o(Pn);dt=p(ke,'"hug"'),ke.forEach(n),wt=p(z,", "),zn=i(z,"CODE",{});var de=o(zn);vt=p(de,'"pug"'),de.forEach(n),yt=p(z,", \u0E41\u0E25\u0E30 "),Tn=i(z,"CODE",{});var we=o(Tn);Et=p(we,'"hugs"'),we.forEach(n),Pt=p(z,` \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E04\u0E37\u0E2D 20 \u0E04\u0E23\u0E31\u0E49\u0E07
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 merge \u0E17\u0E35\u0E48 tokenizer \u0E40\u0E23\u0E35\u0E22\u0E19\u0E04\u0E37\u0E2D `),Cn=i(z,"CODE",{});var ve=o(Cn);zt=p(ve,'("u", "g") -> "ug"'),ve.forEach(n),Tt=p(z," \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),On=i(z,"CODE",{});var ye=o(On);Ct=p(ye,'"ug"'),ye.forEach(n),Ot=p(z," \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E43\u0E19 corpus \u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E1B\u0E47\u0E19 token \u0E40\u0E14\u0E35\u0E22\u0E27\u0E14\u0E49\u0E27\u0E22"),z.forEach(n),za=c(s),Ws=i(s,"P",{});var Ee=o(Ws);Bt=p(Ee,"\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 vocabulary \u0E41\u0E25\u0E30 corpus \u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Ee.forEach(n),Ta=c(s),g(cs.$$.fragment,s),Ca=c(s),N=i(s,"P",{});var ls=o(N);Dt=p(ls,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E08\u0E30\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E01\u0E27\u0E48\u0E32\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E39\u0E48 "),Bn=i(ls,"CODE",{});var Pe=o(Bn);Nt=p(Pe,'("h", "ug")'),Pe.forEach(n),At=p(ls,` \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 15 \u0E04\u0E23\u0E31\u0E49\u0E07\u0E43\u0E19 corpus
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),Dn=i(ls,"CODE",{});var ze=o(Dn);Gt=p(ze,'("u", "n")'),ze.forEach(n),Ht=p(ls," \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 16 \u0E04\u0E23\u0E31\u0E49\u0E07 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Nn=i(ls,"CODE",{});var Te=o(Nn);It=p(Te,'("u", "n") -> "un"'),Te.forEach(n),Rt=p(ls," \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30 merge token \u0E43\u0E19 corpus \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),ls.forEach(n),Oa=c(s),g(hs.$$.fragment,s),Ba=c(s),I=i(s,"P",{});var jn=o(I);St=p(jn,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D "),An=i(jn,"CODE",{});var Ce=o(An);Lt=p(Ce,'("h", "ug")'),Ce.forEach(n),Ut=p(jn," \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),Gn=i(jn,"CODE",{});var Oe=o(Gn);Ft=p(Oe,'("h", "ug") -> "hug"'),Oe.forEach(n),Vt=p(jn," \u0E0B\u0E36\u0E48\u0E07\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E2A\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),jn.forEach(n),Da=c(s),g(fs.$$.fragment,s),Na=c(s),Ys=i(s,"P",{});var Be=o(Ys);Mt=p(Be,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 vocabulary \u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23"),Be.forEach(n),Aa=c(s),g(W.$$.fragment,s),Ga=c(s),L=i(s,"H2",{class:!0});var Rl=o(L);Y=i(Rl,"A",{id:!0,class:!0,href:!0});var De=o(Y);Hn=i(De,"SPAN",{});var Ne=o(Hn);g(js.$$.fragment,Ne),Ne.forEach(n),De.forEach(n),Kt=c(Rl),In=i(Rl,"SPAN",{});var Ae=o(In);Wt=p(Ae,"Tokenization algorithm"),Ae.forEach(n),Rl.forEach(n),Ha=c(s),Js=i(s,"P",{});var Ge=o(Js);Yt=p(Ge,"\u0E01\u0E32\u0E23 tokenization \u0E40\u0E1B\u0E47\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E42\u0E14\u0E22 input \u0E43\u0E2B\u0E21\u0E48\u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E14\u0E49\u0E27\u0E22\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E14\u0E31\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),Ge.forEach(n),Ia=c(s),A=i(s,"OL",{});var ts=o(A);Rn=i(ts,"LI",{});var He=o(Rn);Jt=p(He,"Normalization (\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E21\u0E32\u0E15\u0E23\u0E10\u0E32\u0E19)"),He.forEach(n),Zt=c(ts),Sn=i(ts,"LI",{});var Ie=o(Sn);Qt=p(Ie,"Pre-tokenization (\u0E01\u0E32\u0E23\u0E40\u0E15\u0E23\u0E35\u0E22\u0E21\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23 tokenize \u0E08\u0E23\u0E34\u0E07)"),Ie.forEach(n),Xt=c(ts),Ln=i(ts,"LI",{});var Re=o(Ln);sp=p(Re,"\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E40\u0E14\u0E35\u0E48\u0E22\u0E27"),Re.forEach(n),np=c(ts),Un=i(ts,"LI",{});var Se=o(Un);ap=p(Se,"\u0E43\u0E0A\u0E49\u0E01\u0E0E merge \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32"),Se.forEach(n),ts.forEach(n),Ra=c(s),Zs=i(s,"P",{});var Le=o(Zs);lp=p(Le,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E0E\u0E2A\u0E32\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 :"),Le.forEach(n),Sa=c(s),g(gs.$$.fragment,s),La=c(s),d=i(s,"P",{});var v=o(d);tp=p(v,"\u0E04\u0E33\u0E27\u0E48\u0E32"),Fn=i(v,"CODE",{});var Ue=o(Fn);pp=p(Ue,'"bug"'),Ue.forEach(n),ep=p(v," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Vn=i(v,"CODE",{});var Fe=o(Vn);rp=p(Fe,'["b", "ug"]'),Fe.forEach(n),ip=p(v," \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),Mn=i(v,"CODE",{});var Ve=o(Mn);op=p(Ve,'"mug"'),Ve.forEach(n),up=p(v," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Kn=i(v,"CODE",{});var Me=o(Kn);cp=p(Me,'["[UNK]", "ug"]'),Me.forEach(n),hp=p(v," \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 "),Wn=i(v,"CODE",{});var Ke=o(Wn);fp=p(Ke,'"m"'),Ke.forEach(n),jp=p(v,` \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32
\u0E49\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 `),Yn=i(v,"CODE",{});var We=o(Yn);gp=p(We,'"thug"'),We.forEach(n),mp=p(v," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E22\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Jn=i(v,"CODE",{});var Ye=o(Jn);xp=p(Ye,'["[UNK]", "hug"]'),Ye.forEach(n),$p=p(v," \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 "),Zn=i(v,"CODE",{});var Je=o(Zn);bp=p(Je,'"t"'),Je.forEach(n),_p=p(v," \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E08\u0E30\u0E23\u0E27\u0E21 "),Qn=i(v,"CODE",{});var Ze=o(Qn);qp=p(Ze,'"u"'),Ze.forEach(n),kp=p(v," \u0E41\u0E25\u0E30 "),Xn=i(v,"CODE",{});var Qe=o(Xn);dp=p(Qe,'"g"'),Qe.forEach(n),wp=p(v," \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 "),sa=i(v,"CODE",{});var Xe=o(sa);vp=p(Xe,'"hu"'),Xe.forEach(n),yp=p(v," \u0E41\u0E25\u0E30 "),na=i(v,"CODE",{});var sr=o(na);Ep=p(sr,'"g"'),sr.forEach(n),Pp=p(v," \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"),v.forEach(n),Ua=c(s),g(J.$$.fragment,s),Fa=c(s),U=i(s,"H2",{class:!0});var Sl=o(U);Z=i(Sl,"A",{id:!0,class:!0,href:!0});var nr=o(Z);aa=i(nr,"SPAN",{});var ar=o(aa);g(ms.$$.fragment,ar),ar.forEach(n),nr.forEach(n),zp=c(Sl),la=i(Sl,"SPAN",{});var lr=o(la);Tp=p(lr,"\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 BPE (Implementing BPE)"),lr.forEach(n),Sl.forEach(n),Va=c(s),Qs=i(s,"P",{});var tr=o(Qs);Cp=p(tr,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 BPE \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 implementation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E42\u0E04\u0E49\u0E14\u0E41\u0E25\u0E30\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E27\u0E48\u0E32 BPE \u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23"),tr.forEach(n),Ma=c(s),Xs=i(s,"P",{});var pr=o(Xs);Op=p(pr,"\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 corpus \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 corpus \u0E41\u0E1A\u0E1A\u0E07\u0E48\u0E32\u0E22\u0E46\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E44\u0E21\u0E48\u0E01\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 :"),pr.forEach(n),Ka=c(s),g(xs.$$.fragment,s),Wa=c(s),Q=i(s,"P",{});var Ll=o(Q);Bp=p(Ll,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenize corpus \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 BPE tokenizer \u0E15\u0E32\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19 GPT-2 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49 "),ta=i(Ll,"CODE",{});var er=o(ta);Dp=p(er,"gpt2"),er.forEach(n),Np=p(Ll," tokenizer \u0E43\u0E19\u0E01\u0E32\u0E23 pre-tokenize"),Ll.forEach(n),Ya=c(s),g($s.$$.fragment,s),Ja=c(s),sn=i(s,"P",{});var rr=o(sn);Ap=p(rr,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33:"),rr.forEach(n),Za=c(s),g(bs.$$.fragment,s),Qa=c(s),g(_s.$$.fragment,s),Xa=c(s),nn=i(s,"P",{});var ir=o(nn);Gp=p(ir,"\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E08\u0E32\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E43\u0E19 corpus :"),ir.forEach(n),sl=c(s),g(qs.$$.fragment,s),nl=c(s),g(ks.$$.fragment,s),al=c(s),X=i(s,"P",{});var Ul=o(X);Hp=p(Ul,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 list \u0E19\u0E35\u0E49\u0E14\u0E49\u0E27\u0E22 GPT-2 \u0E43\u0E0A\u0E49 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E04\u0E37\u0E2D "),pa=i(Ul,"CODE",{});var or=o(pa);Ip=p(or,'"<|endoftext|>"'),or.forEach(n),Rp=p(Ul," :"),Ul.forEach(n),ll=c(s),g(ds.$$.fragment,s),tl=c(s),an=i(s,"P",{});var ur=o(an);Sp=p(ur,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 :"),ur.forEach(n),pl=c(s),g(ws.$$.fragment,s),el=c(s),ln=i(s,"P",{});var cr=o(ln);Lp=p(cr,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 token :"),cr.forEach(n),rl=c(s),g(vs.$$.fragment,s),il=c(s),tn=i(s,"P",{});var hr=o(tn);Up=p(hr,"\u0E21\u0E32\u0E14\u0E39\u0E2A\u0E48\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 dictionary) \u0E01\u0E31\u0E19 :"),hr.forEach(n),ol=c(s),g(ys.$$.fragment,s),ul=c(s),g(Es.$$.fragment,s),cl=c(s),pn=i(s,"P",{});var fr=o(pn);Fp=p(fr,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E0B\u0E36\u0E48\u0E07\u0E17\u0E33\u0E44\u0E14\u0E49\u0E07\u0E48\u0E32\u0E22\u0E46\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),fr.forEach(n),hl=c(s),g(Ps.$$.fragment,s),fl=c(s),g(zs.$$.fragment,s),jl=c(s),R=i(s,"P",{});var gn=o(R);Vp=p(gn,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E0E\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D "),ea=i(gn,"CODE",{});var jr=o(ea);Mp=p(jr,"('\u0120', 't') -> '\u0120t'"),jr.forEach(n),Kp=p(gn," \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21 "),ra=i(gn,"CODE",{});var gr=o(ra);Wp=p(gr,"'\u0120t'"),gr.forEach(n),Yp=p(gn," \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary :"),gn.forEach(n),gl=c(s),g(Ts.$$.fragment,s),ml=c(s),ss=i(s,"P",{});var Fl=o(ss);Jp=p(Fl,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 merge \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 dictionary "),ia=i(Fl,"CODE",{});var mr=o(ia);Zp=p(mr,"splits"),mr.forEach(n),Qp=p(Fl," \u0E14\u0E49\u0E27\u0E22 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),Fl.forEach(n),xl=c(s),g(Cs.$$.fragment,s),$l=c(s),en=i(s,"P",{});var xr=o(en);Xp=p(xr,"\u0E41\u0E25\u0E30\u0E19\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01 :"),xr.forEach(n),bl=c(s),g(Os.$$.fragment,s),_l=c(s),g(Bs.$$.fragment,s),ql=c(s),rn=i(s,"P",{});var $r=o(rn);se=p($r,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E21\u0E35\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 vocabulary \u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 50 :"),$r.forEach(n),kl=c(s),g(Ds.$$.fragment,s),dl=c(s),on=i(s,"P",{});var br=o(on);ne=p(br,"\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D tokenizer \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19 19 \u0E01\u0E0E (vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E21\u0E35 31 token \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E21\u0E35 30 \u0E15\u0E31\u0E27\u0E41\u0E25\u0E30 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E35\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27) :"),br.forEach(n),wl=c(s),g(Ns.$$.fragment,s),vl=c(s),g(As.$$.fragment,s),yl=c(s),un=i(s,"P",{});var _r=o(un);ae=p(_r,"\u0E2A\u0E48\u0E27\u0E19 vocabulary \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 token \u0E1E\u0E34\u0E40\u0E28\u0E29, \u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19, \u0E41\u0E25\u0E30\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23 merge \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E23\u0E31\u0E49\u0E07 :"),_r.forEach(n),El=c(s),g(Gs.$$.fragment,s),Pl=c(s),g(Hs.$$.fragment,s),zl=c(s),g(ns.$$.fragment,s),Tl=c(s),cn=i(s,"P",{});var qr=o(cn);le=p(qr,"\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E04\u0E37\u0E2D pre-tokenize \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 tokenize \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 apply \u0E01\u0E0E merge :"),qr.forEach(n),Cl=c(s),g(Is.$$.fragment,s),Ol=c(s),hn=i(s,"P",{});var kr=o(hn);te=p(kr,"\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E14\u0E25\u0E2D\u0E07\u0E42\u0E04\u0E49\u0E14\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E38\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 :"),kr.forEach(n),Bl=c(s),g(Rs.$$.fragment,s),Dl=c(s),g(Ss.$$.fragment,s),Nl=c(s),g(as.$$.fragment,s),Al=c(s),fn=i(s,"P",{});var dr=o(fn);pe=p(dr,"\u0E19\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 BPE \u0E43\u0E19\u0E1A\u0E17\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39 WordPiece \u0E01\u0E31\u0E19"),dr.forEach(n),this.h()},h(){O(h,"name","hf:doc:metadata"),O(h,"content",JSON.stringify(Hr)),O(_,"id","bytepair-encoding-tokenization"),O(_,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),O(_,"href","#bytepair-encoding-tokenization"),O(f,"class","relative group"),O(rs,"id",""),O(Y,"id","tokenization-algorithm"),O(Y,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),O(Y,"href","#tokenization-algorithm"),O(L,"class","relative group"),O(Z,"id","bpe-implementing-bpe"),O(Z,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),O(Z,"href","#bpe-implementing-bpe"),O(U,"class","relative group")},m(s,l){a(document.head,h),e(s,w,l),e(s,f,l),a(f,_),a(_,P),m(k,P,null),a(f,y),a(f,C),a(C,S),e(s,D,l),m(H,s,l),e(s,ps,l),e(s,Us,l),a(Us,Vl),e(s,ja,l),m(es,s,l),e(s,ga,l),m(F,s,l),e(s,ma,l),e(s,rs,l),a(rs,Ml),e(s,xa,l),e(s,Fs,l),a(Fs,Kl),e(s,$a,l),m(is,s,l),e(s,ba,l),e(s,V,l),a(V,Wl),a(V,xn),a(xn,Yl),a(V,Jl),e(s,_a,l),e(s,Vs,l),a(Vs,Zl),e(s,qa,l),m(M,s,l),e(s,ka,l),e(s,K,l),a(K,Ql),a(K,$n),a($n,Xl),a(K,st),e(s,da,l),e(s,Ms,l),a(Ms,nt),e(s,wa,l),m(os,s,l),e(s,va,l),e(s,T,l),a(T,at),a(T,bn),a(bn,lt),a(T,tt),a(T,_n),a(_n,pt),a(T,et),a(T,qn),a(qn,rt),a(T,it),a(T,kn),a(kn,ot),a(T,ut),a(T,dn),a(dn,ct),a(T,ht),e(s,ya,l),e(s,Ks,l),a(Ks,ft),e(s,Ea,l),m(us,s,l),e(s,Pa,l),e(s,E,l),a(E,jt),a(E,wn),a(wn,gt),a(E,mt),a(E,vn),a(vn,xt),a(E,$t),a(E,yn),a(yn,bt),a(E,_t),a(E,En),a(En,qt),a(E,kt),a(E,Pn),a(Pn,dt),a(E,wt),a(E,zn),a(zn,vt),a(E,yt),a(E,Tn),a(Tn,Et),a(E,Pt),a(E,Cn),a(Cn,zt),a(E,Tt),a(E,On),a(On,Ct),a(E,Ot),e(s,za,l),e(s,Ws,l),a(Ws,Bt),e(s,Ta,l),m(cs,s,l),e(s,Ca,l),e(s,N,l),a(N,Dt),a(N,Bn),a(Bn,Nt),a(N,At),a(N,Dn),a(Dn,Gt),a(N,Ht),a(N,Nn),a(Nn,It),a(N,Rt),e(s,Oa,l),m(hs,s,l),e(s,Ba,l),e(s,I,l),a(I,St),a(I,An),a(An,Lt),a(I,Ut),a(I,Gn),a(Gn,Ft),a(I,Vt),e(s,Da,l),m(fs,s,l),e(s,Na,l),e(s,Ys,l),a(Ys,Mt),e(s,Aa,l),m(W,s,l),e(s,Ga,l),e(s,L,l),a(L,Y),a(Y,Hn),m(js,Hn,null),a(L,Kt),a(L,In),a(In,Wt),e(s,Ha,l),e(s,Js,l),a(Js,Yt),e(s,Ia,l),e(s,A,l),a(A,Rn),a(Rn,Jt),a(A,Zt),a(A,Sn),a(Sn,Qt),a(A,Xt),a(A,Ln),a(Ln,sp),a(A,np),a(A,Un),a(Un,ap),e(s,Ra,l),e(s,Zs,l),a(Zs,lp),e(s,Sa,l),m(gs,s,l),e(s,La,l),e(s,d,l),a(d,tp),a(d,Fn),a(Fn,pp),a(d,ep),a(d,Vn),a(Vn,rp),a(d,ip),a(d,Mn),a(Mn,op),a(d,up),a(d,Kn),a(Kn,cp),a(d,hp),a(d,Wn),a(Wn,fp),a(d,jp),a(d,Yn),a(Yn,gp),a(d,mp),a(d,Jn),a(Jn,xp),a(d,$p),a(d,Zn),a(Zn,bp),a(d,_p),a(d,Qn),a(Qn,qp),a(d,kp),a(d,Xn),a(Xn,dp),a(d,wp),a(d,sa),a(sa,vp),a(d,yp),a(d,na),a(na,Ep),a(d,Pp),e(s,Ua,l),m(J,s,l),e(s,Fa,l),e(s,U,l),a(U,Z),a(Z,aa),m(ms,aa,null),a(U,zp),a(U,la),a(la,Tp),e(s,Va,l),e(s,Qs,l),a(Qs,Cp),e(s,Ma,l),e(s,Xs,l),a(Xs,Op),e(s,Ka,l),m(xs,s,l),e(s,Wa,l),e(s,Q,l),a(Q,Bp),a(Q,ta),a(ta,Dp),a(Q,Np),e(s,Ya,l),m($s,s,l),e(s,Ja,l),e(s,sn,l),a(sn,Ap),e(s,Za,l),m(bs,s,l),e(s,Qa,l),m(_s,s,l),e(s,Xa,l),e(s,nn,l),a(nn,Gp),e(s,sl,l),m(qs,s,l),e(s,nl,l),m(ks,s,l),e(s,al,l),e(s,X,l),a(X,Hp),a(X,pa),a(pa,Ip),a(X,Rp),e(s,ll,l),m(ds,s,l),e(s,tl,l),e(s,an,l),a(an,Sp),e(s,pl,l),m(ws,s,l),e(s,el,l),e(s,ln,l),a(ln,Lp),e(s,rl,l),m(vs,s,l),e(s,il,l),e(s,tn,l),a(tn,Up),e(s,ol,l),m(ys,s,l),e(s,ul,l),m(Es,s,l),e(s,cl,l),e(s,pn,l),a(pn,Fp),e(s,hl,l),m(Ps,s,l),e(s,fl,l),m(zs,s,l),e(s,jl,l),e(s,R,l),a(R,Vp),a(R,ea),a(ea,Mp),a(R,Kp),a(R,ra),a(ra,Wp),a(R,Yp),e(s,gl,l),m(Ts,s,l),e(s,ml,l),e(s,ss,l),a(ss,Jp),a(ss,ia),a(ia,Zp),a(ss,Qp),e(s,xl,l),m(Cs,s,l),e(s,$l,l),e(s,en,l),a(en,Xp),e(s,bl,l),m(Os,s,l),e(s,_l,l),m(Bs,s,l),e(s,ql,l),e(s,rn,l),a(rn,se),e(s,kl,l),m(Ds,s,l),e(s,dl,l),e(s,on,l),a(on,ne),e(s,wl,l),m(Ns,s,l),e(s,vl,l),m(As,s,l),e(s,yl,l),e(s,un,l),a(un,ae),e(s,El,l),m(Gs,s,l),e(s,Pl,l),m(Hs,s,l),e(s,zl,l),m(ns,s,l),e(s,Tl,l),e(s,cn,l),a(cn,le),e(s,Cl,l),m(Is,s,l),e(s,Ol,l),e(s,hn,l),a(hn,te),e(s,Bl,l),m(Rs,s,l),e(s,Dl,l),m(Ss,s,l),e(s,Nl,l),m(as,s,l),e(s,Al,l),e(s,fn,l),a(fn,pe),Gl=!0},p(s,[l]){const Ls={};l&2&&(Ls.$$scope={dirty:l,ctx:s}),F.$set(Ls);const oa={};l&2&&(oa.$$scope={dirty:l,ctx:s}),M.$set(oa);const ua={};l&2&&(ua.$$scope={dirty:l,ctx:s}),W.$set(ua);const ca={};l&2&&(ca.$$scope={dirty:l,ctx:s}),J.$set(ca);const ha={};l&2&&(ha.$$scope={dirty:l,ctx:s}),ns.$set(ha);const fa={};l&2&&(fa.$$scope={dirty:l,ctx:s}),as.$set(fa)},i(s){Gl||(x(k.$$.fragment,s),x(H.$$.fragment,s),x(es.$$.fragment,s),x(F.$$.fragment,s),x(is.$$.fragment,s),x(M.$$.fragment,s),x(os.$$.fragment,s),x(us.$$.fragment,s),x(cs.$$.fragment,s),x(hs.$$.fragment,s),x(fs.$$.fragment,s),x(W.$$.fragment,s),x(js.$$.fragment,s),x(gs.$$.fragment,s),x(J.$$.fragment,s),x(ms.$$.fragment,s),x(xs.$$.fragment,s),x($s.$$.fragment,s),x(bs.$$.fragment,s),x(_s.$$.fragment,s),x(qs.$$.fragment,s),x(ks.$$.fragment,s),x(ds.$$.fragment,s),x(ws.$$.fragment,s),x(vs.$$.fragment,s),x(ys.$$.fragment,s),x(Es.$$.fragment,s),x(Ps.$$.fragment,s),x(zs.$$.fragment,s),x(Ts.$$.fragment,s),x(Cs.$$.fragment,s),x(Os.$$.fragment,s),x(Bs.$$.fragment,s),x(Ds.$$.fragment,s),x(Ns.$$.fragment,s),x(As.$$.fragment,s),x(Gs.$$.fragment,s),x(Hs.$$.fragment,s),x(ns.$$.fragment,s),x(Is.$$.fragment,s),x(Rs.$$.fragment,s),x(Ss.$$.fragment,s),x(as.$$.fragment,s),Gl=!0)},o(s){$(k.$$.fragment,s),$(H.$$.fragment,s),$(es.$$.fragment,s),$(F.$$.fragment,s),$(is.$$.fragment,s),$(M.$$.fragment,s),$(os.$$.fragment,s),$(us.$$.fragment,s),$(cs.$$.fragment,s),$(hs.$$.fragment,s),$(fs.$$.fragment,s),$(W.$$.fragment,s),$(js.$$.fragment,s),$(gs.$$.fragment,s),$(J.$$.fragment,s),$(ms.$$.fragment,s),$(xs.$$.fragment,s),$($s.$$.fragment,s),$(bs.$$.fragment,s),$(_s.$$.fragment,s),$(qs.$$.fragment,s),$(ks.$$.fragment,s),$(ds.$$.fragment,s),$(ws.$$.fragment,s),$(vs.$$.fragment,s),$(ys.$$.fragment,s),$(Es.$$.fragment,s),$(Ps.$$.fragment,s),$(zs.$$.fragment,s),$(Ts.$$.fragment,s),$(Cs.$$.fragment,s),$(Os.$$.fragment,s),$(Bs.$$.fragment,s),$(Ds.$$.fragment,s),$(Ns.$$.fragment,s),$(As.$$.fragment,s),$(Gs.$$.fragment,s),$(Hs.$$.fragment,s),$(ns.$$.fragment,s),$(Is.$$.fragment,s),$(Rs.$$.fragment,s),$(Ss.$$.fragment,s),$(as.$$.fragment,s),Gl=!1},d(s){n(h),s&&n(w),s&&n(f),b(k),s&&n(D),b(H,s),s&&n(ps),s&&n(Us),s&&n(ja),b(es,s),s&&n(ga),b(F,s),s&&n(ma),s&&n(rs),s&&n(xa),s&&n(Fs),s&&n($a),b(is,s),s&&n(ba),s&&n(V),s&&n(_a),s&&n(Vs),s&&n(qa),b(M,s),s&&n(ka),s&&n(K),s&&n(da),s&&n(Ms),s&&n(wa),b(os,s),s&&n(va),s&&n(T),s&&n(ya),s&&n(Ks),s&&n(Ea),b(us,s),s&&n(Pa),s&&n(E),s&&n(za),s&&n(Ws),s&&n(Ta),b(cs,s),s&&n(Ca),s&&n(N),s&&n(Oa),b(hs,s),s&&n(Ba),s&&n(I),s&&n(Da),b(fs,s),s&&n(Na),s&&n(Ys),s&&n(Aa),b(W,s),s&&n(Ga),s&&n(L),b(js),s&&n(Ha),s&&n(Js),s&&n(Ia),s&&n(A),s&&n(Ra),s&&n(Zs),s&&n(Sa),b(gs,s),s&&n(La),s&&n(d),s&&n(Ua),b(J,s),s&&n(Fa),s&&n(U),b(ms),s&&n(Va),s&&n(Qs),s&&n(Ma),s&&n(Xs),s&&n(Ka),b(xs,s),s&&n(Wa),s&&n(Q),s&&n(Ya),b($s,s),s&&n(Ja),s&&n(sn),s&&n(Za),b(bs,s),s&&n(Qa),b(_s,s),s&&n(Xa),s&&n(nn),s&&n(sl),b(qs,s),s&&n(nl),b(ks,s),s&&n(al),s&&n(X),s&&n(ll),b(ds,s),s&&n(tl),s&&n(an),s&&n(pl),b(ws,s),s&&n(el),s&&n(ln),s&&n(rl),b(vs,s),s&&n(il),s&&n(tn),s&&n(ol),b(ys,s),s&&n(ul),b(Es,s),s&&n(cl),s&&n(pn),s&&n(hl),b(Ps,s),s&&n(fl),b(zs,s),s&&n(jl),s&&n(R),s&&n(gl),b(Ts,s),s&&n(ml),s&&n(ss),s&&n(xl),b(Cs,s),s&&n($l),s&&n(en),s&&n(bl),b(Os,s),s&&n(_l),b(Bs,s),s&&n(ql),s&&n(rn),s&&n(kl),b(Ds,s),s&&n(dl),s&&n(on),s&&n(wl),b(Ns,s),s&&n(vl),b(As,s),s&&n(yl),s&&n(un),s&&n(El),b(Gs,s),s&&n(Pl),b(Hs,s),s&&n(zl),b(ns,s),s&&n(Tl),s&&n(cn),s&&n(Cl),b(Is,s),s&&n(Ol),s&&n(hn),s&&n(Bl),b(Rs,s),s&&n(Dl),b(Ss,s),s&&n(Nl),b(as,s),s&&n(Al),s&&n(fn)}}}const Hr={local:"bytepair-encoding-tokenization",sections:[{local:"",title:"\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"},{local:"tokenization-algorithm",title:"Tokenization algorithm"},{local:"bpe-implementing-bpe",title:"\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 BPE (Implementing BPE)"}],title:"Byte-Pair Encoding tokenization"};function Ir(B){return Pr(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Mr extends wr{constructor(h){super();vr(this,h,Ir,Gr,yr,{})}}export{Mr as default,Hr as metadata};
