import{S as co,i as ho,s as uo,e as r,k as c,w as m,t,Y as mo,M as fo,c as o,d as a,m as h,a as i,x as f,h as e,Z as jo,b as z,G as n,g as p,y as j,q as g,o as b,B as d,v as go}from"../../chunks/vendor-hf-doc-builder.js";import{T as qn}from"../../chunks/Tip-hf-doc-builder.js";import{Y as bo}from"../../chunks/Youtube-hf-doc-builder.js";import{I as it}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as $}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as xo}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function $o(S){let u,k;return{c(){u=r("p"),k=t("\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 WordPiece \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19")},l(x){u=o(x,"P",{});var _=i(u);k=e(_,"\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 WordPiece \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),_.forEach(a)},m(x,_){p(x,u,_),n(u,k)},d(x){x&&a(u)}}}function _o(S){let u,k;return{c(){u=r("p"),k=t("\u26A0\uFE0F \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 Google \u0E44\u0E21\u0E48\u0E40\u0E1B\u0E34\u0E14\u0E40\u0E1C\u0E22\u0E42\u0E04\u0E49\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 WordPiece \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E04\u0E38\u0E13\u0E15\u0E48\u0E2D\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E17\u0E33\u0E15\u0E32\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E1A\u0E2D\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 paper \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E42\u0E04\u0E49\u0E14\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E21\u0E48\u0E19\u0E22\u0E33 100%")},l(x){u=o(x,"P",{});var _=i(u);k=e(_,"\u26A0\uFE0F \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 Google \u0E44\u0E21\u0E48\u0E40\u0E1B\u0E34\u0E14\u0E40\u0E1C\u0E22\u0E42\u0E04\u0E49\u0E14\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 WordPiece \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E04\u0E38\u0E13\u0E15\u0E48\u0E2D\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E17\u0E33\u0E15\u0E32\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E1A\u0E2D\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 paper \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E42\u0E04\u0E49\u0E14\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E21\u0E48\u0E19\u0E22\u0E33 100%"),_.forEach(a)},m(x,_){p(x,u,_),n(u,k)},d(x){x&&a(u)}}}function wo(S){let u,k,x,_,C;return{c(){u=r("p"),k=t("\u270F\uFE0F "),x=r("strong"),_=t("\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),C=t(" \u0E01\u0E0E merge \u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23")},l(w){u=o(w,"P",{});var v=i(u);k=e(v,"\u270F\uFE0F "),x=o(v,"STRONG",{});var B=i(x);_=e(B,"\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),B.forEach(a),C=e(v," \u0E01\u0E0E merge \u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),v.forEach(a)},m(w,v){p(w,u,v),n(u,k),n(u,x),n(x,_),n(u,C)},d(w){w&&a(u)}}}function ko(S){let u,k,x,_,C,w,v,B;return{c(){u=r("p"),k=t("\u270F\uFE0F "),x=r("strong"),_=t("\u0E16\u0E36\u0E07\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),C=t(" \u0E04\u0E33\u0E27\u0E48\u0E32 "),w=r("code"),v=t('"pugs"'),B=t(" \u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?")},l(M){u=o(M,"P",{});var H=i(u);k=e(H,"\u270F\uFE0F "),x=o(H,"STRONG",{});var K=i(x);_=e(K,"\u0E16\u0E36\u0E07\u0E15\u0E32\u0E04\u0E38\u0E13\u0E41\u0E25\u0E49\u0E27!"),K.forEach(a),C=e(H," \u0E04\u0E33\u0E27\u0E48\u0E32 "),w=o(H,"CODE",{});var hs=i(w);v=e(hs,'"pugs"'),hs.forEach(a),B=e(H," \u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23?"),H.forEach(a)},m(M,H){p(M,u,H),n(u,k),n(u,x),n(x,_),n(u,C),n(u,w),n(w,v),n(u,B)},d(M){M&&a(u)}}}function qo(S){let u,k,x,_,C;return{c(){u=r("p"),k=t("\u{1F4A1} \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49 "),x=r("code"),_=t("train_new_from_iterator()"),C=t(" \u0E01\u0E31\u0E1A corpus \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49 vocabulary \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E19\u0E31\u0E48\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30 \u{1F917} Tokenizers library \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49 WordPiece \u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E41\u0E15\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 BPE")},l(w){u=o(w,"P",{});var v=i(u);k=e(v,"\u{1F4A1} \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49 "),x=o(v,"CODE",{});var B=i(x);_=e(B,"train_new_from_iterator()"),B.forEach(a),C=e(v," \u0E01\u0E31\u0E1A corpus \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49 vocabulary \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E19\u0E31\u0E48\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30 \u{1F917} Tokenizers library \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49 WordPiece \u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E41\u0E15\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 BPE"),v.forEach(a)},m(w,v){p(w,u,v),n(u,k),n(u,x),n(x,_),n(u,C)},d(w){w&&a(u)}}}function vo(S){let u,k,x,_,C,w,v,B,M,H,K,hs,Js,ct,vn,Zs,ht,En,us,yn,I,Pn,L,Y,xa,ms,ut,$a,mt,zn,J,Cn,Z,ft,_a,jt,gt,Dn,Q,bt,wa,dt,xt,Tn,fs,On,Qs,$t,Bn,js,_t,Nn,io='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow><mo>=</mo><mo stretchy="false">(</mo><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">q</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">r</mi></mrow><mo stretchy="false">)</mo><mi mathvariant="normal">/</mi><mo stretchy="false">(</mo><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">q</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow><mo>\xD7</mo><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">q</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\\mathrm{score} = (\\mathrm{freq\\_of\\_pair}) / (\\mathrm{freq\\_of\\_first\\_element} \\times \\mathrm{freq\\_of\\_second\\_element})</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord"><span class="mord mathrm">score</span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mopen">(</span><span class="mord"><span class="mord mathrm">freq_of_pair</span></span><span class="mclose">)</span><span class="mord">/</span><span class="mopen">(</span><span class="mord"><span class="mord mathrm">freq_of_first_element</span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mord"><span class="mord mathrm">freq_of_second_element</span></span><span class="mclose">)</span></span></span></span></span>',Hn,T,wt,ka,kt,qt,qa,vt,Et,va,yt,Pt,Ea,zt,Ct,ya,Dt,Tt,Wn,Xs,Ot,Sn,gs,An,sa,Bt,Kn,bs,Un,y,Nt,Pa,Ht,Wt,za,St,At,Ca,Kt,Ut,Da,Ft,Rt,Ta,Mt,Lt,Oa,Gt,Vt,Ba,It,Fn,U,Yt,Na,Jt,Zt,Ha,Qt,Xt,Rn,ds,Mn,X,se,Wa,ae,ne,Ln,ss,le,Sa,te,ee,Gn,xs,Vn,F,pe,Aa,re,oe,Ka,ie,ce,In,$s,Yn,aa,he,Jn,as,Zn,G,ns,Ua,_s,ue,Fa,me,Qn,D,fe,Ra,je,ge,Ma,be,de,La,xe,$e,Ga,_e,we,Va,ke,qe,Ia,ve,Xn,E,Ee,Ya,ye,Pe,Ja,ze,Ce,Za,De,Te,Qa,Oe,Be,Xa,Ne,He,sn,We,Se,an,Ae,Ke,sl,q,Ue,nn,Fe,Re,ln,Me,Le,tn,Ge,Ve,en,Ie,Ye,pn,Je,Ze,rn,Qe,Xe,on,sp,ap,cn,np,lp,al,ls,nl,V,ts,hn,ws,tp,un,ep,ll,na,pp,tl,ks,el,es,rp,mn,op,ip,pl,qs,rl,la,cp,ol,vs,il,Es,cl,ps,hp,fn,up,mp,hl,ys,ul,Ps,ml,rs,fp,jn,jp,gp,fl,zs,jl,os,bp,gn,dp,xp,gl,Cs,bl,ta,$p,dl,Ds,xl,ea,_p,$l,Ts,_l,Os,wl,pa,wp,kl,Bs,ql,Ns,vl,R,kp,bn,qp,vp,dn,Ep,yp,El,Hs,yl,is,Pp,xn,zp,Cp,Pl,Ws,zl,ra,Dp,Cl,Ss,Dl,As,Tl,oa,Tp,Ol,Ks,Bl,ia,Op,Nl,Us,Hl,Fs,Wl,ca,Bp,Sl,cs,Al,ha,Np,Kl,Rs,Ul,ua,Hp,Fl,Ms,Rl,Ls,Ml,ma,Wp,Ll,Gs,Gl,fa,Sp,Vl,Vs,Il,Is,Yl,ja,Ap,Jl;return w=new it({}),K=new xo({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section6.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section6.ipynb"}]}}),us=new bo({props:{id:"qpv6ms_t_1A"}}),I=new qn({props:{$$slots:{default:[$o]},$$scope:{ctx:S}}}),ms=new it({}),J=new qn({props:{warning:!0,$$slots:{default:[_o]},$$scope:{ctx:S}}}),fs=new $({props:{code:"w ##o ##r ##d",highlighted:"w ##o ##r ##d"}}),gs=new $({props:{code:'("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)',highlighted:'(<span class="hljs-string">&quot;hug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">10</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">12</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;bun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;hugs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)'}}),bs=new $({props:{code:'("h" "##u" "##g", 10), ("p" "##u" "##g", 5), ("p" "##u" "##n", 12), ("b" "##u" "##n", 4), ("h" "##u" "##g" "##s", 5)',highlighted:'(<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#s</span>&quot;</span>, <span class="hljs-number">5</span>)'}}),ds=new $({props:{code:`Vocabulary: ["b", "h", "p", "##g", "##n", "##s", "##u", "##gs"]
Corpus: ("h" "##u" "##g", 10), ("p" "##u" "##g", 5), ("p" "##u" "##n", 12), ("b" "##u" "##n", 4), ("h" "##u" "##gs", 5)`,highlighted:`Vocabulary: [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#s</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>]
Corpus: (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;h&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>, <span class="hljs-number">5</span>)`}}),xs=new $({props:{code:`Vocabulary: ["b", "h", "p", "##g", "##n", "##s", "##u", "##gs", "hu"]
Corpus: ("hu" "##g", 10), ("p" "##u" "##g", 5), ("p" "##u" "##n", 12), ("b" "##u" "##n", 4), ("hu" "##gs", 5)`,highlighted:`Vocabulary: [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#s</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>, <span class="hljs-string">&quot;hu&quot;</span>]
Corpus: (<span class="hljs-string">&quot;hu&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;hu&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>, <span class="hljs-number">5</span>)`}}),$s=new $({props:{code:`Vocabulary: ["b", "h", "p", "##g", "##n", "##s", "##u", "##gs", "hu", "hug"]
Corpus: ("hug", 10), ("p" "##u" "##g", 5), ("p" "##u" "##n", 12), ("b" "##u" "##n", 4), ("hu" "##gs", 5)`,highlighted:`Vocabulary: [<span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#s</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span>, <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>, <span class="hljs-string">&quot;hu&quot;</span>, <span class="hljs-string">&quot;hug&quot;</span>]
Corpus: (<span class="hljs-string">&quot;hug&quot;</span>, <span class="hljs-number">10</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#g</span>&quot;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&quot;p&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">12</span>), (<span class="hljs-string">&quot;b&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#u</span>&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#n</span>&quot;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&quot;hu&quot;</span> <span class="hljs-string">&quot;#<span class="hljs-subst">#gs</span>&quot;</span>, <span class="hljs-number">5</span>)`}}),as=new qn({props:{$$slots:{default:[wo]},$$scope:{ctx:S}}}),_s=new it({}),ls=new qn({props:{$$slots:{default:[ko]},$$scope:{ctx:S}}}),ws=new it({}),ks=new $({props:{code:`corpus = [
    "This is the Hugging Face course.",
    "This chapter is about tokenization.",
    "This section shows several tokenizer algorithms.",
    "Hopefully, you will be able to understand how they are trained and generate tokens.",
]`,highlighted:`corpus = [
    <span class="hljs-string">&quot;This is the Hugging Face course.&quot;</span>,
    <span class="hljs-string">&quot;This chapter is about tokenization.&quot;</span>,
    <span class="hljs-string">&quot;This section shows several tokenizer algorithms.&quot;</span>,
    <span class="hljs-string">&quot;Hopefully, you will be able to understand how they are trained and generate tokens.&quot;</span>,
]`}}),qs=new $({props:{code:`from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)`}}),vs=new $({props:{code:`from collections import defaultdict

word_freqs = defaultdict(int)
for text in corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word for word, offset in words_with_offsets]
    for word in new_words:
        word_freqs[word] += 1

word_freqs`,highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict

word_freqs = defaultdict(<span class="hljs-built_in">int</span>)
<span class="hljs-keyword">for</span> text <span class="hljs-keyword">in</span> corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> words_with_offsets]
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> new_words:
        word_freqs[word] += <span class="hljs-number">1</span>

word_freqs`}}),Es=new $({props:{code:`defaultdict(
    int, {'This': 3, 'is': 2, 'the': 1, 'Hugging': 1, 'Face': 1, 'Course': 1, '.': 4, 'chapter': 1, 'about': 1,
    'tokenization': 1, 'section': 1, 'shows': 1, 'several': 1, 'tokenizer': 1, 'algorithms': 1, 'Hopefully': 1,
    ',': 1, 'you': 1, 'will': 1, 'be': 1, 'able': 1, 'to': 1, 'understand': 1, 'how': 1, 'they': 1, 'are': 1,
    'trained': 1, 'and': 1, 'generate': 1, 'tokens': 1})`,highlighted:`defaultdict(
    <span class="hljs-built_in">int</span>, {<span class="hljs-string">&#x27;This&#x27;</span>: <span class="hljs-number">3</span>, <span class="hljs-string">&#x27;is&#x27;</span>: <span class="hljs-number">2</span>, <span class="hljs-string">&#x27;the&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;Hugging&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;Face&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;Course&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;.&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;chapter&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;about&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;tokenization&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;section&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;shows&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;several&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;tokenizer&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;algorithms&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;Hopefully&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;,&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;you&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;will&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;be&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;able&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;to&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;understand&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;how&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;they&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;are&#x27;</span>: <span class="hljs-number">1</span>,
    <span class="hljs-string">&#x27;trained&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;and&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;generate&#x27;</span>: <span class="hljs-number">1</span>, <span class="hljs-string">&#x27;tokens&#x27;</span>: <span class="hljs-number">1</span>})`}}),ys=new $({props:{code:`alphabet = []
for word in word_freqs.keys():
    if word[0] not in alphabet:
        alphabet.append(word[0])
    for letter in word[1:]:
        if f"##{letter}" not in alphabet:
            alphabet.append(f"##{letter}")

alphabet.sort()
alphabet

print(alphabet)`,highlighted:`alphabet = []
<span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs.keys():
    <span class="hljs-keyword">if</span> word[<span class="hljs-number">0</span>] <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> alphabet:
        alphabet.append(word[<span class="hljs-number">0</span>])
    <span class="hljs-keyword">for</span> letter <span class="hljs-keyword">in</span> word[<span class="hljs-number">1</span>:]:
        <span class="hljs-keyword">if</span> <span class="hljs-string">f&quot;##<span class="hljs-subst">{letter}</span>&quot;</span> <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> alphabet:
            alphabet.append(<span class="hljs-string">f&quot;##<span class="hljs-subst">{letter}</span>&quot;</span>)

alphabet.sort()
alphabet

<span class="hljs-built_in">print</span>(alphabet)`}}),Ps=new $({props:{code:`['##a', '##b', '##c', '##d', '##e', '##f', '##g', '##h', '##i', '##k', '##l', '##m', '##n', '##o', '##p', '##r', '##s',
 '##t', '##u', '##v', '##w', '##y', '##z', ',', '.', 'C', 'F', 'H', 'T', 'a', 'b', 'c', 'g', 'h', 'i', 's', 't', 'u',
 'w', 'y']`,highlighted:`[<span class="hljs-string">&#x27;##a&#x27;</span>, <span class="hljs-string">&#x27;##b&#x27;</span>, <span class="hljs-string">&#x27;##c&#x27;</span>, <span class="hljs-string">&#x27;##d&#x27;</span>, <span class="hljs-string">&#x27;##e&#x27;</span>, <span class="hljs-string">&#x27;##f&#x27;</span>, <span class="hljs-string">&#x27;##g&#x27;</span>, <span class="hljs-string">&#x27;##h&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##k&#x27;</span>, <span class="hljs-string">&#x27;##l&#x27;</span>, <span class="hljs-string">&#x27;##m&#x27;</span>, <span class="hljs-string">&#x27;##n&#x27;</span>, <span class="hljs-string">&#x27;##o&#x27;</span>, <span class="hljs-string">&#x27;##p&#x27;</span>, <span class="hljs-string">&#x27;##r&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>,
 <span class="hljs-string">&#x27;##t&#x27;</span>, <span class="hljs-string">&#x27;##u&#x27;</span>, <span class="hljs-string">&#x27;##v&#x27;</span>, <span class="hljs-string">&#x27;##w&#x27;</span>, <span class="hljs-string">&#x27;##y&#x27;</span>, <span class="hljs-string">&#x27;##z&#x27;</span>, <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;C&#x27;</span>, <span class="hljs-string">&#x27;F&#x27;</span>, <span class="hljs-string">&#x27;H&#x27;</span>, <span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;b&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;g&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>,
 <span class="hljs-string">&#x27;w&#x27;</span>, <span class="hljs-string">&#x27;y&#x27;</span>]`}}),zs=new $({props:{code:'vocab = ["[PAD]", "[UNK]", "[CLS]", "[SEP]", "[MASK]"] + alphabet.copy()',highlighted:'vocab = [<span class="hljs-string">&quot;[PAD]&quot;</span>, <span class="hljs-string">&quot;[UNK]&quot;</span>, <span class="hljs-string">&quot;[CLS]&quot;</span>, <span class="hljs-string">&quot;[SEP]&quot;</span>, <span class="hljs-string">&quot;[MASK]&quot;</span>] + alphabet.copy()'}}),Cs=new $({props:{code:`splits = {
    word: [c if i == 0 else f"##{c}" for i, c in enumerate(word)]
    for word in word_freqs.keys()
}`,highlighted:`splits = {
    word: [c <span class="hljs-keyword">if</span> i == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-string">f&quot;##<span class="hljs-subst">{c}</span>&quot;</span> <span class="hljs-keyword">for</span> i, c <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(word)]
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs.keys()
}`}}),Ds=new $({props:{code:`def compute_pair_scores(splits):
    letter_freqs = defaultdict(int)
    pair_freqs = defaultdict(int)
    for word, freq in word_freqs.items():
        split = splits[word]
        if len(split) == 1:
            letter_freqs[split[0]] += freq
            continue
        for i in range(len(split) - 1):
            pair = (split[i], split[i + 1])
            letter_freqs[split[i]] += freq
            pair_freqs[pair] += freq
        letter_freqs[split[-1]] += freq

    scores = {
        pair: freq / (letter_freqs[pair[0]] * letter_freqs[pair[1]])
        for pair, freq in pair_freqs.items()
    }
    return scores`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_pair_scores</span>(<span class="hljs-params">splits</span>):
    letter_freqs = defaultdict(<span class="hljs-built_in">int</span>)
    pair_freqs = defaultdict(<span class="hljs-built_in">int</span>)
    <span class="hljs-keyword">for</span> word, freq <span class="hljs-keyword">in</span> word_freqs.items():
        split = splits[word]
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(split) == <span class="hljs-number">1</span>:
            letter_freqs[split[<span class="hljs-number">0</span>]] += freq
            <span class="hljs-keyword">continue</span>
        <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(split) - <span class="hljs-number">1</span>):
            pair = (split[i], split[i + <span class="hljs-number">1</span>])
            letter_freqs[split[i]] += freq
            pair_freqs[pair] += freq
        letter_freqs[split[-<span class="hljs-number">1</span>]] += freq

    scores = {
        pair: freq / (letter_freqs[pair[<span class="hljs-number">0</span>]] * letter_freqs[pair[<span class="hljs-number">1</span>]])
        <span class="hljs-keyword">for</span> pair, freq <span class="hljs-keyword">in</span> pair_freqs.items()
    }
    <span class="hljs-keyword">return</span> scores`}}),Ts=new $({props:{code:`pair_scores = compute_pair_scores(splits)
for i, key in enumerate(pair_scores.keys()):
    print(f"{key}: {pair_scores[key]}")
    if i >= 5:
        break`,highlighted:`pair_scores = compute_pair_scores(splits)
<span class="hljs-keyword">for</span> i, key <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(pair_scores.keys()):
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span>: <span class="hljs-subst">{pair_scores[key]}</span>&quot;</span>)
    <span class="hljs-keyword">if</span> i &gt;= <span class="hljs-number">5</span>:
        <span class="hljs-keyword">break</span>`}}),Os=new $({props:{code:`('T', '##h'): 0.125
('##h', '##i'): 0.03409090909090909
('##i', '##s'): 0.02727272727272727
('i', '##s'): 0.1
('t', '##h'): 0.03571428571428571
('##h', '##e'): 0.011904761904761904`,highlighted:`(<span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;##h&#x27;</span>): <span class="hljs-number">0.125</span>
(<span class="hljs-string">&#x27;##h&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>): <span class="hljs-number">0.03409090909090909</span>
(<span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>): <span class="hljs-number">0.02727272727272727</span>
(<span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>): <span class="hljs-number">0.1</span>
(<span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;##h&#x27;</span>): <span class="hljs-number">0.03571428571428571</span>
(<span class="hljs-string">&#x27;##h&#x27;</span>, <span class="hljs-string">&#x27;##e&#x27;</span>): <span class="hljs-number">0.011904761904761904</span>`}}),Bs=new $({props:{code:`best_pair = ""
max_score = None
for pair, score in pair_scores.items():
    if max_score is None or max_score < score:
        best_pair = pair
        max_score = score

print(best_pair, max_score)`,highlighted:`best_pair = <span class="hljs-string">&quot;&quot;</span>
max_score = <span class="hljs-literal">None</span>
<span class="hljs-keyword">for</span> pair, score <span class="hljs-keyword">in</span> pair_scores.items():
    <span class="hljs-keyword">if</span> max_score <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span> <span class="hljs-keyword">or</span> max_score &lt; score:
        best_pair = pair
        max_score = score

<span class="hljs-built_in">print</span>(best_pair, max_score)`}}),Ns=new $({props:{code:"('a', '##b') 0.2",highlighted:'(<span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;##b&#x27;</span>) <span class="hljs-number">0.2</span>'}}),Hs=new $({props:{code:'vocab.append("ab")',highlighted:'vocab.append(<span class="hljs-string">&quot;ab&quot;</span>)'}}),Ws=new $({props:{code:`def merge_pair(a, b, splits):
    for word in word_freqs:
        split = splits[word]
        if len(split) == 1:
            continue
        i = 0
        while i < len(split) - 1:
            if split[i] == a and split[i + 1] == b:
                merge = a + b[2:] if b.startswith("##") else a + b
                split = split[:i] + [merge] + split[i + 2 :]
            else:
                i += 1
        splits[word] = split
    return splits`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">merge_pair</span>(<span class="hljs-params">a, b, splits</span>):
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> word_freqs:
        split = splits[word]
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(split) == <span class="hljs-number">1</span>:
            <span class="hljs-keyword">continue</span>
        i = <span class="hljs-number">0</span>
        <span class="hljs-keyword">while</span> i &lt; <span class="hljs-built_in">len</span>(split) - <span class="hljs-number">1</span>:
            <span class="hljs-keyword">if</span> split[i] == a <span class="hljs-keyword">and</span> split[i + <span class="hljs-number">1</span>] == b:
                merge = a + b[<span class="hljs-number">2</span>:] <span class="hljs-keyword">if</span> b.startswith(<span class="hljs-string">&quot;##&quot;</span>) <span class="hljs-keyword">else</span> a + b
                split = split[:i] + [merge] + split[i + <span class="hljs-number">2</span> :]
            <span class="hljs-keyword">else</span>:
                i += <span class="hljs-number">1</span>
        splits[word] = split
    <span class="hljs-keyword">return</span> splits`}}),Ss=new $({props:{code:`splits = merge_pair("a", "##b", splits)
splits["about"]`,highlighted:`splits = merge_pair(<span class="hljs-string">&quot;a&quot;</span>, <span class="hljs-string">&quot;##b&quot;</span>, splits)
splits[<span class="hljs-string">&quot;about&quot;</span>]`}}),As=new $({props:{code:"['ab', '##o', '##u', '##t']",highlighted:'[<span class="hljs-string">&#x27;ab&#x27;</span>, <span class="hljs-string">&#x27;##o&#x27;</span>, <span class="hljs-string">&#x27;##u&#x27;</span>, <span class="hljs-string">&#x27;##t&#x27;</span>]'}}),Ks=new $({props:{code:`vocab_size = 70
while len(vocab) < vocab_size:
    scores = compute_pair_scores(splits)
    best_pair, max_score = "", None
    for pair, score in scores.items():
        if max_score is None or max_score < score:
            best_pair = pair
            max_score = score
    splits = merge_pair(*best_pair, splits)
    new_token = (
        best_pair[0] + best_pair[1][2:]
        if best_pair[1].startswith("##")
        else best_pair[0] + best_pair[1]
    )
    vocab.append(new_token)`,highlighted:`vocab_size = <span class="hljs-number">70</span>
<span class="hljs-keyword">while</span> <span class="hljs-built_in">len</span>(vocab) &lt; vocab_size:
    scores = compute_pair_scores(splits)
    best_pair, max_score = <span class="hljs-string">&quot;&quot;</span>, <span class="hljs-literal">None</span>
    <span class="hljs-keyword">for</span> pair, score <span class="hljs-keyword">in</span> scores.items():
        <span class="hljs-keyword">if</span> max_score <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span> <span class="hljs-keyword">or</span> max_score &lt; score:
            best_pair = pair
            max_score = score
    splits = merge_pair(*best_pair, splits)
    new_token = (
        best_pair[<span class="hljs-number">0</span>] + best_pair[<span class="hljs-number">1</span>][<span class="hljs-number">2</span>:]
        <span class="hljs-keyword">if</span> best_pair[<span class="hljs-number">1</span>].startswith(<span class="hljs-string">&quot;##&quot;</span>)
        <span class="hljs-keyword">else</span> best_pair[<span class="hljs-number">0</span>] + best_pair[<span class="hljs-number">1</span>]
    )
    vocab.append(new_token)`}}),Us=new $({props:{code:"print(vocab)",highlighted:'<span class="hljs-built_in">print</span>(vocab)'}}),Fs=new $({props:{code:`['[PAD]', '[UNK]', '[CLS]', '[SEP]', '[MASK]', '##a', '##b', '##c', '##d', '##e', '##f', '##g', '##h', '##i', '##k',
 '##l', '##m', '##n', '##o', '##p', '##r', '##s', '##t', '##u', '##v', '##w', '##y', '##z', ',', '.', 'C', 'F', 'H',
 'T', 'a', 'b', 'c', 'g', 'h', 'i', 's', 't', 'u', 'w', 'y', '##fu', 'Fa', 'Fac', '##ct', '##ful', '##full', '##fully',
 'Th', 'ch', '##hm', 'cha', 'chap', 'chapt', '##thm', 'Hu', 'Hug', 'Hugg', 'sh', 'th', 'is', '##thms', '##za', '##zat',
 '##ut']`,highlighted:`[<span class="hljs-string">&#x27;[PAD]&#x27;</span>, <span class="hljs-string">&#x27;[UNK]&#x27;</span>, <span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;[MASK]&#x27;</span>, <span class="hljs-string">&#x27;##a&#x27;</span>, <span class="hljs-string">&#x27;##b&#x27;</span>, <span class="hljs-string">&#x27;##c&#x27;</span>, <span class="hljs-string">&#x27;##d&#x27;</span>, <span class="hljs-string">&#x27;##e&#x27;</span>, <span class="hljs-string">&#x27;##f&#x27;</span>, <span class="hljs-string">&#x27;##g&#x27;</span>, <span class="hljs-string">&#x27;##h&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##k&#x27;</span>,
 <span class="hljs-string">&#x27;##l&#x27;</span>, <span class="hljs-string">&#x27;##m&#x27;</span>, <span class="hljs-string">&#x27;##n&#x27;</span>, <span class="hljs-string">&#x27;##o&#x27;</span>, <span class="hljs-string">&#x27;##p&#x27;</span>, <span class="hljs-string">&#x27;##r&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>, <span class="hljs-string">&#x27;##t&#x27;</span>, <span class="hljs-string">&#x27;##u&#x27;</span>, <span class="hljs-string">&#x27;##v&#x27;</span>, <span class="hljs-string">&#x27;##w&#x27;</span>, <span class="hljs-string">&#x27;##y&#x27;</span>, <span class="hljs-string">&#x27;##z&#x27;</span>, <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;C&#x27;</span>, <span class="hljs-string">&#x27;F&#x27;</span>, <span class="hljs-string">&#x27;H&#x27;</span>,
 <span class="hljs-string">&#x27;T&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;b&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;g&#x27;</span>, <span class="hljs-string">&#x27;h&#x27;</span>, <span class="hljs-string">&#x27;i&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;t&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>, <span class="hljs-string">&#x27;w&#x27;</span>, <span class="hljs-string">&#x27;y&#x27;</span>, <span class="hljs-string">&#x27;##fu&#x27;</span>, <span class="hljs-string">&#x27;Fa&#x27;</span>, <span class="hljs-string">&#x27;Fac&#x27;</span>, <span class="hljs-string">&#x27;##ct&#x27;</span>, <span class="hljs-string">&#x27;##ful&#x27;</span>, <span class="hljs-string">&#x27;##full&#x27;</span>, <span class="hljs-string">&#x27;##fully&#x27;</span>,
 <span class="hljs-string">&#x27;Th&#x27;</span>, <span class="hljs-string">&#x27;ch&#x27;</span>, <span class="hljs-string">&#x27;##hm&#x27;</span>, <span class="hljs-string">&#x27;cha&#x27;</span>, <span class="hljs-string">&#x27;chap&#x27;</span>, <span class="hljs-string">&#x27;chapt&#x27;</span>, <span class="hljs-string">&#x27;##thm&#x27;</span>, <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;Hug&#x27;</span>, <span class="hljs-string">&#x27;Hugg&#x27;</span>, <span class="hljs-string">&#x27;sh&#x27;</span>, <span class="hljs-string">&#x27;th&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;##thms&#x27;</span>, <span class="hljs-string">&#x27;##za&#x27;</span>, <span class="hljs-string">&#x27;##zat&#x27;</span>,
 <span class="hljs-string">&#x27;##ut&#x27;</span>]`}}),cs=new qn({props:{$$slots:{default:[qo]},$$scope:{ctx:S}}}),Rs=new $({props:{code:`def encode_word(word):
    tokens = []
    while len(word) > 0:
        i = len(word)
        while i > 0 and word[:i] not in vocab:
            i -= 1
        if i == 0:
            return ["[UNK]"]
        tokens.append(word[:i])
        word = word[i:]
        if len(word) > 0:
            word = f"##{word}"
    return tokens`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">encode_word</span>(<span class="hljs-params">word</span>):
    tokens = []
    <span class="hljs-keyword">while</span> <span class="hljs-built_in">len</span>(word) &gt; <span class="hljs-number">0</span>:
        i = <span class="hljs-built_in">len</span>(word)
        <span class="hljs-keyword">while</span> i &gt; <span class="hljs-number">0</span> <span class="hljs-keyword">and</span> word[:i] <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> vocab:
            i -= <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> i == <span class="hljs-number">0</span>:
            <span class="hljs-keyword">return</span> [<span class="hljs-string">&quot;[UNK]&quot;</span>]
        tokens.append(word[:i])
        word = word[i:]
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(word) &gt; <span class="hljs-number">0</span>:
            word = <span class="hljs-string">f&quot;##<span class="hljs-subst">{word}</span>&quot;</span>
    <span class="hljs-keyword">return</span> tokens`}}),Ms=new $({props:{code:`print(encode_word("Hugging"))
print(encode_word("HOgging"))`,highlighted:`<span class="hljs-built_in">print</span>(encode_word(<span class="hljs-string">&quot;Hugging&quot;</span>))
<span class="hljs-built_in">print</span>(encode_word(<span class="hljs-string">&quot;HOgging&quot;</span>))`}}),Ls=new $({props:{code:`['Hugg', '##i', '##n', '##g']
['[UNK]']`,highlighted:`[<span class="hljs-string">&#x27;Hugg&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##n&#x27;</span>, <span class="hljs-string">&#x27;##g&#x27;</span>]
[<span class="hljs-string">&#x27;[UNK]&#x27;</span>]`}}),Gs=new $({props:{code:`def tokenize(text):
    pre_tokenize_result = tokenizer._tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word for word, offset in pre_tokenize_result]
    encoded_words = [encode_word(word) for word in pre_tokenized_text]
    return sum(encoded_words, [])`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">text</span>):
    pre_tokenize_result = tokenizer._tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> pre_tokenize_result]
    encoded_words = [encode_word(word) <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> pre_tokenized_text]
    <span class="hljs-keyword">return</span> <span class="hljs-built_in">sum</span>(encoded_words, [])`}}),Vs=new $({props:{code:'tokenize("This is the Hugging Face course!")',highlighted:'tokenize(<span class="hljs-string">&quot;This is the Hugging Face course!&quot;</span>)'}}),Is=new $({props:{code:`['Th', '##i', '##s', 'is', 'th', '##e', 'Hugg', '##i', '##n', '##g', 'Fac', '##e', 'c', '##o', '##u', '##r', '##s',
 '##e', '[UNK]']`,highlighted:`[<span class="hljs-string">&#x27;Th&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;th&#x27;</span>, <span class="hljs-string">&#x27;##e&#x27;</span>, <span class="hljs-string">&#x27;Hugg&#x27;</span>, <span class="hljs-string">&#x27;##i&#x27;</span>, <span class="hljs-string">&#x27;##n&#x27;</span>, <span class="hljs-string">&#x27;##g&#x27;</span>, <span class="hljs-string">&#x27;Fac&#x27;</span>, <span class="hljs-string">&#x27;##e&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;##o&#x27;</span>, <span class="hljs-string">&#x27;##u&#x27;</span>, <span class="hljs-string">&#x27;##r&#x27;</span>, <span class="hljs-string">&#x27;##s&#x27;</span>,
 <span class="hljs-string">&#x27;##e&#x27;</span>, <span class="hljs-string">&#x27;[UNK]&#x27;</span>]`}}),{c(){u=r("meta"),k=c(),x=r("h1"),_=r("a"),C=r("span"),m(w.$$.fragment),v=c(),B=r("span"),M=t("WordPiece tokenization"),H=c(),m(K.$$.fragment),hs=c(),Js=r("p"),ct=t("WordPiece \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A tokenization \u0E17\u0E35\u0E48\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E42\u0E14\u0E22 Google \u0E40\u0E1E\u0E37\u0E48\u0E2D pretrain \u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 Transformer \u0E2B\u0E25\u0E32\u0E22\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A BERT \u0E40\u0E0A\u0E48\u0E19 DistilBERT, MobileBERT, Funnel Transformers, \u0E41\u0E25\u0E30 MPNET"),vn=c(),Zs=r("p"),ht=t("WordPiece \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A BPE \u0E43\u0E19\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19"),En=c(),m(us.$$.fragment),yn=c(),m(I.$$.fragment),Pn=c(),L=r("h2"),Y=r("a"),xa=r("span"),m(ms.$$.fragment),ut=c(),$a=r("span"),mt=t("Training algorithm"),zn=c(),m(J.$$.fragment),Cn=c(),Z=r("p"),ft=t(`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A BPE \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 WordPiece \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 vocabulary \u0E02\u0E19\u0E32\u0E14\u0E40\u0E25\u0E47\u0E01 \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19 prefix \u0E40\u0E0A\u0E48\u0E19 `),_a=r("code"),jt=t("##"),gt=t(" (\u0E43\u0E0A\u0E49\u0E43\u0E19 BERT) \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E43\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E08\u0E30\u0E21\u0E35 prefix \u0E19\u0E35\u0E49"),Dn=c(),Q=r("p"),bt=t("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 "),wa=r("code"),dt=t('"word"'),xt=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Tn=c(),m(fs.$$.fragment),On=c(),Qs=r("p"),$t=t("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E19\u0E33\u0E2B\u0E19\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22 prefix \u0E1E\u0E34\u0E40\u0E28\u0E29"),Bn=c(),js=r("p"),_t=t(`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A BPE \u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 WordPiece \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23 merge \u0E41\u0E15\u0E48\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E04\u0E37\u0E2D\u0E2B\u0E25\u0E31\u0E01\u0E01\u0E32\u0E23\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48 token \u0E17\u0E35\u0E48\u0E08\u0E30\u0E19\u0E33\u0E21\u0E32 merge \u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 WordPiece \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E2A\u0E39\u0E15\u0E23\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49
`),Nn=new mo,Hn=c(),T=r("p"),wt=t(`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2B\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E39\u0E48 token \u0E14\u0E49\u0E27\u0E22\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E04\u0E39\u0E48 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E43\u0E2B\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E04\u0E39\u0E48 \u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E44\u0E21\u0E48\u0E2A\u0E39\u0E07
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E15\u0E49\u0E2D\u0E07 merge `),ka=r("code"),kt=t('("un", "##able")'),qt=t(" \u0E16\u0E36\u0E07\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E08\u0E30\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19 vocabulary \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E17\u0E31\u0E49\u0E07 "),qa=r("code"),vt=t('"un"'),Et=t(" \u0E41\u0E25\u0E30 "),va=r("code"),yt=t('"##able"'),Pt=t(` \u0E15\u0E48\u0E32\u0E07\u0E1E\u0E1A\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E14\u0E49\u0E27\u0E22 \u0E41\u0E25\u0E30\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E01\u0E47\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2A\u0E39\u0E07
\u0E15\u0E23\u0E07\u0E01\u0E31\u0E19\u0E02\u0E49\u0E32\u0E21\u0E01\u0E31\u0E1A \u0E04\u0E39\u0E48\u0E40\u0E0A\u0E48\u0E19 `),Ea=r("code"),zt=t('("hu", "##gging")'),Ct=t(" \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E23\u0E47\u0E27\u0E01\u0E27\u0E48\u0E32 (\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E17\u0E35\u0E48 \u201Chugging\u201D \u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E2A\u0E39\u0E07\u0E43\u0E19 vocabulary ) \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E17\u0E31\u0E49\u0E07"),ya=r("code"),Dt=t('"hu"'),Tt=t(" \u0E41\u0E25\u0E30 `\u201C##gging\u201D \u0E15\u0E48\u0E32\u0E07\u0E01\u0E47\u0E1E\u0E1A\u0E44\u0E14\u0E49\u0E44\u0E21\u0E48\u0E1A\u0E48\u0E2D\u0E22"),Wn=c(),Xs=r("p"),Ot=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19 BPE :"),Sn=c(),m(gs.$$.fragment),An=c(),sa=r("p"),Bt=t("\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),Kn=c(),m(bs.$$.fragment),Un=c(),y=r("p"),Nt=t("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E04\u0E37\u0E2D "),Pa=r("code"),Ht=t('["b", "h", "p", "##g", "##n", "##s", "##u"]'),Wt=t(` (\u0E40\u0E23\u0E32\u0E02\u0E2D\u0E25\u0E30\u0E44\u0E21\u0E48\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49)
\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),za=r("code"),St=t('("##u", "##g")'),At=t(" \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 20 \u0E04\u0E23\u0E31\u0E49\u0E07 \u0E41\u0E15\u0E48\u0E27\u0E48\u0E32\u0E16\u0E49\u0E32\u0E19\u0E31\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token "),Ca=r("code"),Kt=t('"##u"'),Ut=t(` \u0E08\u0E30\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2A\u0E39\u0E07 \u0E17\u0E33\u0E43\u0E2B\u0E49 score \u0E02\u0E2D\u0E07\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (1 / 36)
\u0E17\u0E38\u0E01\u0E46\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22 `),Da=r("code"),Ft=t('"##u"'),Rt=t(" \u0E08\u0E30\u0E44\u0E14\u0E49 score \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D (1 / 36) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 score \u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E08\u0E36\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E39\u0E48 "),Ta=r("code"),Mt=t('("##g", "##s")'),Lt=t(" \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35 "),Oa=r("code"),Gt=t('"##u"'),Vt=t(" \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 score \u0E40\u0E1B\u0E47\u0E19 1 / 20 \u0E41\u0E25\u0E30\u0E01\u0E0E\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ba=r("code"),It=t('("##g", "##s") -> ("##gs")'),Fn=c(),U=r("p"),Yt=t("\u0E42\u0E1B\u0E23\u0E14\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E27\u0E48\u0E32 \u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32 merge \u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E1A \u0E15\u0E31\u0E27 "),Na=r("code"),Jt=t("##"),Zt=t(" \u0E2D\u0E2D\u0E01\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 merge \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 "),Ha=r("code"),Qt=t('"##gs"'),Xt=t(" \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E19\u0E35\u0E49\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E0E\u0E19\u0E35\u0E49\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33\u0E43\u0E19 corpus \u0E14\u0E49\u0E27\u0E22 :"),Rn=c(),m(ds.$$.fragment),Mn=c(),X=r("p"),se=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 "),Wa=r("code"),ae=t('"##u"'),ne=t(" \u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E17\u0E38\u0E01\u0E46\u0E04\u0E39\u0E48 \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 \u0E17\u0E38\u0E01\u0E04\u0E39\u0E48\u0E08\u0E30\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19"),Ln=c(),ss=r("p"),le=t("\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E01\u0E0E\u0E43\u0E14\u0E01\u0E0E\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D merge \u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 "),Sa=r("code"),te=t('("h", "##u") -> "hu"'),ee=t(" \u0E41\u0E25\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),Gn=c(),m(xs.$$.fragment),Vn=c(),F=r("p"),pe=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D "),Aa=r("code"),re=t('("hu", "##g")'),oe=t(" \u0E41\u0E25\u0E30 "),Ka=r("code"),ie=t('("hu", "##gs")'),ce=t(" \u0E0B\u0E36\u0E48\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 1/15 (\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E25\u0E37\u0E2D \u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 1/21) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E43\u0E19 list \u0E21\u0E32\u0E43\u0E0A\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D merge :"),In=c(),m($s.$$.fragment),Yn=c(),aa=r("p"),he=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 vocabulary \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E21\u0E32\u0E01\u0E1E\u0E2D"),Jn=c(),m(as.$$.fragment),Zn=c(),G=r("h2"),ns=r("a"),Ua=r("span"),m(_s.$$.fragment),ue=c(),Fa=r("span"),me=t("Tokenization algorithm"),Qn=c(),D=r("p"),fe=t(`\u0E01\u0E32\u0E23 tokenization \u0E43\u0E19 WordPiece \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 BPE \u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 WordPiece \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E40\u0E09\u0E1E\u0E32\u0E30 vocabulary \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 \u0E01\u0E0E merge
\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E04\u0E33\u0E43\u0E14\u0E04\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07 WordPiece \u0E08\u0E30\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E15\u0E32\u0E21\u0E19\u0E31\u0E49\u0E19
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19 \u0E41\u0E25\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 `),Ra=r("code"),je=t('"hugs"'),ge=t(" \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ma=r("code"),be=t('"hug"'),de=t(" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 "),La=r("code"),xe=t('["hug", "##s"]'),$e=t(`
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48 `),Ga=r("code"),_e=t('"##s"'),we=t(" \u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E44\u0E14\u0E49 "),Va=r("code"),ke=t('["hug", "##s"]'),qe=t(`
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 BPE \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E40\u0E17\u0E23\u0E19\u0E21\u0E32\u0E15\u0E32\u0E21\u0E25\u0E33\u0E14\u0E31\u0E1A \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30 tokenize \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 `),Ia=r("code"),ve=t('["hu", "##gs"]'),Xn=c(),E=r("p"),Ee=t("\u0E21\u0E32\u0E14\u0E39\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19 \u0E40\u0E0A\u0E48\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),Ya=r("code"),ye=t('"bugs"'),Pe=t(`
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E1B\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 `),Ja=r("code"),ze=t('"b"'),Ce=t(" \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 "),Za=r("code"),De=t('["b", "##ugs"]'),Te=t(`
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E04\u0E33\u0E27\u0E48\u0E32 `),Qa=r("code"),Oe=t('"##ugs"'),Be=t(" \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32 "),Xa=r("code"),Ne=t('"##u"'),He=t(" \u0E04\u0E37\u0E2D\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1B\u0E47\u0E19  "),sn=r("code"),We=t('["b", "##u, "##gs"]'),Se=t(`
\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 `),an=r("code"),Ae=t('"##gs"'),Ke=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E49\u0E27 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E35\u0E01"),sl=c(),q=r("p"),Ue=t(`\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E44\u0E14\u0E49\u0E40\u0E25\u0E22 \u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33 unknown
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 `),nn=r("code"),Fe=t('"mug"'),Re=t(" \u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ln=r("code"),Me=t('["[UNK]"]'),Le=t(" \u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 "),tn=r("code"),Ge=t('"bum"'),Ve=t(" \u0E16\u0E36\u0E07\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E2D "),en=r("code"),Ie=t('"b"'),Ye=t(" \u0E41\u0E25\u0E30 "),pn=r("code"),Je=t('"##u"'),Ze=t(" \u0E43\u0E19 vocabulary \u0E41\u0E15\u0E48\u0E27\u0E48\u0E32 "),rn=r("code"),Qe=t('"##m"'),Xe=t(" \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19  vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E17\u0E31\u0E49\u0E07\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19 "),on=r("code"),sp=t('["[UNK]"]'),ap=t(" \u0E41\u0E25\u0E30\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E22\u0E01\u0E21\u0E31\u0E19\u0E40\u0E1B\u0E47\u0E19 "),cn=r("code"),np=t('["b", "##u", "[UNK]"]'),lp=t(`
\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 BPE \u0E42\u0E14\u0E22 BPE \u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E41\u0E25\u0E30\u0E16\u0E49\u0E32\u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E44\u0E21\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E04\u0E31\u0E14\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 unknown`),al=c(),m(ls.$$.fragment),nl=c(),V=r("h2"),ts=r("a"),hn=r("span"),m(ws.$$.fragment),tp=c(),un=r("span"),ep=t("Implementing WordPiece"),ll=c(),na=r("p"),pp=t(`\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 WordPiece \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E2D\u0E19\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07 BPE \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 \u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A corpus \u0E43\u0E2B\u0E0D\u0E48\u0E46
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E1A\u0E17 BPE :`),tl=c(),m(ks.$$.fragment),el=c(),es=r("p"),rp=t("\u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07 pre-tokenize corpus \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E33\u0E25\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 WordPiece tokenizer (\u0E40\u0E0A\u0E48\u0E19 BERT) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 "),mn=r("code"),op=t("bert-base-cased"),ip=t(" tokenizer \u0E43\u0E19\u0E01\u0E32\u0E23 pre-tokenize"),pl=c(),m(qs.$$.fragment),rl=c(),la=r("p"),cp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus :"),ol=c(),m(vs.$$.fragment),il=c(),m(Es.$$.fragment),cl=c(),ps=r("p"),hp=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E0B\u0E47\u0E15\u0E02\u0E2D\u0E07 alphabet \u0E01\u0E31\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D\u0E40\u0E0B\u0E47\u0E15\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E08\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E43\u0E2A\u0E48 "),fn=r("code"),up=t("##"),mp=t(" \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 :"),hl=c(),m(ys.$$.fragment),ul=c(),m(Ps.$$.fragment),ml=c(),rs=r("p"),fp=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 list \u0E19\u0E35\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A BERT \u0E04\u0E37\u0E2D "),jn=r("code"),jp=t('["[PAD]", "[UNK]", "[CLS]", "[SEP]", "[MASK]"]'),gp=t(" :"),fl=c(),m(zs.$$.fragment),jl=c(),os=r("p"),bp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E41\u0E22\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E2D\u0E2D\u0E01\u0E21\u0E32 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),gn=r("code"),dp=t("##"),xp=t(" \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 :"),gl=c(),m(Cs.$$.fragment),bl=c(),ta=r("p"),$p=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 token\u0E01\u0E31\u0E19 :"),dl=c(),m(Ds.$$.fragment),xl=c(),ea=r("p"),_p=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 :"),$l=c(),m(Ts.$$.fragment),_l=c(),m(Os.$$.fragment),wl=c(),pa=r("p"),wp=t("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 loop \u0E07\u0E48\u0E32\u0E22\u0E46 \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),kl=c(),m(Bs.$$.fragment),ql=c(),m(Ns.$$.fragment),vl=c(),R=r("p"),kp=t("\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D "),bn=r("code"),qp=t("('a', '##b') -> 'ab'"),vp=t(" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),dn=r("code"),Ep=t("'ab'"),yp=t("  \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary :"),El=c(),m(Hs.$$.fragment),yl=c(),is=r("p"),Pp=t("\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E15\u0E48\u0E2D \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01 merge \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 dictionary "),xn=r("code"),zp=t("splits"),Cp=t(" \u0E01\u0E48\u0E2D\u0E19 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E19\u0E35\u0E49 :"),Pl=c(),m(Ws.$$.fragment),zl=c(),ra=r("p"),Dp=t("\u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 merge \u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01 :"),Cl=c(),m(Ss.$$.fragment),Dl=c(),m(As.$$.fragment),Tl=c(),oa=r("p"),Tp=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E21\u0E35\u0E17\u0E38\u0E01\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32 tokenizer \u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46 merge \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E40\u0E1B\u0E47\u0E19 70 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 :"),Ol=c(),m(Ks.$$.fragment),Bl=c(),ia=r("p"),Op=t("\u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 vocabulary \u0E01\u0E31\u0E19 :"),Nl=c(),m(Us.$$.fragment),Hl=c(),m(Fs.$$.fragment),Wl=c(),ca=r("p"),Bp=t("\u0E16\u0E49\u0E32\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A BPE \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 tokenizer \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E44\u0E14\u0E49\u0E40\u0E23\u0E47\u0E27\u0E01\u0E27\u0E48\u0E32\u0E19\u0E34\u0E14\u0E2B\u0E19\u0E48\u0E2D\u0E22"),Sl=c(),m(cs.$$.fragment),Al=c(),ha=r("p"),Np=t(`\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E21\u0E48 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07 tokenize \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E15\u0E32\u0E21\u0E2B\u0E25\u0E31\u0E01\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E2D\u0E07\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E42\u0E14\u0E22\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E04\u0E33\u0E44\u0E1B\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E2D\u0E2D\u0E01\u0E15\u0E23\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E35\u0E49 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E0B\u0E49\u0E33\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E48\u0E2D\u0E46\u0E44\u0E1B\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E17\u0E33\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E48\u0E2D\u0E44\u0E1B`),Kl=c(),m(Rs.$$.fragment),Ul=c(),ua=r("p"),Hp=t("\u0E21\u0E32\u0E17\u0E14\u0E25\u0E2D\u0E07 tokenize \u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E01\u0E31\u0E19 :"),Fl=c(),m(Ms.$$.fragment),Rl=c(),m(Ls.$$.fragment),Ml=c(),ma=r("p"),Wp=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E01\u0E31\u0E19 :"),Ll=c(),m(Gs.$$.fragment),Gl=c(),fa=r("p"),Sp=t("\u0E17\u0E14\u0E25\u0E2D\u0E07\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 :"),Vl=c(),m(Vs.$$.fragment),Il=c(),m(Is.$$.fragment),Yl=c(),ja=r("p"),Ap=t("\u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A WordPiece \u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A Unigram \u0E01\u0E31\u0E19"),this.h()},l(s){const l=fo('[data-svelte="svelte-1phssyn"]',document.head);u=o(l,"META",{name:!0,content:!0}),l.forEach(a),k=h(s),x=o(s,"H1",{class:!0});var Ys=i(x);_=o(Ys,"A",{id:!0,class:!0,href:!0});var $n=i(_);C=o($n,"SPAN",{});var _n=i(C);f(w.$$.fragment,_n),_n.forEach(a),$n.forEach(a),v=h(Ys),B=o(Ys,"SPAN",{});var wn=i(B);M=e(wn,"WordPiece tokenization"),wn.forEach(a),Ys.forEach(a),H=h(s),f(K.$$.fragment,s),hs=h(s),Js=o(s,"P",{});var kn=i(Js);ct=e(kn,"WordPiece \u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A tokenization \u0E17\u0E35\u0E48\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E42\u0E14\u0E22 Google \u0E40\u0E1E\u0E37\u0E48\u0E2D pretrain \u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E19\u0E33\u0E21\u0E32\u0E43\u0E0A\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 Transformer \u0E2B\u0E25\u0E32\u0E22\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A BERT \u0E40\u0E0A\u0E48\u0E19 DistilBERT, MobileBERT, Funnel Transformers, \u0E41\u0E25\u0E30 MPNET"),kn.forEach(a),vn=h(s),Zs=o(s,"P",{});var Up=i(Zs);ht=e(Up,"WordPiece \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A BPE \u0E43\u0E19\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19"),Up.forEach(a),En=h(s),f(us.$$.fragment,s),yn=h(s),f(I.$$.fragment,s),Pn=h(s),L=o(s,"H2",{class:!0});var Zl=i(L);Y=o(Zl,"A",{id:!0,class:!0,href:!0});var Fp=i(Y);xa=o(Fp,"SPAN",{});var Rp=i(xa);f(ms.$$.fragment,Rp),Rp.forEach(a),Fp.forEach(a),ut=h(Zl),$a=o(Zl,"SPAN",{});var Mp=i($a);mt=e(Mp,"Training algorithm"),Mp.forEach(a),Zl.forEach(a),zn=h(s),f(J.$$.fragment,s),Cn=h(s),Z=o(s,"P",{});var Ql=i(Z);ft=e(Ql,`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A BPE \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 WordPiece \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 vocabulary \u0E02\u0E19\u0E32\u0E14\u0E40\u0E25\u0E47\u0E01 \u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19 prefix \u0E40\u0E0A\u0E48\u0E19 `),_a=o(Ql,"CODE",{});var Lp=i(_a);jt=e(Lp,"##"),Lp.forEach(a),gt=e(Ql," (\u0E43\u0E0A\u0E49\u0E43\u0E19 BERT) \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E43\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E08\u0E30\u0E21\u0E35 prefix \u0E19\u0E35\u0E49"),Ql.forEach(a),Dn=h(s),Q=o(s,"P",{});var Xl=i(Q);bt=e(Xl,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E33\u0E27\u0E48\u0E32 "),wa=o(Xl,"CODE",{});var Gp=i(wa);dt=e(Gp,'"word"'),Gp.forEach(a),xt=e(Xl," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Xl.forEach(a),Tn=h(s),f(fs.$$.fragment,s),On=h(s),Qs=o(s,"P",{});var Vp=i(Qs);$t=e(Vp,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E08\u0E30\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E19\u0E33\u0E2B\u0E19\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22 prefix \u0E1E\u0E34\u0E40\u0E28\u0E29"),Vp.forEach(a),Bn=h(s),js=o(s,"P",{});var Kp=i(js);_t=e(Kp,`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A BPE \u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 WordPiece \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23 merge \u0E41\u0E15\u0E48\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E04\u0E37\u0E2D\u0E2B\u0E25\u0E31\u0E01\u0E01\u0E32\u0E23\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48 token \u0E17\u0E35\u0E48\u0E08\u0E30\u0E19\u0E33\u0E21\u0E32 merge \u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 WordPiece \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E2A\u0E39\u0E15\u0E23\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49
`),Nn=jo(Kp),Kp.forEach(a),Hn=h(s),T=o(s,"P",{});var A=i(T);wt=e(A,`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2B\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E39\u0E48 token \u0E14\u0E49\u0E27\u0E22\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E04\u0E39\u0E48 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E43\u0E2B\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E04\u0E39\u0E48 \u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E44\u0E21\u0E48\u0E2A\u0E39\u0E07
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E15\u0E49\u0E2D\u0E07 merge `),ka=o(A,"CODE",{});var Ip=i(ka);kt=e(Ip,'("un", "##able")'),Ip.forEach(a),qt=e(A," \u0E16\u0E36\u0E07\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E08\u0E30\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E19 vocabulary \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E17\u0E31\u0E49\u0E07 "),qa=o(A,"CODE",{});var Yp=i(qa);vt=e(Yp,'"un"'),Yp.forEach(a),Et=e(A," \u0E41\u0E25\u0E30 "),va=o(A,"CODE",{});var Jp=i(va);yt=e(Jp,'"##able"'),Jp.forEach(a),Pt=e(A,` \u0E15\u0E48\u0E32\u0E07\u0E1E\u0E1A\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E14\u0E49\u0E27\u0E22 \u0E41\u0E25\u0E30\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E01\u0E47\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2A\u0E39\u0E07
\u0E15\u0E23\u0E07\u0E01\u0E31\u0E19\u0E02\u0E49\u0E32\u0E21\u0E01\u0E31\u0E1A \u0E04\u0E39\u0E48\u0E40\u0E0A\u0E48\u0E19 `),Ea=o(A,"CODE",{});var Zp=i(Ea);zt=e(Zp,'("hu", "##gging")'),Zp.forEach(a),Ct=e(A," \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E23\u0E27\u0E21\u0E40\u0E23\u0E47\u0E27\u0E01\u0E27\u0E48\u0E32 (\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E17\u0E35\u0E48 \u201Chugging\u201D \u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E2A\u0E39\u0E07\u0E43\u0E19 vocabulary ) \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E17\u0E31\u0E49\u0E07"),ya=o(A,"CODE",{});var Qp=i(ya);Dt=e(Qp,'"hu"'),Qp.forEach(a),Tt=e(A," \u0E41\u0E25\u0E30 `\u201C##gging\u201D \u0E15\u0E48\u0E32\u0E07\u0E01\u0E47\u0E1E\u0E1A\u0E44\u0E14\u0E49\u0E44\u0E21\u0E48\u0E1A\u0E48\u0E2D\u0E22"),A.forEach(a),Wn=h(s),Xs=o(s,"P",{});var Xp=i(Xs);Ot=e(Xp,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19 BPE :"),Xp.forEach(a),Sn=h(s),f(gs.$$.fragment,s),An=h(s),sa=o(s,"P",{});var sr=i(sa);Bt=e(sr,"\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),sr.forEach(a),Kn=h(s),f(bs.$$.fragment,s),Un=h(s),y=o(s,"P",{});var N=i(y);Nt=e(N,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E04\u0E37\u0E2D "),Pa=o(N,"CODE",{});var ar=i(Pa);Ht=e(ar,'["b", "h", "p", "##g", "##n", "##s", "##u"]'),ar.forEach(a),Wt=e(N,` (\u0E40\u0E23\u0E32\u0E02\u0E2D\u0E25\u0E30\u0E44\u0E21\u0E48\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49)
\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D `),za=o(N,"CODE",{});var nr=i(za);St=e(nr,'("##u", "##g")'),nr.forEach(a),At=e(N," \u0E0B\u0E36\u0E48\u0E07\u0E1E\u0E1A 20 \u0E04\u0E23\u0E31\u0E49\u0E07 \u0E41\u0E15\u0E48\u0E27\u0E48\u0E32\u0E16\u0E49\u0E32\u0E19\u0E31\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token "),Ca=o(N,"CODE",{});var lr=i(Ca);Kt=e(lr,'"##u"'),lr.forEach(a),Ut=e(N,` \u0E08\u0E30\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2A\u0E39\u0E07 \u0E17\u0E33\u0E43\u0E2B\u0E49 score \u0E02\u0E2D\u0E07\u0E04\u0E39\u0E48\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (1 / 36)
\u0E17\u0E38\u0E01\u0E46\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22 `),Da=o(N,"CODE",{});var tr=i(Da);Ft=e(tr,'"##u"'),tr.forEach(a),Rt=e(N," \u0E08\u0E30\u0E44\u0E14\u0E49 score \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D (1 / 36) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 score \u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E08\u0E36\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E39\u0E48 "),Ta=o(N,"CODE",{});var er=i(Ta);Mt=e(er,'("##g", "##s")'),er.forEach(a),Lt=e(N," \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35 "),Oa=o(N,"CODE",{});var pr=i(Oa);Gt=e(pr,'"##u"'),pr.forEach(a),Vt=e(N," \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 score \u0E40\u0E1B\u0E47\u0E19 1 / 20 \u0E41\u0E25\u0E30\u0E01\u0E0E\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ba=o(N,"CODE",{});var rr=i(Ba);It=e(rr,'("##g", "##s") -> ("##gs")'),rr.forEach(a),N.forEach(a),Fn=h(s),U=o(s,"P",{});var ga=i(U);Yt=e(ga,"\u0E42\u0E1B\u0E23\u0E14\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E27\u0E48\u0E32 \u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32 merge \u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E1A \u0E15\u0E31\u0E27 "),Na=o(ga,"CODE",{});var or=i(Na);Jt=e(or,"##"),or.forEach(a),Zt=e(ga," \u0E2D\u0E2D\u0E01\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 merge \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 "),Ha=o(ga,"CODE",{});var ir=i(Ha);Qt=e(ir,'"##gs"'),ir.forEach(a),Xt=e(ga," \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E19\u0E35\u0E49\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E0E\u0E19\u0E35\u0E49\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33\u0E43\u0E19 corpus \u0E14\u0E49\u0E27\u0E22 :"),ga.forEach(a),Rn=h(s),f(ds.$$.fragment,s),Mn=h(s),X=o(s,"P",{});var st=i(X);se=e(st,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 "),Wa=o(st,"CODE",{});var cr=i(Wa);ae=e(cr,'"##u"'),cr.forEach(a),ne=e(st," \u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E17\u0E38\u0E01\u0E46\u0E04\u0E39\u0E48 \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 \u0E17\u0E38\u0E01\u0E04\u0E39\u0E48\u0E08\u0E30\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19"),st.forEach(a),Ln=h(s),ss=o(s,"P",{});var at=i(ss);le=e(at,"\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E01\u0E0E\u0E43\u0E14\u0E01\u0E0E\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D merge \u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 "),Sa=o(at,"CODE",{});var hr=i(Sa);te=e(hr,'("h", "##u") -> "hu"'),hr.forEach(a),ee=e(at," \u0E41\u0E25\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 :"),at.forEach(a),Gn=h(s),f(xs.$$.fragment,s),Vn=h(s),F=o(s,"P",{});var ba=i(F);pe=e(ba,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E04\u0E37\u0E2D "),Aa=o(ba,"CODE",{});var ur=i(Aa);re=e(ur,'("hu", "##g")'),ur.forEach(a),oe=e(ba," \u0E41\u0E25\u0E30 "),Ka=o(ba,"CODE",{});var mr=i(Ka);ie=e(mr,'("hu", "##gs")'),mr.forEach(a),ce=e(ba," \u0E0B\u0E36\u0E48\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 1/15 (\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E25\u0E37\u0E2D \u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A 1/21) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E39\u0E48\u0E41\u0E23\u0E01\u0E43\u0E19 list \u0E21\u0E32\u0E43\u0E0A\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D merge :"),ba.forEach(a),In=h(s),f($s.$$.fragment,s),Yn=h(s),aa=o(s,"P",{});var fr=i(aa);he=e(fr,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 vocabulary \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E21\u0E32\u0E01\u0E1E\u0E2D"),fr.forEach(a),Jn=h(s),f(as.$$.fragment,s),Zn=h(s),G=o(s,"H2",{class:!0});var nt=i(G);ns=o(nt,"A",{id:!0,class:!0,href:!0});var jr=i(ns);Ua=o(jr,"SPAN",{});var gr=i(Ua);f(_s.$$.fragment,gr),gr.forEach(a),jr.forEach(a),ue=h(nt),Fa=o(nt,"SPAN",{});var br=i(Fa);me=e(br,"Tokenization algorithm"),br.forEach(a),nt.forEach(a),Qn=h(s),D=o(s,"P",{});var W=i(D);fe=e(W,`\u0E01\u0E32\u0E23 tokenization \u0E43\u0E19 WordPiece \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 BPE \u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 WordPiece \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E40\u0E09\u0E1E\u0E32\u0E30 vocabulary \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 \u0E01\u0E0E merge
\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E04\u0E33\u0E43\u0E14\u0E04\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07 WordPiece \u0E08\u0E30\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E15\u0E32\u0E21\u0E19\u0E31\u0E49\u0E19
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E32\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19 \u0E41\u0E25\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 `),Ra=o(W,"CODE",{});var dr=i(Ra);je=e(dr,'"hugs"'),dr.forEach(a),ge=e(W," \u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ma=o(W,"CODE",{});var xr=i(Ma);be=e(xr,'"hug"'),xr.forEach(a),de=e(W," \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 "),La=o(W,"CODE",{});var $r=i(La);xe=e($r,'["hug", "##s"]'),$r.forEach(a),$e=e(W,`
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48 `),Ga=o(W,"CODE",{});var _r=i(Ga);_e=e(_r,'"##s"'),_r.forEach(a),we=e(W," \u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E44\u0E14\u0E49 "),Va=o(W,"CODE",{});var wr=i(Va);ke=e(wr,'["hug", "##s"]'),wr.forEach(a),qe=e(W,`
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 BPE \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E40\u0E17\u0E23\u0E19\u0E21\u0E32\u0E15\u0E32\u0E21\u0E25\u0E33\u0E14\u0E31\u0E1A \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30 tokenize \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 `),Ia=o(W,"CODE",{});var kr=i(Ia);ve=e(kr,'["hu", "##gs"]'),kr.forEach(a),W.forEach(a),Xn=h(s),E=o(s,"P",{});var O=i(E);Ee=e(O,"\u0E21\u0E32\u0E14\u0E39\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19 \u0E40\u0E0A\u0E48\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),Ya=o(O,"CODE",{});var qr=i(Ya);ye=e(qr,'"bugs"'),qr.forEach(a),Pe=e(O,`
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E1B\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 `),Ja=o(O,"CODE",{});var vr=i(Ja);ze=e(vr,'"b"'),vr.forEach(a),Ce=e(O," \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 "),Za=o(O,"CODE",{});var Er=i(Za);De=e(Er,'["b", "##ugs"]'),Er.forEach(a),Te=e(O,`
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E04\u0E33\u0E27\u0E48\u0E32 `),Qa=o(O,"CODE",{});var yr=i(Qa);Oe=e(yr,'"##ugs"'),yr.forEach(a),Be=e(O," \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32 "),Xa=o(O,"CODE",{});var Pr=i(Xa);Ne=e(Pr,'"##u"'),Pr.forEach(a),He=e(O," \u0E04\u0E37\u0E2D\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1B\u0E47\u0E19  "),sn=o(O,"CODE",{});var zr=i(sn);We=e(zr,'["b", "##u, "##gs"]'),zr.forEach(a),Se=e(O,`
\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 `),an=o(O,"CODE",{});var Cr=i(an);Ae=e(Cr,'"##gs"'),Cr.forEach(a),Ke=e(O," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E49\u0E27 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E35\u0E01"),O.forEach(a),sl=h(s),q=o(s,"P",{});var P=i(q);Ue=e(P,`\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E44\u0E14\u0E49\u0E40\u0E25\u0E22 \u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33 unknown
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 `),nn=o(P,"CODE",{});var Dr=i(nn);Fe=e(Dr,'"mug"'),Dr.forEach(a),Re=e(P," \u0E08\u0E30\u0E16\u0E39\u0E01 tokenize \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ln=o(P,"CODE",{});var Tr=i(ln);Me=e(Tr,'["[UNK]"]'),Tr.forEach(a),Le=e(P," \u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 "),tn=o(P,"CODE",{});var Or=i(tn);Ge=e(Or,'"bum"'),Or.forEach(a),Ve=e(P," \u0E16\u0E36\u0E07\u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E2D "),en=o(P,"CODE",{});var Br=i(en);Ie=e(Br,'"b"'),Br.forEach(a),Ye=e(P," \u0E41\u0E25\u0E30 "),pn=o(P,"CODE",{});var Nr=i(pn);Je=e(Nr,'"##u"'),Nr.forEach(a),Ze=e(P," \u0E43\u0E19 vocabulary \u0E41\u0E15\u0E48\u0E27\u0E48\u0E32 "),rn=o(P,"CODE",{});var Hr=i(rn);Qe=e(Hr,'"##m"'),Hr.forEach(a),Xe=e(P," \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19  vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E17\u0E31\u0E49\u0E07\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19 "),on=o(P,"CODE",{});var Wr=i(on);sp=e(Wr,'["[UNK]"]'),Wr.forEach(a),ap=e(P," \u0E41\u0E25\u0E30\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E22\u0E01\u0E21\u0E31\u0E19\u0E40\u0E1B\u0E47\u0E19 "),cn=o(P,"CODE",{});var Sr=i(cn);np=e(Sr,'["b", "##u", "[UNK]"]'),Sr.forEach(a),lp=e(P,`
\u0E19\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E34\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 BPE \u0E42\u0E14\u0E22 BPE \u0E08\u0E30\u0E14\u0E39\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E41\u0E25\u0E30\u0E16\u0E49\u0E32\u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E44\u0E21\u0E48\u0E1E\u0E1A\u0E43\u0E19 vocabulary \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E04\u0E31\u0E14\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 unknown`),P.forEach(a),al=h(s),f(ls.$$.fragment,s),nl=h(s),V=o(s,"H2",{class:!0});var lt=i(V);ts=o(lt,"A",{id:!0,class:!0,href:!0});var Ar=i(ts);hn=o(Ar,"SPAN",{});var Kr=i(hn);f(ws.$$.fragment,Kr),Kr.forEach(a),Ar.forEach(a),tp=h(lt),un=o(lt,"SPAN",{});var Ur=i(un);ep=e(Ur,"Implementing WordPiece"),Ur.forEach(a),lt.forEach(a),ll=h(s),na=o(s,"P",{});var Fr=i(na);pp=e(Fr,`\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 WordPiece \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E2D\u0E19\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07 BPE \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 \u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A corpus \u0E43\u0E2B\u0E0D\u0E48\u0E46
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E1A\u0E17 BPE :`),Fr.forEach(a),tl=h(s),f(ks.$$.fragment,s),el=h(s),es=o(s,"P",{});var tt=i(es);rp=e(tt,"\u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07 pre-tokenize corpus \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E33\u0E25\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 WordPiece tokenizer (\u0E40\u0E0A\u0E48\u0E19 BERT) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 "),mn=o(tt,"CODE",{});var Rr=i(mn);op=e(Rr,"bert-base-cased"),Rr.forEach(a),ip=e(tt," tokenizer \u0E43\u0E19\u0E01\u0E32\u0E23 pre-tokenize"),tt.forEach(a),pl=h(s),f(qs.$$.fragment,s),rl=h(s),la=o(s,"P",{});var Mr=i(la);cp=e(Mr,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus :"),Mr.forEach(a),ol=h(s),f(vs.$$.fragment,s),il=h(s),f(Es.$$.fragment,s),cl=h(s),ps=o(s,"P",{});var et=i(ps);hp=e(et,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E40\u0E0B\u0E47\u0E15\u0E02\u0E2D\u0E07 alphabet \u0E01\u0E31\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D\u0E40\u0E0B\u0E47\u0E15\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E08\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E43\u0E2A\u0E48 "),fn=o(et,"CODE",{});var Lr=i(fn);up=e(Lr,"##"),Lr.forEach(a),mp=e(et," \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 :"),et.forEach(a),hl=h(s),f(ys.$$.fragment,s),ul=h(s),f(Ps.$$.fragment,s),ml=h(s),rs=o(s,"P",{});var pt=i(rs);fp=e(pt,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 list \u0E19\u0E35\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A BERT \u0E04\u0E37\u0E2D "),jn=o(pt,"CODE",{});var Gr=i(jn);jp=e(Gr,'["[PAD]", "[UNK]", "[CLS]", "[SEP]", "[MASK]"]'),Gr.forEach(a),gp=e(pt," :"),pt.forEach(a),fl=h(s),f(zs.$$.fragment,s),jl=h(s),os=o(s,"P",{});var rt=i(os);bp=e(rt,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E41\u0E22\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E2D\u0E2D\u0E01\u0E21\u0E32 \u0E41\u0E25\u0E30\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E2B\u0E25\u0E37\u0E2D\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),gn=o(rt,"CODE",{});var Vr=i(gn);dp=e(Vr,"##"),Vr.forEach(a),xp=e(rt," \u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 :"),rt.forEach(a),gl=h(s),f(Cs.$$.fragment,s),bl=h(s),ta=o(s,"P",{});var Ir=i(ta);$p=e(Ir,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E39\u0E48 token\u0E01\u0E31\u0E19 :"),Ir.forEach(a),dl=h(s),f(Ds.$$.fragment,s),xl=h(s),ea=o(s,"P",{});var Yr=i(ea);_p=e(Yr,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 :"),Yr.forEach(a),$l=h(s),f(Ts.$$.fragment,s),_l=h(s),f(Os.$$.fragment,s),wl=h(s),pa=o(s,"P",{});var Jr=i(pa);wp=e(Jr,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2B\u0E32\u0E04\u0E39\u0E48\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 loop \u0E07\u0E48\u0E32\u0E22\u0E46 \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Jr.forEach(a),kl=h(s),f(Bs.$$.fragment,s),ql=h(s),f(Ns.$$.fragment,s),vl=h(s),R=o(s,"P",{});var da=i(R);kp=e(da,"\u0E01\u0E0E\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D "),bn=o(da,"CODE",{});var Zr=i(bn);qp=e(Zr,"('a', '##b') -> 'ab'"),Zr.forEach(a),vp=e(da," \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21 "),dn=o(da,"CODE",{});var Qr=i(dn);Ep=e(Qr,"'ab'"),Qr.forEach(a),yp=e(da,"  \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 vocabulary :"),da.forEach(a),El=h(s),f(Hs.$$.fragment,s),yl=h(s),is=o(s,"P",{});var ot=i(is);Pp=e(ot,"\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E15\u0E48\u0E2D \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01 merge \u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19 dictionary "),xn=o(ot,"CODE",{});var Xr=i(xn);zp=e(Xr,"splits"),Xr.forEach(a),Cp=e(ot," \u0E01\u0E48\u0E2D\u0E19 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E19\u0E35\u0E49 :"),ot.forEach(a),Pl=h(s),f(Ws.$$.fragment,s),zl=h(s),ra=o(s,"P",{});var so=i(ra);Dp=e(so,"\u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 merge \u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E23\u0E01 :"),so.forEach(a),Cl=h(s),f(Ss.$$.fragment,s),Dl=h(s),f(As.$$.fragment,s),Tl=h(s),oa=o(s,"P",{});var ao=i(oa);Tp=e(ao,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E21\u0E35\u0E17\u0E38\u0E01\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32 tokenizer \u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46 merge \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E40\u0E1B\u0E47\u0E19 70 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 :"),ao.forEach(a),Ol=h(s),f(Ks.$$.fragment,s),Bl=h(s),ia=o(s,"P",{});var no=i(ia);Op=e(no,"\u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 vocabulary \u0E01\u0E31\u0E19 :"),no.forEach(a),Nl=h(s),f(Us.$$.fragment,s),Hl=h(s),f(Fs.$$.fragment,s),Wl=h(s),ca=o(s,"P",{});var lo=i(ca);Bp=e(lo,"\u0E16\u0E49\u0E32\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A BPE \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 tokenizer \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E44\u0E14\u0E49\u0E40\u0E23\u0E47\u0E27\u0E01\u0E27\u0E48\u0E32\u0E19\u0E34\u0E14\u0E2B\u0E19\u0E48\u0E2D\u0E22"),lo.forEach(a),Sl=h(s),f(cs.$$.fragment,s),Al=h(s),ha=o(s,"P",{});var to=i(ha);Np=e(to,`\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E21\u0E48 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E08\u0E36\u0E07 tokenize \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E15\u0E32\u0E21\u0E2B\u0E25\u0E31\u0E01\u0E01\u0E32\u0E23\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E2D\u0E07\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E42\u0E14\u0E22\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E04\u0E33\u0E44\u0E1B\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E2D\u0E2D\u0E01\u0E15\u0E23\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E35\u0E49 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E0B\u0E49\u0E33\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E48\u0E2D\u0E46\u0E44\u0E1B\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E17\u0E33\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E48\u0E2D\u0E44\u0E1B`),to.forEach(a),Kl=h(s),f(Rs.$$.fragment,s),Ul=h(s),ua=o(s,"P",{});var eo=i(ua);Hp=e(eo,"\u0E21\u0E32\u0E17\u0E14\u0E25\u0E2D\u0E07 tokenize \u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E01\u0E31\u0E19 :"),eo.forEach(a),Fl=h(s),f(Ms.$$.fragment,s),Rl=h(s),f(Ls.$$.fragment,s),Ml=h(s),ma=o(s,"P",{});var po=i(ma);Wp=e(po,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E01\u0E31\u0E19 :"),po.forEach(a),Ll=h(s),f(Gs.$$.fragment,s),Gl=h(s),fa=o(s,"P",{});var ro=i(fa);Sp=e(ro,"\u0E17\u0E14\u0E25\u0E2D\u0E07\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 :"),ro.forEach(a),Vl=h(s),f(Vs.$$.fragment,s),Il=h(s),f(Is.$$.fragment,s),Yl=h(s),ja=o(s,"P",{});var oo=i(ja);Ap=e(oo,"\u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A WordPiece \u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B\u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A Unigram \u0E01\u0E31\u0E19"),oo.forEach(a),this.h()},h(){z(u,"name","hf:doc:metadata"),z(u,"content",JSON.stringify(Eo)),z(_,"id","wordpiece-tokenization"),z(_,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(_,"href","#wordpiece-tokenization"),z(x,"class","relative group"),z(Y,"id","training-algorithm"),z(Y,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(Y,"href","#training-algorithm"),z(L,"class","relative group"),Nn.a=null,z(ns,"id","tokenization-algorithm"),z(ns,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(ns,"href","#tokenization-algorithm"),z(G,"class","relative group"),z(ts,"id","implementing-wordpiece"),z(ts,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(ts,"href","#implementing-wordpiece"),z(V,"class","relative group")},m(s,l){n(document.head,u),p(s,k,l),p(s,x,l),n(x,_),n(_,C),j(w,C,null),n(x,v),n(x,B),n(B,M),p(s,H,l),j(K,s,l),p(s,hs,l),p(s,Js,l),n(Js,ct),p(s,vn,l),p(s,Zs,l),n(Zs,ht),p(s,En,l),j(us,s,l),p(s,yn,l),j(I,s,l),p(s,Pn,l),p(s,L,l),n(L,Y),n(Y,xa),j(ms,xa,null),n(L,ut),n(L,$a),n($a,mt),p(s,zn,l),j(J,s,l),p(s,Cn,l),p(s,Z,l),n(Z,ft),n(Z,_a),n(_a,jt),n(Z,gt),p(s,Dn,l),p(s,Q,l),n(Q,bt),n(Q,wa),n(wa,dt),n(Q,xt),p(s,Tn,l),j(fs,s,l),p(s,On,l),p(s,Qs,l),n(Qs,$t),p(s,Bn,l),p(s,js,l),n(js,_t),Nn.m(io,js),p(s,Hn,l),p(s,T,l),n(T,wt),n(T,ka),n(ka,kt),n(T,qt),n(T,qa),n(qa,vt),n(T,Et),n(T,va),n(va,yt),n(T,Pt),n(T,Ea),n(Ea,zt),n(T,Ct),n(T,ya),n(ya,Dt),n(T,Tt),p(s,Wn,l),p(s,Xs,l),n(Xs,Ot),p(s,Sn,l),j(gs,s,l),p(s,An,l),p(s,sa,l),n(sa,Bt),p(s,Kn,l),j(bs,s,l),p(s,Un,l),p(s,y,l),n(y,Nt),n(y,Pa),n(Pa,Ht),n(y,Wt),n(y,za),n(za,St),n(y,At),n(y,Ca),n(Ca,Kt),n(y,Ut),n(y,Da),n(Da,Ft),n(y,Rt),n(y,Ta),n(Ta,Mt),n(y,Lt),n(y,Oa),n(Oa,Gt),n(y,Vt),n(y,Ba),n(Ba,It),p(s,Fn,l),p(s,U,l),n(U,Yt),n(U,Na),n(Na,Jt),n(U,Zt),n(U,Ha),n(Ha,Qt),n(U,Xt),p(s,Rn,l),j(ds,s,l),p(s,Mn,l),p(s,X,l),n(X,se),n(X,Wa),n(Wa,ae),n(X,ne),p(s,Ln,l),p(s,ss,l),n(ss,le),n(ss,Sa),n(Sa,te),n(ss,ee),p(s,Gn,l),j(xs,s,l),p(s,Vn,l),p(s,F,l),n(F,pe),n(F,Aa),n(Aa,re),n(F,oe),n(F,Ka),n(Ka,ie),n(F,ce),p(s,In,l),j($s,s,l),p(s,Yn,l),p(s,aa,l),n(aa,he),p(s,Jn,l),j(as,s,l),p(s,Zn,l),p(s,G,l),n(G,ns),n(ns,Ua),j(_s,Ua,null),n(G,ue),n(G,Fa),n(Fa,me),p(s,Qn,l),p(s,D,l),n(D,fe),n(D,Ra),n(Ra,je),n(D,ge),n(D,Ma),n(Ma,be),n(D,de),n(D,La),n(La,xe),n(D,$e),n(D,Ga),n(Ga,_e),n(D,we),n(D,Va),n(Va,ke),n(D,qe),n(D,Ia),n(Ia,ve),p(s,Xn,l),p(s,E,l),n(E,Ee),n(E,Ya),n(Ya,ye),n(E,Pe),n(E,Ja),n(Ja,ze),n(E,Ce),n(E,Za),n(Za,De),n(E,Te),n(E,Qa),n(Qa,Oe),n(E,Be),n(E,Xa),n(Xa,Ne),n(E,He),n(E,sn),n(sn,We),n(E,Se),n(E,an),n(an,Ae),n(E,Ke),p(s,sl,l),p(s,q,l),n(q,Ue),n(q,nn),n(nn,Fe),n(q,Re),n(q,ln),n(ln,Me),n(q,Le),n(q,tn),n(tn,Ge),n(q,Ve),n(q,en),n(en,Ie),n(q,Ye),n(q,pn),n(pn,Je),n(q,Ze),n(q,rn),n(rn,Qe),n(q,Xe),n(q,on),n(on,sp),n(q,ap),n(q,cn),n(cn,np),n(q,lp),p(s,al,l),j(ls,s,l),p(s,nl,l),p(s,V,l),n(V,ts),n(ts,hn),j(ws,hn,null),n(V,tp),n(V,un),n(un,ep),p(s,ll,l),p(s,na,l),n(na,pp),p(s,tl,l),j(ks,s,l),p(s,el,l),p(s,es,l),n(es,rp),n(es,mn),n(mn,op),n(es,ip),p(s,pl,l),j(qs,s,l),p(s,rl,l),p(s,la,l),n(la,cp),p(s,ol,l),j(vs,s,l),p(s,il,l),j(Es,s,l),p(s,cl,l),p(s,ps,l),n(ps,hp),n(ps,fn),n(fn,up),n(ps,mp),p(s,hl,l),j(ys,s,l),p(s,ul,l),j(Ps,s,l),p(s,ml,l),p(s,rs,l),n(rs,fp),n(rs,jn),n(jn,jp),n(rs,gp),p(s,fl,l),j(zs,s,l),p(s,jl,l),p(s,os,l),n(os,bp),n(os,gn),n(gn,dp),n(os,xp),p(s,gl,l),j(Cs,s,l),p(s,bl,l),p(s,ta,l),n(ta,$p),p(s,dl,l),j(Ds,s,l),p(s,xl,l),p(s,ea,l),n(ea,_p),p(s,$l,l),j(Ts,s,l),p(s,_l,l),j(Os,s,l),p(s,wl,l),p(s,pa,l),n(pa,wp),p(s,kl,l),j(Bs,s,l),p(s,ql,l),j(Ns,s,l),p(s,vl,l),p(s,R,l),n(R,kp),n(R,bn),n(bn,qp),n(R,vp),n(R,dn),n(dn,Ep),n(R,yp),p(s,El,l),j(Hs,s,l),p(s,yl,l),p(s,is,l),n(is,Pp),n(is,xn),n(xn,zp),n(is,Cp),p(s,Pl,l),j(Ws,s,l),p(s,zl,l),p(s,ra,l),n(ra,Dp),p(s,Cl,l),j(Ss,s,l),p(s,Dl,l),j(As,s,l),p(s,Tl,l),p(s,oa,l),n(oa,Tp),p(s,Ol,l),j(Ks,s,l),p(s,Bl,l),p(s,ia,l),n(ia,Op),p(s,Nl,l),j(Us,s,l),p(s,Hl,l),j(Fs,s,l),p(s,Wl,l),p(s,ca,l),n(ca,Bp),p(s,Sl,l),j(cs,s,l),p(s,Al,l),p(s,ha,l),n(ha,Np),p(s,Kl,l),j(Rs,s,l),p(s,Ul,l),p(s,ua,l),n(ua,Hp),p(s,Fl,l),j(Ms,s,l),p(s,Rl,l),j(Ls,s,l),p(s,Ml,l),p(s,ma,l),n(ma,Wp),p(s,Ll,l),j(Gs,s,l),p(s,Gl,l),p(s,fa,l),n(fa,Sp),p(s,Vl,l),j(Vs,s,l),p(s,Il,l),j(Is,s,l),p(s,Yl,l),p(s,ja,l),n(ja,Ap),Jl=!0},p(s,[l]){const Ys={};l&2&&(Ys.$$scope={dirty:l,ctx:s}),I.$set(Ys);const $n={};l&2&&($n.$$scope={dirty:l,ctx:s}),J.$set($n);const _n={};l&2&&(_n.$$scope={dirty:l,ctx:s}),as.$set(_n);const wn={};l&2&&(wn.$$scope={dirty:l,ctx:s}),ls.$set(wn);const kn={};l&2&&(kn.$$scope={dirty:l,ctx:s}),cs.$set(kn)},i(s){Jl||(g(w.$$.fragment,s),g(K.$$.fragment,s),g(us.$$.fragment,s),g(I.$$.fragment,s),g(ms.$$.fragment,s),g(J.$$.fragment,s),g(fs.$$.fragment,s),g(gs.$$.fragment,s),g(bs.$$.fragment,s),g(ds.$$.fragment,s),g(xs.$$.fragment,s),g($s.$$.fragment,s),g(as.$$.fragment,s),g(_s.$$.fragment,s),g(ls.$$.fragment,s),g(ws.$$.fragment,s),g(ks.$$.fragment,s),g(qs.$$.fragment,s),g(vs.$$.fragment,s),g(Es.$$.fragment,s),g(ys.$$.fragment,s),g(Ps.$$.fragment,s),g(zs.$$.fragment,s),g(Cs.$$.fragment,s),g(Ds.$$.fragment,s),g(Ts.$$.fragment,s),g(Os.$$.fragment,s),g(Bs.$$.fragment,s),g(Ns.$$.fragment,s),g(Hs.$$.fragment,s),g(Ws.$$.fragment,s),g(Ss.$$.fragment,s),g(As.$$.fragment,s),g(Ks.$$.fragment,s),g(Us.$$.fragment,s),g(Fs.$$.fragment,s),g(cs.$$.fragment,s),g(Rs.$$.fragment,s),g(Ms.$$.fragment,s),g(Ls.$$.fragment,s),g(Gs.$$.fragment,s),g(Vs.$$.fragment,s),g(Is.$$.fragment,s),Jl=!0)},o(s){b(w.$$.fragment,s),b(K.$$.fragment,s),b(us.$$.fragment,s),b(I.$$.fragment,s),b(ms.$$.fragment,s),b(J.$$.fragment,s),b(fs.$$.fragment,s),b(gs.$$.fragment,s),b(bs.$$.fragment,s),b(ds.$$.fragment,s),b(xs.$$.fragment,s),b($s.$$.fragment,s),b(as.$$.fragment,s),b(_s.$$.fragment,s),b(ls.$$.fragment,s),b(ws.$$.fragment,s),b(ks.$$.fragment,s),b(qs.$$.fragment,s),b(vs.$$.fragment,s),b(Es.$$.fragment,s),b(ys.$$.fragment,s),b(Ps.$$.fragment,s),b(zs.$$.fragment,s),b(Cs.$$.fragment,s),b(Ds.$$.fragment,s),b(Ts.$$.fragment,s),b(Os.$$.fragment,s),b(Bs.$$.fragment,s),b(Ns.$$.fragment,s),b(Hs.$$.fragment,s),b(Ws.$$.fragment,s),b(Ss.$$.fragment,s),b(As.$$.fragment,s),b(Ks.$$.fragment,s),b(Us.$$.fragment,s),b(Fs.$$.fragment,s),b(cs.$$.fragment,s),b(Rs.$$.fragment,s),b(Ms.$$.fragment,s),b(Ls.$$.fragment,s),b(Gs.$$.fragment,s),b(Vs.$$.fragment,s),b(Is.$$.fragment,s),Jl=!1},d(s){a(u),s&&a(k),s&&a(x),d(w),s&&a(H),d(K,s),s&&a(hs),s&&a(Js),s&&a(vn),s&&a(Zs),s&&a(En),d(us,s),s&&a(yn),d(I,s),s&&a(Pn),s&&a(L),d(ms),s&&a(zn),d(J,s),s&&a(Cn),s&&a(Z),s&&a(Dn),s&&a(Q),s&&a(Tn),d(fs,s),s&&a(On),s&&a(Qs),s&&a(Bn),s&&a(js),s&&a(Hn),s&&a(T),s&&a(Wn),s&&a(Xs),s&&a(Sn),d(gs,s),s&&a(An),s&&a(sa),s&&a(Kn),d(bs,s),s&&a(Un),s&&a(y),s&&a(Fn),s&&a(U),s&&a(Rn),d(ds,s),s&&a(Mn),s&&a(X),s&&a(Ln),s&&a(ss),s&&a(Gn),d(xs,s),s&&a(Vn),s&&a(F),s&&a(In),d($s,s),s&&a(Yn),s&&a(aa),s&&a(Jn),d(as,s),s&&a(Zn),s&&a(G),d(_s),s&&a(Qn),s&&a(D),s&&a(Xn),s&&a(E),s&&a(sl),s&&a(q),s&&a(al),d(ls,s),s&&a(nl),s&&a(V),d(ws),s&&a(ll),s&&a(na),s&&a(tl),d(ks,s),s&&a(el),s&&a(es),s&&a(pl),d(qs,s),s&&a(rl),s&&a(la),s&&a(ol),d(vs,s),s&&a(il),d(Es,s),s&&a(cl),s&&a(ps),s&&a(hl),d(ys,s),s&&a(ul),d(Ps,s),s&&a(ml),s&&a(rs),s&&a(fl),d(zs,s),s&&a(jl),s&&a(os),s&&a(gl),d(Cs,s),s&&a(bl),s&&a(ta),s&&a(dl),d(Ds,s),s&&a(xl),s&&a(ea),s&&a($l),d(Ts,s),s&&a(_l),d(Os,s),s&&a(wl),s&&a(pa),s&&a(kl),d(Bs,s),s&&a(ql),d(Ns,s),s&&a(vl),s&&a(R),s&&a(El),d(Hs,s),s&&a(yl),s&&a(is),s&&a(Pl),d(Ws,s),s&&a(zl),s&&a(ra),s&&a(Cl),d(Ss,s),s&&a(Dl),d(As,s),s&&a(Tl),s&&a(oa),s&&a(Ol),d(Ks,s),s&&a(Bl),s&&a(ia),s&&a(Nl),d(Us,s),s&&a(Hl),d(Fs,s),s&&a(Wl),s&&a(ca),s&&a(Sl),d(cs,s),s&&a(Al),s&&a(ha),s&&a(Kl),d(Rs,s),s&&a(Ul),s&&a(ua),s&&a(Fl),d(Ms,s),s&&a(Rl),d(Ls,s),s&&a(Ml),s&&a(ma),s&&a(Ll),d(Gs,s),s&&a(Gl),s&&a(fa),s&&a(Vl),d(Vs,s),s&&a(Il),d(Is,s),s&&a(Yl),s&&a(ja)}}}const Eo={local:"wordpiece-tokenization",sections:[{local:"training-algorithm",title:"Training algorithm"},{local:"tokenization-algorithm",title:"Tokenization algorithm"},{local:"implementing-wordpiece",title:"Implementing WordPiece"}],title:"WordPiece tokenization"};function yo(S){return go(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Bo extends co{constructor(u){super();ho(this,u,yo,vo,uo,{})}}export{Bo as default,Eo as metadata};
