import{S as rr,i as ir,s as mr,e as o,k as m,w as h,t as l,Y as gt,M as cr,c as r,d as a,m as c,a as i,x as f,h as p,Z as dt,b as y,G as n,g as t,y as g,q as d,o as _,B as j,v as ur}from"../../chunks/vendor-hf-doc-builder.js";import{T as $n}from"../../chunks/Tip-hf-doc-builder.js";import{Y as hr}from"../../chunks/Youtube-hf-doc-builder.js";import{I as _t}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as $}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as fr}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function gr(N){let u,w;return{c(){u=o("p"),w=l("\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 Unigram \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19")},l(b){u=r(b,"P",{});var k=i(u);w=p(k,"\u{1F4A1} \u0E1A\u0E17\u0E19\u0E35\u0E49\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07 Unigram \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E16\u0E36\u0E07\u0E44\u0E1B\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23 implement \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E44\u0E1B\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E44\u0E14\u0E49 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E20\u0E32\u0E1E\u0E23\u0E27\u0E21\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),k.forEach(a)},m(b,k){t(b,u,k),n(u,w)},d(b){b&&a(u)}}}function dr(N){let u,w,b,k,O;return{c(){u=o("p"),w=l("\u270F\uFE0F "),b=o("strong"),k=l("\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),O=l(" \u0E25\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E41\u0E1A\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E41\u0E25\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E14\u0E49\u0E27\u0E22 \u0E41\u0E25\u0E49\u0E27\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E16\u0E39\u0E01\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48")},l(q){u=r(q,"P",{});var P=i(u);w=p(P,"\u270F\uFE0F "),b=r(P,"STRONG",{});var U=i(b);k=p(U,"\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),U.forEach(a),O=p(P," \u0E25\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E41\u0E1A\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E41\u0E25\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E14\u0E49\u0E27\u0E22 \u0E41\u0E25\u0E49\u0E27\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E16\u0E39\u0E01\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),P.forEach(a)},m(q,P){t(q,u,P),n(u,w),n(u,b),n(b,k),n(u,O)},d(q){q&&a(u)}}}function _r(N){let u,w,b,k,O,q,P,U;return{c(){u=o("p"),w=l("\u270F\uFE0F "),b=o("strong"),k=l("\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),O=l(" \u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E02\u0E2D\u0E07 "),q=o("code"),P=l('"huggun"'),U=l("\u0E41\u0E25\u0E30 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19")},l(R){u=r(R,"P",{});var D=i(u);w=p(D,"\u270F\uFE0F "),b=r(D,"STRONG",{});var H=i(b);k=p(H,"\u0E15\u0E32\u0E04\u0E38\u0E13\u0E1A\u0E49\u0E32\u0E07\u0E41\u0E25\u0E49\u0E27!"),H.forEach(a),O=p(D," \u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E02\u0E2D\u0E07 "),q=r(D,"CODE",{});var cs=i(q);P=p(cs,'"huggun"'),cs.forEach(a),U=p(D,"\u0E41\u0E25\u0E30 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19"),D.forEach(a)},m(R,D){t(R,u,D),n(u,w),n(u,b),n(b,k),n(u,O),n(u,q),n(q,P),n(u,U)},d(R){R&&a(u)}}}function jr(N){let u,w;return{c(){u=o("p"),w=l("\u{1F4A1} SentencePiece \u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 \u0E0A\u0E37\u0E48\u0E2D Enhanced Suffix Array (ESA) \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32 Ngram \u0E43\u0E19\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19")},l(b){u=r(b,"P",{});var k=i(u);w=p(k,"\u{1F4A1} SentencePiece \u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 \u0E0A\u0E37\u0E48\u0E2D Enhanced Suffix Array (ESA) \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32 Ngram \u0E43\u0E19\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19"),k.forEach(a)},m(b,k){t(b,u,k),n(u,w)},d(b){b&&a(u)}}}function br(N){let u,w;return{c(){u=o("p"),w=l(`\u{1F4A1} \u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E41\u0E1A\u0E1A\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E19\u0E31\u0E01 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 SentencePiece \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E41\u0E1A\u0E1A\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E25\u0E2D\u0E07\u0E25\u0E1A token \u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E2D\u0E01 \u0E42\u0E14\u0E22\u0E21\u0E31\u0E19\u0E08\u0E30\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48 token \u0E19\u0E31\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22 segmentation \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 token \u0E40\u0E15\u0E47\u0E21\u0E46
\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E44\u0E14\u0E49\u0E20\u0E32\u0E22\u0E43\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E41\u0E25\u0E30\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 loss \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22`)},l(b){u=r(b,"P",{});var k=i(u);w=p(k,`\u{1F4A1} \u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E41\u0E1A\u0E1A\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E19\u0E31\u0E01 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 SentencePiece \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E41\u0E1A\u0E1A\u0E04\u0E23\u0E48\u0E32\u0E27\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E25\u0E2D\u0E07\u0E25\u0E1A token \u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E2D\u0E01 \u0E42\u0E14\u0E22\u0E21\u0E31\u0E19\u0E08\u0E30\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48 token \u0E19\u0E31\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22 segmentation \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 token \u0E40\u0E15\u0E47\u0E21\u0E46
\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E44\u0E14\u0E49\u0E20\u0E32\u0E22\u0E43\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E41\u0E25\u0E30\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 loss \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22`),k.forEach(a)},m(b,k){t(b,u,k),n(u,w)},d(b){b&&a(u)}}}function kr(N){let u,w,b,k,O,q,P,U,R,D,H,cs,Ys,jt,wn,us,qn,Z,yn,F,X,ya,hs,bt,va,kt,vn,Zs,$t,En,M,wt,xn,tr='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>p</mi></mrow><annotation encoding="application/x-tex">p</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal">p</span></span></span></span>',Pn,zn,lr='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>p</mi></mrow><annotation encoding="application/x-tex">p</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal">p</span></span></span></span>',Cn,Tn,Xs,qt,On,fs,Dn,Js,yt,Nn,gs,Un,I,J,Ea,ds,vt,xa,Et,Sn,Ks,xt,An,Qs,Pt,Hn,z,zt,Pa,Ct,Tt,za,Ot,Dt,Ca,Nt,Ut,Ta,St,At,Mn,sa,Ht,Bn,_s,Ln,K,Mt,Oa,Bt,Lt,Wn,Q,Rn,aa,Wt,Fn,A,Rt,Da,Ft,It,Na,Vt,Gt,In,pr='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mo stretchy="false">[</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>p</mi><mi mathvariant="normal">&quot;</mi><mo separator="true">,</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>u</mi><mi mathvariant="normal">&quot;</mi><mo separator="true">,</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>g</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo>=</mo><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>p</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">)</mo><mo>\xD7</mo><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>u</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">)</mo><mo>\xD7</mo><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>g</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mn>5</mn><mn>210</mn></mfrac><mo>\xD7</mo><mfrac><mn>36</mn><mn>210</mn></mfrac><mo>\xD7</mo><mfrac><mn>20</mn><mn>210</mn></mfrac><mo>=</mo><mn>0.000389</mn></mrow><annotation encoding="application/x-tex">P([``p&quot;, ``u&quot;, ``g&quot;]) = P(``p&quot;) \\times P(``u&quot;) \\times P(``g&quot;) = \\frac{5}{210} \\times \\frac{36}{210} \\times \\frac{20}{210} = 0.000389</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">([</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">p</span><span class="mord">&quot;</span><span class="mpunct">,</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">u</span><span class="mord">&quot;</span><span class="mpunct">,</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord">\u2018\u2018</span><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="mord">&quot;</span><span class="mclose">])</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">(</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">p</span><span class="mord">&quot;</span><span class="mclose">)</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">(</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">u</span><span class="mord">&quot;</span><span class="mclose">)</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">(</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="mord">&quot;</span><span class="mclose">)</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:2.0074em;vertical-align:-0.686em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3214em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">210</span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">5</span></span></span></span><span class="vlist-s">\u200B</span></span><span class="vlist-r"><span class="vlist" style="height:0.686em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:2.0074em;vertical-align:-0.686em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3214em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">210</span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">36</span></span></span></span><span class="vlist-s">\u200B</span></span><span class="vlist-r"><span class="vlist" style="height:0.686em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:2.0074em;vertical-align:-0.686em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3214em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">210</span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">20</span></span></span></span><span class="vlist-s">\u200B</span></span><span class="vlist-r"><span class="vlist" style="height:0.686em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6444em;"></span><span class="mord">0.000389</span></span></span></span></span>',Vn,V,Yt,Ua,Zt,Xt,Gn,or='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mo stretchy="false">[</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>p</mi><mi>u</mi><mi mathvariant="normal">&quot;</mi><mo separator="true">,</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>g</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo>=</mo><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>p</mi><mi>u</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">)</mo><mo>\xD7</mo><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">\u2018</mi><mi mathvariant="normal">\u2018</mi><mi>g</mi><mi mathvariant="normal">&quot;</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mn>5</mn><mn>210</mn></mfrac><mo>\xD7</mo><mfrac><mn>20</mn><mn>210</mn></mfrac><mo>=</mo><mn>0.0022676</mn></mrow><annotation encoding="application/x-tex">P([``pu&quot;, ``g&quot;]) = P(``pu&quot;) \\times P(``g&quot;) = \\frac{5}{210} \\times \\frac{20}{210} = 0.0022676</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">([</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">p</span><span class="mord mathnormal">u</span><span class="mord">&quot;</span><span class="mpunct">,</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord">\u2018\u2018</span><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="mord">&quot;</span><span class="mclose">])</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">(</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal">p</span><span class="mord mathnormal">u</span><span class="mord">&quot;</span><span class="mclose">)</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.13889em;">P</span><span class="mopen">(</span><span class="mord">\u2018\u2018</span><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="mord">&quot;</span><span class="mclose">)</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:2.0074em;vertical-align:-0.686em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3214em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">210</span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">5</span></span></span></span><span class="vlist-s">\u200B</span></span><span class="vlist-r"><span class="vlist" style="height:0.686em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:2.0074em;vertical-align:-0.686em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3214em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">210</span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord">20</span></span></span></span><span class="vlist-s">\u200B</span></span><span class="vlist-r"><span class="vlist" style="height:0.686em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6444em;"></span><span class="mord">0.0022676</span></span></span></span></span>',Yn,na,Jt,Zn,ss,Kt,Sa,Qt,sl,Xn,js,Jn,B,al,Aa,nl,el,Ha,tl,ll,Kn,x,pl,Ma,ol,rl,Ba,il,ml,La,cl,ul,Wa,hl,fl,Ra,gl,dl,Qn,as,_l,Fa,jl,bl,se,bs,ae,G,kl,Ia,$l,wl,Va,ql,ne,ns,ee,ks,yl,te,es,vl,Ga,El,xl,le,ea,Pl,pe,$s,oe,ta,zl,re,ws,ie,la,Cl,me,qs,ce,v,Tl,Ya,Ol,Dl,Za,Nl,Ul,Xa,Sl,Al,Ja,Hl,Ml,Ka,Bl,Ll,Qa,Wl,Rl,ue,ys,he,pa,Fl,fe,vs,ge,L,Il,sn,Vl,Gl,an,Yl,Zl,de,Y,ts,nn,Es,Xl,en,Jl,_e,oa,Kl,je,xs,be,ls,Ql,tn,sp,ap,ke,Ps,$e,ra,np,we,zs,qe,ia,ep,ye,ma,tp,ve,Cs,Ee,Ts,xe,ca,lp,Pe,Os,ze,ps,Ce,ua,pp,Te,ha,op,Oe,Ds,De,os,rp,ln,ip,mp,Ne,rs,cp,pn,up,hp,Ue,Ns,Se,fa,fp,Ae,Us,He,Ss,Me,ga,gp,Be,As,Le,da,dp,We,Hs,Re,Ms,Fe,_a,_p,Ie,Bs,Ve,ja,jp,Ge,Ls,Ye,E,bp,on,kp,$p,rn,wp,qp,mn,yp,vp,cn,Ep,xp,un,Pp,zp,hn,Cp,Tp,Ze,Ws,Xe,is,Je,ba,Op,Ke,Rs,Qe,ms,Dp,fn,Np,Up,st,Fs,at,Is,nt,ka,Sp,et;return q=new _t({}),H=new fr({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section7.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section7.ipynb"}]}}),us=new hr({props:{id:"TGZfZVuF9Yc"}}),Z=new $n({props:{$$slots:{default:[gr]},$$scope:{ctx:N}}}),hs=new _t({}),fs=new $({props:{code:'("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)',highlighted:'(<span class="hljs-string">&quot;hug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">10</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">12</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;bun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;hugs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)'}}),gs=new $({props:{code:'["h", "u", "g", "hu", "ug", "p", "pu", "n", "un", "b", "bu", "s", "hug", "gs", "ugs"]',highlighted:'<span class="hljs-selector-attr">[<span class="hljs-string">&quot;h&quot;</span>, <span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>, <span class="hljs-string">&quot;hu&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>, <span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;pu&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>, <span class="hljs-string">&quot;un&quot;</span>, <span class="hljs-string">&quot;b&quot;</span>, <span class="hljs-string">&quot;bu&quot;</span>, <span class="hljs-string">&quot;s&quot;</span>, <span class="hljs-string">&quot;hug&quot;</span>, <span class="hljs-string">&quot;gs&quot;</span>, <span class="hljs-string">&quot;ugs&quot;</span>]</span>'}}),ds=new _t({}),_s=new $({props:{code:`("h", 15) ("u", 36) ("g", 20) ("hu", 15) ("ug", 20) ("p", 17) ("pu", 17) ("n", 16)
("un", 16) ("b", 4) ("bu", 4) ("s", 5) ("hug", 15) ("gs", 5) ("ugs", 5)`,highlighted:`(<span class="hljs-string">&quot;h&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">15</span>) (<span class="hljs-string">&quot;u&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">36</span>) (<span class="hljs-string">&quot;g&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">20</span>) (<span class="hljs-string">&quot;hu&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">15</span>) (<span class="hljs-string">&quot;ug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">20</span>) (<span class="hljs-string">&quot;p&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">17</span>) (<span class="hljs-string">&quot;pu&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">17</span>) (<span class="hljs-string">&quot;n&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">16</span>)
(<span class="hljs-string">&quot;un&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">16</span>) (<span class="hljs-string">&quot;b&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>) (<span class="hljs-string">&quot;bu&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>) (<span class="hljs-string">&quot;s&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>) (<span class="hljs-string">&quot;hug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">15</span>) (<span class="hljs-string">&quot;gs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>) (<span class="hljs-string">&quot;ugs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)`}}),Q=new $n({props:{$$slots:{default:[dr]},$$scope:{ctx:N}}}),js=new $({props:{code:`["p", "u", "g"] : 0.000389
["p", "ug"] : 0.0022676
["pu", "g"] : 0.0022676`,highlighted:`[<span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;u&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>] : 0.000389
[<span class="hljs-string">&quot;p&quot;</span>, <span class="hljs-string">&quot;ug&quot;</span>] : 0.0022676
[<span class="hljs-string">&quot;pu&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>] : 0.0022676`}}),bs=new $({props:{code:`Character 0 (u): "u" (score 0.171429)
Character 1 (n): "un" (score 0.076191)
Character 2 (h): "un" "h" (score 0.005442)
Character 3 (u): "un" "hu" (score 0.005442)
Character 4 (g): "un" "hug" (score 0.005442)`,highlighted:`<span class="hljs-attribute">Character</span> <span class="hljs-number">0</span> (u): <span class="hljs-string">&quot;u&quot;</span> (score <span class="hljs-number">0</span>.<span class="hljs-number">171429</span>)
<span class="hljs-attribute">Character</span> <span class="hljs-number">1</span> (n): <span class="hljs-string">&quot;un&quot;</span> (score <span class="hljs-number">0</span>.<span class="hljs-number">076191</span>)
<span class="hljs-attribute">Character</span> <span class="hljs-number">2</span> (h): <span class="hljs-string">&quot;un&quot;</span> <span class="hljs-string">&quot;h&quot;</span> (score <span class="hljs-number">0</span>.<span class="hljs-number">005442</span>)
<span class="hljs-attribute">Character</span> <span class="hljs-number">3</span> (u): <span class="hljs-string">&quot;un&quot;</span> <span class="hljs-string">&quot;hu&quot;</span> (score <span class="hljs-number">0</span>.<span class="hljs-number">005442</span>)
<span class="hljs-attribute">Character</span> <span class="hljs-number">4</span> (g): <span class="hljs-string">&quot;un&quot;</span> <span class="hljs-string">&quot;hug&quot;</span> (score <span class="hljs-number">0</span>.<span class="hljs-number">005442</span>)`}}),ns=new $n({props:{$$slots:{default:[_r]},$$scope:{ctx:N}}}),$s=new $({props:{code:'("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)',highlighted:'(<span class="hljs-string">&quot;hug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">10</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pug&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;pun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">12</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;bun&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">4</span>)<span class="hljs-punctuation">,</span> (<span class="hljs-string">&quot;hugs&quot;</span><span class="hljs-punctuation">,</span> <span class="hljs-number">5</span>)'}}),ws=new $({props:{code:`"hug": ["hug"] (score 0.071428)
"pug": ["pu", "g"] (score 0.007710)
"pun": ["pu", "n"] (score 0.006168)
"bun": ["bu", "n"] (score 0.001451)
"hugs": ["hug", "s"] (score 0.001701)`,highlighted:`<span class="hljs-string">&quot;hug&quot;</span>: [<span class="hljs-string">&quot;hug&quot;</span>] <span class="hljs-comment">(score 0.071428)</span>
<span class="hljs-string">&quot;pug&quot;</span>: [<span class="hljs-string">&quot;pu&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>] <span class="hljs-comment">(score 0.007710)</span>
<span class="hljs-string">&quot;pun&quot;</span>: [<span class="hljs-string">&quot;pu&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>] <span class="hljs-comment">(score 0.006168)</span>
<span class="hljs-string">&quot;bun&quot;</span>: [<span class="hljs-string">&quot;bu&quot;</span>, <span class="hljs-string">&quot;n&quot;</span>] <span class="hljs-comment">(score 0.001451)</span>
<span class="hljs-string">&quot;hugs&quot;</span>: [<span class="hljs-string">&quot;hug&quot;</span>, <span class="hljs-string">&quot;s&quot;</span>] <span class="hljs-comment">(score 0.001701)</span>`}}),qs=new $({props:{code:"10 * (-log(0.071428)) + 5 * (-log(0.007710)) + 12 * (-log(0.006168)) + 4 * (-log(0.001451)) + 5 * (-log(0.001701)) = 169.8",highlighted:'<span class="hljs-attribute">10</span> * (-log(<span class="hljs-number">0</span>.<span class="hljs-number">071428</span>)) + <span class="hljs-number">5</span> * (-log(<span class="hljs-number">0</span>.<span class="hljs-number">007710</span>)) + <span class="hljs-number">12</span> * (-log(<span class="hljs-number">0</span>.<span class="hljs-number">006168</span>)) + <span class="hljs-number">4</span> * (-log(<span class="hljs-number">0</span>.<span class="hljs-number">001451</span>)) + <span class="hljs-number">5</span> * (-log(<span class="hljs-number">0</span>.<span class="hljs-number">001701</span>)) = <span class="hljs-number">169</span>.<span class="hljs-number">8</span>'}}),ys=new $({props:{code:`"hug": ["hu", "g"] (score 0.006802)
"hugs": ["hu", "gs"] (score 0.001701)`,highlighted:`<span class="hljs-string">&quot;hug&quot;</span>: [<span class="hljs-string">&quot;hu&quot;</span>, <span class="hljs-string">&quot;g&quot;</span>] <span class="hljs-comment">(score 0.006802)</span>
<span class="hljs-string">&quot;hugs&quot;</span>: [<span class="hljs-string">&quot;hu&quot;</span>, <span class="hljs-string">&quot;gs&quot;</span>] <span class="hljs-comment">(score 0.001701)</span>`}}),vs=new $({props:{code:"- 10 * (-log(0.071428)) + 10 * (-log(0.006802)) = 23.5",highlighted:'- <span class="hljs-number">10</span> * (<span class="hljs-name">-log</span>(<span class="hljs-number">0.071428</span>)) + <span class="hljs-number">10</span> * (<span class="hljs-name">-log</span>(<span class="hljs-number">0.006802</span>)) = <span class="hljs-number">23.5</span>'}}),Es=new _t({}),xs=new $({props:{code:`corpus = [
    "This is the Hugging Face course.",
    "This chapter is about tokenization.",
    "This section shows several tokenizer algorithms.",
    "Hopefully, you will be able to understand how they are trained and generate tokens.",
]`,highlighted:`corpus = [
    <span class="hljs-string">&quot;This is the Hugging Face course.&quot;</span>,
    <span class="hljs-string">&quot;This chapter is about tokenization.&quot;</span>,
    <span class="hljs-string">&quot;This section shows several tokenizer algorithms.&quot;</span>,
    <span class="hljs-string">&quot;Hopefully, you will be able to understand how they are trained and generate tokens.&quot;</span>,
]`}}),Ps=new $({props:{code:`from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("xlnet-base-cased")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;xlnet-base-cased&quot;</span>)`}}),zs=new $({props:{code:`from collections import defaultdict

word_freqs = defaultdict(int)
for text in corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word for word, offset in words_with_offsets]
    for word in new_words:
        word_freqs[word] += 1

word_freqs`,highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict

word_freqs = defaultdict(<span class="hljs-built_in">int</span>)
<span class="hljs-keyword">for</span> text <span class="hljs-keyword">in</span> corpus:
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    new_words = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> words_with_offsets]
    <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> new_words:
        word_freqs[word] += <span class="hljs-number">1</span>

word_freqs`}}),Cs=new $({props:{code:`char_freqs = defaultdict(int)
subwords_freqs = defaultdict(int)
for word, freq in word_freqs.items():
    for i in range(len(word)):
        char_freqs[word[i]] += freq
        # Loop through the subwords of length at least 2
        for j in range(i + 2, len(word) + 1):
            subwords_freqs[word[i:j]] += freq

# Sort subwords by frequency
sorted_subwords = sorted(subwords_freqs.items(), key=lambda x: x[1], reverse=True)
sorted_subwords[:10]`,highlighted:`char_freqs = defaultdict(<span class="hljs-built_in">int</span>)
subwords_freqs = defaultdict(<span class="hljs-built_in">int</span>)
<span class="hljs-keyword">for</span> word, freq <span class="hljs-keyword">in</span> word_freqs.items():
    <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(word)):
        char_freqs[word[i]] += freq
        <span class="hljs-comment"># Loop through the subwords of length at least 2</span>
        <span class="hljs-keyword">for</span> j <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(i + <span class="hljs-number">2</span>, <span class="hljs-built_in">len</span>(word) + <span class="hljs-number">1</span>):
            subwords_freqs[word[i:j]] += freq

<span class="hljs-comment"># Sort subwords by frequency</span>
sorted_subwords = <span class="hljs-built_in">sorted</span>(subwords_freqs.items(), key=<span class="hljs-keyword">lambda</span> x: x[<span class="hljs-number">1</span>], reverse=<span class="hljs-literal">True</span>)
sorted_subwords[:<span class="hljs-number">10</span>]`}}),Ts=new $({props:{code:"[('\u2581t', 7), ('is', 5), ('er', 5), ('\u2581a', 5), ('\u2581to', 4), ('to', 4), ('en', 4), ('\u2581T', 3), ('\u2581Th', 3), ('\u2581Thi', 3)]",highlighted:'[(<span class="hljs-string">&#x27;\u2581t&#x27;</span>, <span class="hljs-number">7</span>), (<span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&#x27;er&#x27;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&#x27;\u2581a&#x27;</span>, <span class="hljs-number">5</span>), (<span class="hljs-string">&#x27;\u2581to&#x27;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&#x27;to&#x27;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&#x27;en&#x27;</span>, <span class="hljs-number">4</span>), (<span class="hljs-string">&#x27;\u2581T&#x27;</span>, <span class="hljs-number">3</span>), (<span class="hljs-string">&#x27;\u2581Th&#x27;</span>, <span class="hljs-number">3</span>), (<span class="hljs-string">&#x27;\u2581Thi&#x27;</span>, <span class="hljs-number">3</span>)]'}}),Os=new $({props:{code:`token_freqs = list(char_freqs.items()) + sorted_subwords[: 300 - len(char_freqs)]
token_freqs = {token: freq for token, freq in token_freqs}`,highlighted:`token_freqs = <span class="hljs-built_in">list</span>(char_freqs.items()) + sorted_subwords[: <span class="hljs-number">300</span> - <span class="hljs-built_in">len</span>(char_freqs)]
token_freqs = {token: freq <span class="hljs-keyword">for</span> token, freq <span class="hljs-keyword">in</span> token_freqs}`}}),ps=new $n({props:{$$slots:{default:[jr]},$$scope:{ctx:N}}}),Ds=new $({props:{code:`from math import log

total_sum = sum([freq for token, freq in token_freqs.items()])
model = {token: -log(freq / total_sum) for token, freq in token_freqs.items()}`,highlighted:`<span class="hljs-keyword">from</span> math <span class="hljs-keyword">import</span> log

total_sum = <span class="hljs-built_in">sum</span>([freq <span class="hljs-keyword">for</span> token, freq <span class="hljs-keyword">in</span> token_freqs.items()])
model = {token: -log(freq / total_sum) <span class="hljs-keyword">for</span> token, freq <span class="hljs-keyword">in</span> token_freqs.items()}`}}),Ns=new $({props:{code:`def encode_word(word, model):
    best_segmentations = [{"start": 0, "score": 1}] + [
        {"start": None, "score": None} for _ in range(len(word))
    ]
    for start_idx in range(len(word)):
        # This should be properly filled by the previous steps of the loop
        best_score_at_start = best_segmentations[start_idx]["score"]
        for end_idx in range(start_idx + 1, len(word) + 1):
            token = word[start_idx:end_idx]
            if token in model and best_score_at_start is not None:
                score = model[token] + best_score_at_start
                # If we have found a better segmentation ending at end_idx, we update
                if (
                    best_segmentations[end_idx]["score"] is None
                    or best_segmentations[end_idx]["score"] > score
                ):
                    best_segmentations[end_idx] = {"start": start_idx, "score": score}

    segmentation = best_segmentations[-1]
    if segmentation["score"] is None:
        # We did not find a tokenization of the word -> unknown
        return ["<unk>"], None

    score = segmentation["score"]
    start = segmentation["start"]
    end = len(word)
    tokens = []
    while start != 0:
        tokens.insert(0, word[start:end])
        next_start = best_segmentations[start]["start"]
        end = start
        start = next_start
    tokens.insert(0, word[start:end])
    return tokens, score`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">encode_word</span>(<span class="hljs-params">word, model</span>):
    best_segmentations = [{<span class="hljs-string">&quot;start&quot;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&quot;score&quot;</span>: <span class="hljs-number">1</span>}] + [
        {<span class="hljs-string">&quot;start&quot;</span>: <span class="hljs-literal">None</span>, <span class="hljs-string">&quot;score&quot;</span>: <span class="hljs-literal">None</span>} <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(word))
    ]
    <span class="hljs-keyword">for</span> start_idx <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(word)):
        <span class="hljs-comment"># This should be properly filled by the previous steps of the loop</span>
        best_score_at_start = best_segmentations[start_idx][<span class="hljs-string">&quot;score&quot;</span>]
        <span class="hljs-keyword">for</span> end_idx <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(start_idx + <span class="hljs-number">1</span>, <span class="hljs-built_in">len</span>(word) + <span class="hljs-number">1</span>):
            token = word[start_idx:end_idx]
            <span class="hljs-keyword">if</span> token <span class="hljs-keyword">in</span> model <span class="hljs-keyword">and</span> best_score_at_start <span class="hljs-keyword">is</span> <span class="hljs-keyword">not</span> <span class="hljs-literal">None</span>:
                score = model[token] + best_score_at_start
                <span class="hljs-comment"># If we have found a better segmentation ending at end_idx, we update</span>
                <span class="hljs-keyword">if</span> (
                    best_segmentations[end_idx][<span class="hljs-string">&quot;score&quot;</span>] <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span>
                    <span class="hljs-keyword">or</span> best_segmentations[end_idx][<span class="hljs-string">&quot;score&quot;</span>] &gt; score
                ):
                    best_segmentations[end_idx] = {<span class="hljs-string">&quot;start&quot;</span>: start_idx, <span class="hljs-string">&quot;score&quot;</span>: score}

    segmentation = best_segmentations[-<span class="hljs-number">1</span>]
    <span class="hljs-keyword">if</span> segmentation[<span class="hljs-string">&quot;score&quot;</span>] <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span>:
        <span class="hljs-comment"># We did not find a tokenization of the word -&gt; unknown</span>
        <span class="hljs-keyword">return</span> [<span class="hljs-string">&quot;&lt;unk&gt;&quot;</span>], <span class="hljs-literal">None</span>

    score = segmentation[<span class="hljs-string">&quot;score&quot;</span>]
    start = segmentation[<span class="hljs-string">&quot;start&quot;</span>]
    end = <span class="hljs-built_in">len</span>(word)
    tokens = []
    <span class="hljs-keyword">while</span> start != <span class="hljs-number">0</span>:
        tokens.insert(<span class="hljs-number">0</span>, word[start:end])
        next_start = best_segmentations[start][<span class="hljs-string">&quot;start&quot;</span>]
        end = start
        start = next_start
    tokens.insert(<span class="hljs-number">0</span>, word[start:end])
    <span class="hljs-keyword">return</span> tokens, score`}}),Us=new $({props:{code:`print(encode_word("Hopefully", model))
print(encode_word("This", model))`,highlighted:`<span class="hljs-built_in">print</span>(encode_word(<span class="hljs-string">&quot;Hopefully&quot;</span>, model))
<span class="hljs-built_in">print</span>(encode_word(<span class="hljs-string">&quot;This&quot;</span>, model))`}}),Ss=new $({props:{code:`(['H', 'o', 'p', 'e', 'f', 'u', 'll', 'y'], 41.5157494601402)
(['This'], 6.288267030694535)`,highlighted:`([<span class="hljs-string">&#x27;H&#x27;</span>, <span class="hljs-string">&#x27;o&#x27;</span>, <span class="hljs-string">&#x27;p&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;f&#x27;</span>, <span class="hljs-string">&#x27;u&#x27;</span>, <span class="hljs-string">&#x27;ll&#x27;</span>, <span class="hljs-string">&#x27;y&#x27;</span>], <span class="hljs-number">41.5157494601402</span>)
([<span class="hljs-string">&#x27;This&#x27;</span>], <span class="hljs-number">6.288267030694535</span>)`}}),As=new $({props:{code:`def compute_loss(model):
    loss = 0
    for word, freq in word_freqs.items():
        _, word_loss = encode_word(word, model)
        loss += freq * word_loss
    return loss`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_loss</span>(<span class="hljs-params">model</span>):
    loss = <span class="hljs-number">0</span>
    <span class="hljs-keyword">for</span> word, freq <span class="hljs-keyword">in</span> word_freqs.items():
        _, word_loss = encode_word(word, model)
        loss += freq * word_loss
    <span class="hljs-keyword">return</span> loss`}}),Hs=new $({props:{code:"compute_loss(model)",highlighted:"compute_loss(model)"}}),Ms=new $({props:{code:"413.10377642940875",highlighted:'<span class="hljs-number">413.10377642940875</span>'}}),Bs=new $({props:{code:`import copy


def compute_scores(model):
    scores = {}
    model_loss = compute_loss(model)
    for token, score in model.items():
        # We always keep tokens of length 1
        if len(token) == 1:
            continue
        model_without_token = copy.deepcopy(model)
        _ = model_without_token.pop(token)
        scores[token] = compute_loss(model_without_token) - model_loss
    return scores`,highlighted:`<span class="hljs-keyword">import</span> copy


<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_scores</span>(<span class="hljs-params">model</span>):
    scores = {}
    model_loss = compute_loss(model)
    <span class="hljs-keyword">for</span> token, score <span class="hljs-keyword">in</span> model.items():
        <span class="hljs-comment"># We always keep tokens of length 1</span>
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(token) == <span class="hljs-number">1</span>:
            <span class="hljs-keyword">continue</span>
        model_without_token = copy.deepcopy(model)
        _ = model_without_token.pop(token)
        scores[token] = compute_loss(model_without_token) - model_loss
    <span class="hljs-keyword">return</span> scores`}}),Ls=new $({props:{code:`scores = compute_scores(model)
print(scores["ll"])
print(scores["his"])`,highlighted:`scores = compute_scores(model)
<span class="hljs-built_in">print</span>(scores[<span class="hljs-string">&quot;ll&quot;</span>])
<span class="hljs-built_in">print</span>(scores[<span class="hljs-string">&quot;his&quot;</span>])`}}),Ws=new $({props:{code:`6.376412403623874
0.0`,highlighted:`<span class="hljs-number">6.376412403623874</span>
<span class="hljs-number">0.0</span>`}}),is=new $n({props:{$$slots:{default:[br]},$$scope:{ctx:N}}}),Rs=new $({props:{code:`percent_to_remove = 0.1
while len(model) > 100:
    scores = compute_scores(model)
    sorted_scores = sorted(scores.items(), key=lambda x: x[1])
    # Remove percent_to_remove tokens with the lowest scores.
    for i in range(int(len(model) * percent_to_remove)):
        _ = token_freqs.pop(sorted_scores[i][0])

    total_sum = sum([freq for token, freq in token_freqs.items()])
    model = {token: -log(freq / total_sum) for token, freq in token_freqs.items()}`,highlighted:`percent_to_remove = <span class="hljs-number">0.1</span>
<span class="hljs-keyword">while</span> <span class="hljs-built_in">len</span>(model) &gt; <span class="hljs-number">100</span>:
    scores = compute_scores(model)
    sorted_scores = <span class="hljs-built_in">sorted</span>(scores.items(), key=<span class="hljs-keyword">lambda</span> x: x[<span class="hljs-number">1</span>])
    <span class="hljs-comment"># Remove percent_to_remove tokens with the lowest scores.</span>
    <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">int</span>(<span class="hljs-built_in">len</span>(model) * percent_to_remove)):
        _ = token_freqs.pop(sorted_scores[i][<span class="hljs-number">0</span>])

    total_sum = <span class="hljs-built_in">sum</span>([freq <span class="hljs-keyword">for</span> token, freq <span class="hljs-keyword">in</span> token_freqs.items()])
    model = {token: -log(freq / total_sum) <span class="hljs-keyword">for</span> token, freq <span class="hljs-keyword">in</span> token_freqs.items()}`}}),Fs=new $({props:{code:`def tokenize(text, model):
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word for word, offset in words_with_offsets]
    encoded_words = [encode_word(word, model)[0] for word in pre_tokenized_text]
    return sum(encoded_words, [])


tokenize("This is the Hugging Face course.", model)`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">text, model</span>):
    words_with_offsets = tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str(text)
    pre_tokenized_text = [word <span class="hljs-keyword">for</span> word, offset <span class="hljs-keyword">in</span> words_with_offsets]
    encoded_words = [encode_word(word, model)[<span class="hljs-number">0</span>] <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> pre_tokenized_text]
    <span class="hljs-keyword">return</span> <span class="hljs-built_in">sum</span>(encoded_words, [])


tokenize(<span class="hljs-string">&quot;This is the Hugging Face course.&quot;</span>, model)`}}),Is=new $({props:{code:"['\u2581This', '\u2581is', '\u2581the', '\u2581Hugging', '\u2581Face', '\u2581', 'c', 'ou', 'r', 's', 'e', '.']",highlighted:'[<span class="hljs-string">&#x27;\u2581This&#x27;</span>, <span class="hljs-string">&#x27;\u2581is&#x27;</span>, <span class="hljs-string">&#x27;\u2581the&#x27;</span>, <span class="hljs-string">&#x27;\u2581Hugging&#x27;</span>, <span class="hljs-string">&#x27;\u2581Face&#x27;</span>, <span class="hljs-string">&#x27;\u2581&#x27;</span>, <span class="hljs-string">&#x27;c&#x27;</span>, <span class="hljs-string">&#x27;ou&#x27;</span>, <span class="hljs-string">&#x27;r&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;e&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>]'}}),{c(){u=o("meta"),w=m(),b=o("h1"),k=o("a"),O=o("span"),h(q.$$.fragment),P=m(),U=o("span"),R=l("Unigram tokenization"),D=m(),h(H.$$.fragment),cs=m(),Ys=o("p"),jt=l("\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E21\u0E31\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E1A\u0E48\u0E2D\u0E22\u0E43\u0E19 SentencePiece \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E35\u0E01\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23 tokenization \u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E0A\u0E48\u0E19 AlBERT, T5, mBART, Big Bird, \u0E41\u0E25\u0E30 XLNet"),wn=m(),h(us.$$.fragment),qn=m(),h(Z.$$.fragment),yn=m(),F=o("h2"),X=o("a"),ya=o("span"),h(hs.$$.fragment),bt=m(),va=o("span"),kt=l("Training algorithm"),vn=m(),Zs=o("p"),$t=l(`\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A BPE \u0E41\u0E25\u0E30 WordPiece \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A Unigram \u0E17\u0E33\u0E07\u0E32\u0E19\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48 \u0E41\u0E25\u0E49\u0E27\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E08\u0E30\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E25\u0E1A token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23
\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E17\u0E33\u0E44\u0E14\u0E49\u0E2B\u0E25\u0E32\u0E22\u0E27\u0E34\u0E18\u0E35 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E2B\u0E23\u0E37\u0E2D\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49 BPE \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E43\u0E2B\u0E49\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E43\u0E2B\u0E0D\u0E48
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E23\u0E31\u0E49\u0E07 \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E02\u0E2D\u0E07 training corpus \u0E0B\u0E36\u0E48\u0E07\u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A vocabulary \u0E17\u0E35\u0E48\u0E21\u0E35\u0E43\u0E19\u0E02\u0E13\u0E30\u0E19\u0E31\u0E49\u0E19
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E25\u0E2D\u0E07\u0E25\u0E1A \u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E41\u0E25\u0E49\u0E27\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E2D\u0E35\u0E01\u0E17\u0E35`),En=m(),M=o("p"),wt=l(`\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E49\u0E19\u0E2B\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E1A\u0E2D\u0E2D\u0E01\u0E41\u0E25\u0E49\u0E27\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32 loss \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
token \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1C\u0E25\u0E15\u0E48\u0E2D\u0E04\u0E48\u0E32 loss \u0E21\u0E32\u0E01 \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E43\u0E0A\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E2A\u0E39\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E25\u0E1A\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E2D\u0E2D\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E15\u0E48\u0E40\u0E23\u0E32\u0E25\u0E1A `),xn=new gt,Pn=l(" \u0E40\u0E1B\u0E2D\u0E23\u0E4C\u0E40\u0E0B\u0E47\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E48\u0E32loss \u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 ("),zn=new gt,Cn=l(` \u0E04\u0E37\u0E2D hyperparameter \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E44\u0E14\u0E49 \u0E1B\u0E01\u0E15\u0E34\u0E04\u0E48\u0E32\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E17\u0E35\u0E48 10 \u0E2B\u0E23\u0E37\u0E2D 20)
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E23\u0E31\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E25\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 (base characters) \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E44\u0E14\u0E49\u0E21\u0E31\u0E48\u0E19\u0E43\u0E08\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 tokenize \u0E17\u0E38\u0E01\u0E04\u0E33\u0E44\u0E14\u0E49
\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E02\u0E2D\u0E07 corpus \u0E41\u0E25\u0E30\u0E14\u0E39\u0E27\u0E48\u0E32\u0E04\u0E48\u0E32 loss \u0E21\u0E35\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A token \u0E15\u0E31\u0E27\u0E43\u0E14\u0E15\u0E31\u0E27\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E31\u0E19`),Tn=m(),Xs=o("p"),qt=l(`\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A tokenization \u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E46 :`),On=m(),h(fs.$$.fragment),Dn=m(),Js=o("p"),yt=l("\u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E21\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 :"),Nn=m(),h(gs.$$.fragment),Un=m(),I=o("h2"),J=o("a"),Ea=o("span"),h(ds.$$.fragment),vt=m(),xa=o("span"),Et=l("Tokenization algorithm"),Sn=m(),Ks=o("p"),xt=l(`\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram \u0E40\u0E1B\u0E47\u0E19 language model \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E42\u0E14\u0E22\u0E21\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46 (not dependent)
Unigram \u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 language model \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19(probability)\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32 token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E14\u0E49\u0E27\u0E22
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 Unigram language model \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1C\u0E25\u0E34\u0E15\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E21\u0E31\u0E19\u0E01\u0E47\u0E08\u0E30\u0E1C\u0E25\u0E34\u0E15\u0E04\u0E33\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E38\u0E01\u0E46\u0E04\u0E23\u0E31\u0E49\u0E07 (language model \u0E08\u0E30 predict \u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E21\u0E31\u0E19\u0E1C\u0E25\u0E34\u0E15\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21)`),An=m(),Qs=o("p"),Pt=l("\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 token \u0E2B\u0E19\u0E36\u0E48\u0E07\u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E46\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E43\u0E19 corpus \u0E2B\u0E32\u0E23\u0E01\u0E31\u0E1A \u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07 token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E43\u0E19 vocabulary (\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E32\u0E23\u0E19\u0E35\u0E49\u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49 1)"),Hn=m(),z=o("p"),zt=l("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 "),Pa=o("code"),Ct=l('"ug"'),Tt=l(" \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 (subword) \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 "),za=o("code"),Ot=l('"hug"'),Dt=l(", "),Ca=o("code"),Nt=l('"pug"'),Ut=l(", \u0E41\u0E25\u0E30 "),Ta=o("code"),St=l('"hugs"'),At=l(" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D 20"),Mn=m(),sa=o("p"),Ht=l("\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E43\u0E19 vocabulary \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),Bn=m(),h(_s.$$.fragment),Ln=m(),K=o("p"),Mt=l("\u0E41\u0E25\u0E30\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D 210 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 "),Oa=o("code"),Bt=l('"ug"'),Lt=l(" \u0E01\u0E47\u0E04\u0E37\u0E2D 20/210"),Wn=m(),h(Q.$$.fragment),Rn=m(),aa=o("p"),Wt=l(`\u0E43\u0E19\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E46\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E17\u0E38\u0E01\u0E46\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (segmentation) \u0E41\u0E25\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E14\u0E49\u0E27\u0E22 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E15\u0E32\u0E21\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19 \u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22 \u0E19\u0E33\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E22\u0E48\u0E2D\u0E22\u0E43\u0E19 segmentation \u0E19\u0E31\u0E49\u0E19\u0E21\u0E32\u0E04\u0E39\u0E13\u0E01\u0E31\u0E19`),Fn=m(),A=o("p"),Rt=l("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 "),Da=o("code"),Ft=l('"pug"'),It=l(" \u0E41\u0E25\u0E49\u0E27\u0E44\u0E14\u0E49 "),Na=o("code"),Vt=l('["p", "u", "g"]'),Gt=l(` \u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 segmentation \u0E19\u0E35\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D
`),In=new gt,Vn=m(),V=o("p"),Yt=l("\u0E41\u0E15\u0E48\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Ua=o("code"),Zt=l('["pu", "g"]'),Xt=l(` \u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E01\u0E47\u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A :
`),Gn=new gt,Yn=m(),na=o("p"),Jt=l(`\u0E1B\u0E01\u0E15\u0E34\u0E41\u0E25\u0E49\u0E27\u0E16\u0E49\u0E32 segmentation \u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E49\u0E2D\u0E22 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07 (\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E43\u0E19\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2B\u0E32\u0E23\u0E14\u0E49\u0E27\u0E22\u0E04\u0E48\u0E32\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E04\u0E37\u0E2D 210)
\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E14\u0E35 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E19\u0E31\u0E48\u0E19\u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E42\u0E14\u0E22\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49`),Zn=m(),ss=o("p"),Kt=l("\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 "),Sa=o("code"),Qt=l('"pug"'),sl=l(" \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Xn=m(),h(js.$$.fragment),Jn=m(),B=o("p"),al=l("\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 "),Aa=o("code"),nl=l('["p", "ug"]'),el=l(" \u0E2B\u0E23\u0E37\u0E2D "),Ha=o("code"),tl=l('["pu", "g"]'),ll=l(` \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 segmentation \u0E43\u0E14\u0E01\u0E47\u0E44\u0E14\u0E49 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E14\u0E01\u0E48\u0E2D\u0E19 (\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E43\u0E19 corpus \u0E43\u0E2B\u0E0D\u0E48\u0E46 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E04\u0E48\u0E2D\u0E22\u0E40\u0E2B\u0E47\u0E19\u0E01\u0E23\u0E13\u0E35\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E17\u0E35\u0E48\u0E2B\u0E25\u0E32\u0E22 segmentation \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19)
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E07\u0E48\u0E32\u0E22\u0E46 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E14\u0E39\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 segmentation \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E14\u0E32\u0E22 \u0E41\u0E15\u0E48\u0E1B\u0E01\u0E15\u0E34\u0E41\u0E25\u0E49\u0E27\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E08\u0E30\u0E22\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E19\u0E35\u0E49`),Kn=m(),x=o("p"),pl=l("\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32 \u0E01\u0E47\u0E04\u0E37\u0E2D "),Ma=o("em"),ol=l("Viterbi algorithm"),rl=l(`
\u0E21\u0E31\u0E19\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E23\u0E32\u0E1F\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32 `),Ba=o("em"),il=l("a"),ml=l(" \u0E41\u0E25\u0E30 "),La=o("em"),cl=l("b"),ul=l(" \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E23\u0E32\u0E1F\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21\u0E08\u0E32\u0E01 "),Wa=o("em"),hl=l("a"),fl=l(" \u0E44\u0E1B\u0E2B\u0E32 "),Ra=o("em"),gl=l("b"),dl=l(` \u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E01\u0E47\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E25\u0E07\u0E44\u0E1B\u0E43\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E15\u0E48\u0E2D\u0E44\u0E1B
\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E40\u0E2A\u0E49\u0E19\u0E17\u0E32\u0E07\u0E43\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E17\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D segmentation \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E08\u0E32\u0E01\u0E15\u0E49\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E1B\u0E25\u0E32\u0E22\u0E01\u0E23\u0E32\u0E1F \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30 loop \u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E41\u0E25\u0E30\u0E15\u0E48\u0E2D\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46\u0E08\u0E19\u0E16\u0E36\u0E07\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22`),Qn=m(),as=o("p"),_l=l("\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 "),Fa=o("code"),jl=l('"unhug"'),bl=l(" \u0E01\u0E31\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E33\u0E19\u0E27\u0E13\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 :"),se=m(),h(bs.$$.fragment),ae=m(),G=o("p"),kl=l("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 "),Ia=o("code"),$l=l('"unhug"'),wl=l(" \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 "),Va=o("code"),ql=l('["un", "hug"]'),ne=m(),h(ns.$$.fragment),ee=m(),ks=o("h2"),yl=l("\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E2A\u0E39\u0E48\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"),te=m(),es=o("p"),vl=l(`\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E41\u0E25\u0E49\u0E27\u0E27\u0E48\u0E32\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 tokenize \u0E04\u0E33\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E43\u0E19\u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E43\u0E19\u0E17\u0E38\u0E01\u0E46\u0E23\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E15\u0E32\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19 corpus (\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E31\u0E19\u0E41\u0E25\u0E49\u0E27\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19)
\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19 \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E48\u0E32 loss \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E08\u0E32\u0E01 negative log likelihood \u0E02\u0E2D\u0E07 score \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A \u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 `),Ga=o("code"),El=l("-log(P(word))"),xl=l(" \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33"),le=m(),ea=o("p"),Pl=l("\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19 \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D corpus \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),pe=m(),h($s.$$.fragment),oe=m(),ta=o("p"),zl=l("\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 Ngram \u0E04\u0E33\u0E19\u0E27\u0E13 :"),re=m(),h(ws.$$.fragment),ie=m(),la=o("p"),Cl=l("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E32 loss \u0E01\u0E47\u0E04\u0E37\u0E2D :"),me=m(),h(qs.$$.fragment),ce=m(),v=o("p"),Tl=l(`\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E27\u0E48\u0E32 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E04\u0E33\u0E43\u0E14\u0E04\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2D\u0E2D\u0E01 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E04\u0E48\u0E32 loss \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E41\u0E25\u0E30\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E0A\u0E48\u0E27\u0E22\u0E04\u0E33\u0E19\u0E27\u0E13\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E2A\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 `),Ya=o("code"),Ol=l('"pug"'),Dl=l(" \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 "),Za=o("code"),Nl=l('["p", "ug"]'),Ul=l(` \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A `),Xa=o("code"),Sl=l('"pu"'),Al=l(` \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E22\u0E31\u0E07\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 loss \u0E40\u0E17\u0E48\u0E32\u0E40\u0E14\u0E34\u0E21
\u0E43\u0E19\u0E17\u0E32\u0E07\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A `),Ja=o("code"),Hl=l('"hug"'),Ml=l(" \u0E2D\u0E2D\u0E01 \u0E04\u0E48\u0E32 loss \u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E01 \u0E19\u0E31\u0E48\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 "),Ka=o("code"),Bl=l('"hug"'),Ll=l(" \u0E41\u0E25\u0E30 "),Qa=o("code"),Wl=l('"hugs"'),Rl=l(" \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E40\u0E1B\u0E47\u0E19"),ue=m(),h(ys.$$.fragment),he=m(),pa=o("p"),Fl=l("\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E19\u0E35\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49 score \u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E44\u0E1B \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 loss \u0E23\u0E27\u0E21\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19 :"),fe=m(),h(vs.$$.fragment),ge=m(),L=o("p"),Il=l("\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E04\u0E27\u0E23\u0E08\u0E30\u0E25\u0E1A "),sn=o("code"),Vl=l('"pu"'),Gl=l(" \u0E2D\u0E2D\u0E01 \u0E41\u0E15\u0E48\u0E40\u0E01\u0E47\u0E1A "),an=o("code"),Yl=l('"hug"'),Zl=l(" \u0E44\u0E27\u0E49"),de=m(),Y=o("h2"),ts=o("a"),nn=o("span"),h(Es.$$.fragment),Xl=m(),en=o("span"),Jl=l("Implementing Unigram"),_e=m(),oa=o("p"),Kl=l(`\u0E43\u0E19\u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32 implement \u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07 BPE \u0E41\u0E25\u0E30 WordPiece \u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E46 :`),je=m(),h(xs.$$.fragment),be=m(),ls=o("p"),Ql=l("\u0E04\u0E23\u0E31\u0E49\u0E07\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 "),tn=o("code"),sp=l("xlnet-base-cased"),ap=l(" :"),ke=m(),h(Ps.$$.fragment),$e=m(),ra=o("p"),np=l("\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A BPE \u0E41\u0E25\u0E30 WordPiece \u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E19\u0E31\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19(\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48)\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus :"),we=m(),h(zs.$$.fragment),qe=m(),ia=o("p"),ep=l("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E43\u0E2B\u0E0D\u0E48\u0E01\u0E27\u0E48\u0E32 \u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23"),ye=m(),ma=o("p"),tp=l("vocabulary \u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E21\u0E35\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E1E\u0E37\u0E49\u0E19\u0E10\u0E32\u0E19 \u0E44\u0E21\u0E48\u0E40\u0E0A\u0E48\u0E19\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E25\u0E22 \u0E2A\u0E48\u0E27\u0E19 token \u0E17\u0E35\u0E48\u0E43\u0E2B\u0E0D\u0E48\u0E02\u0E36\u0E49\u0E19(subwords) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E07\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E15\u0E32\u0E21\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48 \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),ve=m(),h(Cs.$$.fragment),Ee=m(),h(Ts.$$.fragment),xe=m(),ca=o("p"),lp=l("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E19\u0E33\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E25\u0E30 subwords \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E21\u0E32\u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E02\u0E19\u0E32\u0E14 300 token :"),Pe=m(),h(Os.$$.fragment),ze=m(),h(ps.$$.fragment),Ce=m(),ua=o("p"),pp=l("\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19"),Te=m(),ha=o("p"),op=l("\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32\u0E25\u0E2D\u0E01\u0E32\u0E23\u0E34\u0E17\u0E36\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E16\u0E35\u0E22\u0E23\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E04\u0E39\u0E13\u0E08\u0E33\u0E19\u0E27\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E46\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E08\u0E33\u0E19\u0E27\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E17\u0E33\u0E44\u0E14\u0E49\u0E07\u0E48\u0E32\u0E22\u0E02\u0E36\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22 :"),Oe=m(),h(Ds.$$.fragment),De=m(),os=o("p"),rp=l(`\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07 tokenizer \u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Viterbi \u0E0A\u0E48\u0E27\u0E22
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27 \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Viterbi \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E0B\u0E36\u0E48\u0E07 segmentation \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E16\u0E39\u0E01\u0E40\u0E0B\u0E1F\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E0A\u0E37\u0E48\u0E2D `),ln=o("code"),ip=l("best_segmentations"),mp=l(`
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 (\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 0 \u0E16\u0E36\u0E07 \u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E02\u0E2D\u0E07\u0E04\u0E33) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 dictionary \u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E04\u0E35\u0E22\u0E4C\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D index \u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E43\u0E19 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E04\u0E35\u0E22\u0E4C\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32 score \u0E02\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E04\u0E35\u0E22\u0E4C\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A index \u0E19\u0E35\u0E49 \u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 segmentation \u0E40\u0E15\u0E47\u0E21\u0E46\u0E44\u0E14\u0E49 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E25\u0E07\u0E43\u0E19 list \u0E41\u0E25\u0E49\u0E27`),Ne=m(),rs=o("p"),cp=l(`\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30 for loop \u0E2A\u0E2D\u0E07\u0E04\u0E23\u0E31\u0E49\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E43\u0E19\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E42\u0E14\u0E22 loop \u0E41\u0E23\u0E01\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E2A\u0E48\u0E27\u0E19 loop \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E31\u0E49\u0E19
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E40\u0E08\u0E2D\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 segmentation \u0E43\u0E2B\u0E21\u0E48\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E42\u0E14\u0E22\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E15\u0E23\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 segmentation \u0E19\u0E35\u0E49\u0E25\u0E07\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E31\u0E1A score \u0E02\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E41\u0E25\u0E49\u0E27\u0E43\u0E19 `),pn=o("code"),up=l("best_segmentations"),hp=l(`
\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01 loop \u0E08\u0E1A \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33 input \u0E42\u0E14\u0E22\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E1B\u0E2B\u0E32\u0E15\u0E49\u0E19\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 :`),Ue=m(),h(Ns.$$.fragment),Se=m(),fa=o("p"),fp=l("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 :"),Ae=m(),h(Us.$$.fragment),He=m(),h(Ss.$$.fragment),Me=m(),ga=o("p"),gp=l("\u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E14\u0E32\u0E22\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 :"),Be=m(),h(As.$$.fragment),Le=m(),da=o("p"),dp=l("\u0E21\u0E32\u0E40\u0E0A\u0E47\u0E04\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 loss \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E31\u0E19 :"),We=m(),h(Hs.$$.fragment),Re=m(),h(Ms.$$.fragment),Fe=m(),_a=o("p"),_p=l("\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E01\u0E47\u0E44\u0E21\u0E48\u0E22\u0E32\u0E01\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E25\u0E1A token \u0E19\u0E31\u0E49\u0E19\u0E2D\u0E2D\u0E01 :"),Ie=m(),h(Bs.$$.fragment),Ve=m(),ja=o("p"),jp=l("\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E42\u0E04\u0E49\u0E14\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Ge=m(),h(Ls.$$.fragment),Ye=m(),E=o("p"),bp=l("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 "),on=o("code"),kp=l('"ll"'),$p=l(" \u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 "),rn=o("code"),wp=l('"Hopefully"'),qp=l(" \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49 "),mn=o("code"),yp=l('"l"'),vp=l(` \u0E2A\u0E2D\u0E07\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E17\u0E19 \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E04\u0E48\u0E32 loss \u0E08\u0E30\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19
\u0E2A\u0E48\u0E27\u0E19 `),cn=o("code"),Ep=l('"his"'),xp=l(" \u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48\u0E43\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),un=o("code"),Pp=l('"This"'),zp=l(" \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E33\u0E19\u0E35\u0E49\u0E16\u0E39\u0E01 tokenize \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E21\u0E31\u0E19\u0E40\u0E2D\u0E07(\u0E44\u0E21\u0E48\u0E21\u0E35\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07) \u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01 "),hn=o("code"),Cp=l('"his"'),Tp=l(" \u0E01\u0E47\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1C\u0E25\u0E15\u0E48\u0E2D\u0E04\u0E48\u0E32 loss \u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E31\u0E19 :"),Ze=m(),h(Ws.$$.fragment),Xe=m(),h(is.$$.fragment),Je=m(),ba=o("p"),Op=l("\u0E2A\u0E34\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49\u0E25\u0E07\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 loop \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E1A token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E08\u0E19\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E1E\u0E2D\u0E43\u0E08 :"),Ke=m(),h(Rs.$$.fragment),Qe=m(),ms=o("p"),Dp=l("\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E23\u0E37\u0E2D\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E47\u0E04\u0E37\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenization \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E23\u0E31\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),fn=o("code"),Np=l("encode_word()"),Up=l(" \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),st=m(),h(Fs.$$.fragment),at=m(),h(Is.$$.fragment),nt=m(),ka=o("p"),Sp=l("\u0E08\u0E1A\u0E41\u0E25\u0E49\u0E27\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E2B\u0E27\u0E31\u0E07\u0E27\u0E48\u0E32\u0E16\u0E36\u0E07\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E38\u0E13\u0E08\u0E30\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E27\u0E48\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E40\u0E0A\u0E35\u0E48\u0E22\u0E27\u0E0A\u0E32\u0E0D\u0E14\u0E49\u0E32\u0E19 tokenizer \u0E43\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E41\u0E25\u0E49\u0E27 \u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E02\u0E2D\u0E07 \u{1F917} Tokenizers library \u0E41\u0E25\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E04\u0E38\u0E13\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E21\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 tokenizer \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23"),this.h()},l(s){const e=cr('[data-svelte="svelte-1phssyn"]',document.head);u=r(e,"META",{name:!0,content:!0}),e.forEach(a),w=c(s),b=r(s,"H1",{class:!0});var Vs=i(b);k=r(Vs,"A",{id:!0,class:!0,href:!0});var gn=i(k);O=r(gn,"SPAN",{});var dn=i(O);f(q.$$.fragment,dn),dn.forEach(a),gn.forEach(a),P=c(Vs),U=r(Vs,"SPAN",{});var _n=i(U);R=p(_n,"Unigram tokenization"),_n.forEach(a),Vs.forEach(a),D=c(s),f(H.$$.fragment,s),cs=c(s),Ys=r(s,"P",{});var jn=i(Ys);jt=p(jn,"\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E21\u0E31\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E1A\u0E48\u0E2D\u0E22\u0E43\u0E19 SentencePiece \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E35\u0E01\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23 tokenization \u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E0A\u0E48\u0E19 AlBERT, T5, mBART, Big Bird, \u0E41\u0E25\u0E30 XLNet"),jn.forEach(a),wn=c(s),f(us.$$.fragment,s),qn=c(s),f(Z.$$.fragment,s),yn=c(s),F=r(s,"H2",{class:!0});var tt=i(F);X=r(tt,"A",{id:!0,class:!0,href:!0});var Ap=i(X);ya=r(Ap,"SPAN",{});var Hp=i(ya);f(hs.$$.fragment,Hp),Hp.forEach(a),Ap.forEach(a),bt=c(tt),va=r(tt,"SPAN",{});var Mp=i(va);kt=p(Mp,"Training algorithm"),Mp.forEach(a),tt.forEach(a),vn=c(s),Zs=r(s,"P",{});var Bp=i(Zs);$t=p(Bp,`\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A BPE \u0E41\u0E25\u0E30 WordPiece \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A Unigram \u0E17\u0E33\u0E07\u0E32\u0E19\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48 \u0E41\u0E25\u0E49\u0E27\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E08\u0E30\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E25\u0E1A token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23
\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E17\u0E33\u0E44\u0E14\u0E49\u0E2B\u0E25\u0E32\u0E22\u0E27\u0E34\u0E18\u0E35 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E2B\u0E23\u0E37\u0E2D\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49 BPE \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E43\u0E2B\u0E49\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E43\u0E2B\u0E0D\u0E48
\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E23\u0E31\u0E49\u0E07 \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E02\u0E2D\u0E07 training corpus \u0E0B\u0E36\u0E48\u0E07\u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A vocabulary \u0E17\u0E35\u0E48\u0E21\u0E35\u0E43\u0E19\u0E02\u0E13\u0E30\u0E19\u0E31\u0E49\u0E19
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E25\u0E2D\u0E07\u0E25\u0E1A \u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E41\u0E25\u0E49\u0E27\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E2D\u0E35\u0E01\u0E17\u0E35`),Bp.forEach(a),En=c(s),M=r(s,"P",{});var $a=i(M);wt=p($a,`\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E49\u0E19\u0E2B\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E1A\u0E2D\u0E2D\u0E01\u0E41\u0E25\u0E49\u0E27\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32 loss \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
token \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1C\u0E25\u0E15\u0E48\u0E2D\u0E04\u0E48\u0E32 loss \u0E21\u0E32\u0E01 \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E43\u0E0A\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E2A\u0E39\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E25\u0E1A\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C\u0E2D\u0E2D\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E15\u0E48\u0E40\u0E23\u0E32\u0E25\u0E1A `),xn=dt($a),Pn=p($a," \u0E40\u0E1B\u0E2D\u0E23\u0E4C\u0E40\u0E0B\u0E47\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E48\u0E32loss \u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 ("),zn=dt($a),Cn=p($a,` \u0E04\u0E37\u0E2D hyperparameter \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E44\u0E14\u0E49 \u0E1B\u0E01\u0E15\u0E34\u0E04\u0E48\u0E32\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E17\u0E35\u0E48 10 \u0E2B\u0E23\u0E37\u0E2D 20)
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E23\u0E31\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E25\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 (base characters) \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E44\u0E14\u0E49\u0E21\u0E31\u0E48\u0E19\u0E43\u0E08\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 tokenize \u0E17\u0E38\u0E01\u0E04\u0E33\u0E44\u0E14\u0E49
\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E02\u0E2D\u0E07 corpus \u0E41\u0E25\u0E30\u0E14\u0E39\u0E27\u0E48\u0E32\u0E04\u0E48\u0E32 loss \u0E21\u0E35\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A token \u0E15\u0E31\u0E27\u0E43\u0E14\u0E15\u0E31\u0E27\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E31\u0E19`),$a.forEach(a),Tn=c(s),Xs=r(s,"P",{});var Lp=i(Xs);qt=p(Lp,`\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A tokenization \u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E46 :`),Lp.forEach(a),On=c(s),f(fs.$$.fragment,s),Dn=c(s),Js=r(s,"P",{});var Wp=i(Js);yt=p(Wp,"\u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E21\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 :"),Wp.forEach(a),Nn=c(s),f(gs.$$.fragment,s),Un=c(s),I=r(s,"H2",{class:!0});var lt=i(I);J=r(lt,"A",{id:!0,class:!0,href:!0});var Rp=i(J);Ea=r(Rp,"SPAN",{});var Fp=i(Ea);f(ds.$$.fragment,Fp),Fp.forEach(a),Rp.forEach(a),vt=c(lt),xa=r(lt,"SPAN",{});var Ip=i(xa);Et=p(Ip,"Tokenization algorithm"),Ip.forEach(a),lt.forEach(a),Sn=c(s),Ks=r(s,"P",{});var Vp=i(Ks);xt=p(Vp,`\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram \u0E40\u0E1B\u0E47\u0E19 language model \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E42\u0E14\u0E22\u0E21\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46 (not dependent)
Unigram \u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 language model \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19(probability)\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E1E\u0E34\u0E08\u0E32\u0E23\u0E13\u0E32 token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E14\u0E49\u0E27\u0E22
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 Unigram language model \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1C\u0E25\u0E34\u0E15\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E21\u0E31\u0E19\u0E01\u0E47\u0E08\u0E30\u0E1C\u0E25\u0E34\u0E15\u0E04\u0E33\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E38\u0E01\u0E46\u0E04\u0E23\u0E31\u0E49\u0E07 (language model \u0E08\u0E30 predict \u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E27\u0E25\u0E32\u0E17\u0E35\u0E48\u0E21\u0E31\u0E19\u0E1C\u0E25\u0E34\u0E15\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21)`),Vp.forEach(a),An=c(s),Qs=r(s,"P",{});var Gp=i(Qs);Pt=p(Gp,"\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 token \u0E2B\u0E19\u0E36\u0E48\u0E07\u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E46\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E1E\u0E1A\u0E43\u0E19 corpus \u0E2B\u0E32\u0E23\u0E01\u0E31\u0E1A \u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07 token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E43\u0E19 vocabulary (\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E32\u0E23\u0E19\u0E35\u0E49\u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49 1)"),Gp.forEach(a),Hn=c(s),z=r(s,"P",{});var W=i(z);zt=p(W,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 "),Pa=r(W,"CODE",{});var Yp=i(Pa);Ct=p(Yp,'"ug"'),Yp.forEach(a),Tt=p(W," \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 (subword) \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 "),za=r(W,"CODE",{});var Zp=i(za);Ot=p(Zp,'"hug"'),Zp.forEach(a),Dt=p(W,", "),Ca=r(W,"CODE",{});var Xp=i(Ca);Nt=p(Xp,'"pug"'),Xp.forEach(a),Ut=p(W,", \u0E41\u0E25\u0E30 "),Ta=r(W,"CODE",{});var Jp=i(Ta);St=p(Jp,'"hugs"'),Jp.forEach(a),At=p(W," \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D 20"),W.forEach(a),Mn=c(s),sa=r(s,"P",{});var Kp=i(sa);Ht=p(Kp,"\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E43\u0E19 vocabulary \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),Kp.forEach(a),Bn=c(s),f(_s.$$.fragment,s),Ln=c(s),K=r(s,"P",{});var pt=i(K);Mt=p(pt,"\u0E41\u0E25\u0E30\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E01\u0E47\u0E04\u0E37\u0E2D 210 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 "),Oa=r(pt,"CODE",{});var Qp=i(Oa);Bt=p(Qp,'"ug"'),Qp.forEach(a),Lt=p(pt," \u0E01\u0E47\u0E04\u0E37\u0E2D 20/210"),pt.forEach(a),Wn=c(s),f(Q.$$.fragment,s),Rn=c(s),aa=r(s,"P",{});var so=i(aa);Wt=p(so,`\u0E43\u0E19\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E46\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E17\u0E38\u0E01\u0E46\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (segmentation) \u0E41\u0E25\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E14\u0E49\u0E27\u0E22 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E15\u0E32\u0E21\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E37\u0E48\u0E19 \u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22 \u0E19\u0E33\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E22\u0E48\u0E2D\u0E22\u0E43\u0E19 segmentation \u0E19\u0E31\u0E49\u0E19\u0E21\u0E32\u0E04\u0E39\u0E13\u0E01\u0E31\u0E19`),so.forEach(a),Fn=c(s),A=r(s,"P",{});var Gs=i(A);Rt=p(Gs,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 "),Da=r(Gs,"CODE",{});var ao=i(Da);Ft=p(ao,'"pug"'),ao.forEach(a),It=p(Gs," \u0E41\u0E25\u0E49\u0E27\u0E44\u0E14\u0E49 "),Na=r(Gs,"CODE",{});var no=i(Na);Vt=p(no,'["p", "u", "g"]'),no.forEach(a),Gt=p(Gs,` \u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07 segmentation \u0E19\u0E35\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D
`),In=dt(Gs),Gs.forEach(a),Vn=c(s),V=r(s,"P",{});var bn=i(V);Yt=p(bn,"\u0E41\u0E15\u0E48\u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E41\u0E1A\u0E48\u0E07\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 "),Ua=r(bn,"CODE",{});var eo=i(Ua);Zt=p(eo,'["pu", "g"]'),eo.forEach(a),Xt=p(bn,` \u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E01\u0E47\u0E08\u0E30\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A :
`),Gn=dt(bn),bn.forEach(a),Yn=c(s),na=r(s,"P",{});var to=i(na);Jt=p(to,`\u0E1B\u0E01\u0E15\u0E34\u0E41\u0E25\u0E49\u0E27\u0E16\u0E49\u0E32 segmentation \u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E49\u0E2D\u0E22 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07 (\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E43\u0E19\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2B\u0E32\u0E23\u0E14\u0E49\u0E27\u0E22\u0E04\u0E48\u0E32\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E04\u0E37\u0E2D 210)
\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E14\u0E35 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 \u0E19\u0E31\u0E48\u0E19\u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E04\u0E33\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E42\u0E14\u0E22\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E08\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E49\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49`),to.forEach(a),Zn=c(s),ss=r(s,"P",{});var ot=i(ss);Kt=p(ot,"\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 "),Sa=r(ot,"CODE",{});var lo=i(Sa);Qt=p(lo,'"pug"'),lo.forEach(a),sl=p(ot," \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 segmentation \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),ot.forEach(a),Xn=c(s),f(js.$$.fragment,s),Jn=c(s),B=r(s,"P",{});var wa=i(B);al=p(wa,"\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 "),Aa=r(wa,"CODE",{});var po=i(Aa);nl=p(po,'["p", "ug"]'),po.forEach(a),el=p(wa," \u0E2B\u0E23\u0E37\u0E2D "),Ha=r(wa,"CODE",{});var oo=i(Ha);tl=p(oo,'["pu", "g"]'),oo.forEach(a),ll=p(wa,` \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 segmentation \u0E43\u0E14\u0E01\u0E47\u0E44\u0E14\u0E49 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32\u0E42\u0E1B\u0E23\u0E41\u0E01\u0E23\u0E21\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2D\u0E48\u0E32\u0E19\u0E40\u0E08\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E14\u0E01\u0E48\u0E2D\u0E19 (\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E43\u0E19 corpus \u0E43\u0E2B\u0E0D\u0E48\u0E46 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E04\u0E48\u0E2D\u0E22\u0E40\u0E2B\u0E47\u0E19\u0E01\u0E23\u0E13\u0E35\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E17\u0E35\u0E48\u0E2B\u0E25\u0E32\u0E22 segmentation \u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19)
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E07\u0E48\u0E32\u0E22\u0E46 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E14\u0E39\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 segmentation \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E14\u0E32\u0E22 \u0E41\u0E15\u0E48\u0E1B\u0E01\u0E15\u0E34\u0E41\u0E25\u0E49\u0E27\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E08\u0E30\u0E22\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E19\u0E35\u0E49`),wa.forEach(a),Kn=c(s),x=r(s,"P",{});var S=i(x);pl=p(S,"\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32 \u0E01\u0E47\u0E04\u0E37\u0E2D "),Ma=r(S,"EM",{});var ro=i(Ma);ol=p(ro,"Viterbi algorithm"),ro.forEach(a),rl=p(S,`
\u0E21\u0E31\u0E19\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E23\u0E32\u0E1F\u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32 `),Ba=r(S,"EM",{});var io=i(Ba);il=p(io,"a"),io.forEach(a),ml=p(S," \u0E41\u0E25\u0E30 "),La=r(S,"EM",{});var mo=i(La);cl=p(mo,"b"),mo.forEach(a),ul=p(S," \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E23\u0E32\u0E1F\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21\u0E08\u0E32\u0E01 "),Wa=r(S,"EM",{});var co=i(Wa);hl=p(co,"a"),co.forEach(a),fl=p(S," \u0E44\u0E1B\u0E2B\u0E32 "),Ra=r(S,"EM",{});var uo=i(Ra);gl=p(uo,"b"),uo.forEach(a),dl=p(S,` \u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E01\u0E47\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E25\u0E07\u0E44\u0E1B\u0E43\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E15\u0E48\u0E2D\u0E44\u0E1B
\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E40\u0E2A\u0E49\u0E19\u0E17\u0E32\u0E07\u0E43\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E17\u0E35\u0E48\u0E41\u0E2A\u0E14\u0E07\u0E16\u0E36\u0E07 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D segmentation \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E08\u0E32\u0E01\u0E15\u0E49\u0E19\u0E01\u0E23\u0E32\u0E1F\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E1B\u0E25\u0E32\u0E22\u0E01\u0E23\u0E32\u0E1F \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30 loop \u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E38\u0E01\u0E46\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E41\u0E25\u0E30\u0E15\u0E48\u0E2D\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E1B\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E22\u0E46\u0E08\u0E19\u0E16\u0E36\u0E07\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22`),S.forEach(a),Qn=c(s),as=r(s,"P",{});var rt=i(as);_l=p(rt,"\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 "),Fa=r(rt,"CODE",{});var ho=i(Fa);jl=p(ho,'"unhug"'),ho.forEach(a),bl=p(rt," \u0E01\u0E31\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E33\u0E19\u0E27\u0E13\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 :"),rt.forEach(a),se=c(s),f(bs.$$.fragment,s),ae=c(s),G=r(s,"P",{});var kn=i(G);kl=p(kn,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 "),Ia=r(kn,"CODE",{});var fo=i(Ia);$l=p(fo,'"unhug"'),fo.forEach(a),wl=p(kn," \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 "),Va=r(kn,"CODE",{});var go=i(Va);ql=p(go,'["un", "hug"]'),go.forEach(a),kn.forEach(a),ne=c(s),f(ns.$$.fragment,s),ee=c(s),ks=r(s,"H2",{id:!0});var _o=i(ks);yl=p(_o,"\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E2A\u0E39\u0E48\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"),_o.forEach(a),te=c(s),es=r(s,"P",{});var it=i(es);vl=p(it,`\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E41\u0E25\u0E49\u0E27\u0E27\u0E48\u0E32\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E19\u0E35\u0E49 tokenize \u0E04\u0E33\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E43\u0E19\u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E43\u0E19\u0E17\u0E38\u0E01\u0E46\u0E23\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E15\u0E32\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E43\u0E19 vocabulary \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25 Unigram \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19 corpus (\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E31\u0E19\u0E41\u0E25\u0E49\u0E27\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19)
\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19 \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E48\u0E32 loss \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E08\u0E32\u0E01 negative log likelihood \u0E02\u0E2D\u0E07 score \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A \u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 `),Ga=r(it,"CODE",{});var jo=i(Ga);El=p(jo,"-log(P(word))"),jo.forEach(a),xl=p(it," \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33"),it.forEach(a),le=c(s),ea=r(s,"P",{});var bo=i(ea);Pl=p(bo,"\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19 \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D corpus \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),bo.forEach(a),pe=c(s),f($s.$$.fragment,s),oe=c(s),ta=r(s,"P",{});var ko=i(ta);zl=p(ko,"\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33 \u0E41\u0E25\u0E30 score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 Ngram \u0E04\u0E33\u0E19\u0E27\u0E13 :"),ko.forEach(a),re=c(s),f(ws.$$.fragment,s),ie=c(s),la=r(s,"P",{});var $o=i(la);Cl=p($o,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E32 loss \u0E01\u0E47\u0E04\u0E37\u0E2D :"),$o.forEach(a),me=c(s),f(qs.$$.fragment,s),ce=c(s),v=r(s,"P",{});var C=i(v);Tl=p(C,`\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E27\u0E48\u0E32 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E04\u0E33\u0E43\u0E14\u0E04\u0E33\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2D\u0E2D\u0E01 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E01\u0E23\u0E30\u0E17\u0E1A\u0E04\u0E48\u0E32 loss \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E41\u0E25\u0E30\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E0A\u0E48\u0E27\u0E22\u0E04\u0E33\u0E19\u0E27\u0E13\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E2A\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 `),Ya=r(C,"CODE",{});var wo=i(Ya);Ol=p(wo,'"pug"'),wo.forEach(a),Dl=p(C," \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 "),Za=r(C,"CODE",{});var qo=i(Za);Nl=p(qo,'["p", "ug"]'),qo.forEach(a),Ul=p(C,` \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22
\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A `),Xa=r(C,"CODE",{});var yo=i(Xa);Sl=p(yo,'"pu"'),yo.forEach(a),Al=p(C,` \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E22\u0E31\u0E07\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 loss \u0E40\u0E17\u0E48\u0E32\u0E40\u0E14\u0E34\u0E21
\u0E43\u0E19\u0E17\u0E32\u0E07\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A `),Ja=r(C,"CODE",{});var vo=i(Ja);Hl=p(vo,'"hug"'),vo.forEach(a),Ml=p(C," \u0E2D\u0E2D\u0E01 \u0E04\u0E48\u0E32 loss \u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E01 \u0E19\u0E31\u0E48\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 "),Ka=r(C,"CODE",{});var Eo=i(Ka);Bl=p(Eo,'"hug"'),Eo.forEach(a),Ll=p(C," \u0E41\u0E25\u0E30 "),Qa=r(C,"CODE",{});var xo=i(Qa);Wl=p(xo,'"hugs"'),xo.forEach(a),Rl=p(C," \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E40\u0E1B\u0E47\u0E19"),C.forEach(a),ue=c(s),f(ys.$$.fragment,s),he=c(s),pa=r(s,"P",{});var Po=i(pa);Fl=p(Po,"\u0E01\u0E32\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E41\u0E1B\u0E25\u0E07\u0E19\u0E35\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49 score \u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E44\u0E1B \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 loss \u0E23\u0E27\u0E21\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19 :"),Po.forEach(a),fe=c(s),f(vs.$$.fragment,s),ge=c(s),L=r(s,"P",{});var qa=i(L);Il=p(qa,"\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E04\u0E27\u0E23\u0E08\u0E30\u0E25\u0E1A "),sn=r(qa,"CODE",{});var zo=i(sn);Vl=p(zo,'"pu"'),zo.forEach(a),Gl=p(qa," \u0E2D\u0E2D\u0E01 \u0E41\u0E15\u0E48\u0E40\u0E01\u0E47\u0E1A "),an=r(qa,"CODE",{});var Co=i(an);Yl=p(Co,'"hug"'),Co.forEach(a),Zl=p(qa," \u0E44\u0E27\u0E49"),qa.forEach(a),de=c(s),Y=r(s,"H2",{class:!0});var mt=i(Y);ts=r(mt,"A",{id:!0,class:!0,href:!0});var To=i(ts);nn=r(To,"SPAN",{});var Oo=i(nn);f(Es.$$.fragment,Oo),Oo.forEach(a),To.forEach(a),Xl=c(mt),en=r(mt,"SPAN",{});var Do=i(en);Jl=p(Do,"Implementing Unigram"),Do.forEach(a),mt.forEach(a),_e=c(s),oa=r(s,"P",{});var No=i(oa);Kl=p(No,`\u0E43\u0E19\u0E2B\u0E31\u0E27\u0E02\u0E49\u0E2D\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32 implement \u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07 BPE \u0E41\u0E25\u0E30 WordPiece \u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E42\u0E04\u0E49\u0E14\u0E17\u0E35\u0E48\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E2A\u0E34\u0E17\u0E18\u0E34\u0E20\u0E32\u0E1E\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E02\u0E49\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23\u0E17\u0E33\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 corpus \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E46 :`),No.forEach(a),je=c(s),f(xs.$$.fragment,s),be=c(s),ls=r(s,"P",{});var ct=i(ls);Ql=p(ct,"\u0E04\u0E23\u0E31\u0E49\u0E07\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 "),tn=r(ct,"CODE",{});var Uo=i(tn);sp=p(Uo,"xlnet-base-cased"),Uo.forEach(a),ap=p(ct," :"),ct.forEach(a),ke=c(s),f(Ps.$$.fragment,s),$e=c(s),ra=r(s,"P",{});var So=i(ra);np=p(So,"\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A BPE \u0E41\u0E25\u0E30 WordPiece \u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E19\u0E31\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19(\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48)\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus :"),So.forEach(a),we=c(s),f(zs.$$.fragment,s),qe=c(s),ia=r(s,"P",{});var Ao=i(ia);ep=p(Ao,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E43\u0E2B\u0E0D\u0E48\u0E01\u0E27\u0E48\u0E32 \u0E02\u0E19\u0E32\u0E14 vocabulary \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23"),Ao.forEach(a),ye=c(s),ma=r(s,"P",{});var Ho=i(ma);tp=p(Ho,"vocabulary \u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E21\u0E35\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E1E\u0E37\u0E49\u0E19\u0E10\u0E32\u0E19 \u0E44\u0E21\u0E48\u0E40\u0E0A\u0E48\u0E19\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 tokenize \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E25\u0E22 \u0E2A\u0E48\u0E27\u0E19 token \u0E17\u0E35\u0E48\u0E43\u0E2B\u0E0D\u0E48\u0E02\u0E36\u0E49\u0E19(subwords) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E1E\u0E1A\u0E1A\u0E48\u0E2D\u0E22\u0E46\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E07\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E15\u0E32\u0E21\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48 \u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Ho.forEach(a),ve=c(s),f(Cs.$$.fragment,s),Ee=c(s),f(Ts.$$.fragment,s),xe=c(s),ca=r(s,"P",{});var Mo=i(ca);lp=p(Mo,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E19\u0E33\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E25\u0E30 subwords \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E21\u0E32\u0E23\u0E27\u0E21\u0E01\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 vocabulary \u0E15\u0E31\u0E49\u0E07\u0E15\u0E49\u0E19 \u0E02\u0E19\u0E32\u0E14 300 token :"),Mo.forEach(a),Pe=c(s),f(Os.$$.fragment,s),ze=c(s),f(ps.$$.fragment,s),Ce=c(s),ua=r(s,"P",{});var Bo=i(ua);pp=p(Bo,"\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E46\u0E04\u0E33 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E27\u0E32\u0E21\u0E16\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19"),Bo.forEach(a),Te=c(s),ha=r(s,"P",{});var Lo=i(ha);op=p(Lo,"\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32\u0E25\u0E2D\u0E01\u0E32\u0E23\u0E34\u0E17\u0E36\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 \u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E2A\u0E16\u0E35\u0E22\u0E23\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E04\u0E39\u0E13\u0E08\u0E33\u0E19\u0E27\u0E19\u0E19\u0E49\u0E2D\u0E22\u0E46\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E08\u0E33\u0E19\u0E27\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E17\u0E33\u0E44\u0E14\u0E49\u0E07\u0E48\u0E32\u0E22\u0E02\u0E36\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22 :"),Lo.forEach(a),Oe=c(s),f(Ds.$$.fragment,s),De=c(s),os=r(s,"P",{});var ut=i(os);rp=p(ut,`\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07 tokenizer \u0E19\u0E35\u0E49\u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Viterbi \u0E0A\u0E48\u0E27\u0E22
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27 \u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Viterbi \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E43\u0E19 corpus \u0E0B\u0E36\u0E48\u0E07 segmentation \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E08\u0E30\u0E16\u0E39\u0E01\u0E40\u0E0B\u0E1F\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E0A\u0E37\u0E48\u0E2D `),ln=r(ut,"CODE",{});var Wo=i(ln);ip=p(Wo,"best_segmentations"),Wo.forEach(a),mp=p(ut,`
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 (\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 0 \u0E16\u0E36\u0E07 \u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E02\u0E2D\u0E07\u0E04\u0E33) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 dictionary \u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35\u0E04\u0E35\u0E22\u0E4C\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E15\u0E31\u0E27\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D index \u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E43\u0E19 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E30\u0E04\u0E35\u0E22\u0E4C\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32 score \u0E02\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14
\u0E04\u0E35\u0E22\u0E4C\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A index \u0E19\u0E35\u0E49 \u0E08\u0E30\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 segmentation \u0E40\u0E15\u0E47\u0E21\u0E46\u0E44\u0E14\u0E49 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E25\u0E07\u0E43\u0E19 list \u0E41\u0E25\u0E49\u0E27`),ut.forEach(a),Ne=c(s),rs=r(s,"P",{});var ht=i(rs);cp=p(ht,`\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30 for loop \u0E2A\u0E2D\u0E07\u0E04\u0E23\u0E31\u0E49\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E43\u0E19\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E42\u0E14\u0E22 loop \u0E41\u0E23\u0E01\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22 \u0E2A\u0E48\u0E27\u0E19 loop \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E31\u0E49\u0E19
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E40\u0E08\u0E2D\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 vocabulary \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 segmentation \u0E43\u0E2B\u0E21\u0E48\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E42\u0E14\u0E22\u0E41\u0E1A\u0E48\u0E07\u0E04\u0E33\u0E2B\u0E25\u0E31\u0E01\u0E15\u0E23\u0E07\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E19\u0E35\u0E49 \u0E41\u0E25\u0E30\u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 segmentation \u0E19\u0E35\u0E49\u0E25\u0E07\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A score \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E31\u0E1A score \u0E02\u0E2D\u0E07 segmentation \u0E17\u0E35\u0E48\u0E21\u0E35\u0E2D\u0E22\u0E39\u0E48\u0E41\u0E25\u0E49\u0E27\u0E43\u0E19 `),pn=r(ht,"CODE",{});var Ro=i(pn);up=p(Ro,"best_segmentations"),Ro.forEach(a),hp=p(ht,`
\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01 loop \u0E08\u0E1A \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2B\u0E32 segmentation \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E04\u0E33 input \u0E42\u0E14\u0E22\u0E2D\u0E48\u0E32\u0E19\u0E08\u0E32\u0E01\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E1B\u0E2B\u0E32\u0E15\u0E49\u0E19\u0E04\u0E33 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E33\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07 :`),ht.forEach(a),Ue=c(s),f(Ns.$$.fragment,s),Se=c(s),fa=r(s,"P",{});var Fo=i(fa);fp=p(Fo,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 :"),Fo.forEach(a),Ae=c(s),f(Us.$$.fragment,s),He=c(s),f(Ss.$$.fragment,s),Me=c(s),ga=r(s,"P",{});var Io=i(ga);gp=p(Io,"\u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E48\u0E32\u0E22\u0E14\u0E32\u0E22\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 :"),Io.forEach(a),Be=c(s),f(As.$$.fragment,s),Le=c(s),da=r(s,"P",{});var Vo=i(da);dp=p(Vo,"\u0E21\u0E32\u0E40\u0E0A\u0E47\u0E04\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 loss \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E31\u0E19 :"),Vo.forEach(a),We=c(s),f(Hs.$$.fragment,s),Re=c(s),f(Ms.$$.fragment,s),Fe=c(s),_a=r(s,"P",{});var Go=i(_a);_p=p(Go,"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E43\u0E2B\u0E49\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E01\u0E47\u0E44\u0E21\u0E48\u0E22\u0E32\u0E01\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 loss \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E25\u0E1A token \u0E19\u0E31\u0E49\u0E19\u0E2D\u0E2D\u0E01 :"),Go.forEach(a),Ie=c(s),f(Bs.$$.fragment,s),Ve=c(s),ja=r(s,"P",{});var Yo=i(ja);jp=p(Yo,"\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E42\u0E04\u0E49\u0E14\u0E01\u0E31\u0E1A token \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Yo.forEach(a),Ge=c(s),f(Ls.$$.fragment,s),Ye=c(s),E=r(s,"P",{});var T=i(E);bp=p(T,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 "),on=r(T,"CODE",{});var Zo=i(on);kp=p(Zo,'"ll"'),Zo.forEach(a),$p=p(T," \u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E27\u0E48\u0E32 "),rn=r(T,"CODE",{});var Xo=i(rn);wp=p(Xo,'"Hopefully"'),Xo.forEach(a),qp=p(T," \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49 "),mn=r(T,"CODE",{});var Jo=i(mn);yp=p(Jo,'"l"'),Jo.forEach(a),vp=p(T,` \u0E2A\u0E2D\u0E07\u0E04\u0E23\u0E31\u0E49\u0E07\u0E41\u0E17\u0E19 \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E04\u0E48\u0E32 loss \u0E08\u0E30\u0E2A\u0E39\u0E07\u0E02\u0E36\u0E49\u0E19
\u0E2A\u0E48\u0E27\u0E19 `),cn=r(T,"CODE",{});var Ko=i(cn);Ep=p(Ko,'"his"'),Ko.forEach(a),xp=p(T," \u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48\u0E43\u0E19\u0E04\u0E33\u0E27\u0E48\u0E32 "),un=r(T,"CODE",{});var Qo=i(un);Pp=p(Qo,'"This"'),Qo.forEach(a),zp=p(T," \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E33\u0E19\u0E35\u0E49\u0E16\u0E39\u0E01 tokenize \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E21\u0E31\u0E19\u0E40\u0E2D\u0E07(\u0E44\u0E21\u0E48\u0E21\u0E35\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07) \u0E2B\u0E32\u0E01\u0E40\u0E23\u0E32\u0E25\u0E1A\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01 "),hn=r(T,"CODE",{});var sr=i(hn);Cp=p(sr,'"his"'),sr.forEach(a),Tp=p(T," \u0E01\u0E47\u0E08\u0E30\u0E44\u0E21\u0E48\u0E21\u0E35\u0E1C\u0E25\u0E15\u0E48\u0E2D\u0E04\u0E48\u0E32 loss \u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E31\u0E19 :"),T.forEach(a),Ze=c(s),f(Ws.$$.fragment,s),Xe=c(s),f(is.$$.fragment,s),Je=c(s),ba=r(s,"P",{});var ar=i(ba);Op=p(ar,"\u0E2A\u0E34\u0E48\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E40\u0E1E\u0E34\u0E48\u0E21 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49\u0E25\u0E07\u0E44\u0E1B\u0E43\u0E19 vocabulary \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 loop \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E1A token \u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 vocabulary \u0E08\u0E19\u0E44\u0E14\u0E49\u0E02\u0E19\u0E32\u0E14\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E1E\u0E2D\u0E43\u0E08 :"),ar.forEach(a),Ke=c(s),f(Rs.$$.fragment,s),Qe=c(s),ms=r(s,"P",{});var ft=i(ms);Dp=p(ft,"\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30 tokenize \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E23\u0E37\u0E2D\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E47\u0E04\u0E37\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23 pre-tokenization \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E19\u0E31\u0E49\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E23\u0E31\u0E19\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),fn=r(ft,"CODE",{});var nr=i(fn);Np=p(nr,"encode_word()"),nr.forEach(a),Up=p(ft," \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 :"),ft.forEach(a),st=c(s),f(Fs.$$.fragment,s),at=c(s),f(Is.$$.fragment,s),nt=c(s),ka=r(s,"P",{});var er=i(ka);Sp=p(er,"\u0E08\u0E1A\u0E41\u0E25\u0E49\u0E27\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E2D\u0E31\u0E25\u0E01\u0E2D\u0E23\u0E34\u0E17\u0E36\u0E21 Unigram \u0E2B\u0E27\u0E31\u0E07\u0E27\u0E48\u0E32\u0E16\u0E36\u0E07\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E04\u0E38\u0E13\u0E08\u0E30\u0E23\u0E39\u0E49\u0E2A\u0E36\u0E01\u0E27\u0E48\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E39\u0E49\u0E40\u0E0A\u0E35\u0E48\u0E22\u0E27\u0E0A\u0E32\u0E0D\u0E14\u0E49\u0E32\u0E19 tokenizer \u0E43\u0E19\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E41\u0E25\u0E49\u0E27 \u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E2A\u0E33\u0E04\u0E31\u0E0D\u0E02\u0E2D\u0E07 \u{1F917} Tokenizers library \u0E41\u0E25\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E04\u0E38\u0E13\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E21\u0E31\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 tokenizer \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23"),er.forEach(a),this.h()},h(){y(u,"name","hf:doc:metadata"),y(u,"content",JSON.stringify($r)),y(k,"id","unigram-tokenization"),y(k,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),y(k,"href","#unigram-tokenization"),y(b,"class","relative group"),y(X,"id","training-algorithm"),y(X,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),y(X,"href","#training-algorithm"),y(F,"class","relative group"),xn.a=Pn,zn.a=Cn,y(J,"id","tokenization-algorithm"),y(J,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),y(J,"href","#tokenization-algorithm"),y(I,"class","relative group"),In.a=null,Gn.a=null,y(ks,"id",""),y(ts,"id","implementing-unigram"),y(ts,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),y(ts,"href","#implementing-unigram"),y(Y,"class","relative group")},m(s,e){n(document.head,u),t(s,w,e),t(s,b,e),n(b,k),n(k,O),g(q,O,null),n(b,P),n(b,U),n(U,R),t(s,D,e),g(H,s,e),t(s,cs,e),t(s,Ys,e),n(Ys,jt),t(s,wn,e),g(us,s,e),t(s,qn,e),g(Z,s,e),t(s,yn,e),t(s,F,e),n(F,X),n(X,ya),g(hs,ya,null),n(F,bt),n(F,va),n(va,kt),t(s,vn,e),t(s,Zs,e),n(Zs,$t),t(s,En,e),t(s,M,e),n(M,wt),xn.m(tr,M),n(M,Pn),zn.m(lr,M),n(M,Cn),t(s,Tn,e),t(s,Xs,e),n(Xs,qt),t(s,On,e),g(fs,s,e),t(s,Dn,e),t(s,Js,e),n(Js,yt),t(s,Nn,e),g(gs,s,e),t(s,Un,e),t(s,I,e),n(I,J),n(J,Ea),g(ds,Ea,null),n(I,vt),n(I,xa),n(xa,Et),t(s,Sn,e),t(s,Ks,e),n(Ks,xt),t(s,An,e),t(s,Qs,e),n(Qs,Pt),t(s,Hn,e),t(s,z,e),n(z,zt),n(z,Pa),n(Pa,Ct),n(z,Tt),n(z,za),n(za,Ot),n(z,Dt),n(z,Ca),n(Ca,Nt),n(z,Ut),n(z,Ta),n(Ta,St),n(z,At),t(s,Mn,e),t(s,sa,e),n(sa,Ht),t(s,Bn,e),g(_s,s,e),t(s,Ln,e),t(s,K,e),n(K,Mt),n(K,Oa),n(Oa,Bt),n(K,Lt),t(s,Wn,e),g(Q,s,e),t(s,Rn,e),t(s,aa,e),n(aa,Wt),t(s,Fn,e),t(s,A,e),n(A,Rt),n(A,Da),n(Da,Ft),n(A,It),n(A,Na),n(Na,Vt),n(A,Gt),In.m(pr,A),t(s,Vn,e),t(s,V,e),n(V,Yt),n(V,Ua),n(Ua,Zt),n(V,Xt),Gn.m(or,V),t(s,Yn,e),t(s,na,e),n(na,Jt),t(s,Zn,e),t(s,ss,e),n(ss,Kt),n(ss,Sa),n(Sa,Qt),n(ss,sl),t(s,Xn,e),g(js,s,e),t(s,Jn,e),t(s,B,e),n(B,al),n(B,Aa),n(Aa,nl),n(B,el),n(B,Ha),n(Ha,tl),n(B,ll),t(s,Kn,e),t(s,x,e),n(x,pl),n(x,Ma),n(Ma,ol),n(x,rl),n(x,Ba),n(Ba,il),n(x,ml),n(x,La),n(La,cl),n(x,ul),n(x,Wa),n(Wa,hl),n(x,fl),n(x,Ra),n(Ra,gl),n(x,dl),t(s,Qn,e),t(s,as,e),n(as,_l),n(as,Fa),n(Fa,jl),n(as,bl),t(s,se,e),g(bs,s,e),t(s,ae,e),t(s,G,e),n(G,kl),n(G,Ia),n(Ia,$l),n(G,wl),n(G,Va),n(Va,ql),t(s,ne,e),g(ns,s,e),t(s,ee,e),t(s,ks,e),n(ks,yl),t(s,te,e),t(s,es,e),n(es,vl),n(es,Ga),n(Ga,El),n(es,xl),t(s,le,e),t(s,ea,e),n(ea,Pl),t(s,pe,e),g($s,s,e),t(s,oe,e),t(s,ta,e),n(ta,zl),t(s,re,e),g(ws,s,e),t(s,ie,e),t(s,la,e),n(la,Cl),t(s,me,e),g(qs,s,e),t(s,ce,e),t(s,v,e),n(v,Tl),n(v,Ya),n(Ya,Ol),n(v,Dl),n(v,Za),n(Za,Nl),n(v,Ul),n(v,Xa),n(Xa,Sl),n(v,Al),n(v,Ja),n(Ja,Hl),n(v,Ml),n(v,Ka),n(Ka,Bl),n(v,Ll),n(v,Qa),n(Qa,Wl),n(v,Rl),t(s,ue,e),g(ys,s,e),t(s,he,e),t(s,pa,e),n(pa,Fl),t(s,fe,e),g(vs,s,e),t(s,ge,e),t(s,L,e),n(L,Il),n(L,sn),n(sn,Vl),n(L,Gl),n(L,an),n(an,Yl),n(L,Zl),t(s,de,e),t(s,Y,e),n(Y,ts),n(ts,nn),g(Es,nn,null),n(Y,Xl),n(Y,en),n(en,Jl),t(s,_e,e),t(s,oa,e),n(oa,Kl),t(s,je,e),g(xs,s,e),t(s,be,e),t(s,ls,e),n(ls,Ql),n(ls,tn),n(tn,sp),n(ls,ap),t(s,ke,e),g(Ps,s,e),t(s,$e,e),t(s,ra,e),n(ra,np),t(s,we,e),g(zs,s,e),t(s,qe,e),t(s,ia,e),n(ia,ep),t(s,ye,e),t(s,ma,e),n(ma,tp),t(s,ve,e),g(Cs,s,e),t(s,Ee,e),g(Ts,s,e),t(s,xe,e),t(s,ca,e),n(ca,lp),t(s,Pe,e),g(Os,s,e),t(s,ze,e),g(ps,s,e),t(s,Ce,e),t(s,ua,e),n(ua,pp),t(s,Te,e),t(s,ha,e),n(ha,op),t(s,Oe,e),g(Ds,s,e),t(s,De,e),t(s,os,e),n(os,rp),n(os,ln),n(ln,ip),n(os,mp),t(s,Ne,e),t(s,rs,e),n(rs,cp),n(rs,pn),n(pn,up),n(rs,hp),t(s,Ue,e),g(Ns,s,e),t(s,Se,e),t(s,fa,e),n(fa,fp),t(s,Ae,e),g(Us,s,e),t(s,He,e),g(Ss,s,e),t(s,Me,e),t(s,ga,e),n(ga,gp),t(s,Be,e),g(As,s,e),t(s,Le,e),t(s,da,e),n(da,dp),t(s,We,e),g(Hs,s,e),t(s,Re,e),g(Ms,s,e),t(s,Fe,e),t(s,_a,e),n(_a,_p),t(s,Ie,e),g(Bs,s,e),t(s,Ve,e),t(s,ja,e),n(ja,jp),t(s,Ge,e),g(Ls,s,e),t(s,Ye,e),t(s,E,e),n(E,bp),n(E,on),n(on,kp),n(E,$p),n(E,rn),n(rn,wp),n(E,qp),n(E,mn),n(mn,yp),n(E,vp),n(E,cn),n(cn,Ep),n(E,xp),n(E,un),n(un,Pp),n(E,zp),n(E,hn),n(hn,Cp),n(E,Tp),t(s,Ze,e),g(Ws,s,e),t(s,Xe,e),g(is,s,e),t(s,Je,e),t(s,ba,e),n(ba,Op),t(s,Ke,e),g(Rs,s,e),t(s,Qe,e),t(s,ms,e),n(ms,Dp),n(ms,fn),n(fn,Np),n(ms,Up),t(s,st,e),g(Fs,s,e),t(s,at,e),g(Is,s,e),t(s,nt,e),t(s,ka,e),n(ka,Sp),et=!0},p(s,[e]){const Vs={};e&2&&(Vs.$$scope={dirty:e,ctx:s}),Z.$set(Vs);const gn={};e&2&&(gn.$$scope={dirty:e,ctx:s}),Q.$set(gn);const dn={};e&2&&(dn.$$scope={dirty:e,ctx:s}),ns.$set(dn);const _n={};e&2&&(_n.$$scope={dirty:e,ctx:s}),ps.$set(_n);const jn={};e&2&&(jn.$$scope={dirty:e,ctx:s}),is.$set(jn)},i(s){et||(d(q.$$.fragment,s),d(H.$$.fragment,s),d(us.$$.fragment,s),d(Z.$$.fragment,s),d(hs.$$.fragment,s),d(fs.$$.fragment,s),d(gs.$$.fragment,s),d(ds.$$.fragment,s),d(_s.$$.fragment,s),d(Q.$$.fragment,s),d(js.$$.fragment,s),d(bs.$$.fragment,s),d(ns.$$.fragment,s),d($s.$$.fragment,s),d(ws.$$.fragment,s),d(qs.$$.fragment,s),d(ys.$$.fragment,s),d(vs.$$.fragment,s),d(Es.$$.fragment,s),d(xs.$$.fragment,s),d(Ps.$$.fragment,s),d(zs.$$.fragment,s),d(Cs.$$.fragment,s),d(Ts.$$.fragment,s),d(Os.$$.fragment,s),d(ps.$$.fragment,s),d(Ds.$$.fragment,s),d(Ns.$$.fragment,s),d(Us.$$.fragment,s),d(Ss.$$.fragment,s),d(As.$$.fragment,s),d(Hs.$$.fragment,s),d(Ms.$$.fragment,s),d(Bs.$$.fragment,s),d(Ls.$$.fragment,s),d(Ws.$$.fragment,s),d(is.$$.fragment,s),d(Rs.$$.fragment,s),d(Fs.$$.fragment,s),d(Is.$$.fragment,s),et=!0)},o(s){_(q.$$.fragment,s),_(H.$$.fragment,s),_(us.$$.fragment,s),_(Z.$$.fragment,s),_(hs.$$.fragment,s),_(fs.$$.fragment,s),_(gs.$$.fragment,s),_(ds.$$.fragment,s),_(_s.$$.fragment,s),_(Q.$$.fragment,s),_(js.$$.fragment,s),_(bs.$$.fragment,s),_(ns.$$.fragment,s),_($s.$$.fragment,s),_(ws.$$.fragment,s),_(qs.$$.fragment,s),_(ys.$$.fragment,s),_(vs.$$.fragment,s),_(Es.$$.fragment,s),_(xs.$$.fragment,s),_(Ps.$$.fragment,s),_(zs.$$.fragment,s),_(Cs.$$.fragment,s),_(Ts.$$.fragment,s),_(Os.$$.fragment,s),_(ps.$$.fragment,s),_(Ds.$$.fragment,s),_(Ns.$$.fragment,s),_(Us.$$.fragment,s),_(Ss.$$.fragment,s),_(As.$$.fragment,s),_(Hs.$$.fragment,s),_(Ms.$$.fragment,s),_(Bs.$$.fragment,s),_(Ls.$$.fragment,s),_(Ws.$$.fragment,s),_(is.$$.fragment,s),_(Rs.$$.fragment,s),_(Fs.$$.fragment,s),_(Is.$$.fragment,s),et=!1},d(s){a(u),s&&a(w),s&&a(b),j(q),s&&a(D),j(H,s),s&&a(cs),s&&a(Ys),s&&a(wn),j(us,s),s&&a(qn),j(Z,s),s&&a(yn),s&&a(F),j(hs),s&&a(vn),s&&a(Zs),s&&a(En),s&&a(M),s&&a(Tn),s&&a(Xs),s&&a(On),j(fs,s),s&&a(Dn),s&&a(Js),s&&a(Nn),j(gs,s),s&&a(Un),s&&a(I),j(ds),s&&a(Sn),s&&a(Ks),s&&a(An),s&&a(Qs),s&&a(Hn),s&&a(z),s&&a(Mn),s&&a(sa),s&&a(Bn),j(_s,s),s&&a(Ln),s&&a(K),s&&a(Wn),j(Q,s),s&&a(Rn),s&&a(aa),s&&a(Fn),s&&a(A),s&&a(Vn),s&&a(V),s&&a(Yn),s&&a(na),s&&a(Zn),s&&a(ss),s&&a(Xn),j(js,s),s&&a(Jn),s&&a(B),s&&a(Kn),s&&a(x),s&&a(Qn),s&&a(as),s&&a(se),j(bs,s),s&&a(ae),s&&a(G),s&&a(ne),j(ns,s),s&&a(ee),s&&a(ks),s&&a(te),s&&a(es),s&&a(le),s&&a(ea),s&&a(pe),j($s,s),s&&a(oe),s&&a(ta),s&&a(re),j(ws,s),s&&a(ie),s&&a(la),s&&a(me),j(qs,s),s&&a(ce),s&&a(v),s&&a(ue),j(ys,s),s&&a(he),s&&a(pa),s&&a(fe),j(vs,s),s&&a(ge),s&&a(L),s&&a(de),s&&a(Y),j(Es),s&&a(_e),s&&a(oa),s&&a(je),j(xs,s),s&&a(be),s&&a(ls),s&&a(ke),j(Ps,s),s&&a($e),s&&a(ra),s&&a(we),j(zs,s),s&&a(qe),s&&a(ia),s&&a(ye),s&&a(ma),s&&a(ve),j(Cs,s),s&&a(Ee),j(Ts,s),s&&a(xe),s&&a(ca),s&&a(Pe),j(Os,s),s&&a(ze),j(ps,s),s&&a(Ce),s&&a(ua),s&&a(Te),s&&a(ha),s&&a(Oe),j(Ds,s),s&&a(De),s&&a(os),s&&a(Ne),s&&a(rs),s&&a(Ue),j(Ns,s),s&&a(Se),s&&a(fa),s&&a(Ae),j(Us,s),s&&a(He),j(Ss,s),s&&a(Me),s&&a(ga),s&&a(Be),j(As,s),s&&a(Le),s&&a(da),s&&a(We),j(Hs,s),s&&a(Re),j(Ms,s),s&&a(Fe),s&&a(_a),s&&a(Ie),j(Bs,s),s&&a(Ve),s&&a(ja),s&&a(Ge),j(Ls,s),s&&a(Ye),s&&a(E),s&&a(Ze),j(Ws,s),s&&a(Xe),j(is,s),s&&a(Je),s&&a(ba),s&&a(Ke),j(Rs,s),s&&a(Qe),s&&a(ms),s&&a(st),j(Fs,s),s&&a(at),j(Is,s),s&&a(nt),s&&a(ka)}}}const $r={local:"unigram-tokenization",sections:[{local:"training-algorithm",title:"Training algorithm"},{local:"tokenization-algorithm",title:"Tokenization algorithm"},{local:"",title:"\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E2A\u0E39\u0E48\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19"},{local:"implementing-unigram",title:"Implementing Unigram"}],title:"Unigram tokenization"};function wr(N){return ur(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class zr extends rr{constructor(u){super();ir(this,u,wr,kr,mr,{})}}export{zr as default,$r as metadata};
