import{S as ce,i as ue,s as he,e as n,k as f,w as se,t as _,M as _e,c as s,d as t,m,a as l,x as le,h as k,b as E,G as r,g as u,y as ie,L as ke,q as fe,o as me,B as pe,v as ve}from"../../chunks/vendor-hf-doc-builder.js";import{I as de}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as ze}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function $e(Q){let p,S,c,h,y,v,g,w,q,T,d,A,z,M,B,$,W,C,a,P,F,G,b,H,J,L,O,R,x,j,D,I,K,N;return v=new de({}),d=new ze({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),{c(){p=n("meta"),S=f(),c=n("h1"),h=n("a"),y=n("span"),se(v.$$.fragment),g=f(),w=n("span"),q=_("\u0E40\u0E23\u0E35\u0E22\u0E19\u0E08\u0E1A\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07 tokenizer \u0E41\u0E25\u0E49\u0E27!"),T=f(),se(d.$$.fragment),A=f(),z=n("p"),M=_("\u0E40\u0E22\u0E35\u0E48\u0E22\u0E21\u0E21\u0E32\u0E01 \u0E04\u0E38\u0E13\u0E40\u0E23\u0E35\u0E22\u0E19\u0E08\u0E1A\u0E1A\u0E17\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27!"),B=f(),$=n("p"),W=_("\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A tokenizer \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E38\u0E13\u0E08\u0E30 :"),C=f(),a=n("ul"),P=n("li"),F=_("\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E17\u0E23\u0E19 tokenizer \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48 \u0E08\u0E32\u0E01 tokenizer \u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E41\u0E25\u0E49\u0E27"),G=f(),b=n("li"),H=_("\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offsets \u0E40\u0E1E\u0E37\u0E48\u0E2D map \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E04\u0E48\u0E32\u0E0A\u0E48\u0E27\u0E07\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19(span)\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E31\u0E01"),J=f(),L=n("li"),O=_("\u0E23\u0E39\u0E49\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07 BPE, WordPiece, \u0E41\u0E25\u0E30 Unigram"),R=f(),x=n("li"),j=_("\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1C\u0E2A\u0E21\u0E1C\u0E2A\u0E32\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E21\u0E37\u0E2D\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 tokenizer \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07\u0E44\u0E14\u0E49"),D=f(),I=n("li"),K=_("\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E19\u0E33 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E44\u0E1B\u0E43\u0E0A\u0E49\u0E43\u0E19 \u{1F917} Transformers library \u0E44\u0E14\u0E49"),this.h()},l(e){const o=_e('[data-svelte="svelte-1phssyn"]',document.head);p=s(o,"META",{name:!0,content:!0}),o.forEach(t),S=m(e),c=s(e,"H1",{class:!0});var U=l(c);h=s(U,"A",{id:!0,class:!0,href:!0});var V=l(h);y=s(V,"SPAN",{});var X=l(y);le(v.$$.fragment,X),X.forEach(t),V.forEach(t),g=m(U),w=s(U,"SPAN",{});var Y=l(w);q=k(Y,"\u0E40\u0E23\u0E35\u0E22\u0E19\u0E08\u0E1A\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07 tokenizer \u0E41\u0E25\u0E49\u0E27!"),Y.forEach(t),U.forEach(t),T=m(e),le(d.$$.fragment,e),A=m(e),z=s(e,"P",{});var Z=l(z);M=k(Z,"\u0E40\u0E22\u0E35\u0E48\u0E22\u0E21\u0E21\u0E32\u0E01 \u0E04\u0E38\u0E13\u0E40\u0E23\u0E35\u0E22\u0E19\u0E08\u0E1A\u0E1A\u0E17\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27!"),Z.forEach(t),B=m(e),$=s(e,"P",{});var ee=l($);W=k(ee,"\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A tokenizer \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E38\u0E13\u0E08\u0E30 :"),ee.forEach(t),C=m(e),a=s(e,"UL",{});var i=l(a);P=s(i,"LI",{});var te=l(P);F=k(te,"\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E17\u0E23\u0E19 tokenizer \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48 \u0E08\u0E32\u0E01 tokenizer \u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E41\u0E25\u0E49\u0E27"),te.forEach(t),G=m(i),b=s(i,"LI",{});var re=l(b);H=k(re,"\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offsets \u0E40\u0E1E\u0E37\u0E48\u0E2D map \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E04\u0E48\u0E32\u0E0A\u0E48\u0E27\u0E07\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19(span)\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E2B\u0E25\u0E31\u0E01"),re.forEach(t),J=m(i),L=s(i,"LI",{});var ae=l(L);O=k(ae,"\u0E23\u0E39\u0E49\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E23\u0E30\u0E2B\u0E27\u0E48\u0E32\u0E07 BPE, WordPiece, \u0E41\u0E25\u0E30 Unigram"),ae.forEach(t),R=m(i),x=s(i,"LI",{});var oe=l(x);j=k(oe,"\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1C\u0E2A\u0E21\u0E1C\u0E2A\u0E32\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E21\u0E37\u0E2D\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2A\u0E23\u0E49\u0E32\u0E07 tokenizer \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07\u0E44\u0E14\u0E49"),oe.forEach(t),D=m(i),I=s(i,"LI",{});var ne=l(I);K=k(ne,"\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E19\u0E33 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E44\u0E1B\u0E43\u0E0A\u0E49\u0E43\u0E19 \u{1F917} Transformers library \u0E44\u0E14\u0E49"),ne.forEach(t),i.forEach(t),this.h()},h(){E(p,"name","hf:doc:metadata"),E(p,"content",JSON.stringify(Ee)),E(h,"id","tokenizer"),E(h,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),E(h,"href","#tokenizer"),E(c,"class","relative group")},m(e,o){r(document.head,p),u(e,S,o),u(e,c,o),r(c,h),r(h,y),ie(v,y,null),r(c,g),r(c,w),r(w,q),u(e,T,o),ie(d,e,o),u(e,A,o),u(e,z,o),r(z,M),u(e,B,o),u(e,$,o),r($,W),u(e,C,o),u(e,a,o),r(a,P),r(P,F),r(a,G),r(a,b),r(b,H),r(a,J),r(a,L),r(L,O),r(a,R),r(a,x),r(x,j),r(a,D),r(a,I),r(I,K),N=!0},p:ke,i(e){N||(fe(v.$$.fragment,e),fe(d.$$.fragment,e),N=!0)},o(e){me(v.$$.fragment,e),me(d.$$.fragment,e),N=!1},d(e){t(p),e&&t(S),e&&t(c),pe(v),e&&t(T),pe(d,e),e&&t(A),e&&t(z),e&&t(B),e&&t($),e&&t(C),e&&t(a)}}}const Ee={local:"tokenizer",title:"\u0E40\u0E23\u0E35\u0E22\u0E19\u0E08\u0E1A\u0E40\u0E23\u0E37\u0E48\u0E2D\u0E07 tokenizer \u0E41\u0E25\u0E49\u0E27!"};function ye(Q){return ve(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Le extends ce{constructor(p){super();ue(this,p,ye,$e,he,{})}}export{Le as default,Ee as metadata};
