import{S as _h,i as $h,s as kh,e as l,k as c,w as g,t,M as Eh,c as p,d as n,m as f,x as b,a as r,h as a,b as k,N as gh,G as e,g as i,y as _,o as m,p as Lp,q as x,B as $,v as vh,n as Vp}from"../../chunks/vendor-hf-doc-builder.js";import{T as Tf}from"../../chunks/Tip-hf-doc-builder.js";import{Y as Yp}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Vn}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as v}from"../../chunks/CodeBlock-hf-doc-builder.js";import{D as bh}from"../../chunks/DocNotebookDropdown-hf-doc-builder.js";import{F as yh}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";function wh(z){let h,j;return h=new bh({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/chapter6/section3_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/chapter6/section3_tf.ipynb"}]}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function Oh(z){let h,j;return h=new bh({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/chapter6/section3_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/chapter6/section3_pt.ipynb"}]}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function Ch(z){let h,j;return{c(){h=l("p"),j=t("\u26A0\uFE0F \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A tokenizer \u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E42\u0E14\u0E22\u0E14\u0E39\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E23\u0E47\u0E27\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E1A\u0E32\u0E07\u0E17\u0E35 fast tokenizer \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E0A\u0E49\u0E32\u0E01\u0E27\u0E48\u0E32 slow tokenizer \u0E14\u0E49\u0E27\u0E22\u0E0B\u0E49\u0E33 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E01\u0E47\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E01\u0E31\u0E1A input \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19")},l(u){h=p(u,"P",{});var E=r(h);j=a(E,"\u26A0\uFE0F \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A tokenizer \u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E42\u0E14\u0E22\u0E14\u0E39\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E23\u0E47\u0E27\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E1A\u0E32\u0E07\u0E17\u0E35 fast tokenizer \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E0A\u0E49\u0E32\u0E01\u0E27\u0E48\u0E32 slow tokenizer \u0E14\u0E49\u0E27\u0E22\u0E0B\u0E49\u0E33 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E01\u0E47\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E01\u0E31\u0E1A input \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19"),E.forEach(n)},m(u,E){i(u,h,E),e(h,j)},d(u){u&&n(h)}}}function Ih(z){let h,j,u,E,R,O,B,T,S,H,q,N,P,X;return{c(){h=l("p"),j=t(`\u0E19\u0E34\u0E22\u0E32\u0E21\u0E02\u0E2D\u0E07 \u201C\u0E04\u0E33\u201D \u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E01\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E33\u0E2B\u0E19\u0E14 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19  \u201CI\u2019ll\u201D (\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E02\u0E2D\u0E07 \u201CI will\u201D ) \u0E04\u0E27\u0E23\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E2D\u0E07\u0E04\u0E33 ?
\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22 space \u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E27\u0E23\u0E23\u0E04\u0E15\u0E2D\u0E19 (punctuation) \u0E01\u0E48\u0E2D\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E36\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49 \u201CI\u2019ll\u201D \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E04\u0E33`),u=c(),E=l("p"),R=t("\u270F\uFE0F "),O=l("strong"),B=t("\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),T=t(" \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E08\u0E32\u0E01 checkpoint \u0E02\u0E2D\u0E07 "),S=l("code"),H=t("bert-base-cased"),q=t(" and "),N=l("code"),P=t("roberta-base"),X=t(" \u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E25\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E04\u0E33\u0E27\u0E48\u0E32 \u201D81s\u201D  \u0E04\u0E38\u0E13\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E40\u0E2B\u0E47\u0E19\u0E2D\u0E30\u0E44\u0E23\u0E1A\u0E49\u0E32\u0E07 \u0E41\u0E25\u0E30 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23")},l(D){h=p(D,"P",{});var A=r(h);j=a(A,`\u0E19\u0E34\u0E22\u0E32\u0E21\u0E02\u0E2D\u0E07 \u201C\u0E04\u0E33\u201D \u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E01\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E33\u0E2B\u0E19\u0E14 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19  \u201CI\u2019ll\u201D (\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E02\u0E2D\u0E07 \u201CI will\u201D ) \u0E04\u0E27\u0E23\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E2D\u0E07\u0E04\u0E33 ?
\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22 space \u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E27\u0E23\u0E23\u0E04\u0E15\u0E2D\u0E19 (punctuation) \u0E01\u0E48\u0E2D\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E36\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49 \u201CI\u2019ll\u201D \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E04\u0E33`),A.forEach(n),u=f(D),E=p(D,"P",{});var C=r(E);R=a(C,"\u270F\uFE0F "),O=p(C,"STRONG",{});var M=r(O);B=a(M,"\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),M.forEach(n),T=a(C," \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E08\u0E32\u0E01 checkpoint \u0E02\u0E2D\u0E07 "),S=p(C,"CODE",{});var w=r(S);H=a(w,"bert-base-cased"),w.forEach(n),q=a(C," and "),N=p(C,"CODE",{});var L=r(N);P=a(L,"roberta-base"),L.forEach(n),X=a(C," \u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E25\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E04\u0E33\u0E27\u0E48\u0E32 \u201D81s\u201D  \u0E04\u0E38\u0E13\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E40\u0E2B\u0E47\u0E19\u0E2D\u0E30\u0E44\u0E23\u0E1A\u0E49\u0E32\u0E07 \u0E41\u0E25\u0E30 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),C.forEach(n)},m(D,A){i(D,h,A),e(h,j),i(D,u,A),i(D,E,A),e(E,R),e(E,O),e(O,B),e(E,T),e(E,S),e(S,H),e(E,q),e(E,N),e(N,P),e(E,X)},d(D){D&&n(h),D&&n(u),D&&n(E)}}}function Ph(z){let h,j,u,E,R;return{c(){h=l("p"),j=t("\u270F\uFE0F "),u=l("strong"),E=t("\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),R=t(" \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E04\u0E34\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E16\u0E32\u0E21\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2B\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E47\u0E19 input \u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E49\u0E27\u0E14\u0E39\u0E27\u0E48\u0E32 ID \u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E31\u0E49\u0E19\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48")},l(O){h=p(O,"P",{});var B=r(h);j=a(B,"\u270F\uFE0F "),u=p(B,"STRONG",{});var T=r(u);E=a(T,"\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),T.forEach(n),R=a(B," \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E04\u0E34\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E16\u0E32\u0E21\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2B\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E47\u0E19 input \u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E49\u0E27\u0E14\u0E39\u0E27\u0E48\u0E32 ID \u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E31\u0E49\u0E19\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),B.forEach(n)},m(O,B){i(O,h,B),e(h,j),e(h,u),e(u,E),e(h,R)},d(O){O&&n(h)}}}function Dh(z){let h,j;return h=new Yp({props:{id:"PrX4CjrVnNc"}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function zh(z){let h,j;return h=new Yp({props:{id:"0E7ltQB7fM8"}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function Rh(z){let h,j,u,E,R,O,B,T,S,H,q,N,P,X,D,A,C,M,w,L;return S=new v({props:{code:`
`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForTokenClassification

model_checkpoint = <span class="hljs-string">&quot;dbmdz/bert-large-cased-finetuned-conll03-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = TFAutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
inputs = tokenizer(example, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
outputs = model(**inputs)`}}),C=new v({props:{code:`print(inputs["input_ids"].shape)
print(outputs.logits.shape)`,highlighted:`<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)
<span class="hljs-built_in">print</span>(outputs.logits.shape)`}}),w=new v({props:{code:`(1, 19)
(1, 19, 9)`,highlighted:`(<span class="hljs-number">1</span>, <span class="hljs-number">19</span>)
(<span class="hljs-number">1</span>, <span class="hljs-number">19</span>, <span class="hljs-number">9</span>)`}}),{c(){h=l("p"),j=t("\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=l("a"),E=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),R=t(" \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=l("code"),B=t("TFAutoXxx"),T=c(),g(S.$$.fragment),H=c(),q=l("p"),N=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=l("code"),X=t("TFAutoModelForTokenClassification"),D=t(" \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),A=c(),g(C.$$.fragment),M=c(),g(w.$$.fragment),this.h()},l(d){h=p(d,"P",{});var y=r(h);j=a(y,"\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=p(y,"A",{href:!0});var Os=r(u);E=a(Os,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Os.forEach(n),R=a(y," \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=p(y,"CODE",{});var os=r(O);B=a(os,"TFAutoXxx"),os.forEach(n),y.forEach(n),T=f(d),b(S.$$.fragment,d),H=f(d),q=p(d,"P",{});var es=r(q);N=a(es,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=p(es,"CODE",{});var Cs=r(P);X=a(Cs,"TFAutoModelForTokenClassification"),Cs.forEach(n),D=a(es," \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),es.forEach(n),A=f(d),b(C.$$.fragment,d),M=f(d),b(w.$$.fragment,d),this.h()},h(){k(u,"href","/course/chapter2")},m(d,y){i(d,h,y),e(h,j),e(h,u),e(u,E),e(h,R),e(h,O),e(O,B),i(d,T,y),_(S,d,y),i(d,H,y),i(d,q,y),e(q,N),e(q,P),e(P,X),e(q,D),i(d,A,y),_(C,d,y),i(d,M,y),_(w,d,y),L=!0},i(d){L||(x(S.$$.fragment,d),x(C.$$.fragment,d),x(w.$$.fragment,d),L=!0)},o(d){m(S.$$.fragment,d),m(C.$$.fragment,d),m(w.$$.fragment,d),L=!1},d(d){d&&n(h),d&&n(T),$(S,d),d&&n(H),d&&n(q),d&&n(A),$(C,d),d&&n(M),$(w,d)}}}function Sh(z){let h,j,u,E,R,O,B,T,S,H,q,N,P,X,D,A,C,M,w,L;return S=new v({props:{code:`
`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForTokenClassification

model_checkpoint = <span class="hljs-string">&quot;dbmdz/bert-large-cased-finetuned-conll03-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
inputs = tokenizer(example, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
outputs = model(**inputs)`}}),C=new v({props:{code:`print(inputs["input_ids"].shape)
print(outputs.logits.shape)`,highlighted:`<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)
<span class="hljs-built_in">print</span>(outputs.logits.shape)`}}),w=new v({props:{code:`torch.Size([1, 19])
torch.Size([1, 19, 9])`,highlighted:`torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">19</span>])
torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">19</span>, <span class="hljs-number">9</span>])`}}),{c(){h=l("p"),j=t("\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=l("a"),E=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),R=t(" \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=l("code"),B=t("AutoXxx"),T=c(),g(S.$$.fragment),H=c(),q=l("p"),N=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=l("code"),X=t("AutoModelForTokenClassification"),D=t(" \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),A=c(),g(C.$$.fragment),M=c(),g(w.$$.fragment),this.h()},l(d){h=p(d,"P",{});var y=r(h);j=a(y,"\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=p(y,"A",{href:!0});var Os=r(u);E=a(Os,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Os.forEach(n),R=a(y," \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=p(y,"CODE",{});var os=r(O);B=a(os,"AutoXxx"),os.forEach(n),y.forEach(n),T=f(d),b(S.$$.fragment,d),H=f(d),q=p(d,"P",{});var es=r(q);N=a(es,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=p(es,"CODE",{});var Cs=r(P);X=a(Cs,"AutoModelForTokenClassification"),Cs.forEach(n),D=a(es," \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),es.forEach(n),A=f(d),b(C.$$.fragment,d),M=f(d),b(w.$$.fragment,d),this.h()},h(){k(u,"href","/course/chapter2")},m(d,y){i(d,h,y),e(h,j),e(h,u),e(u,E),e(h,R),e(h,O),e(O,B),i(d,T,y),_(S,d,y),i(d,H,y),i(d,q,y),e(q,N),e(q,P),e(P,X),e(q,D),i(d,A,y),_(C,d,y),i(d,M,y),_(w,d,y),L=!0},i(d){L||(x(S.$$.fragment,d),x(C.$$.fragment,d),x(w.$$.fragment,d),L=!0)},o(d){m(S.$$.fragment,d),m(C.$$.fragment,d),m(w.$$.fragment,d),L=!1},d(d){d&&n(h),d&&n(T),$(S,d),d&&n(H),d&&n(q),d&&n(A),$(C,d),d&&n(M),$(w,d)}}}function qh(z){let h,j;return h=new v({props:{code:"",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

probabilities = tf.math.softmax(outputs.logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]
probabilities = probabilities.numpy().tolist()
predictions = tf.math.argmax(outputs.logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]
predictions = predictions.numpy().tolist()
<span class="hljs-built_in">print</span>(predictions)`}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function Bh(z){let h,j;return h=new v({props:{code:"",highlighted:`<span class="hljs-keyword">import</span> torch

probabilities = torch.nn.functional.softmax(outputs.logits, dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].tolist()
predictions = outputs.logits.argmax(dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].tolist()
<span class="hljs-built_in">print</span>(predictions)`}}),{c(){g(h.$$.fragment)},l(u){b(h.$$.fragment,u)},m(u,E){_(h,u,E),j=!0},i(u){j||(x(h.$$.fragment,u),j=!0)},o(u){m(h.$$.fragment,u),j=!1},d(u){$(h,u)}}}function Th(z){let h,j,u,E,R,O,B,T,S,H,q,N,P,X,D,A,C,M,w,L,d,y,Os,os,es,Cs,Yn,Qp,Up,an,Jp,Kp,Qa,oe,Ua,Xs,Wp,ln,Zp,sr,Ja,As,Qn,Is,pn,er,nr,rn,tr,ar,Un,lr,ie,Ps,on,Jn,pr,rr,cn,or,ir,fn,cr,fr,Ds,un,Kn,ur,hr,hn,dr,mr,dn,xr,Ka,Hs,Wa,zs,Ns,Wn,ce,jr,Zn,gr,Za,fe,sl,js,br,st,_r,$r,et,kr,Er,el,ue,vr,nt,yr,nl,he,tt,wr,Or,tl,mn,Cr,al,de,ll,Gs,Ir,at,Pr,Dr,pl,me,rl,J,zr,lt,Rr,Sr,pt,qr,Br,rt,Tr,Fr,ot,Xr,Ar,ol,xe,il,je,cl,gs,Hr,it,Nr,Gr,ct,Mr,Lr,fl,ge,ul,be,hl,xn,Vr,dl,_e,ml,$e,xl,Ms,Yr,ft,Qr,Ur,jl,Ls,Jr,ut,Kr,Wr,gl,ke,bl,Ee,_l,K,Zr,ht,so,eo,dt,no,to,mt,ao,lo,xt,po,ro,$l,Vs,oo,jt,io,co,kl,Ys,El,ts,fo,gt,uo,ho,bt,mo,xo,_t,jo,go,vl,ns,bo,$t,_o,$o,kt,ko,Eo,Et,vo,yo,vt,wo,yl,bs,Oo,yt,Co,Io,wt,Po,Do,wl,ve,Ol,ye,Cl,_s,zo,Ot,Ro,So,Ct,qo,Bo,Il,Qs,Pl,Rs,Us,It,we,To,jn,Fo,Pt,Xo,Dl,W,Ao,gn,Ho,No,Dt,Go,Mo,bn,Lo,Vo,zt,Yo,Qo,zl,is,cs,_n,Ss,Js,Rt,Oe,Uo,St,Jo,Rl,Ks,Ko,Ce,qt,Wo,Zo,Sl,Ie,ql,Pe,Bl,$n,si,Tl,De,Fl,ze,Xl,V,Bt,ei,ni,Tt,ti,ai,Ft,li,pi,Xt,ri,oi,At,ii,ci,Ht,fi,Al,kn,ui,Hl,$s,Ws,Nt,hi,di,Gt,mi,xi,ji,En,Mt,gi,bi,_i,Zs,Lt,$i,ki,Vt,Ei,vi,Nl,se,yi,Yt,wi,Oi,Gl,qs,ee,Qt,Re,Ci,Ut,Ii,Ml,fs,us,vn,yn,Pi,Ll,hs,ds,wn,Se,Vl,ne,Di,Jt,zi,Ri,Yl,qe,Ql,Be,Ul,ks,Si,Kt,qi,Bi,Wt,Ti,Fi,Jl,I,Xi,Zt,Ai,Hi,sa,Ni,Gi,ea,Mi,Li,na,Vi,Yi,ta,Qi,Ui,aa,Ji,Ki,la,Wi,Zi,pa,sc,ec,ra,nc,tc,oa,ac,lc,ia,pc,rc,Kl,U,oc,ca,ic,cc,fa,fc,uc,ua,hc,dc,ha,mc,xc,da,jc,Wl,ms,gc,ma,bc,_c,xa,$c,kc,ja,Ec,Zl,Bs,Te,Ff,vc,Fe,Xf,sp,te,yc,ga,wc,Oc,ep,Xe,np,Ae,tp,ae,Cc,ba,Ic,Pc,ap,He,lp,Ne,pp,as,Dc,_a,zc,Rc,$a,Sc,qc,ka,Bc,Tc,rp,Ge,op,Es,Fc,Ea,Xc,Ac,va,Hc,Nc,ip,Me,cp,On,Gc,fp,Le,up,Ve,hp,Cn,Mc,dp,Ts,le,ya,Ye,Lc,wa,Vc,mp,In,Yc,xp,G,Qc,Oa,Uc,Jc,Ca,Kc,Wc,Ia,Zc,sf,Pa,ef,nf,Da,tf,af,za,lf,pf,jp,Y,rf,Ra,of,cf,Sa,ff,uf,qa,hf,df,Ba,mf,xf,Ta,jf,gf,gp,Qe,bp,Ue,_p,Pn,bf,$p,Q,_f,Fa,$f,kf,Xa,Ef,vf,Aa,yf,wf,Ha,Of,Cf,Na,If,Pf,kp,Je,Ep,Dn,Df,vp,Ke,yp,zn,zf,wp;u=new yh({props:{fw:z[0]}}),T=new Vn({});const Af=[Oh,wh],We=[];function Hf(s,o){return s[0]==="pt"?0:1}P=Hf(z),X=We[P]=Af[P](z),oe=new Yp({props:{id:"g8quOxoqhHQ"}}),Hs=new Tf({props:{warning:!0,$$slots:{default:[Ch]},$$scope:{ctx:z}}}),ce=new Vn({}),fe=new Yp({props:{id:"3umI3tm27Vw"}}),de=new v({props:{code:"",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)
example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
encoding = tokenizer(example)
<span class="hljs-built_in">print</span>(<span class="hljs-built_in">type</span>(encoding))`}}),me=new v({props:{code:"<class 'transformers.tokenization_utils_base.BatchEncoding'>",highlighted:'&lt;<span class="hljs-keyword">class</span> <span class="hljs-string">&#x27;transformers.tokenization_utils_base.BatchEncoding&#x27;</span>&gt;'}}),xe=new v({props:{code:"tokenizer.is_fast",highlighted:"tokenizer.is_fast"}}),je=new v({props:{code:"True",highlighted:'<span class="hljs-literal">True</span>'}}),ge=new v({props:{code:"encoding.is_fast",highlighted:"encoding.is_fast"}}),be=new v({props:{code:"True",highlighted:'<span class="hljs-literal">True</span>'}}),_e=new v({props:{code:"encoding.tokens()",highlighted:"encoding.tokens()"}}),$e=new v({props:{code:`['[CLS]', 'My', 'name', 'is', 'S', '##yl', '##va', '##in', 'and', 'I', 'work', 'at', 'Hu', '##gging', 'Face', 'in',
 'Brooklyn', '.', '[SEP]']`,highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;My&#x27;</span>, <span class="hljs-string">&#x27;name&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;and&#x27;</span>, <span class="hljs-string">&#x27;I&#x27;</span>, <span class="hljs-string">&#x27;work&#x27;</span>, <span class="hljs-string">&#x27;at&#x27;</span>, <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;in&#x27;</span>,
 <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]`}}),ke=new v({props:{code:"encoding.word_ids()",highlighted:"encoding.word_ids()"}}),Ee=new v({props:{code:"[None, 0, 1, 2, 3, 3, 3, 3, 4, 5, 6, 7, 8, 8, 9, 10, 11, 12, None]",highlighted:'[<span class="hljs-literal">None</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">4</span>, <span class="hljs-number">5</span>, <span class="hljs-number">6</span>, <span class="hljs-number">7</span>, <span class="hljs-number">8</span>, <span class="hljs-number">8</span>, <span class="hljs-number">9</span>, <span class="hljs-number">10</span>, <span class="hljs-number">11</span>, <span class="hljs-number">12</span>, <span class="hljs-literal">None</span>]'}}),Ys=new Tf({props:{$$slots:{default:[Ih]},$$scope:{ctx:z}}}),ve=new v({props:{code:`start, end = encoding.word_to_chars(3)
example[start:end]`,highlighted:`start, end = encoding.word_to_chars(<span class="hljs-number">3</span>)
example[start:end]`}}),ye=new v({props:{code:"Sylvain",highlighted:"Sylvain"}}),Qs=new Tf({props:{$$slots:{default:[Ph]},$$scope:{ctx:z}}}),we=new Vn({});const Nf=[zh,Dh],Ze=[];function Gf(s,o){return s[0]==="pt"?0:1}is=Gf(z),cs=Ze[is]=Nf[is](z),Oe=new Vn({}),Ie=new v({props:{code:"",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

token_classifier = pipeline(<span class="hljs-string">&quot;token-classification&quot;</span>)
token_classifier(<span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>)`}}),Pe=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S', 'start': 11, 'end': 12},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl', 'start': 12, 'end': 14},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va', 'start': 14, 'end': 16},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in', 'start': 16, 'end': 18},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu', 'start': 33, 'end': 35},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging', 'start': 35, 'end': 40},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face', 'start': 41, 'end': 45},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">12</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">14</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">16</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">35</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">35</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">40</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">41</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),De=new v({props:{code:"",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

token_classifier = pipeline(<span class="hljs-string">&quot;token-classification&quot;</span>, aggregation_strategy=<span class="hljs-string">&quot;simple&quot;</span>)
token_classifier(<span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>)`}}),ze=new v({props:{code:`[{'entity_group': 'PER', 'score': 0.9981694, 'word': 'Sylvain', 'start': 11, 'end': 18},
 {'entity_group': 'ORG', 'score': 0.97960204, 'word': 'Hugging Face', 'start': 33, 'end': 45},
 {'entity_group': 'LOC', 'score': 0.99321055, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9981694</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Sylvain&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97960204</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hugging Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),Re=new Vn({});const Mf=[Sh,Rh],sn=[];function Lf(s,o){return s[0]==="pt"?0:1}fs=Lf(z),us=sn[fs]=Mf[fs](z);const Vf=[Bh,qh],en=[];function Yf(s,o){return s[0]==="pt"?0:1}return hs=Yf(z),ds=en[hs]=Vf[hs](z),Se=new v({props:{code:"[0, 0, 0, 0, 4, 4, 4, 4, 0, 0, 0, 0, 6, 6, 6, 0, 8, 0, 0]",highlighted:'[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">6</span>, <span class="hljs-number">6</span>, <span class="hljs-number">6</span>, <span class="hljs-number">0</span>, <span class="hljs-number">8</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]'}}),qe=new v({props:{code:"model.config.id2label",highlighted:"model.config.id2label"}}),Be=new v({props:{code:`{0: 'O',
 1: 'B-MISC',
 2: 'I-MISC',
 3: 'B-PER',
 4: 'I-PER',
 5: 'B-ORG',
 6: 'I-ORG',
 7: 'B-LOC',
 8: 'I-LOC'}`,highlighted:`{<span class="hljs-number">0</span>: <span class="hljs-string">&#x27;O&#x27;</span>,
 <span class="hljs-number">1</span>: <span class="hljs-string">&#x27;B-MISC&#x27;</span>,
 <span class="hljs-number">2</span>: <span class="hljs-string">&#x27;I-MISC&#x27;</span>,
 <span class="hljs-number">3</span>: <span class="hljs-string">&#x27;B-PER&#x27;</span>,
 <span class="hljs-number">4</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>,
 <span class="hljs-number">5</span>: <span class="hljs-string">&#x27;B-ORG&#x27;</span>,
 <span class="hljs-number">6</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>,
 <span class="hljs-number">7</span>: <span class="hljs-string">&#x27;B-LOC&#x27;</span>,
 <span class="hljs-number">8</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>}`}}),Xe=new v({props:{code:`
`,highlighted:`results = []
tokens = inputs.tokens()

<span class="hljs-keyword">for</span> idx, pred <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(predictions):
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        results.append(
            {<span class="hljs-string">&quot;entity&quot;</span>: label, <span class="hljs-string">&quot;score&quot;</span>: probabilities[idx][pred], <span class="hljs-string">&quot;word&quot;</span>: tokens[idx]}
        )

<span class="hljs-built_in">print</span>(results)`}}),Ae=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S'},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl'},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va'},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in'},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu'},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging'},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face'},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn'}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>}]`}}),He=new v({props:{code:`inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
inputs_with_offsets["offset_mapping"]`,highlighted:`inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]`}}),Ne=new v({props:{code:`[(0, 0), (0, 2), (3, 7), (8, 10), (11, 12), (12, 14), (14, 16), (16, 18), (19, 22), (23, 24), (25, 29), (30, 32),
 (33, 35), (35, 40), (41, 45), (46, 48), (49, 57), (57, 58), (0, 0)]`,highlighted:`[(<span class="hljs-number">0</span>, <span class="hljs-number">0</span>), (<span class="hljs-number">0</span>, <span class="hljs-number">2</span>), (<span class="hljs-number">3</span>, <span class="hljs-number">7</span>), (<span class="hljs-number">8</span>, <span class="hljs-number">10</span>), (<span class="hljs-number">11</span>, <span class="hljs-number">12</span>), (<span class="hljs-number">12</span>, <span class="hljs-number">14</span>), (<span class="hljs-number">14</span>, <span class="hljs-number">16</span>), (<span class="hljs-number">16</span>, <span class="hljs-number">18</span>), (<span class="hljs-number">19</span>, <span class="hljs-number">22</span>), (<span class="hljs-number">23</span>, <span class="hljs-number">24</span>), (<span class="hljs-number">25</span>, <span class="hljs-number">29</span>), (<span class="hljs-number">30</span>, <span class="hljs-number">32</span>),
 (<span class="hljs-number">33</span>, <span class="hljs-number">35</span>), (<span class="hljs-number">35</span>, <span class="hljs-number">40</span>), (<span class="hljs-number">41</span>, <span class="hljs-number">45</span>), (<span class="hljs-number">46</span>, <span class="hljs-number">48</span>), (<span class="hljs-number">49</span>, <span class="hljs-number">57</span>), (<span class="hljs-number">57</span>, <span class="hljs-number">58</span>), (<span class="hljs-number">0</span>, <span class="hljs-number">0</span>)]`}}),Ge=new v({props:{code:"example[12:14]",highlighted:'example[<span class="hljs-number">12</span>:<span class="hljs-number">14</span>]'}}),Me=new v({props:{code:"yl",highlighted:"yl"}}),Le=new v({props:{code:`
`,highlighted:`results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]

<span class="hljs-keyword">for</span> idx, pred <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(predictions):
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        start, end = offsets[idx]
        results.append(
            {
                <span class="hljs-string">&quot;entity&quot;</span>: label,
                <span class="hljs-string">&quot;score&quot;</span>: probabilities[idx][pred],
                <span class="hljs-string">&quot;word&quot;</span>: tokens[idx],
                <span class="hljs-string">&quot;start&quot;</span>: start,
                <span class="hljs-string">&quot;end&quot;</span>: end,
            }
        )

<span class="hljs-built_in">print</span>(results)`}}),Ve=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S', 'start': 11, 'end': 12},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl', 'start': 12, 'end': 14},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va', 'start': 14, 'end': 16},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in', 'start': 16, 'end': 18},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu', 'start': 33, 'end': 35},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging', 'start': 35, 'end': 40},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face', 'start': 41, 'end': 45},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">12</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">14</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">16</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">35</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">35</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">40</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">41</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),Ye=new Vn({}),Qe=new v({props:{code:"example[33:45]",highlighted:'example[<span class="hljs-number">33</span>:<span class="hljs-number">45</span>]'}}),Ue=new v({props:{code:"Hugging Face",highlighted:"Hugging Face"}}),Je=new v({props:{code:`



`,highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]

idx = <span class="hljs-number">0</span>
<span class="hljs-keyword">while</span> idx &lt; <span class="hljs-built_in">len</span>(predictions):
    pred = predictions[idx]
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        <span class="hljs-comment"># Remove the B- or I-</span>
        label = label[<span class="hljs-number">2</span>:]
        start, _ = offsets[idx]

        <span class="hljs-comment"># Grab all the tokens labeled with I-label</span>
        all_scores = []
        <span class="hljs-keyword">while</span> (
            idx &lt; <span class="hljs-built_in">len</span>(predictions)
            <span class="hljs-keyword">and</span> model.config.id2label[predictions[idx]] == <span class="hljs-string">f&quot;I-<span class="hljs-subst">{label}</span>&quot;</span>
        ):
            all_scores.append(probabilities[idx][pred])
            _, end = offsets[idx]
            idx += <span class="hljs-number">1</span>

        <span class="hljs-comment"># The score is the mean of all the scores of the tokens in that grouped entity</span>
        score = np.mean(all_scores).item()
        word = example[start:end]
        results.append(
            {
                <span class="hljs-string">&quot;entity_group&quot;</span>: label,
                <span class="hljs-string">&quot;score&quot;</span>: score,
                <span class="hljs-string">&quot;word&quot;</span>: word,
                <span class="hljs-string">&quot;start&quot;</span>: start,
                <span class="hljs-string">&quot;end&quot;</span>: end,
            }
        )
    idx += <span class="hljs-number">1</span>

<span class="hljs-built_in">print</span>(results)`}}),Ke=new v({props:{code:`[{'entity_group': 'PER', 'score': 0.9981694, 'word': 'Sylvain', 'start': 11, 'end': 18},
 {'entity_group': 'ORG', 'score': 0.97960204, 'word': 'Hugging Face', 'start': 33, 'end': 45},
 {'entity_group': 'LOC', 'score': 0.99321055, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9981694</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Sylvain&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97960204</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hugging Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),{c(){h=l("meta"),j=c(),g(u.$$.fragment),E=c(),R=l("h1"),O=l("a"),B=l("span"),g(T.$$.fragment),S=c(),H=l("span"),q=t("\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"),N=c(),X.c(),D=c(),A=l("p"),C=t(`\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E43\u0E19 \u{1F917} Transformers library \u0E01\u0E31\u0E19
\u0E43\u0E19\u0E1A\u0E17\u0E01\u0E48\u0E2D\u0E19\u0E46 \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49 tokenizer \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2D\u0E35\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30 tokenizer \u0E08\u0E32\u0E01 \u{1F917} Tokenizers library`),M=c(),w=l("p"),L=t("\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2B\u0E47\u0E19\u0E20\u0E32\u0E1E\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (reproduce) \u0E02\u0E2D\u0E07 "),d=l("code"),y=t("token-classification"),Os=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E27\u0E48\u0E32 "),os=l("code"),es=t("ner"),Cs=t(") \u0E41\u0E25\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 pipeline \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A "),Yn=l("code"),Qp=t("question-answering"),Up=t(" \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27"),an=l("a"),Jp=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Kp=t("\u0E01\u0E31\u0E19"),Qa=c(),g(oe.$$.fragment),Ua=c(),Xs=l("p"),Wp=t(`\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01 tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32 (slow) \u0E41\u0E25\u0E30\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Python \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Transformers library \u0E2A\u0E48\u0E27\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Rust \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E15\u0E32\u0E23\u0E32\u0E07\u0E08\u0E32\u0E01`),ln=l("a"),Zp=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 5"),sr=t("\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E32\u0E23\u0E32\u0E07\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E40\u0E27\u0E25\u0E32 \u0E17\u0E35\u0E48 tokenizer \u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32 \u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 Drug Review \u0E04\u0E38\u0E13\u0E01\u0E47\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E17\u0E33\u0E44\u0E21\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E23\u0E35\u0E22\u0E01\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E41\u0E25\u0E30\u0E40\u0E23\u0E47\u0E27"),Ja=c(),As=l("table"),Qn=l("thead"),Is=l("tr"),pn=l("th"),er=t("Fast tokenizer"),nr=c(),rn=l("th"),tr=t("Slow tokenizer"),ar=c(),Un=l("th"),lr=c(),ie=l("tbody"),Ps=l("tr"),on=l("td"),Jn=l("code"),pr=t("batched=True"),rr=c(),cn=l("td"),or=t("10.8s"),ir=c(),fn=l("td"),cr=t("4min41s"),fr=c(),Ds=l("tr"),un=l("td"),Kn=l("code"),ur=t("batched=False"),hr=c(),hn=l("td"),dr=t("59.2s"),mr=c(),dn=l("td"),xr=t("5min3s"),Ka=c(),g(Hs.$$.fragment),Wa=c(),zs=l("h2"),Ns=l("a"),Wn=l("span"),g(ce.$$.fragment),jr=c(),Zn=l("span"),gr=t("Batch encoding"),Za=c(),g(fe.$$.fragment),sl=c(),js=l("p"),br=t("output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 dictionary \u0E41\u0E15\u0E48\u0E40\u0E1B\u0E47\u0E19 Python object \u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),st=l("code"),_r=t("BatchEncoding"),$r=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 subclass \u0E02\u0E2D\u0E07 dictionary \u0E2D\u0E35\u0E01\u0E17\u0E35 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 index \u0E15\u0E31\u0E27 output \u0E44\u0E14\u0E49 "),et=l("code"),kr=t("BatchEncoding"),Er=t(" \u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 dictionary \u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 \u0E21\u0E31\u0E19\u0E21\u0E35 method \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21 \u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E32\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22 fast tokenizer"),el=c(),ue=l("p"),vr=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01 fast tokenizer \u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E21\u0E31\u0E19\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 span (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A) \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),nt=l("em"),yr=t("offset mapping"),nl=c(),he=l("p"),tt=l("em"),wr=t("offset mapping"),Or=t(" \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E42\u0E22\u0E07 \u201C\u0E04\u0E33\u201D \u0E44\u0E1B\u0E2B\u0E32 token \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49 (\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u201C\u0E04\u0E33\u201D \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 \u0E01\u0E25\u0E38\u0E48\u0E21\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E33\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E32\u0E22 token \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E47\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E42\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E44\u0E1B\u0E2B\u0E32 token \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19"),tl=c(),mn=l("p"),Cr=t("\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19:"),al=c(),g(de.$$.fragment),ll=c(),Gs=l("p"),Ir=t("\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E04\u0E37\u0E2D "),at=l("code"),Pr=t("BatchEncoding"),Dr=t(" \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E25\u0E48\u0E32\u0E27\u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19:"),pl=c(),g(me.$$.fragment),rl=c(),J=l("p"),zr=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 class "),lt=l("code"),Rr=t("AutoTokenizer"),Sr=t(" \u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27 fast tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 (by default) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),pt=l("code"),qr=t("BatchEncoding"),Br=t(` \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 \u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E49\u0E32 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2A\u0E2D\u0E07\u0E27\u0E34\u0E18\u0E35 \u0E27\u0E34\u0E18\u0E35\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 attribute `),rt=l("code"),Tr=t("is_fast"),Fr=t(" \u0E02\u0E2D\u0E07 "),ot=l("code"),Xr=t("tokenizer"),Ar=t(" :"),ol=c(),g(xe.$$.fragment),il=c(),g(je.$$.fragment),cl=c(),gs=l("p"),Hr=t("\u0E2D\u0E35\u0E01\u0E27\u0E34\u0E18\u0E35\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04 attribute "),it=l("code"),Nr=t("is_fast"),Gr=t(" \u0E02\u0E2D\u0E07 "),ct=l("code"),Mr=t("encoding"),Lr=t(":"),fl=c(),g(ge.$$.fragment),ul=c(),g(be.$$.fragment),hl=c(),xn=l("p"),Vr=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 fast tokenizer \u0E17\u0E33\u0E2D\u0E30\u0E44\u0E23\u0E44\u0E14\u0E49\u0E1A\u0E49\u0E32\u0E07 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39 token \u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 ID \u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 token"),dl=c(),g(_e.$$.fragment),ml=c(),g($e.$$.fragment),xl=c(),Ms=l("p"),Yr=t("\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D "),ft=l("code"),Qr=t("##yl"),Ur=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D"),jl=c(),Ls=l("p"),Jr=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method "),ut=l("code"),Kr=t("word_ids()"),Wr=t(" \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),gl=c(),g(ke.$$.fragment),bl=c(),g(Ee.$$.fragment),_l=c(),K=l("p"),Zr=t("\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E22\u0E48\u0E32\u0E07 "),ht=l("code"),so=t("[CLS]"),eo=t(" \u0E41\u0E25\u0E30 "),dt=l("code"),no=t("[SEP]"),to=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 "),mt=l("code"),ao=t("None"),lo=t(` \u0E2A\u0E48\u0E27\u0E19 token \u0E2D\u0E37\u0E48\u0E19\u0E46\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E49\u0E19\u0E15\u0E2D\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19
\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49 \u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E19\u0E43\u0E08\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48 \u0E41\u0E25\u0E30\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E14\u0E39\u0E17\u0E35\u0E48\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C `),xt=l("code"),po=t("##"),ro=t(" \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 token (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E23\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E04\u0E33) \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E41\u0E1A\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27"),$l=c(),Vs=l("p"),oo=t(`\u0E43\u0E19\u0E1A\u0E17\u0E2B\u0E19\u0E49\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 label \u0E01\u0E31\u0E1A token \u0E43\u0E19 task \u0E40\u0E0A\u0E48\u0E19 entity recognition (NER) and part-of-speech (POS) tagging \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E43\u0E0A\u0E49 masked language modeling \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 (\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),jt=l("em"),io=t("whole word masking"),co=t(")"),kl=c(),g(Ys.$$.fragment),El=c(),ts=l("p"),fo=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35 method \u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E0A\u0E37\u0E48\u0E2D "),gt=l("code"),uo=t("sentence_ids()"),ho=t(" \u0E17\u0E35\u0E48\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E49\u0E19\u0E15\u0E2D \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),bt=l("code"),mo=t("token_type_ids"),xo=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19 tokenizer \u0E41\u0E17\u0E19 "),_t=l("code"),jo=t("sentence_ids()"),go=t(" \u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19"),vl=c(),ns=l("p"),bo=t("\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E04\u0E37\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E23\u0E37\u0E2D\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 method "),$t=l("code"),_o=t("word_to_chars()"),$o=t(" \u0E2B\u0E23\u0E37\u0E2D "),kt=l("code"),ko=t("token_to_chars()"),Eo=t(" \u0E41\u0E25\u0E30 "),Et=l("code"),vo=t("char_to_word()"),yo=t(" \u0E2B\u0E23\u0E37\u0E2D "),vt=l("code"),wo=t("char_to_token()"),yl=c(),bs=l("p"),Oo=t("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 method "),yt=l("code"),Co=t("word_ids()"),Io=t(" \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 "),wt=l("code"),Po=t("##yl"),Do=t(" \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 3 \u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2D\u0E22\u0E32\u0E01\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E44\u0E14\u0E49\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),wl=c(),g(ve.$$.fragment),Ol=c(),g(ye.$$.fragment),Cl=c(),_s=l("p"),zo=t("\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1A\u0E2D\u0E01\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 fast tokenizer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E21\u0E31\u0E19\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E02\u0E2D\u0E07 "),Ot=l("em"),Ro=t("offsets"),So=t(`
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 feature \u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 pipeline `),Ct=l("code"),qo=t("token-classification"),Bo=t(" \u0E01\u0E31\u0E19"),Il=c(),g(Qs.$$.fragment),Pl=c(),Rs=l("h2"),Us=l("a"),It=l("span"),g(we.$$.fragment),To=c(),jn=l("span"),Fo=t("\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline "),Pt=l("code"),Xo=t("token-classification"),Dl=c(),W=l("p"),Ao=t("\u0E43\u0E19"),gn=l("a"),Ho=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),No=t(" \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E30\u0E1A\u0E1A NER \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 entitiy \u0E40\u0E0A\u0E48\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48 \u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Dt=l("code"),Go=t("pipeline()"),Mo=t(` \u0E08\u0E32\u0E01 \u{1F917} Transformers
\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E19`),bn=l("a"),Lo=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Vo=t(` \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 pipeline \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 3 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2A\u0E48\u0E07\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (post-processing)
\u0E2A\u0E2D\u0E07\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01\u0E43\u0E19 pipeline `),zt=l("code"),Yo=t("token-classification"),Qo=t(" \u0E19\u0E31\u0E49\u0E19 \u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E41\u0E15\u0E48\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19 post-processing \u0E08\u0E30\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19"),zl=c(),cs.c(),_n=c(),Ss=l("h3"),Js=l("a"),Rt=l("span"),g(Oe.$$.fragment),Uo=c(),St=l("span"),Jo=t("\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"),Rl=c(),Ks=l("p"),Ko=t(`\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 token classification pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A pipeline
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E04\u0E37\u0E2D `),Ce=l("a"),qt=l("code"),Wo=t("dbmdz/bert-large-cased-finetuned-conll03-english"),Zo=t(" \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19 NER \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input:"),Sl=c(),g(Ie.$$.fragment),ql=c(),g(Pe.$$.fragment),Bl=c(),$n=l("p"),si=t(`\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01 \u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E41\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E41\u0E25\u0E30 \u201CBrooklyn\u201D \u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 pipeline \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E21\u0E35 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22`),Tl=c(),g(De.$$.fragment),Fl=c(),g(ze.$$.fragment),Xl=c(),V=l("p"),Bt=l("code"),ei=t("aggregation_strategy"),ni=t(` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01 \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E04\u0E33\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A `),Tt=l("code"),ti=t('"simple"'),ai=t(" \u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E30\u0E41\u0E19\u0E19\u0E08\u0E32\u0E01 token \u0E22\u0E48\u0E2D\u0E22\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ft=l("code"),li=t("S"),pi=t(", "),Xt=l("code"),ri=t("##yl"),oi=t(", "),At=l("code"),ii=t("##va"),ci=t(", and "),Ht=l("code"),fi=t("##in"),Al=c(),kn=l("p"),ui=t("\u0E27\u0E34\u0E18\u0E35\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E2D\u0E37\u0E48\u0E19 :"),Hl=c(),$s=l("ul"),Ws=l("li"),Nt=l("code"),hi=t('"first"'),di=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.993828 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 "),Gt=l("code"),mi=t("S"),xi=t(")"),ji=c(),En=l("li"),Mt=l("code"),gi=t('"max"'),bi=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E30\u0E41\u0E19\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.98879766 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 \u201CFace\u201D)"),_i=c(),Zs=l("li"),Lt=l("code"),$i=t('"average"'),ki=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07 entity \u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 entity (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E08\u0E30\u0E44\u0E21\u0E48\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A "),Vt=l("code"),Ei=t('"simple"'),vi=t(" \u0E41\u0E15\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E08\u0E33\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19 0.9819 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22 \u0E02\u0E2D\u0E07 \u201CHugging\u201D 0.975 \u0E41\u0E25\u0E30 \u201CFace\u201D 0.98879)"),Nl=c(),se=l("p"),yi=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Yt=l("code"),wi=t("pipeline()"),Oi=t("!"),Gl=c(),qs=l("h3"),ee=l("a"),Qt=l("span"),g(Re.$$.fragment),Ci=c(),Ut=l("span"),Ii=t("\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"),Ml=c(),us.c(),vn=c(),yn=l("p"),Pi=t(`\u0E41\u0E15\u0E48\u0E25\u0E30 batch \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 1 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 token 19 \u0E15\u0E31\u0E27 \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E19\u0E32\u0E22\u0E44\u0E14\u0E49 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D 1 x 19 x 9
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 text classification pipeline \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (probabilities) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E32 argmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 (\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 argmax \u0E02\u0E2D\u0E07\u0E04\u0E48\u0E32 logits \u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E19 softmax \u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2B\u0E21\u0E27\u0E14 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E2B\u0E21\u0E27\u0E14\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19)`),Ll=c(),ds.c(),wn=c(),g(Se.$$.fragment),Vl=c(),ne=l("p"),Di=t("attribute "),Jt=l("code"),zi=t("model.config.id2label"),Ri=t(" \u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A mapping \u0E02\u0E2D\u0E07 index \u0E44\u0E1B\u0E2B\u0E32 label \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),Yl=c(),g(qe.$$.fragment),Ql=c(),g(Be.$$.fragment),Ul=c(),ks=l("p"),Si=t("\u0E08\u0E32\u0E01 output \u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 label "),Kt=l("code"),qi=t("O"),Bi=t(" \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19 named entity ("),Wt=l("code"),Ti=t("O"),Fi=t(" \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Coutside\u201D) \u0E41\u0E25\u0E30 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E02\u0E2D\u0E07 entity \u0E08\u0E30\u0E21\u0E35\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E2A\u0E2D\u0E07 label (\u0E40\u0E23\u0E32\u0E21\u0E35\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 4 entity: miscellaneous, person, organization, and location)"),Jl=c(),I=l("p"),Xi=t("\u0E16\u0E49\u0E32 token \u0E16\u0E39\u0E01 label \u0E14\u0E49\u0E27\u0E22 "),Zt=l("code"),Ai=t("B-XXX"),Hi=t(" \u0E19\u0E31\u0E48\u0E19\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),sa=l("code"),Ni=t("XXX"),Gi=t(" \u0E2A\u0E48\u0E27\u0E19 label "),ea=l("code"),Mi=t("I-XXX"),Li=t(" \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),na=l("code"),Vi=t("XXX"),Yi=t(`
\u0E16\u0E49\u0E32\u0E14\u0E39\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 token `),ta=l("code"),Qi=t("S"),Ui=t(" \u0E01\u0E31\u0E1A\u0E2B\u0E21\u0E27\u0E14 "),aa=l("code"),Ji=t("B-PER"),Ki=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),la=l("code"),Wi=t("S"),Zi=t(" \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19) \u0E2A\u0E48\u0E27\u0E19 token "),pa=l("code"),sc=t("##yl"),ec=t(", "),ra=l("code"),nc=t("##va"),tc=t(" \u0E41\u0E25\u0E30 "),oa=l("code"),ac=t("##in"),lc=t(" \u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E16\u0E39\u0E01\u0E17\u0E33\u0E19\u0E32\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E21\u0E27\u0E14 "),ia=l("code"),pc=t("I-PER"),rc=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19)"),Kl=c(),U=l("p"),oc=t("\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E17\u0E33\u0E19\u0E32\u0E22\u0E1C\u0E34\u0E14\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E35\u0E48 token \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ca=l("code"),ic=t("I-PER"),cc=t(` \u0E41\u0E15\u0E48\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 \u0E17\u0E33\u0E19\u0E32\u0E22\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E01\u0E47\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1C\u0E34\u0E14\u0E44\u0E1B\u0E0B\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14
\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E01\u0E32\u0E23\u0E17\u0E33\u0E19\u0E32\u0E22\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 label `),fa=l("code"),fc=t("B-"),uc=t(" \u0E41\u0E25\u0E30 "),ua=l("code"),hc=t("I-"),dc=t(" \u0E43\u0E19\u0E07\u0E32\u0E19 NER \u0E21\u0E35\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E04\u0E37\u0E2D "),ha=l("em"),mc=t("IOB1"),xc=t(" and "),da=l("em"),jc=t("IOB2"),Wl=c(),ms=l("p"),gc=t("IOB1 (\u0E2A\u0E35\u0E2A\u0E49\u0E21) \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E2A\u0E48\u0E27\u0E19 IOB2 (\u0E2A\u0E35\u0E21\u0E48\u0E27\u0E07) \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),ma=l("code"),bc=t("B-"),_c=t(` \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E41\u0E1A\u0E48\u0E07 entity \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E43\u0E2B\u0E49\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E01\u0E31\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01 fine-tune \u0E08\u0E32\u0E01\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E21\u0E35 label \u0E41\u0E1A\u0E1A IOB2 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22 `),xa=l("code"),$c=t("S"),kc=t(" \u0E40\u0E1B\u0E47\u0E19 "),ja=l("code"),Ec=t("I-PER"),Zl=c(),Bs=l("div"),Te=l("img"),vc=c(),Fe=l("img"),sp=c(),te=l("p"),yc=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C \u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E41\u0E25\u0E30 label \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 "),ga=l("code"),wc=t("O"),Oc=t("\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),ep=c(),g(Xe.$$.fragment),np=c(),g(Ae.$$.fragment),tp=c(),ae=l("p"),Cc=t(`\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E02\u0E49\u0E2D\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E14\u0E49\u0E27\u0E22
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset mapping \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E32 offset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E15 `),ba=l("code"),Ic=t("return_offsets_mapping=True"),Pc=t(" \u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E23\u0E31\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33"),ap=c(),g(He.$$.fragment),lp=c(),g(Ne.$$.fragment),pp=c(),as=l("p"),Dc=t("\u0E41\u0E15\u0E48\u0E25\u0E30 tuple \u0E43\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E48\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E27\u0E01 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E01\u0E47\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 span \u0E40\u0E1B\u0E47\u0E19 "),_a=l("code"),zc=t("(0, 0)"),Rc=t(`
\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D `),$a=l("code"),Sc=t("##yl"),qc=t(" \u0E21\u0E35\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19 "),ka=l("code"),Bc=t("(12, 14)"),Tc=t(`
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E14\u0E49\u0E27\u0E22 index \u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32\u0E19\u0E35\u0E49`),rp=c(),g(Ge.$$.fragment),op=c(),Es=l("p"),Fc=t("\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Ea=l("code"),Xc=t("yl"),Ac=t(" \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),va=l("code"),Hc=t("##"),Nc=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E25\u0E30\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C:"),ip=c(),g(Me.$$.fragment),cp=c(),On=l("p"),Gc=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E43\u0E19 pipeline:"),fp=c(),g(Le.$$.fragment),up=c(),g(Ve.$$.fragment),hp=c(),Cn=l("p"),Mc=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E41\u0E25\u0E49\u0E27!"),dp=c(),Ts=l("h3"),le=l("a"),ya=l("span"),g(Ye.$$.fragment),Lc=c(),wa=l("span"),Vc=t("\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"),mp=c(),In=l("p"),Yc=t(`\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 offset \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01\u0E19\u0E31\u0E01
\u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E21\u0E35\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E14\u0E49\u0E27\u0E22`),xp=c(),G=l("p"),Qc=t("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 "),Oa=l("code"),Uc=t("Hu"),Jc=t(", "),Ca=l("code"),Kc=t("##gging"),Wc=t(", \u0E41\u0E25\u0E30 "),Ia=l("code"),Zc=t("Face"),sf=t(" \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E27\u0E48\u0E32 \u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E41\u0E23\u0E01\u0E01\u0E31\u0E1A token \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E25\u0E1A "),Pa=l("code"),ef=t("##"),nf=t(` \u0E2D\u0E2D\u0E01
\u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E0A\u0E48\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21 \u0E40\u0E1E\u0E23\u0E32\u0E30 `),Da=l("code"),tf=t("Face"),af=t(" \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22  "),za=l("code"),lf=t("##"),pf=t(` \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E40\u0E0A\u0E48\u0E19 \u0E41\u0E1A\u0E1A SentencePiece \u0E2B\u0E23\u0E37\u0E2D Byte-Pair-Encoding \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E43\u0E2B\u0E21\u0E48`),jp=c(),Y=l("p"),rf=t(`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E0E\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E40\u0E2D\u0E07 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01 \u0E41\u0E25\u0E30 \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07 entity \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35 3 token `),Ra=l("code"),of=t("Hu"),cf=t(", "),Sa=l("code"),ff=t("##gging"),uf=t(", \u0E41\u0E25\u0E30 "),qa=l("code"),hf=t("Face"),df=t(" \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 33 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 "),Ba=l("code"),mf=t("Hu"),xf=t(") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E41\u0E25\u0E30 45 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 "),Ta=l("code"),jf=t("Hu"),gf=t(") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E08\u0E1A\u0E02\u0E2D\u0E07 entity \u0E19\u0E35\u0E49"),gp=c(),g(Qe.$$.fragment),bp=c(),g(Ue.$$.fragment),_p=c(),Pn=l("p"),bf=t("\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E31\u0E19 (post-processing) \u0E42\u0E14\u0E22\u0E08\u0E30\u0E17\u0E33\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),$p=c(),Q=l("p"),_f=t("\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 token \u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 entity \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07 "),Fa=l("code"),$f=t("B-XXX"),kf=t(" \u0E41\u0E25\u0E30 "),Xa=l("code"),Ef=t("I-XXX"),vf=t(" \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E15\u0E31\u0E27\u0E16\u0E31\u0E14\u0E46\u0E44\u0E1B \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Aa=l("code"),yf=t("I-XXX"),wf=t(" \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19 "),Ha=l("code"),Of=t("O"),Cf=t(" (\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 entity \u0E43\u0E14\u0E46 \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21) \u0E2B\u0E23\u0E37\u0E2D "),Na=l("code"),If=t("B-XXX"),Pf=t(" (\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E23\u0E27\u0E21 entity \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48)"),kp=c(),g(Je.$$.fragment),Ep=c(),Dn=l("p"),Df=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E41\u0E25\u0E49\u0E27!"),vp=c(),g(Ke.$$.fragment),yp=c(),zn=l("p"),zf=t(`\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E07\u0E32\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E01\u0E47\u0E04\u0E37\u0E2D question answering
\u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E1A\u0E1A\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E08\u0E31\u0E01\u0E01\u0E31\u0E1A feature \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07 tokenizers \u0E43\u0E19 \u{1F917} Transformers library \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A tokens \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input`),this.h()},l(s){const o=Eh('[data-svelte="svelte-1phssyn"]',document.head);h=p(o,"META",{name:!0,content:!0}),o.forEach(n),j=f(s),b(u.$$.fragment,s),E=f(s),R=p(s,"H1",{class:!0});var nn=r(R);O=p(nn,"A",{id:!0,class:!0,href:!0});var Rn=r(O);B=p(Rn,"SPAN",{});var Ga=r(B);b(T.$$.fragment,Ga),Ga.forEach(n),Rn.forEach(n),S=f(nn),H=p(nn,"SPAN",{});var Ma=r(H);q=a(Ma,"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"),Ma.forEach(n),nn.forEach(n),N=f(s),X.l(s),D=f(s),A=p(s,"P",{});var La=r(A);C=a(La,`\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E43\u0E19 \u{1F917} Transformers library \u0E01\u0E31\u0E19
\u0E43\u0E19\u0E1A\u0E17\u0E01\u0E48\u0E2D\u0E19\u0E46 \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49 tokenizer \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2D\u0E35\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30 tokenizer \u0E08\u0E32\u0E01 \u{1F917} Tokenizers library`),La.forEach(n),M=f(s),w=p(s,"P",{});var Z=r(w);L=a(Z,"\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2B\u0E47\u0E19\u0E20\u0E32\u0E1E\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (reproduce) \u0E02\u0E2D\u0E07 "),d=p(Z,"CODE",{});var Sn=r(d);y=a(Sn,"token-classification"),Sn.forEach(n),Os=a(Z," (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E27\u0E48\u0E32 "),os=p(Z,"CODE",{});var qn=r(os);es=a(qn,"ner"),qn.forEach(n),Cs=a(Z,") \u0E41\u0E25\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 pipeline \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A "),Yn=p(Z,"CODE",{});var Qf=r(Yn);Qp=a(Qf,"question-answering"),Qf.forEach(n),Up=a(Z," \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27"),an=p(Z,"A",{href:!0});var Uf=r(an);Jp=a(Uf,"\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Uf.forEach(n),Kp=a(Z,"\u0E01\u0E31\u0E19"),Z.forEach(n),Qa=f(s),b(oe.$$.fragment,s),Ua=f(s),Xs=p(s,"P",{});var Op=r(Xs);Wp=a(Op,`\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01 tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32 (slow) \u0E41\u0E25\u0E30\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Python \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Transformers library \u0E2A\u0E48\u0E27\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Rust \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E15\u0E32\u0E23\u0E32\u0E07\u0E08\u0E32\u0E01`),ln=p(Op,"A",{href:!0});var Jf=r(ln);Zp=a(Jf,"\u0E1A\u0E17\u0E17\u0E35\u0E48 5"),Jf.forEach(n),sr=a(Op,"\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E32\u0E23\u0E32\u0E07\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E40\u0E27\u0E25\u0E32 \u0E17\u0E35\u0E48 tokenizer \u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32 \u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 Drug Review \u0E04\u0E38\u0E13\u0E01\u0E47\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E17\u0E33\u0E44\u0E21\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E23\u0E35\u0E22\u0E01\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E41\u0E25\u0E30\u0E40\u0E23\u0E47\u0E27"),Op.forEach(n),Ja=f(s),As=p(s,"TABLE",{});var Cp=r(As);Qn=p(Cp,"THEAD",{});var Kf=r(Qn);Is=p(Kf,"TR",{});var Bn=r(Is);pn=p(Bn,"TH",{align:!0});var Wf=r(pn);er=a(Wf,"Fast tokenizer"),Wf.forEach(n),nr=f(Bn),rn=p(Bn,"TH",{align:!0});var Zf=r(rn);tr=a(Zf,"Slow tokenizer"),Zf.forEach(n),ar=f(Bn),Un=p(Bn,"TH",{align:!0}),r(Un).forEach(n),Bn.forEach(n),Kf.forEach(n),lr=f(Cp),ie=p(Cp,"TBODY",{});var Ip=r(ie);Ps=p(Ip,"TR",{});var Tn=r(Ps);on=p(Tn,"TD",{align:!0});var s2=r(on);Jn=p(s2,"CODE",{});var e2=r(Jn);pr=a(e2,"batched=True"),e2.forEach(n),s2.forEach(n),rr=f(Tn),cn=p(Tn,"TD",{align:!0});var n2=r(cn);or=a(n2,"10.8s"),n2.forEach(n),ir=f(Tn),fn=p(Tn,"TD",{align:!0});var t2=r(fn);cr=a(t2,"4min41s"),t2.forEach(n),Tn.forEach(n),fr=f(Ip),Ds=p(Ip,"TR",{});var Fn=r(Ds);un=p(Fn,"TD",{align:!0});var a2=r(un);Kn=p(a2,"CODE",{});var l2=r(Kn);ur=a(l2,"batched=False"),l2.forEach(n),a2.forEach(n),hr=f(Fn),hn=p(Fn,"TD",{align:!0});var p2=r(hn);dr=a(p2,"59.2s"),p2.forEach(n),mr=f(Fn),dn=p(Fn,"TD",{align:!0});var r2=r(dn);xr=a(r2,"5min3s"),r2.forEach(n),Fn.forEach(n),Ip.forEach(n),Cp.forEach(n),Ka=f(s),b(Hs.$$.fragment,s),Wa=f(s),zs=p(s,"H2",{class:!0});var Pp=r(zs);Ns=p(Pp,"A",{id:!0,class:!0,href:!0});var o2=r(Ns);Wn=p(o2,"SPAN",{});var i2=r(Wn);b(ce.$$.fragment,i2),i2.forEach(n),o2.forEach(n),jr=f(Pp),Zn=p(Pp,"SPAN",{});var c2=r(Zn);gr=a(c2,"Batch encoding"),c2.forEach(n),Pp.forEach(n),Za=f(s),b(fe.$$.fragment,s),sl=f(s),js=p(s,"P",{});var Xn=r(js);br=a(Xn,"output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 dictionary \u0E41\u0E15\u0E48\u0E40\u0E1B\u0E47\u0E19 Python object \u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),st=p(Xn,"CODE",{});var f2=r(st);_r=a(f2,"BatchEncoding"),f2.forEach(n),$r=a(Xn," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 subclass \u0E02\u0E2D\u0E07 dictionary \u0E2D\u0E35\u0E01\u0E17\u0E35 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 index \u0E15\u0E31\u0E27 output \u0E44\u0E14\u0E49 "),et=p(Xn,"CODE",{});var u2=r(et);kr=a(u2,"BatchEncoding"),u2.forEach(n),Er=a(Xn," \u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 dictionary \u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 \u0E21\u0E31\u0E19\u0E21\u0E35 method \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21 \u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E32\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22 fast tokenizer"),Xn.forEach(n),el=f(s),ue=p(s,"P",{});var Rf=r(ue);vr=a(Rf,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01 fast tokenizer \u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E21\u0E31\u0E19\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 span (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A) \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),nt=p(Rf,"EM",{});var h2=r(nt);yr=a(h2,"offset mapping"),h2.forEach(n),Rf.forEach(n),nl=f(s),he=p(s,"P",{});var Sf=r(he);tt=p(Sf,"EM",{});var d2=r(tt);wr=a(d2,"offset mapping"),d2.forEach(n),Or=a(Sf," \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E42\u0E22\u0E07 \u201C\u0E04\u0E33\u201D \u0E44\u0E1B\u0E2B\u0E32 token \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49 (\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u201C\u0E04\u0E33\u201D \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 \u0E01\u0E25\u0E38\u0E48\u0E21\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E33\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E32\u0E22 token \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E47\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E42\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E44\u0E1B\u0E2B\u0E32 token \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19"),Sf.forEach(n),tl=f(s),mn=p(s,"P",{});var m2=r(mn);Cr=a(m2,"\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19:"),m2.forEach(n),al=f(s),b(de.$$.fragment,s),ll=f(s),Gs=p(s,"P",{});var Dp=r(Gs);Ir=a(Dp,"\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E04\u0E37\u0E2D "),at=p(Dp,"CODE",{});var x2=r(at);Pr=a(x2,"BatchEncoding"),x2.forEach(n),Dr=a(Dp," \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E25\u0E48\u0E32\u0E27\u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19:"),Dp.forEach(n),pl=f(s),b(me.$$.fragment,s),rl=f(s),J=p(s,"P",{});var vs=r(J);zr=a(vs,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 class "),lt=p(vs,"CODE",{});var j2=r(lt);Rr=a(j2,"AutoTokenizer"),j2.forEach(n),Sr=a(vs," \u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27 fast tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 (by default) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),pt=p(vs,"CODE",{});var g2=r(pt);qr=a(g2,"BatchEncoding"),g2.forEach(n),Br=a(vs,` \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 \u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E49\u0E32 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2A\u0E2D\u0E07\u0E27\u0E34\u0E18\u0E35 \u0E27\u0E34\u0E18\u0E35\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 attribute `),rt=p(vs,"CODE",{});var b2=r(rt);Tr=a(b2,"is_fast"),b2.forEach(n),Fr=a(vs," \u0E02\u0E2D\u0E07 "),ot=p(vs,"CODE",{});var _2=r(ot);Xr=a(_2,"tokenizer"),_2.forEach(n),Ar=a(vs," :"),vs.forEach(n),ol=f(s),b(xe.$$.fragment,s),il=f(s),b(je.$$.fragment,s),cl=f(s),gs=p(s,"P",{});var An=r(gs);Hr=a(An,"\u0E2D\u0E35\u0E01\u0E27\u0E34\u0E18\u0E35\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04 attribute "),it=p(An,"CODE",{});var $2=r(it);Nr=a($2,"is_fast"),$2.forEach(n),Gr=a(An," \u0E02\u0E2D\u0E07 "),ct=p(An,"CODE",{});var k2=r(ct);Mr=a(k2,"encoding"),k2.forEach(n),Lr=a(An,":"),An.forEach(n),fl=f(s),b(ge.$$.fragment,s),ul=f(s),b(be.$$.fragment,s),hl=f(s),xn=p(s,"P",{});var E2=r(xn);Vr=a(E2,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 fast tokenizer \u0E17\u0E33\u0E2D\u0E30\u0E44\u0E23\u0E44\u0E14\u0E49\u0E1A\u0E49\u0E32\u0E07 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39 token \u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 ID \u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 token"),E2.forEach(n),dl=f(s),b(_e.$$.fragment,s),ml=f(s),b($e.$$.fragment,s),xl=f(s),Ms=p(s,"P",{});var zp=r(Ms);Yr=a(zp,"\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D "),ft=p(zp,"CODE",{});var v2=r(ft);Qr=a(v2,"##yl"),v2.forEach(n),Ur=a(zp," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D"),zp.forEach(n),jl=f(s),Ls=p(s,"P",{});var Rp=r(Ls);Jr=a(Rp,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method "),ut=p(Rp,"CODE",{});var y2=r(ut);Kr=a(y2,"word_ids()"),y2.forEach(n),Wr=a(Rp," \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),Rp.forEach(n),gl=f(s),b(ke.$$.fragment,s),bl=f(s),b(Ee.$$.fragment,s),_l=f(s),K=p(s,"P",{});var ys=r(K);Zr=a(ys,"\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E22\u0E48\u0E32\u0E07 "),ht=p(ys,"CODE",{});var w2=r(ht);so=a(w2,"[CLS]"),w2.forEach(n),eo=a(ys," \u0E41\u0E25\u0E30 "),dt=p(ys,"CODE",{});var O2=r(dt);no=a(O2,"[SEP]"),O2.forEach(n),to=a(ys," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 "),mt=p(ys,"CODE",{});var C2=r(mt);ao=a(C2,"None"),C2.forEach(n),lo=a(ys,` \u0E2A\u0E48\u0E27\u0E19 token \u0E2D\u0E37\u0E48\u0E19\u0E46\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E49\u0E19\u0E15\u0E2D\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19
\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49 \u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E19\u0E43\u0E08\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48 \u0E41\u0E25\u0E30\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E14\u0E39\u0E17\u0E35\u0E48\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C `),xt=p(ys,"CODE",{});var I2=r(xt);po=a(I2,"##"),I2.forEach(n),ro=a(ys," \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 token (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E23\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E04\u0E33) \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E41\u0E1A\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27"),ys.forEach(n),$l=f(s),Vs=p(s,"P",{});var Sp=r(Vs);oo=a(Sp,`\u0E43\u0E19\u0E1A\u0E17\u0E2B\u0E19\u0E49\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 label \u0E01\u0E31\u0E1A token \u0E43\u0E19 task \u0E40\u0E0A\u0E48\u0E19 entity recognition (NER) and part-of-speech (POS) tagging \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E43\u0E0A\u0E49 masked language modeling \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 (\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),jt=p(Sp,"EM",{});var P2=r(jt);io=a(P2,"whole word masking"),P2.forEach(n),co=a(Sp,")"),Sp.forEach(n),kl=f(s),b(Ys.$$.fragment,s),El=f(s),ts=p(s,"P",{});var pe=r(ts);fo=a(pe,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35 method \u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E0A\u0E37\u0E48\u0E2D "),gt=p(pe,"CODE",{});var D2=r(gt);uo=a(D2,"sentence_ids()"),D2.forEach(n),ho=a(pe," \u0E17\u0E35\u0E48\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E49\u0E19\u0E15\u0E2D \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),bt=p(pe,"CODE",{});var z2=r(bt);mo=a(z2,"token_type_ids"),z2.forEach(n),xo=a(pe," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19 tokenizer \u0E41\u0E17\u0E19 "),_t=p(pe,"CODE",{});var R2=r(_t);jo=a(R2,"sentence_ids()"),R2.forEach(n),go=a(pe," \u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19"),pe.forEach(n),vl=f(s),ns=p(s,"P",{});var Fs=r(ns);bo=a(Fs,"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E04\u0E37\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E23\u0E37\u0E2D\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 method "),$t=p(Fs,"CODE",{});var S2=r($t);_o=a(S2,"word_to_chars()"),S2.forEach(n),$o=a(Fs," \u0E2B\u0E23\u0E37\u0E2D "),kt=p(Fs,"CODE",{});var q2=r(kt);ko=a(q2,"token_to_chars()"),q2.forEach(n),Eo=a(Fs," \u0E41\u0E25\u0E30 "),Et=p(Fs,"CODE",{});var B2=r(Et);vo=a(B2,"char_to_word()"),B2.forEach(n),yo=a(Fs," \u0E2B\u0E23\u0E37\u0E2D "),vt=p(Fs,"CODE",{});var T2=r(vt);wo=a(T2,"char_to_token()"),T2.forEach(n),Fs.forEach(n),yl=f(s),bs=p(s,"P",{});var Hn=r(bs);Oo=a(Hn,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 method "),yt=p(Hn,"CODE",{});var F2=r(yt);Co=a(F2,"word_ids()"),F2.forEach(n),Io=a(Hn," \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 "),wt=p(Hn,"CODE",{});var X2=r(wt);Po=a(X2,"##yl"),X2.forEach(n),Do=a(Hn," \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 3 \u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2D\u0E22\u0E32\u0E01\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E44\u0E14\u0E49\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Hn.forEach(n),wl=f(s),b(ve.$$.fragment,s),Ol=f(s),b(ye.$$.fragment,s),Cl=f(s),_s=p(s,"P",{});var Nn=r(_s);zo=a(Nn,"\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1A\u0E2D\u0E01\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 fast tokenizer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E21\u0E31\u0E19\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E02\u0E2D\u0E07 "),Ot=p(Nn,"EM",{});var A2=r(Ot);Ro=a(A2,"offsets"),A2.forEach(n),So=a(Nn,`
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 feature \u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 pipeline `),Ct=p(Nn,"CODE",{});var H2=r(Ct);qo=a(H2,"token-classification"),H2.forEach(n),Bo=a(Nn," \u0E01\u0E31\u0E19"),Nn.forEach(n),Il=f(s),b(Qs.$$.fragment,s),Pl=f(s),Rs=p(s,"H2",{class:!0});var qp=r(Rs);Us=p(qp,"A",{id:!0,class:!0,href:!0});var N2=r(Us);It=p(N2,"SPAN",{});var G2=r(It);b(we.$$.fragment,G2),G2.forEach(n),N2.forEach(n),To=f(qp),jn=p(qp,"SPAN",{});var qf=r(jn);Fo=a(qf,"\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline "),Pt=p(qf,"CODE",{});var M2=r(Pt);Xo=a(M2,"token-classification"),M2.forEach(n),qf.forEach(n),qp.forEach(n),Dl=f(s),W=p(s,"P",{});var ws=r(W);Ao=a(ws,"\u0E43\u0E19"),gn=p(ws,"A",{href:!0});var L2=r(gn);Ho=a(L2,"\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),L2.forEach(n),No=a(ws," \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E30\u0E1A\u0E1A NER \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 entitiy \u0E40\u0E0A\u0E48\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48 \u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Dt=p(ws,"CODE",{});var V2=r(Dt);Go=a(V2,"pipeline()"),V2.forEach(n),Mo=a(ws,` \u0E08\u0E32\u0E01 \u{1F917} Transformers
\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E19`),bn=p(ws,"A",{href:!0});var Y2=r(bn);Lo=a(Y2,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Y2.forEach(n),Vo=a(ws,` \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 pipeline \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 3 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2A\u0E48\u0E07\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (post-processing)
\u0E2A\u0E2D\u0E07\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01\u0E43\u0E19 pipeline `),zt=p(ws,"CODE",{});var Q2=r(zt);Yo=a(Q2,"token-classification"),Q2.forEach(n),Qo=a(ws," \u0E19\u0E31\u0E49\u0E19 \u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E41\u0E15\u0E48\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19 post-processing \u0E08\u0E30\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19"),ws.forEach(n),zl=f(s),cs.l(s),_n=f(s),Ss=p(s,"H3",{class:!0});var Bp=r(Ss);Js=p(Bp,"A",{id:!0,class:!0,href:!0});var U2=r(Js);Rt=p(U2,"SPAN",{});var J2=r(Rt);b(Oe.$$.fragment,J2),J2.forEach(n),U2.forEach(n),Uo=f(Bp),St=p(Bp,"SPAN",{});var K2=r(St);Jo=a(K2,"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"),K2.forEach(n),Bp.forEach(n),Rl=f(s),Ks=p(s,"P",{});var Tp=r(Ks);Ko=a(Tp,`\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 token classification pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A pipeline
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E04\u0E37\u0E2D `),Ce=p(Tp,"A",{href:!0,rel:!0});var W2=r(Ce);qt=p(W2,"CODE",{});var Z2=r(qt);Wo=a(Z2,"dbmdz/bert-large-cased-finetuned-conll03-english"),Z2.forEach(n),W2.forEach(n),Zo=a(Tp," \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19 NER \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input:"),Tp.forEach(n),Sl=f(s),b(Ie.$$.fragment,s),ql=f(s),b(Pe.$$.fragment,s),Bl=f(s),$n=p(s,"P",{});var su=r($n);si=a(su,`\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01 \u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E41\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E41\u0E25\u0E30 \u201CBrooklyn\u201D \u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 pipeline \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E21\u0E35 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22`),su.forEach(n),Tl=f(s),b(De.$$.fragment,s),Fl=f(s),b(ze.$$.fragment,s),Xl=f(s),V=p(s,"P",{});var ls=r(V);Bt=p(ls,"CODE",{});var eu=r(Bt);ei=a(eu,"aggregation_strategy"),eu.forEach(n),ni=a(ls,` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01 \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E04\u0E33\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A `),Tt=p(ls,"CODE",{});var nu=r(Tt);ti=a(nu,'"simple"'),nu.forEach(n),ai=a(ls," \u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E30\u0E41\u0E19\u0E19\u0E08\u0E32\u0E01 token \u0E22\u0E48\u0E2D\u0E22\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ft=p(ls,"CODE",{});var tu=r(Ft);li=a(tu,"S"),tu.forEach(n),pi=a(ls,", "),Xt=p(ls,"CODE",{});var au=r(Xt);ri=a(au,"##yl"),au.forEach(n),oi=a(ls,", "),At=p(ls,"CODE",{});var lu=r(At);ii=a(lu,"##va"),lu.forEach(n),ci=a(ls,", and "),Ht=p(ls,"CODE",{});var pu=r(Ht);fi=a(pu,"##in"),pu.forEach(n),ls.forEach(n),Al=f(s),kn=p(s,"P",{});var ru=r(kn);ui=a(ru,"\u0E27\u0E34\u0E18\u0E35\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E2D\u0E37\u0E48\u0E19 :"),ru.forEach(n),Hl=f(s),$s=p(s,"UL",{});var Gn=r($s);Ws=p(Gn,"LI",{});var Va=r(Ws);Nt=p(Va,"CODE",{});var ou=r(Nt);hi=a(ou,'"first"'),ou.forEach(n),di=a(Va," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.993828 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 "),Gt=p(Va,"CODE",{});var iu=r(Gt);mi=a(iu,"S"),iu.forEach(n),xi=a(Va,")"),Va.forEach(n),ji=f(Gn),En=p(Gn,"LI",{});var Bf=r(En);Mt=p(Bf,"CODE",{});var cu=r(Mt);gi=a(cu,'"max"'),cu.forEach(n),bi=a(Bf," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E30\u0E41\u0E19\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.98879766 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 \u201CFace\u201D)"),Bf.forEach(n),_i=f(Gn),Zs=p(Gn,"LI",{});var Ya=r(Zs);Lt=p(Ya,"CODE",{});var fu=r(Lt);$i=a(fu,'"average"'),fu.forEach(n),ki=a(Ya," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07 entity \u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 entity (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E08\u0E30\u0E44\u0E21\u0E48\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A "),Vt=p(Ya,"CODE",{});var uu=r(Vt);Ei=a(uu,'"simple"'),uu.forEach(n),vi=a(Ya," \u0E41\u0E15\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E08\u0E33\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19 0.9819 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22 \u0E02\u0E2D\u0E07 \u201CHugging\u201D 0.975 \u0E41\u0E25\u0E30 \u201CFace\u201D 0.98879)"),Ya.forEach(n),Gn.forEach(n),Nl=f(s),se=p(s,"P",{});var Fp=r(se);yi=a(Fp,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Yt=p(Fp,"CODE",{});var hu=r(Yt);wi=a(hu,"pipeline()"),hu.forEach(n),Oi=a(Fp,"!"),Fp.forEach(n),Gl=f(s),qs=p(s,"H3",{class:!0});var Xp=r(qs);ee=p(Xp,"A",{id:!0,class:!0,href:!0});var du=r(ee);Qt=p(du,"SPAN",{});var mu=r(Qt);b(Re.$$.fragment,mu),mu.forEach(n),du.forEach(n),Ci=f(Xp),Ut=p(Xp,"SPAN",{});var xu=r(Ut);Ii=a(xu,"\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"),xu.forEach(n),Xp.forEach(n),Ml=f(s),us.l(s),vn=f(s),yn=p(s,"P",{});var ju=r(yn);Pi=a(ju,`\u0E41\u0E15\u0E48\u0E25\u0E30 batch \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 1 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 token 19 \u0E15\u0E31\u0E27 \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E19\u0E32\u0E22\u0E44\u0E14\u0E49 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D 1 x 19 x 9
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 text classification pipeline \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (probabilities) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E32 argmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 (\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 argmax \u0E02\u0E2D\u0E07\u0E04\u0E48\u0E32 logits \u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E19 softmax \u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2B\u0E21\u0E27\u0E14 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E2B\u0E21\u0E27\u0E14\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19)`),ju.forEach(n),Ll=f(s),ds.l(s),wn=f(s),b(Se.$$.fragment,s),Vl=f(s),ne=p(s,"P",{});var Ap=r(ne);Di=a(Ap,"attribute "),Jt=p(Ap,"CODE",{});var gu=r(Jt);zi=a(gu,"model.config.id2label"),gu.forEach(n),Ri=a(Ap," \u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A mapping \u0E02\u0E2D\u0E07 index \u0E44\u0E1B\u0E2B\u0E32 label \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),Ap.forEach(n),Yl=f(s),b(qe.$$.fragment,s),Ql=f(s),b(Be.$$.fragment,s),Ul=f(s),ks=p(s,"P",{});var Mn=r(ks);Si=a(Mn,"\u0E08\u0E32\u0E01 output \u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 label "),Kt=p(Mn,"CODE",{});var bu=r(Kt);qi=a(bu,"O"),bu.forEach(n),Bi=a(Mn," \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19 named entity ("),Wt=p(Mn,"CODE",{});var _u=r(Wt);Ti=a(_u,"O"),_u.forEach(n),Fi=a(Mn," \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Coutside\u201D) \u0E41\u0E25\u0E30 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E02\u0E2D\u0E07 entity \u0E08\u0E30\u0E21\u0E35\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E2A\u0E2D\u0E07 label (\u0E40\u0E23\u0E32\u0E21\u0E35\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 4 entity: miscellaneous, person, organization, and location)"),Mn.forEach(n),Jl=f(s),I=p(s,"P",{});var F=r(I);Xi=a(F,"\u0E16\u0E49\u0E32 token \u0E16\u0E39\u0E01 label \u0E14\u0E49\u0E27\u0E22 "),Zt=p(F,"CODE",{});var $u=r(Zt);Ai=a($u,"B-XXX"),$u.forEach(n),Hi=a(F," \u0E19\u0E31\u0E48\u0E19\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),sa=p(F,"CODE",{});var ku=r(sa);Ni=a(ku,"XXX"),ku.forEach(n),Gi=a(F," \u0E2A\u0E48\u0E27\u0E19 label "),ea=p(F,"CODE",{});var Eu=r(ea);Mi=a(Eu,"I-XXX"),Eu.forEach(n),Li=a(F," \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),na=p(F,"CODE",{});var vu=r(na);Vi=a(vu,"XXX"),vu.forEach(n),Yi=a(F,`
\u0E16\u0E49\u0E32\u0E14\u0E39\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 token `),ta=p(F,"CODE",{});var yu=r(ta);Qi=a(yu,"S"),yu.forEach(n),Ui=a(F," \u0E01\u0E31\u0E1A\u0E2B\u0E21\u0E27\u0E14 "),aa=p(F,"CODE",{});var wu=r(aa);Ji=a(wu,"B-PER"),wu.forEach(n),Ki=a(F," (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),la=p(F,"CODE",{});var Ou=r(la);Wi=a(Ou,"S"),Ou.forEach(n),Zi=a(F," \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19) \u0E2A\u0E48\u0E27\u0E19 token "),pa=p(F,"CODE",{});var Cu=r(pa);sc=a(Cu,"##yl"),Cu.forEach(n),ec=a(F,", "),ra=p(F,"CODE",{});var Iu=r(ra);nc=a(Iu,"##va"),Iu.forEach(n),tc=a(F," \u0E41\u0E25\u0E30 "),oa=p(F,"CODE",{});var Pu=r(oa);ac=a(Pu,"##in"),Pu.forEach(n),lc=a(F," \u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E16\u0E39\u0E01\u0E17\u0E33\u0E19\u0E32\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E21\u0E27\u0E14 "),ia=p(F,"CODE",{});var Du=r(ia);pc=a(Du,"I-PER"),Du.forEach(n),rc=a(F," (\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19)"),F.forEach(n),Kl=f(s),U=p(s,"P",{});var xs=r(U);oc=a(xs,"\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E17\u0E33\u0E19\u0E32\u0E22\u0E1C\u0E34\u0E14\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E35\u0E48 token \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ca=p(xs,"CODE",{});var zu=r(ca);ic=a(zu,"I-PER"),zu.forEach(n),cc=a(xs,` \u0E41\u0E15\u0E48\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 \u0E17\u0E33\u0E19\u0E32\u0E22\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E01\u0E47\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1C\u0E34\u0E14\u0E44\u0E1B\u0E0B\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14
\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E01\u0E32\u0E23\u0E17\u0E33\u0E19\u0E32\u0E22\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 label `),fa=p(xs,"CODE",{});var Ru=r(fa);fc=a(Ru,"B-"),Ru.forEach(n),uc=a(xs," \u0E41\u0E25\u0E30 "),ua=p(xs,"CODE",{});var Su=r(ua);hc=a(Su,"I-"),Su.forEach(n),dc=a(xs," \u0E43\u0E19\u0E07\u0E32\u0E19 NER \u0E21\u0E35\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E04\u0E37\u0E2D "),ha=p(xs,"EM",{});var qu=r(ha);mc=a(qu,"IOB1"),qu.forEach(n),xc=a(xs," and "),da=p(xs,"EM",{});var Bu=r(da);jc=a(Bu,"IOB2"),Bu.forEach(n),xs.forEach(n),Wl=f(s),ms=p(s,"P",{});var tn=r(ms);gc=a(tn,"IOB1 (\u0E2A\u0E35\u0E2A\u0E49\u0E21) \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E2A\u0E48\u0E27\u0E19 IOB2 (\u0E2A\u0E35\u0E21\u0E48\u0E27\u0E07) \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),ma=p(tn,"CODE",{});var Tu=r(ma);bc=a(Tu,"B-"),Tu.forEach(n),_c=a(tn,` \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E41\u0E1A\u0E48\u0E07 entity \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E43\u0E2B\u0E49\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E01\u0E31\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01 fine-tune \u0E08\u0E32\u0E01\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E21\u0E35 label \u0E41\u0E1A\u0E1A IOB2 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22 `),xa=p(tn,"CODE",{});var Fu=r(xa);$c=a(Fu,"S"),Fu.forEach(n),kc=a(tn," \u0E40\u0E1B\u0E47\u0E19 "),ja=p(tn,"CODE",{});var Xu=r(ja);Ec=a(Xu,"I-PER"),Xu.forEach(n),tn.forEach(n),Zl=f(s),Bs=p(s,"DIV",{class:!0});var Hp=r(Bs);Te=p(Hp,"IMG",{class:!0,src:!0,alt:!0}),vc=f(Hp),Fe=p(Hp,"IMG",{class:!0,src:!0,alt:!0}),Hp.forEach(n),sp=f(s),te=p(s,"P",{});var Np=r(te);yc=a(Np,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C \u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E41\u0E25\u0E30 label \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 "),ga=p(Np,"CODE",{});var Au=r(ga);wc=a(Au,"O"),Au.forEach(n),Oc=a(Np,"\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),Np.forEach(n),ep=f(s),b(Xe.$$.fragment,s),np=f(s),b(Ae.$$.fragment,s),tp=f(s),ae=p(s,"P",{});var Gp=r(ae);Cc=a(Gp,`\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E02\u0E49\u0E2D\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E14\u0E49\u0E27\u0E22
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset mapping \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E19\u0E04\u0E48\u0E32 offset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E15 `),ba=p(Gp,"CODE",{});var Hu=r(ba);Ic=a(Hu,"return_offsets_mapping=True"),Hu.forEach(n),Pc=a(Gp," \u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E23\u0E31\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33"),Gp.forEach(n),ap=f(s),b(He.$$.fragment,s),lp=f(s),b(Ne.$$.fragment,s),pp=f(s),as=p(s,"P",{});var re=r(as);Dc=a(re,"\u0E41\u0E15\u0E48\u0E25\u0E30 tuple \u0E43\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E48\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E27\u0E01 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E01\u0E47\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 span \u0E40\u0E1B\u0E47\u0E19 "),_a=p(re,"CODE",{});var Nu=r(_a);zc=a(Nu,"(0, 0)"),Nu.forEach(n),Rc=a(re,`
\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D `),$a=p(re,"CODE",{});var Gu=r($a);Sc=a(Gu,"##yl"),Gu.forEach(n),qc=a(re," \u0E21\u0E35\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19 "),ka=p(re,"CODE",{});var Mu=r(ka);Bc=a(Mu,"(12, 14)"),Mu.forEach(n),Tc=a(re,`
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E14\u0E49\u0E27\u0E22 index \u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32\u0E19\u0E35\u0E49`),re.forEach(n),rp=f(s),b(Ge.$$.fragment,s),op=f(s),Es=p(s,"P",{});var Ln=r(Es);Fc=a(Ln,"\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Ea=p(Ln,"CODE",{});var Lu=r(Ea);Xc=a(Lu,"yl"),Lu.forEach(n),Ac=a(Ln," \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),va=p(Ln,"CODE",{});var Vu=r(va);Hc=a(Vu,"##"),Vu.forEach(n),Nc=a(Ln," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E25\u0E30\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C:"),Ln.forEach(n),ip=f(s),b(Me.$$.fragment,s),cp=f(s),On=p(s,"P",{});var Yu=r(On);Gc=a(Yu,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E43\u0E19 pipeline:"),Yu.forEach(n),fp=f(s),b(Le.$$.fragment,s),up=f(s),b(Ve.$$.fragment,s),hp=f(s),Cn=p(s,"P",{});var Qu=r(Cn);Mc=a(Qu,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E41\u0E25\u0E49\u0E27!"),Qu.forEach(n),dp=f(s),Ts=p(s,"H3",{class:!0});var Mp=r(Ts);le=p(Mp,"A",{id:!0,class:!0,href:!0});var Uu=r(le);ya=p(Uu,"SPAN",{});var Ju=r(ya);b(Ye.$$.fragment,Ju),Ju.forEach(n),Uu.forEach(n),Lc=f(Mp),wa=p(Mp,"SPAN",{});var Ku=r(wa);Vc=a(Ku,"\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"),Ku.forEach(n),Mp.forEach(n),mp=f(s),In=p(s,"P",{});var Wu=r(In);Yc=a(Wu,`\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 offset \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01\u0E19\u0E31\u0E01
\u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E21\u0E35\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E14\u0E49\u0E27\u0E22`),Wu.forEach(n),xp=f(s),G=p(s,"P",{});var ss=r(G);Qc=a(ss,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 "),Oa=p(ss,"CODE",{});var Zu=r(Oa);Uc=a(Zu,"Hu"),Zu.forEach(n),Jc=a(ss,", "),Ca=p(ss,"CODE",{});var sh=r(Ca);Kc=a(sh,"##gging"),sh.forEach(n),Wc=a(ss,", \u0E41\u0E25\u0E30 "),Ia=p(ss,"CODE",{});var eh=r(Ia);Zc=a(eh,"Face"),eh.forEach(n),sf=a(ss," \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E27\u0E48\u0E32 \u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E41\u0E23\u0E01\u0E01\u0E31\u0E1A token \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E25\u0E1A "),Pa=p(ss,"CODE",{});var nh=r(Pa);ef=a(nh,"##"),nh.forEach(n),nf=a(ss,` \u0E2D\u0E2D\u0E01
\u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E0A\u0E48\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21 \u0E40\u0E1E\u0E23\u0E32\u0E30 `),Da=p(ss,"CODE",{});var th=r(Da);tf=a(th,"Face"),th.forEach(n),af=a(ss," \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22  "),za=p(ss,"CODE",{});var ah=r(za);lf=a(ah,"##"),ah.forEach(n),pf=a(ss,` \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E40\u0E0A\u0E48\u0E19 \u0E41\u0E1A\u0E1A SentencePiece \u0E2B\u0E23\u0E37\u0E2D Byte-Pair-Encoding \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E43\u0E2B\u0E21\u0E48`),ss.forEach(n),jp=f(s),Y=p(s,"P",{});var ps=r(Y);rf=a(ps,`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E0E\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E40\u0E2D\u0E07 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01 \u0E41\u0E25\u0E30 \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07 entity \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35 3 token `),Ra=p(ps,"CODE",{});var lh=r(Ra);of=a(lh,"Hu"),lh.forEach(n),cf=a(ps,", "),Sa=p(ps,"CODE",{});var ph=r(Sa);ff=a(ph,"##gging"),ph.forEach(n),uf=a(ps,", \u0E41\u0E25\u0E30 "),qa=p(ps,"CODE",{});var rh=r(qa);hf=a(rh,"Face"),rh.forEach(n),df=a(ps," \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 33 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 "),Ba=p(ps,"CODE",{});var oh=r(Ba);mf=a(oh,"Hu"),oh.forEach(n),xf=a(ps,") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E41\u0E25\u0E30 45 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 "),Ta=p(ps,"CODE",{});var ih=r(Ta);jf=a(ih,"Hu"),ih.forEach(n),gf=a(ps,") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E08\u0E1A\u0E02\u0E2D\u0E07 entity \u0E19\u0E35\u0E49"),ps.forEach(n),gp=f(s),b(Qe.$$.fragment,s),bp=f(s),b(Ue.$$.fragment,s),_p=f(s),Pn=p(s,"P",{});var ch=r(Pn);bf=a(ch,"\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E31\u0E19 (post-processing) \u0E42\u0E14\u0E22\u0E08\u0E30\u0E17\u0E33\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),ch.forEach(n),$p=f(s),Q=p(s,"P",{});var rs=r(Q);_f=a(rs,"\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 token \u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 entity \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07 "),Fa=p(rs,"CODE",{});var fh=r(Fa);$f=a(fh,"B-XXX"),fh.forEach(n),kf=a(rs," \u0E41\u0E25\u0E30 "),Xa=p(rs,"CODE",{});var uh=r(Xa);Ef=a(uh,"I-XXX"),uh.forEach(n),vf=a(rs," \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E15\u0E31\u0E27\u0E16\u0E31\u0E14\u0E46\u0E44\u0E1B \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Aa=p(rs,"CODE",{});var hh=r(Aa);yf=a(hh,"I-XXX"),hh.forEach(n),wf=a(rs," \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19 "),Ha=p(rs,"CODE",{});var dh=r(Ha);Of=a(dh,"O"),dh.forEach(n),Cf=a(rs," (\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 entity \u0E43\u0E14\u0E46 \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21) \u0E2B\u0E23\u0E37\u0E2D "),Na=p(rs,"CODE",{});var mh=r(Na);If=a(mh,"B-XXX"),mh.forEach(n),Pf=a(rs," (\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E23\u0E27\u0E21 entity \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48)"),rs.forEach(n),kp=f(s),b(Je.$$.fragment,s),Ep=f(s),Dn=p(s,"P",{});var xh=r(Dn);Df=a(xh,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E41\u0E25\u0E49\u0E27!"),xh.forEach(n),vp=f(s),b(Ke.$$.fragment,s),yp=f(s),zn=p(s,"P",{});var jh=r(zn);zf=a(jh,`\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E07\u0E32\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E01\u0E47\u0E04\u0E37\u0E2D question answering
\u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E1A\u0E1A\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E08\u0E31\u0E01\u0E01\u0E31\u0E1A feature \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07 tokenizers \u0E43\u0E19 \u{1F917} Transformers library \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A tokens \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input`),jh.forEach(n),this.h()},h(){k(h,"name","hf:doc:metadata"),k(h,"content",JSON.stringify(Fh)),k(O,"id","fast-tokenizers"),k(O,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(O,"href","#fast-tokenizers"),k(R,"class","relative group"),k(an,"href","/course/chapter1"),k(ln,"href","/course/chapter5/3"),k(pn,"align","center"),k(rn,"align","center"),k(Un,"align","center"),k(on,"align","center"),k(cn,"align","center"),k(fn,"align","center"),k(un,"align","center"),k(hn,"align","center"),k(dn,"align","center"),k(Ns,"id","batch-encoding"),k(Ns,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Ns,"href","#batch-encoding"),k(zs,"class","relative group"),k(Us,"id","pipeline-tokenclassification"),k(Us,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Us,"href","#pipeline-tokenclassification"),k(Rs,"class","relative group"),k(gn,"href","/course/chapter1"),k(bn,"href","/course/chapter2"),k(Js,"id","pipeline"),k(Js,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Js,"href","#pipeline"),k(Ss,"class","relative group"),k(Ce,"href","https://huggingface.co/dbmdz/bert-large-cased-finetuned-conll03-english"),k(Ce,"rel","nofollow"),k(ee,"id","input"),k(ee,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(ee,"href","#input"),k(qs,"class","relative group"),k(Te,"class","block dark:hidden"),gh(Te.src,Ff="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/IOB_versions.svg")||k(Te,"src",Ff),k(Te,"alt","IOB1 vs IOB2 format"),k(Fe,"class","hidden dark:block"),gh(Fe.src,Xf="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/IOB_versions-dark.svg")||k(Fe,"src",Xf),k(Fe,"alt","IOB1 vs IOB2 format"),k(Bs,"class","flex justify-center"),k(le,"id","entities"),k(le,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(le,"href","#entities"),k(Ts,"class","relative group")},m(s,o){e(document.head,h),i(s,j,o),_(u,s,o),i(s,E,o),i(s,R,o),e(R,O),e(O,B),_(T,B,null),e(R,S),e(R,H),e(H,q),i(s,N,o),We[P].m(s,o),i(s,D,o),i(s,A,o),e(A,C),i(s,M,o),i(s,w,o),e(w,L),e(w,d),e(d,y),e(w,Os),e(w,os),e(os,es),e(w,Cs),e(w,Yn),e(Yn,Qp),e(w,Up),e(w,an),e(an,Jp),e(w,Kp),i(s,Qa,o),_(oe,s,o),i(s,Ua,o),i(s,Xs,o),e(Xs,Wp),e(Xs,ln),e(ln,Zp),e(Xs,sr),i(s,Ja,o),i(s,As,o),e(As,Qn),e(Qn,Is),e(Is,pn),e(pn,er),e(Is,nr),e(Is,rn),e(rn,tr),e(Is,ar),e(Is,Un),e(As,lr),e(As,ie),e(ie,Ps),e(Ps,on),e(on,Jn),e(Jn,pr),e(Ps,rr),e(Ps,cn),e(cn,or),e(Ps,ir),e(Ps,fn),e(fn,cr),e(ie,fr),e(ie,Ds),e(Ds,un),e(un,Kn),e(Kn,ur),e(Ds,hr),e(Ds,hn),e(hn,dr),e(Ds,mr),e(Ds,dn),e(dn,xr),i(s,Ka,o),_(Hs,s,o),i(s,Wa,o),i(s,zs,o),e(zs,Ns),e(Ns,Wn),_(ce,Wn,null),e(zs,jr),e(zs,Zn),e(Zn,gr),i(s,Za,o),_(fe,s,o),i(s,sl,o),i(s,js,o),e(js,br),e(js,st),e(st,_r),e(js,$r),e(js,et),e(et,kr),e(js,Er),i(s,el,o),i(s,ue,o),e(ue,vr),e(ue,nt),e(nt,yr),i(s,nl,o),i(s,he,o),e(he,tt),e(tt,wr),e(he,Or),i(s,tl,o),i(s,mn,o),e(mn,Cr),i(s,al,o),_(de,s,o),i(s,ll,o),i(s,Gs,o),e(Gs,Ir),e(Gs,at),e(at,Pr),e(Gs,Dr),i(s,pl,o),_(me,s,o),i(s,rl,o),i(s,J,o),e(J,zr),e(J,lt),e(lt,Rr),e(J,Sr),e(J,pt),e(pt,qr),e(J,Br),e(J,rt),e(rt,Tr),e(J,Fr),e(J,ot),e(ot,Xr),e(J,Ar),i(s,ol,o),_(xe,s,o),i(s,il,o),_(je,s,o),i(s,cl,o),i(s,gs,o),e(gs,Hr),e(gs,it),e(it,Nr),e(gs,Gr),e(gs,ct),e(ct,Mr),e(gs,Lr),i(s,fl,o),_(ge,s,o),i(s,ul,o),_(be,s,o),i(s,hl,o),i(s,xn,o),e(xn,Vr),i(s,dl,o),_(_e,s,o),i(s,ml,o),_($e,s,o),i(s,xl,o),i(s,Ms,o),e(Ms,Yr),e(Ms,ft),e(ft,Qr),e(Ms,Ur),i(s,jl,o),i(s,Ls,o),e(Ls,Jr),e(Ls,ut),e(ut,Kr),e(Ls,Wr),i(s,gl,o),_(ke,s,o),i(s,bl,o),_(Ee,s,o),i(s,_l,o),i(s,K,o),e(K,Zr),e(K,ht),e(ht,so),e(K,eo),e(K,dt),e(dt,no),e(K,to),e(K,mt),e(mt,ao),e(K,lo),e(K,xt),e(xt,po),e(K,ro),i(s,$l,o),i(s,Vs,o),e(Vs,oo),e(Vs,jt),e(jt,io),e(Vs,co),i(s,kl,o),_(Ys,s,o),i(s,El,o),i(s,ts,o),e(ts,fo),e(ts,gt),e(gt,uo),e(ts,ho),e(ts,bt),e(bt,mo),e(ts,xo),e(ts,_t),e(_t,jo),e(ts,go),i(s,vl,o),i(s,ns,o),e(ns,bo),e(ns,$t),e($t,_o),e(ns,$o),e(ns,kt),e(kt,ko),e(ns,Eo),e(ns,Et),e(Et,vo),e(ns,yo),e(ns,vt),e(vt,wo),i(s,yl,o),i(s,bs,o),e(bs,Oo),e(bs,yt),e(yt,Co),e(bs,Io),e(bs,wt),e(wt,Po),e(bs,Do),i(s,wl,o),_(ve,s,o),i(s,Ol,o),_(ye,s,o),i(s,Cl,o),i(s,_s,o),e(_s,zo),e(_s,Ot),e(Ot,Ro),e(_s,So),e(_s,Ct),e(Ct,qo),e(_s,Bo),i(s,Il,o),_(Qs,s,o),i(s,Pl,o),i(s,Rs,o),e(Rs,Us),e(Us,It),_(we,It,null),e(Rs,To),e(Rs,jn),e(jn,Fo),e(jn,Pt),e(Pt,Xo),i(s,Dl,o),i(s,W,o),e(W,Ao),e(W,gn),e(gn,Ho),e(W,No),e(W,Dt),e(Dt,Go),e(W,Mo),e(W,bn),e(bn,Lo),e(W,Vo),e(W,zt),e(zt,Yo),e(W,Qo),i(s,zl,o),Ze[is].m(s,o),i(s,_n,o),i(s,Ss,o),e(Ss,Js),e(Js,Rt),_(Oe,Rt,null),e(Ss,Uo),e(Ss,St),e(St,Jo),i(s,Rl,o),i(s,Ks,o),e(Ks,Ko),e(Ks,Ce),e(Ce,qt),e(qt,Wo),e(Ks,Zo),i(s,Sl,o),_(Ie,s,o),i(s,ql,o),_(Pe,s,o),i(s,Bl,o),i(s,$n,o),e($n,si),i(s,Tl,o),_(De,s,o),i(s,Fl,o),_(ze,s,o),i(s,Xl,o),i(s,V,o),e(V,Bt),e(Bt,ei),e(V,ni),e(V,Tt),e(Tt,ti),e(V,ai),e(V,Ft),e(Ft,li),e(V,pi),e(V,Xt),e(Xt,ri),e(V,oi),e(V,At),e(At,ii),e(V,ci),e(V,Ht),e(Ht,fi),i(s,Al,o),i(s,kn,o),e(kn,ui),i(s,Hl,o),i(s,$s,o),e($s,Ws),e(Ws,Nt),e(Nt,hi),e(Ws,di),e(Ws,Gt),e(Gt,mi),e(Ws,xi),e($s,ji),e($s,En),e(En,Mt),e(Mt,gi),e(En,bi),e($s,_i),e($s,Zs),e(Zs,Lt),e(Lt,$i),e(Zs,ki),e(Zs,Vt),e(Vt,Ei),e(Zs,vi),i(s,Nl,o),i(s,se,o),e(se,yi),e(se,Yt),e(Yt,wi),e(se,Oi),i(s,Gl,o),i(s,qs,o),e(qs,ee),e(ee,Qt),_(Re,Qt,null),e(qs,Ci),e(qs,Ut),e(Ut,Ii),i(s,Ml,o),sn[fs].m(s,o),i(s,vn,o),i(s,yn,o),e(yn,Pi),i(s,Ll,o),en[hs].m(s,o),i(s,wn,o),_(Se,s,o),i(s,Vl,o),i(s,ne,o),e(ne,Di),e(ne,Jt),e(Jt,zi),e(ne,Ri),i(s,Yl,o),_(qe,s,o),i(s,Ql,o),_(Be,s,o),i(s,Ul,o),i(s,ks,o),e(ks,Si),e(ks,Kt),e(Kt,qi),e(ks,Bi),e(ks,Wt),e(Wt,Ti),e(ks,Fi),i(s,Jl,o),i(s,I,o),e(I,Xi),e(I,Zt),e(Zt,Ai),e(I,Hi),e(I,sa),e(sa,Ni),e(I,Gi),e(I,ea),e(ea,Mi),e(I,Li),e(I,na),e(na,Vi),e(I,Yi),e(I,ta),e(ta,Qi),e(I,Ui),e(I,aa),e(aa,Ji),e(I,Ki),e(I,la),e(la,Wi),e(I,Zi),e(I,pa),e(pa,sc),e(I,ec),e(I,ra),e(ra,nc),e(I,tc),e(I,oa),e(oa,ac),e(I,lc),e(I,ia),e(ia,pc),e(I,rc),i(s,Kl,o),i(s,U,o),e(U,oc),e(U,ca),e(ca,ic),e(U,cc),e(U,fa),e(fa,fc),e(U,uc),e(U,ua),e(ua,hc),e(U,dc),e(U,ha),e(ha,mc),e(U,xc),e(U,da),e(da,jc),i(s,Wl,o),i(s,ms,o),e(ms,gc),e(ms,ma),e(ma,bc),e(ms,_c),e(ms,xa),e(xa,$c),e(ms,kc),e(ms,ja),e(ja,Ec),i(s,Zl,o),i(s,Bs,o),e(Bs,Te),e(Bs,vc),e(Bs,Fe),i(s,sp,o),i(s,te,o),e(te,yc),e(te,ga),e(ga,wc),e(te,Oc),i(s,ep,o),_(Xe,s,o),i(s,np,o),_(Ae,s,o),i(s,tp,o),i(s,ae,o),e(ae,Cc),e(ae,ba),e(ba,Ic),e(ae,Pc),i(s,ap,o),_(He,s,o),i(s,lp,o),_(Ne,s,o),i(s,pp,o),i(s,as,o),e(as,Dc),e(as,_a),e(_a,zc),e(as,Rc),e(as,$a),e($a,Sc),e(as,qc),e(as,ka),e(ka,Bc),e(as,Tc),i(s,rp,o),_(Ge,s,o),i(s,op,o),i(s,Es,o),e(Es,Fc),e(Es,Ea),e(Ea,Xc),e(Es,Ac),e(Es,va),e(va,Hc),e(Es,Nc),i(s,ip,o),_(Me,s,o),i(s,cp,o),i(s,On,o),e(On,Gc),i(s,fp,o),_(Le,s,o),i(s,up,o),_(Ve,s,o),i(s,hp,o),i(s,Cn,o),e(Cn,Mc),i(s,dp,o),i(s,Ts,o),e(Ts,le),e(le,ya),_(Ye,ya,null),e(Ts,Lc),e(Ts,wa),e(wa,Vc),i(s,mp,o),i(s,In,o),e(In,Yc),i(s,xp,o),i(s,G,o),e(G,Qc),e(G,Oa),e(Oa,Uc),e(G,Jc),e(G,Ca),e(Ca,Kc),e(G,Wc),e(G,Ia),e(Ia,Zc),e(G,sf),e(G,Pa),e(Pa,ef),e(G,nf),e(G,Da),e(Da,tf),e(G,af),e(G,za),e(za,lf),e(G,pf),i(s,jp,o),i(s,Y,o),e(Y,rf),e(Y,Ra),e(Ra,of),e(Y,cf),e(Y,Sa),e(Sa,ff),e(Y,uf),e(Y,qa),e(qa,hf),e(Y,df),e(Y,Ba),e(Ba,mf),e(Y,xf),e(Y,Ta),e(Ta,jf),e(Y,gf),i(s,gp,o),_(Qe,s,o),i(s,bp,o),_(Ue,s,o),i(s,_p,o),i(s,Pn,o),e(Pn,bf),i(s,$p,o),i(s,Q,o),e(Q,_f),e(Q,Fa),e(Fa,$f),e(Q,kf),e(Q,Xa),e(Xa,Ef),e(Q,vf),e(Q,Aa),e(Aa,yf),e(Q,wf),e(Q,Ha),e(Ha,Of),e(Q,Cf),e(Q,Na),e(Na,If),e(Q,Pf),i(s,kp,o),_(Je,s,o),i(s,Ep,o),i(s,Dn,o),e(Dn,Df),i(s,vp,o),_(Ke,s,o),i(s,yp,o),i(s,zn,o),e(zn,zf),wp=!0},p(s,[o]){const nn={};o&1&&(nn.fw=s[0]),u.$set(nn);let Rn=P;P=Hf(s),P!==Rn&&(Vp(),m(We[Rn],1,1,()=>{We[Rn]=null}),Lp(),X=We[P],X||(X=We[P]=Af[P](s),X.c()),x(X,1),X.m(D.parentNode,D));const Ga={};o&2&&(Ga.$$scope={dirty:o,ctx:s}),Hs.$set(Ga);const Ma={};o&2&&(Ma.$$scope={dirty:o,ctx:s}),Ys.$set(Ma);const La={};o&2&&(La.$$scope={dirty:o,ctx:s}),Qs.$set(La);let Z=is;is=Gf(s),is!==Z&&(Vp(),m(Ze[Z],1,1,()=>{Ze[Z]=null}),Lp(),cs=Ze[is],cs||(cs=Ze[is]=Nf[is](s),cs.c()),x(cs,1),cs.m(_n.parentNode,_n));let Sn=fs;fs=Lf(s),fs!==Sn&&(Vp(),m(sn[Sn],1,1,()=>{sn[Sn]=null}),Lp(),us=sn[fs],us||(us=sn[fs]=Mf[fs](s),us.c()),x(us,1),us.m(vn.parentNode,vn));let qn=hs;hs=Yf(s),hs!==qn&&(Vp(),m(en[qn],1,1,()=>{en[qn]=null}),Lp(),ds=en[hs],ds||(ds=en[hs]=Vf[hs](s),ds.c()),x(ds,1),ds.m(wn.parentNode,wn))},i(s){wp||(x(u.$$.fragment,s),x(T.$$.fragment,s),x(X),x(oe.$$.fragment,s),x(Hs.$$.fragment,s),x(ce.$$.fragment,s),x(fe.$$.fragment,s),x(de.$$.fragment,s),x(me.$$.fragment,s),x(xe.$$.fragment,s),x(je.$$.fragment,s),x(ge.$$.fragment,s),x(be.$$.fragment,s),x(_e.$$.fragment,s),x($e.$$.fragment,s),x(ke.$$.fragment,s),x(Ee.$$.fragment,s),x(Ys.$$.fragment,s),x(ve.$$.fragment,s),x(ye.$$.fragment,s),x(Qs.$$.fragment,s),x(we.$$.fragment,s),x(cs),x(Oe.$$.fragment,s),x(Ie.$$.fragment,s),x(Pe.$$.fragment,s),x(De.$$.fragment,s),x(ze.$$.fragment,s),x(Re.$$.fragment,s),x(us),x(ds),x(Se.$$.fragment,s),x(qe.$$.fragment,s),x(Be.$$.fragment,s),x(Xe.$$.fragment,s),x(Ae.$$.fragment,s),x(He.$$.fragment,s),x(Ne.$$.fragment,s),x(Ge.$$.fragment,s),x(Me.$$.fragment,s),x(Le.$$.fragment,s),x(Ve.$$.fragment,s),x(Ye.$$.fragment,s),x(Qe.$$.fragment,s),x(Ue.$$.fragment,s),x(Je.$$.fragment,s),x(Ke.$$.fragment,s),wp=!0)},o(s){m(u.$$.fragment,s),m(T.$$.fragment,s),m(X),m(oe.$$.fragment,s),m(Hs.$$.fragment,s),m(ce.$$.fragment,s),m(fe.$$.fragment,s),m(de.$$.fragment,s),m(me.$$.fragment,s),m(xe.$$.fragment,s),m(je.$$.fragment,s),m(ge.$$.fragment,s),m(be.$$.fragment,s),m(_e.$$.fragment,s),m($e.$$.fragment,s),m(ke.$$.fragment,s),m(Ee.$$.fragment,s),m(Ys.$$.fragment,s),m(ve.$$.fragment,s),m(ye.$$.fragment,s),m(Qs.$$.fragment,s),m(we.$$.fragment,s),m(cs),m(Oe.$$.fragment,s),m(Ie.$$.fragment,s),m(Pe.$$.fragment,s),m(De.$$.fragment,s),m(ze.$$.fragment,s),m(Re.$$.fragment,s),m(us),m(ds),m(Se.$$.fragment,s),m(qe.$$.fragment,s),m(Be.$$.fragment,s),m(Xe.$$.fragment,s),m(Ae.$$.fragment,s),m(He.$$.fragment,s),m(Ne.$$.fragment,s),m(Ge.$$.fragment,s),m(Me.$$.fragment,s),m(Le.$$.fragment,s),m(Ve.$$.fragment,s),m(Ye.$$.fragment,s),m(Qe.$$.fragment,s),m(Ue.$$.fragment,s),m(Je.$$.fragment,s),m(Ke.$$.fragment,s),wp=!1},d(s){n(h),s&&n(j),$(u,s),s&&n(E),s&&n(R),$(T),s&&n(N),We[P].d(s),s&&n(D),s&&n(A),s&&n(M),s&&n(w),s&&n(Qa),$(oe,s),s&&n(Ua),s&&n(Xs),s&&n(Ja),s&&n(As),s&&n(Ka),$(Hs,s),s&&n(Wa),s&&n(zs),$(ce),s&&n(Za),$(fe,s),s&&n(sl),s&&n(js),s&&n(el),s&&n(ue),s&&n(nl),s&&n(he),s&&n(tl),s&&n(mn),s&&n(al),$(de,s),s&&n(ll),s&&n(Gs),s&&n(pl),$(me,s),s&&n(rl),s&&n(J),s&&n(ol),$(xe,s),s&&n(il),$(je,s),s&&n(cl),s&&n(gs),s&&n(fl),$(ge,s),s&&n(ul),$(be,s),s&&n(hl),s&&n(xn),s&&n(dl),$(_e,s),s&&n(ml),$($e,s),s&&n(xl),s&&n(Ms),s&&n(jl),s&&n(Ls),s&&n(gl),$(ke,s),s&&n(bl),$(Ee,s),s&&n(_l),s&&n(K),s&&n($l),s&&n(Vs),s&&n(kl),$(Ys,s),s&&n(El),s&&n(ts),s&&n(vl),s&&n(ns),s&&n(yl),s&&n(bs),s&&n(wl),$(ve,s),s&&n(Ol),$(ye,s),s&&n(Cl),s&&n(_s),s&&n(Il),$(Qs,s),s&&n(Pl),s&&n(Rs),$(we),s&&n(Dl),s&&n(W),s&&n(zl),Ze[is].d(s),s&&n(_n),s&&n(Ss),$(Oe),s&&n(Rl),s&&n(Ks),s&&n(Sl),$(Ie,s),s&&n(ql),$(Pe,s),s&&n(Bl),s&&n($n),s&&n(Tl),$(De,s),s&&n(Fl),$(ze,s),s&&n(Xl),s&&n(V),s&&n(Al),s&&n(kn),s&&n(Hl),s&&n($s),s&&n(Nl),s&&n(se),s&&n(Gl),s&&n(qs),$(Re),s&&n(Ml),sn[fs].d(s),s&&n(vn),s&&n(yn),s&&n(Ll),en[hs].d(s),s&&n(wn),$(Se,s),s&&n(Vl),s&&n(ne),s&&n(Yl),$(qe,s),s&&n(Ql),$(Be,s),s&&n(Ul),s&&n(ks),s&&n(Jl),s&&n(I),s&&n(Kl),s&&n(U),s&&n(Wl),s&&n(ms),s&&n(Zl),s&&n(Bs),s&&n(sp),s&&n(te),s&&n(ep),$(Xe,s),s&&n(np),$(Ae,s),s&&n(tp),s&&n(ae),s&&n(ap),$(He,s),s&&n(lp),$(Ne,s),s&&n(pp),s&&n(as),s&&n(rp),$(Ge,s),s&&n(op),s&&n(Es),s&&n(ip),$(Me,s),s&&n(cp),s&&n(On),s&&n(fp),$(Le,s),s&&n(up),$(Ve,s),s&&n(hp),s&&n(Cn),s&&n(dp),s&&n(Ts),$(Ye),s&&n(mp),s&&n(In),s&&n(xp),s&&n(G),s&&n(jp),s&&n(Y),s&&n(gp),$(Qe,s),s&&n(bp),$(Ue,s),s&&n(_p),s&&n(Pn),s&&n($p),s&&n(Q),s&&n(kp),$(Je,s),s&&n(Ep),s&&n(Dn),s&&n(vp),$(Ke,s),s&&n(yp),s&&n(zn)}}}const Fh={local:"fast-tokenizers",sections:[{local:"batch-encoding",title:"Batch encoding"},{local:"pipeline-tokenclassification",sections:[{local:"pipeline",title:"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"},{local:"input",title:"\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"},{local:"entities",title:"\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"}],title:"\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline `token-classification`"}],title:"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"};function Xh(z,h,j){let u="pt";return vh(()=>{const E=new URLSearchParams(window.location.search);j(0,u=E.get("fw")||"pt")}),[u]}class Yh extends _h{constructor(h){super();$h(this,h,Xh,Th,kh,{})}}export{Yh as default,Fh as metadata};
