import{S as _d,i as $d,s as kd,e as l,k as c,w as j,t,M as Ed,c as r,d as n,m as f,x as b,a as p,h as a,b as k,N as jd,G as e,g as i,y as _,o as m,p as Lr,q as x,B as $,v as vd,n as Vr}from"../../chunks/vendor-hf-doc-builder.js";import{T as qf}from"../../chunks/Tip-hf-doc-builder.js";import{Y as Yr}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Vn}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as v}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as bd}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import{F as yd}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";function wd(z){let d,g;return d=new bd({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section3_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section3_tf.ipynb"}]}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function Od(z){let d,g;return d=new bd({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section3_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section3_pt.ipynb"}]}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function Cd(z){let d,g;return{c(){d=l("p"),g=t("\u26A0\uFE0F \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A tokenizer \u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E42\u0E14\u0E22\u0E14\u0E39\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E23\u0E47\u0E27\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E1A\u0E32\u0E07\u0E17\u0E35 fast tokenizer \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E0A\u0E49\u0E32\u0E01\u0E27\u0E48\u0E32 slow tokenizer \u0E14\u0E49\u0E27\u0E22\u0E0B\u0E49\u0E33 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E01\u0E47\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E01\u0E31\u0E1A input \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19")},l(u){d=r(u,"P",{});var E=p(d);g=a(E,"\u26A0\uFE0F \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A tokenizer \u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E42\u0E14\u0E22\u0E14\u0E39\u0E08\u0E32\u0E01\u0E04\u0E27\u0E32\u0E21\u0E40\u0E23\u0E47\u0E27\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E1A\u0E32\u0E07\u0E17\u0E35 fast tokenizer \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E0A\u0E49\u0E32\u0E01\u0E27\u0E48\u0E32 slow tokenizer \u0E14\u0E49\u0E27\u0E22\u0E0B\u0E49\u0E33 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E41\u0E17\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E01\u0E47\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E25\u0E2D\u0E07\u0E23\u0E31\u0E19\u0E01\u0E31\u0E1A input \u0E17\u0E35\u0E48\u0E21\u0E35\u0E02\u0E19\u0E32\u0E14\u0E43\u0E2B\u0E0D\u0E48\u0E23\u0E30\u0E14\u0E31\u0E1A\u0E2B\u0E19\u0E36\u0E48\u0E07 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19"),E.forEach(n)},m(u,E){i(u,d,E),e(d,g)},d(u){u&&n(d)}}}function Id(z){let d,g,u,E,R,O,T,q,S,H,B,M,P,A;return{c(){d=l("p"),g=t(`\u0E19\u0E34\u0E22\u0E32\u0E21\u0E02\u0E2D\u0E07 \u201C\u0E04\u0E33\u201D \u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E01\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E33\u0E2B\u0E19\u0E14 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19  \u201CI\u2019ll\u201D (\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E02\u0E2D\u0E07 \u201CI will\u201D ) \u0E04\u0E27\u0E23\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E2D\u0E07\u0E04\u0E33 ?
\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22 space \u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E27\u0E23\u0E23\u0E04\u0E15\u0E2D\u0E19 (punctuation) \u0E01\u0E48\u0E2D\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E36\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49 \u201CI\u2019ll\u201D \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E04\u0E33`),u=c(),E=l("p"),R=t("\u270F\uFE0F "),O=l("strong"),T=t("\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),q=t(" \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E08\u0E32\u0E01 checkpoint \u0E02\u0E2D\u0E07 "),S=l("code"),H=t("bert-base-cased"),B=t(" and "),M=l("code"),P=t("roberta-base"),A=t(" \u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E25\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E04\u0E33\u0E27\u0E48\u0E32 \u201D81s\u201D  \u0E04\u0E38\u0E13\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E40\u0E2B\u0E47\u0E19\u0E2D\u0E30\u0E44\u0E23\u0E1A\u0E49\u0E32\u0E07 \u0E41\u0E25\u0E30 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23")},l(D){d=r(D,"P",{});var X=p(d);g=a(X,`\u0E19\u0E34\u0E22\u0E32\u0E21\u0E02\u0E2D\u0E07 \u201C\u0E04\u0E33\u201D \u0E19\u0E31\u0E49\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E01\u0E17\u0E35\u0E48\u0E08\u0E30\u0E01\u0E33\u0E2B\u0E19\u0E14 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19  \u201CI\u2019ll\u201D (\u0E40\u0E1B\u0E47\u0E19\u0E01\u0E32\u0E23\u0E40\u0E02\u0E35\u0E22\u0E19\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E02\u0E2D\u0E07 \u201CI will\u201D ) \u0E04\u0E27\u0E23\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E2A\u0E2D\u0E07\u0E04\u0E33 ?
\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E19\u0E35\u0E49\u0E19\u0E31\u0E49\u0E19 \u0E02\u0E36\u0E49\u0E19\u0E01\u0E31\u0E1A\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30\u0E21\u0E35\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27 \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22 space \u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E41\u0E22\u0E01\u0E04\u0E33\u0E14\u0E49\u0E27\u0E22\u0E40\u0E04\u0E23\u0E37\u0E48\u0E2D\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E27\u0E23\u0E23\u0E04\u0E15\u0E2D\u0E19 (punctuation) \u0E01\u0E48\u0E2D\u0E19\u0E41\u0E25\u0E49\u0E27\u0E08\u0E36\u0E07\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49 \u201CI\u2019ll\u201D \u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E04\u0E33`),X.forEach(n),u=f(D),E=r(D,"P",{});var C=p(E);R=a(C,"\u270F\uFE0F "),O=r(C,"STRONG",{});var G=p(O);T=a(G,"\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),G.forEach(n),q=a(C," \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E08\u0E32\u0E01 checkpoint \u0E02\u0E2D\u0E07 "),S=r(C,"CODE",{});var w=p(S);H=a(w,"bert-base-cased"),w.forEach(n),B=a(C," and "),M=r(C,"CODE",{});var L=p(M);P=a(L,"roberta-base"),L.forEach(n),A=a(C," \u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E25\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E04\u0E33\u0E27\u0E48\u0E32 \u201D81s\u201D  \u0E04\u0E38\u0E13\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E40\u0E2B\u0E47\u0E19\u0E2D\u0E30\u0E44\u0E23\u0E1A\u0E49\u0E32\u0E07 \u0E41\u0E25\u0E30 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),C.forEach(n)},m(D,X){i(D,d,X),e(d,g),i(D,u,X),i(D,E,X),e(E,R),e(E,O),e(O,T),e(E,q),e(E,S),e(S,H),e(E,B),e(E,M),e(M,P),e(E,A)},d(D){D&&n(d),D&&n(u),D&&n(E)}}}function Pd(z){let d,g,u,E,R;return{c(){d=l("p"),g=t("\u270F\uFE0F "),u=l("strong"),E=t("\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),R=t(" \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E04\u0E34\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E16\u0E32\u0E21\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2B\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E47\u0E19 input \u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E49\u0E27\u0E14\u0E39\u0E27\u0E48\u0E32 ID \u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E31\u0E49\u0E19\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48")},l(O){d=r(O,"P",{});var T=p(d);g=a(T,"\u270F\uFE0F "),u=r(T,"STRONG",{});var q=p(u);E=a(q,"\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),q.forEach(n),R=a(T," \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E04\u0E34\u0E14\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E16\u0E32\u0E21\u0E15\u0E31\u0E27\u0E40\u0E2D\u0E07\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E44\u0E2B\u0E19\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E2B\u0E19 \u0E41\u0E25\u0E30 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2B\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E04\u0E33\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E47\u0E19 input \u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E41\u0E25\u0E49\u0E27\u0E14\u0E39\u0E27\u0E48\u0E32 ID \u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E31\u0E49\u0E19\u0E40\u0E2B\u0E21\u0E32\u0E30\u0E2A\u0E21\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),T.forEach(n)},m(O,T){i(O,d,T),e(d,g),e(d,u),e(u,E),e(d,R)},d(O){O&&n(d)}}}function Dd(z){let d,g;return d=new Yr({props:{id:"PrX4CjrVnNc"}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function zd(z){let d,g;return d=new Yr({props:{id:"0E7ltQB7fM8"}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function Rd(z){let d,g,u,E,R,O,T,q,S,H,B,M,P,A,D,X,C,G,w,L;return S=new v({props:{code:`from transformers import AutoTokenizer, TFAutoModelForTokenClassification

model_checkpoint = "dbmdz/bert-large-cased-finetuned-conll03-english"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = TFAutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = "My name is Sylvain and I work at Hugging Face in Brooklyn."
inputs = tokenizer(example, return_tensors="tf")
outputs = model(**inputs)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForTokenClassification

model_checkpoint = <span class="hljs-string">&quot;dbmdz/bert-large-cased-finetuned-conll03-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = TFAutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
inputs = tokenizer(example, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
outputs = model(**inputs)`}}),C=new v({props:{code:`print(inputs["input_ids"].shape)
print(outputs.logits.shape)`,highlighted:`<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)
<span class="hljs-built_in">print</span>(outputs.logits.shape)`}}),w=new v({props:{code:`(1, 19)
(1, 19, 9)`,highlighted:`(<span class="hljs-number">1</span>, <span class="hljs-number">19</span>)
(<span class="hljs-number">1</span>, <span class="hljs-number">19</span>, <span class="hljs-number">9</span>)`}}),{c(){d=l("p"),g=t("\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=l("a"),E=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),R=t(" \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=l("code"),T=t("TFAutoXxx"),q=c(),j(S.$$.fragment),H=c(),B=l("p"),M=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=l("code"),A=t("TFAutoModelForTokenClassification"),D=t(" \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),X=c(),j(C.$$.fragment),G=c(),j(w.$$.fragment),this.h()},l(h){d=r(h,"P",{});var y=p(d);g=a(y,"\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=r(y,"A",{href:!0});var Os=p(u);E=a(Os,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Os.forEach(n),R=a(y," \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=r(y,"CODE",{});var os=p(O);T=a(os,"TFAutoXxx"),os.forEach(n),y.forEach(n),q=f(h),b(S.$$.fragment,h),H=f(h),B=r(h,"P",{});var es=p(B);M=a(es,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=r(es,"CODE",{});var Cs=p(P);A=a(Cs,"TFAutoModelForTokenClassification"),Cs.forEach(n),D=a(es," \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),es.forEach(n),X=f(h),b(C.$$.fragment,h),G=f(h),b(w.$$.fragment,h),this.h()},h(){k(u,"href","/course/chapter2")},m(h,y){i(h,d,y),e(d,g),e(d,u),e(u,E),e(d,R),e(d,O),e(O,T),i(h,q,y),_(S,h,y),i(h,H,y),i(h,B,y),e(B,M),e(B,P),e(P,A),e(B,D),i(h,X,y),_(C,h,y),i(h,G,y),_(w,h,y),L=!0},i(h){L||(x(S.$$.fragment,h),x(C.$$.fragment,h),x(w.$$.fragment,h),L=!0)},o(h){m(S.$$.fragment,h),m(C.$$.fragment,h),m(w.$$.fragment,h),L=!1},d(h){h&&n(d),h&&n(q),$(S,h),h&&n(H),h&&n(B),h&&n(X),$(C,h),h&&n(G),$(w,h)}}}function Sd(z){let d,g,u,E,R,O,T,q,S,H,B,M,P,A,D,X,C,G,w,L;return S=new v({props:{code:`from transformers import AutoTokenizer, AutoModelForTokenClassification

model_checkpoint = "dbmdz/bert-large-cased-finetuned-conll03-english"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = "My name is Sylvain and I work at Hugging Face in Brooklyn."
inputs = tokenizer(example, return_tensors="pt")
outputs = model(**inputs)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForTokenClassification

model_checkpoint = <span class="hljs-string">&quot;dbmdz/bert-large-cased-finetuned-conll03-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
inputs = tokenizer(example, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
outputs = model(**inputs)`}}),C=new v({props:{code:`print(inputs["input_ids"].shape)
print(outputs.logits.shape)`,highlighted:`<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)
<span class="hljs-built_in">print</span>(outputs.logits.shape)`}}),w=new v({props:{code:`torch.Size([1, 19])
torch.Size([1, 19, 9])`,highlighted:`torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">19</span>])
torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">19</span>, <span class="hljs-number">9</span>])`}}),{c(){d=l("p"),g=t("\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=l("a"),E=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),R=t(" \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=l("code"),T=t("AutoXxx"),q=c(),j(S.$$.fragment),H=c(),B=l("p"),M=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=l("code"),A=t("AutoModelForTokenClassification"),D=t(" \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),X=c(),j(C.$$.fragment),G=c(),j(w.$$.fragment),this.h()},l(h){d=r(h,"P",{});var y=p(d);g=a(y,"\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E21\u0E32\u0E15\u0E31\u0E14\u0E04\u0E33\u0E01\u0E48\u0E2D\u0E19 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E15\u0E48\u0E2D\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E19\u0E43\u0E19"),u=r(y,"A",{href:!0});var Os=p(u);E=a(Os,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Os.forEach(n),R=a(y," \u0E42\u0E14\u0E22\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32 \u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E04\u0E25\u0E32\u0E2A "),O=r(y,"CODE",{});var os=p(O);T=a(os,"AutoXxx"),os.forEach(n),y.forEach(n),q=f(h),b(S.$$.fragment,h),H=f(h),B=r(h,"P",{});var es=p(B);M=a(es,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 "),P=r(es,"CODE",{});var Cs=p(P);A=a(Cs,"AutoModelForTokenClassification"),Cs.forEach(n),D=a(es," \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E23\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 logit (set of logits) \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input"),es.forEach(n),X=f(h),b(C.$$.fragment,h),G=f(h),b(w.$$.fragment,h),this.h()},h(){k(u,"href","/course/chapter2")},m(h,y){i(h,d,y),e(d,g),e(d,u),e(u,E),e(d,R),e(d,O),e(O,T),i(h,q,y),_(S,h,y),i(h,H,y),i(h,B,y),e(B,M),e(B,P),e(P,A),e(B,D),i(h,X,y),_(C,h,y),i(h,G,y),_(w,h,y),L=!0},i(h){L||(x(S.$$.fragment,h),x(C.$$.fragment,h),x(w.$$.fragment,h),L=!0)},o(h){m(S.$$.fragment,h),m(C.$$.fragment,h),m(w.$$.fragment,h),L=!1},d(h){h&&n(d),h&&n(q),$(S,h),h&&n(H),h&&n(B),h&&n(X),$(C,h),h&&n(G),$(w,h)}}}function Bd(z){let d,g;return d=new v({props:{code:`import tensorflow as tf

probabilities = tf.math.softmax(outputs.logits, axis=-1)[0]
probabilities = probabilities.numpy().tolist()
predictions = tf.math.argmax(outputs.logits, axis=-1)[0]
predictions = predictions.numpy().tolist()
print(predictions)`,highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

probabilities = tf.math.softmax(outputs.logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]
probabilities = probabilities.numpy().tolist()
predictions = tf.math.argmax(outputs.logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]
predictions = predictions.numpy().tolist()
<span class="hljs-built_in">print</span>(predictions)`}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function Td(z){let d,g;return d=new v({props:{code:`import torch

probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)[0].tolist()
predictions = outputs.logits.argmax(dim=-1)[0].tolist()
print(predictions)`,highlighted:`<span class="hljs-keyword">import</span> torch

probabilities = torch.nn.functional.softmax(outputs.logits, dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].tolist()
predictions = outputs.logits.argmax(dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].tolist()
<span class="hljs-built_in">print</span>(predictions)`}}),{c(){j(d.$$.fragment)},l(u){b(d.$$.fragment,u)},m(u,E){_(d,u,E),g=!0},i(u){g||(x(d.$$.fragment,u),g=!0)},o(u){m(d.$$.fragment,u),g=!1},d(u){$(d,u)}}}function qd(z){let d,g,u,E,R,O,T,q,S,H,B,M,P,A,D,X,C,G,w,L,h,y,Os,os,es,Cs,Yn,Qr,Ur,an,Jr,Kr,Qa,oe,Ua,As,Wr,ln,Zr,sp,Ja,Xs,Qn,Is,rn,ep,np,pn,tp,ap,Un,lp,ie,Ps,on,Jn,rp,pp,cn,op,ip,fn,cp,fp,Ds,un,Kn,up,dp,dn,hp,mp,hn,xp,Ka,Hs,Wa,zs,Ms,Wn,ce,gp,Zn,jp,Za,fe,sl,gs,bp,st,_p,$p,et,kp,Ep,el,ue,vp,nt,yp,nl,de,tt,wp,Op,tl,mn,Cp,al,he,ll,Ns,Ip,at,Pp,Dp,rl,me,pl,J,zp,lt,Rp,Sp,rt,Bp,Tp,pt,qp,Fp,ot,Ap,Xp,ol,xe,il,ge,cl,js,Hp,it,Mp,Np,ct,Gp,Lp,fl,je,ul,be,dl,xn,Vp,hl,_e,ml,$e,xl,Gs,Yp,ft,Qp,Up,gl,Ls,Jp,ut,Kp,Wp,jl,ke,bl,Ee,_l,K,Zp,dt,so,eo,ht,no,to,mt,ao,lo,xt,ro,po,$l,Vs,oo,gt,io,co,kl,Ys,El,ts,fo,jt,uo,ho,bt,mo,xo,_t,go,jo,vl,ns,bo,$t,_o,$o,kt,ko,Eo,Et,vo,yo,vt,wo,yl,bs,Oo,yt,Co,Io,wt,Po,Do,wl,ve,Ol,ye,Cl,_s,zo,Ot,Ro,So,Ct,Bo,To,Il,Qs,Pl,Rs,Us,It,we,qo,gn,Fo,Pt,Ao,Dl,W,Xo,jn,Ho,Mo,Dt,No,Go,bn,Lo,Vo,zt,Yo,Qo,zl,is,cs,_n,Ss,Js,Rt,Oe,Uo,St,Jo,Rl,Ks,Ko,Ce,Bt,Wo,Zo,Sl,Ie,Bl,Pe,Tl,$n,si,ql,De,Fl,ze,Al,V,Tt,ei,ni,qt,ti,ai,Ft,li,ri,At,pi,oi,Xt,ii,ci,Ht,fi,Xl,kn,ui,Hl,$s,Ws,Mt,di,hi,Nt,mi,xi,gi,En,Gt,ji,bi,_i,Zs,Lt,$i,ki,Vt,Ei,vi,Ml,se,yi,Yt,wi,Oi,Nl,Bs,ee,Qt,Re,Ci,Ut,Ii,Gl,fs,us,vn,yn,Pi,Ll,ds,hs,wn,Se,Vl,ne,Di,Jt,zi,Ri,Yl,Be,Ql,Te,Ul,ks,Si,Kt,Bi,Ti,Wt,qi,Fi,Jl,I,Ai,Zt,Xi,Hi,sa,Mi,Ni,ea,Gi,Li,na,Vi,Yi,ta,Qi,Ui,aa,Ji,Ki,la,Wi,Zi,ra,sc,ec,pa,nc,tc,oa,ac,lc,ia,rc,pc,Kl,U,oc,ca,ic,cc,fa,fc,uc,ua,dc,hc,da,mc,xc,ha,gc,Wl,ms,jc,ma,bc,_c,xa,$c,kc,ga,Ec,Zl,Ts,qe,Ff,vc,Fe,Af,sr,te,yc,ja,wc,Oc,er,Ae,nr,Xe,tr,ae,Cc,ba,Ic,Pc,ar,He,lr,Me,rr,as,Dc,_a,zc,Rc,$a,Sc,Bc,ka,Tc,qc,pr,Ne,or,Es,Fc,Ea,Ac,Xc,va,Hc,Mc,ir,Ge,cr,On,Nc,fr,Le,ur,Ve,dr,Cn,Gc,hr,qs,le,ya,Ye,Lc,wa,Vc,mr,In,Yc,xr,N,Qc,Oa,Uc,Jc,Ca,Kc,Wc,Ia,Zc,sf,Pa,ef,nf,Da,tf,af,za,lf,rf,gr,Y,pf,Ra,of,cf,Sa,ff,uf,Ba,df,hf,Ta,mf,xf,qa,gf,jf,jr,Qe,br,Ue,_r,Pn,bf,$r,Q,_f,Fa,$f,kf,Aa,Ef,vf,Xa,yf,wf,Ha,Of,Cf,Ma,If,Pf,kr,Je,Er,Dn,Df,vr,Ke,yr,zn,zf,wr;u=new yd({props:{fw:z[0]}}),q=new Vn({});const Xf=[Od,wd],We=[];function Hf(s,o){return s[0]==="pt"?0:1}P=Hf(z),A=We[P]=Xf[P](z),oe=new Yr({props:{id:"g8quOxoqhHQ"}}),Hs=new qf({props:{warning:!0,$$slots:{default:[Cd]},$$scope:{ctx:z}}}),ce=new Vn({}),fe=new Yr({props:{id:"3umI3tm27Vw"}}),he=new v({props:{code:`from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
example = "My name is Sylvain and I work at Hugging Face in Brooklyn."
encoding = tokenizer(example)
print(type(encoding))`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)
example = <span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>
encoding = tokenizer(example)
<span class="hljs-built_in">print</span>(<span class="hljs-built_in">type</span>(encoding))`}}),me=new v({props:{code:"<class 'transformers.tokenization_utils_base.BatchEncoding'>",highlighted:'&lt;<span class="hljs-keyword">class</span> <span class="hljs-string">&#x27;transformers.tokenization_utils_base.BatchEncoding&#x27;</span>&gt;'}}),xe=new v({props:{code:"tokenizer.is_fast",highlighted:"tokenizer.is_fast"}}),ge=new v({props:{code:"True",highlighted:'<span class="hljs-literal">True</span>'}}),je=new v({props:{code:"encoding.is_fast",highlighted:"encoding.is_fast"}}),be=new v({props:{code:"True",highlighted:'<span class="hljs-literal">True</span>'}}),_e=new v({props:{code:"encoding.tokens()",highlighted:"encoding.tokens()"}}),$e=new v({props:{code:`['[CLS]', 'My', 'name', 'is', 'S', '##yl', '##va', '##in', 'and', 'I', 'work', 'at', 'Hu', '##gging', 'Face', 'in',
 'Brooklyn', '.', '[SEP]']`,highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;My&#x27;</span>, <span class="hljs-string">&#x27;name&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;and&#x27;</span>, <span class="hljs-string">&#x27;I&#x27;</span>, <span class="hljs-string">&#x27;work&#x27;</span>, <span class="hljs-string">&#x27;at&#x27;</span>, <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;in&#x27;</span>,
 <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]`}}),ke=new v({props:{code:"encoding.word_ids()",highlighted:"encoding.word_ids()"}}),Ee=new v({props:{code:"[None, 0, 1, 2, 3, 3, 3, 3, 4, 5, 6, 7, 8, 8, 9, 10, 11, 12, None]",highlighted:'[<span class="hljs-literal">None</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">3</span>, <span class="hljs-number">4</span>, <span class="hljs-number">5</span>, <span class="hljs-number">6</span>, <span class="hljs-number">7</span>, <span class="hljs-number">8</span>, <span class="hljs-number">8</span>, <span class="hljs-number">9</span>, <span class="hljs-number">10</span>, <span class="hljs-number">11</span>, <span class="hljs-number">12</span>, <span class="hljs-literal">None</span>]'}}),Ys=new qf({props:{$$slots:{default:[Id]},$$scope:{ctx:z}}}),ve=new v({props:{code:`start, end = encoding.word_to_chars(3)
example[start:end]`,highlighted:`start, end = encoding.word_to_chars(<span class="hljs-number">3</span>)
example[start:end]`}}),ye=new v({props:{code:"Sylvain",highlighted:"Sylvain"}}),Qs=new qf({props:{$$slots:{default:[Pd]},$$scope:{ctx:z}}}),we=new Vn({});const Mf=[zd,Dd],Ze=[];function Nf(s,o){return s[0]==="pt"?0:1}is=Nf(z),cs=Ze[is]=Mf[is](z),Oe=new Vn({}),Ie=new v({props:{code:`from transformers import pipeline

token_classifier = pipeline("token-classification")
token_classifier("My name is Sylvain and I work at Hugging Face in Brooklyn.")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

token_classifier = pipeline(<span class="hljs-string">&quot;token-classification&quot;</span>)
token_classifier(<span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>)`}}),Pe=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S', 'start': 11, 'end': 12},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl', 'start': 12, 'end': 14},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va', 'start': 14, 'end': 16},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in', 'start': 16, 'end': 18},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu', 'start': 33, 'end': 35},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging', 'start': 35, 'end': 40},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face', 'start': 41, 'end': 45},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">12</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">14</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">16</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">35</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">35</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">40</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">41</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),De=new v({props:{code:`from transformers import pipeline

token_classifier = pipeline("token-classification", aggregation_strategy="simple")
token_classifier("My name is Sylvain and I work at Hugging Face in Brooklyn.")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

token_classifier = pipeline(<span class="hljs-string">&quot;token-classification&quot;</span>, aggregation_strategy=<span class="hljs-string">&quot;simple&quot;</span>)
token_classifier(<span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>)`}}),ze=new v({props:{code:`[{'entity_group': 'PER', 'score': 0.9981694, 'word': 'Sylvain', 'start': 11, 'end': 18},
 {'entity_group': 'ORG', 'score': 0.97960204, 'word': 'Hugging Face', 'start': 33, 'end': 45},
 {'entity_group': 'LOC', 'score': 0.99321055, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9981694</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Sylvain&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97960204</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hugging Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),Re=new Vn({});const Gf=[Sd,Rd],sn=[];function Lf(s,o){return s[0]==="pt"?0:1}fs=Lf(z),us=sn[fs]=Gf[fs](z);const Vf=[Td,Bd],en=[];function Yf(s,o){return s[0]==="pt"?0:1}return ds=Yf(z),hs=en[ds]=Vf[ds](z),Se=new v({props:{code:"[0, 0, 0, 0, 4, 4, 4, 4, 0, 0, 0, 0, 6, 6, 6, 0, 8, 0, 0]",highlighted:'[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">4</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">6</span>, <span class="hljs-number">6</span>, <span class="hljs-number">6</span>, <span class="hljs-number">0</span>, <span class="hljs-number">8</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]'}}),Be=new v({props:{code:"model.config.id2label",highlighted:"model.config.id2label"}}),Te=new v({props:{code:`{0: 'O',
 1: 'B-MISC',
 2: 'I-MISC',
 3: 'B-PER',
 4: 'I-PER',
 5: 'B-ORG',
 6: 'I-ORG',
 7: 'B-LOC',
 8: 'I-LOC'}`,highlighted:`{<span class="hljs-number">0</span>: <span class="hljs-string">&#x27;O&#x27;</span>,
 <span class="hljs-number">1</span>: <span class="hljs-string">&#x27;B-MISC&#x27;</span>,
 <span class="hljs-number">2</span>: <span class="hljs-string">&#x27;I-MISC&#x27;</span>,
 <span class="hljs-number">3</span>: <span class="hljs-string">&#x27;B-PER&#x27;</span>,
 <span class="hljs-number">4</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>,
 <span class="hljs-number">5</span>: <span class="hljs-string">&#x27;B-ORG&#x27;</span>,
 <span class="hljs-number">6</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>,
 <span class="hljs-number">7</span>: <span class="hljs-string">&#x27;B-LOC&#x27;</span>,
 <span class="hljs-number">8</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>}`}}),Ae=new v({props:{code:`results = []
tokens = inputs.tokens()

for idx, pred in enumerate(predictions):
    label = model.config.id2label[pred]
    if label != "O":
        results.append(
            {"entity": label, "score": probabilities[idx][pred], "word": tokens[idx]}
        )

print(results)`,highlighted:`results = []
tokens = inputs.tokens()

<span class="hljs-keyword">for</span> idx, pred <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(predictions):
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        results.append(
            {<span class="hljs-string">&quot;entity&quot;</span>: label, <span class="hljs-string">&quot;score&quot;</span>: probabilities[idx][pred], <span class="hljs-string">&quot;word&quot;</span>: tokens[idx]}
        )

<span class="hljs-built_in">print</span>(results)`}}),Xe=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S'},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl'},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va'},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in'},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu'},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging'},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face'},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn'}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>}]`}}),He=new v({props:{code:`inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
inputs_with_offsets["offset_mapping"]`,highlighted:`inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]`}}),Me=new v({props:{code:`[(0, 0), (0, 2), (3, 7), (8, 10), (11, 12), (12, 14), (14, 16), (16, 18), (19, 22), (23, 24), (25, 29), (30, 32),
 (33, 35), (35, 40), (41, 45), (46, 48), (49, 57), (57, 58), (0, 0)]`,highlighted:`[(<span class="hljs-number">0</span>, <span class="hljs-number">0</span>), (<span class="hljs-number">0</span>, <span class="hljs-number">2</span>), (<span class="hljs-number">3</span>, <span class="hljs-number">7</span>), (<span class="hljs-number">8</span>, <span class="hljs-number">10</span>), (<span class="hljs-number">11</span>, <span class="hljs-number">12</span>), (<span class="hljs-number">12</span>, <span class="hljs-number">14</span>), (<span class="hljs-number">14</span>, <span class="hljs-number">16</span>), (<span class="hljs-number">16</span>, <span class="hljs-number">18</span>), (<span class="hljs-number">19</span>, <span class="hljs-number">22</span>), (<span class="hljs-number">23</span>, <span class="hljs-number">24</span>), (<span class="hljs-number">25</span>, <span class="hljs-number">29</span>), (<span class="hljs-number">30</span>, <span class="hljs-number">32</span>),
 (<span class="hljs-number">33</span>, <span class="hljs-number">35</span>), (<span class="hljs-number">35</span>, <span class="hljs-number">40</span>), (<span class="hljs-number">41</span>, <span class="hljs-number">45</span>), (<span class="hljs-number">46</span>, <span class="hljs-number">48</span>), (<span class="hljs-number">49</span>, <span class="hljs-number">57</span>), (<span class="hljs-number">57</span>, <span class="hljs-number">58</span>), (<span class="hljs-number">0</span>, <span class="hljs-number">0</span>)]`}}),Ne=new v({props:{code:"example[12:14]",highlighted:'example[<span class="hljs-number">12</span>:<span class="hljs-number">14</span>]'}}),Ge=new v({props:{code:"yl",highlighted:"yl"}}),Le=new v({props:{code:`results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets["offset_mapping"]

for idx, pred in enumerate(predictions):
    label = model.config.id2label[pred]
    if label != "O":
        start, end = offsets[idx]
        results.append(
            {
                "entity": label,
                "score": probabilities[idx][pred],
                "word": tokens[idx],
                "start": start,
                "end": end,
            }
        )

print(results)`,highlighted:`results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]

<span class="hljs-keyword">for</span> idx, pred <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(predictions):
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        start, end = offsets[idx]
        results.append(
            {
                <span class="hljs-string">&quot;entity&quot;</span>: label,
                <span class="hljs-string">&quot;score&quot;</span>: probabilities[idx][pred],
                <span class="hljs-string">&quot;word&quot;</span>: tokens[idx],
                <span class="hljs-string">&quot;start&quot;</span>: start,
                <span class="hljs-string">&quot;end&quot;</span>: end,
            }
        )

<span class="hljs-built_in">print</span>(results)`}}),Ve=new v({props:{code:`[{'entity': 'I-PER', 'score': 0.9993828, 'index': 4, 'word': 'S', 'start': 11, 'end': 12},
 {'entity': 'I-PER', 'score': 0.99815476, 'index': 5, 'word': '##yl', 'start': 12, 'end': 14},
 {'entity': 'I-PER', 'score': 0.99590725, 'index': 6, 'word': '##va', 'start': 14, 'end': 16},
 {'entity': 'I-PER', 'score': 0.9992327, 'index': 7, 'word': '##in', 'start': 16, 'end': 18},
 {'entity': 'I-ORG', 'score': 0.97389334, 'index': 12, 'word': 'Hu', 'start': 33, 'end': 35},
 {'entity': 'I-ORG', 'score': 0.976115, 'index': 13, 'word': '##gging', 'start': 35, 'end': 40},
 {'entity': 'I-ORG', 'score': 0.98879766, 'index': 14, 'word': 'Face', 'start': 41, 'end': 45},
 {'entity': 'I-LOC', 'score': 0.99321055, 'index': 16, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9993828</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">4</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;S&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">12</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99815476</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">5</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##yl&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">14</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99590725</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">6</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##va&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">16</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9992327</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">7</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##in&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97389334</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">12</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hu&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">35</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.976115</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">13</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;##gging&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">35</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">40</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.98879766</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">14</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">41</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity&#x27;</span>: <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;index&#x27;</span>: <span class="hljs-number">16</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),Ye=new Vn({}),Qe=new v({props:{code:"example[33:45]",highlighted:'example[<span class="hljs-number">33</span>:<span class="hljs-number">45</span>]'}}),Ue=new v({props:{code:"Hugging Face",highlighted:"Hugging Face"}}),Je=new v({props:{code:`import numpy as np

results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets["offset_mapping"]

idx = 0
while idx < len(predictions):
    pred = predictions[idx]
    label = model.config.id2label[pred]
    if label != "O":
        # Remove the B- or I-
        label = label[2:]
        start, _ = offsets[idx]

        # Grab all the tokens labeled with I-label
        all_scores = []
        while (
            idx < len(predictions)
            and model.config.id2label[predictions[idx]] == f"I-{label}"
        ):
            all_scores.append(probabilities[idx][pred])
            _, end = offsets[idx]
            idx += 1

        # The score is the mean of all the scores of the tokens in that grouped entity
        score = np.mean(all_scores).item()
        word = example[start:end]
        results.append(
            {
                "entity_group": label,
                "score": score,
                "word": word,
                "start": start,
                "end": end,
            }
        )
    idx += 1

print(results)`,highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=<span class="hljs-literal">True</span>)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]

idx = <span class="hljs-number">0</span>
<span class="hljs-keyword">while</span> idx &lt; <span class="hljs-built_in">len</span>(predictions):
    pred = predictions[idx]
    label = model.config.id2label[pred]
    <span class="hljs-keyword">if</span> label != <span class="hljs-string">&quot;O&quot;</span>:
        <span class="hljs-comment"># Remove the B- or I-</span>
        label = label[<span class="hljs-number">2</span>:]
        start, _ = offsets[idx]

        <span class="hljs-comment"># Grab all the tokens labeled with I-label</span>
        all_scores = []
        <span class="hljs-keyword">while</span> (
            idx &lt; <span class="hljs-built_in">len</span>(predictions)
            <span class="hljs-keyword">and</span> model.config.id2label[predictions[idx]] == <span class="hljs-string">f&quot;I-<span class="hljs-subst">{label}</span>&quot;</span>
        ):
            all_scores.append(probabilities[idx][pred])
            _, end = offsets[idx]
            idx += <span class="hljs-number">1</span>

        <span class="hljs-comment"># The score is the mean of all the scores of the tokens in that grouped entity</span>
        score = np.mean(all_scores).item()
        word = example[start:end]
        results.append(
            {
                <span class="hljs-string">&quot;entity_group&quot;</span>: label,
                <span class="hljs-string">&quot;score&quot;</span>: score,
                <span class="hljs-string">&quot;word&quot;</span>: word,
                <span class="hljs-string">&quot;start&quot;</span>: start,
                <span class="hljs-string">&quot;end&quot;</span>: end,
            }
        )
    idx += <span class="hljs-number">1</span>

<span class="hljs-built_in">print</span>(results)`}}),Ke=new v({props:{code:`[{'entity_group': 'PER', 'score': 0.9981694, 'word': 'Sylvain', 'start': 11, 'end': 18},
 {'entity_group': 'ORG', 'score': 0.97960204, 'word': 'Hugging Face', 'start': 33, 'end': 45},
 {'entity_group': 'LOC', 'score': 0.99321055, 'word': 'Brooklyn', 'start': 49, 'end': 57}]`,highlighted:`[{<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9981694</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Sylvain&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97960204</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hugging Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.99321055</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`}}),{c(){d=l("meta"),g=c(),j(u.$$.fragment),E=c(),R=l("h1"),O=l("a"),T=l("span"),j(q.$$.fragment),S=c(),H=l("span"),B=t("\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"),M=c(),A.c(),D=c(),X=l("p"),C=t(`\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E43\u0E19 \u{1F917} Transformers library \u0E01\u0E31\u0E19
\u0E43\u0E19\u0E1A\u0E17\u0E01\u0E48\u0E2D\u0E19\u0E46 \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49 tokenizer \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2D\u0E35\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30 tokenizer \u0E08\u0E32\u0E01 \u{1F917} Tokenizers library`),G=c(),w=l("p"),L=t("\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2B\u0E47\u0E19\u0E20\u0E32\u0E1E\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (reproduce) \u0E02\u0E2D\u0E07 "),h=l("code"),y=t("token-classification"),Os=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E27\u0E48\u0E32 "),os=l("code"),es=t("ner"),Cs=t(") \u0E41\u0E25\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 pipeline \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A "),Yn=l("code"),Qr=t("question-answering"),Ur=t(" \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27"),an=l("a"),Jr=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Kr=t("\u0E01\u0E31\u0E19"),Qa=c(),j(oe.$$.fragment),Ua=c(),As=l("p"),Wr=t(`\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01 tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32 (slow) \u0E41\u0E25\u0E30\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Python \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Transformers library \u0E2A\u0E48\u0E27\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Rust \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E15\u0E32\u0E23\u0E32\u0E07\u0E08\u0E32\u0E01`),ln=l("a"),Zr=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 5"),sp=t("\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E32\u0E23\u0E32\u0E07\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E40\u0E27\u0E25\u0E32 \u0E17\u0E35\u0E48 tokenizer \u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32 \u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 Drug Review \u0E04\u0E38\u0E13\u0E01\u0E47\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E17\u0E33\u0E44\u0E21\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E23\u0E35\u0E22\u0E01\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E41\u0E25\u0E30\u0E40\u0E23\u0E47\u0E27"),Ja=c(),Xs=l("table"),Qn=l("thead"),Is=l("tr"),rn=l("th"),ep=t("Fast tokenizer"),np=c(),pn=l("th"),tp=t("Slow tokenizer"),ap=c(),Un=l("th"),lp=c(),ie=l("tbody"),Ps=l("tr"),on=l("td"),Jn=l("code"),rp=t("batched=True"),pp=c(),cn=l("td"),op=t("10.8s"),ip=c(),fn=l("td"),cp=t("4min41s"),fp=c(),Ds=l("tr"),un=l("td"),Kn=l("code"),up=t("batched=False"),dp=c(),dn=l("td"),hp=t("59.2s"),mp=c(),hn=l("td"),xp=t("5min3s"),Ka=c(),j(Hs.$$.fragment),Wa=c(),zs=l("h2"),Ms=l("a"),Wn=l("span"),j(ce.$$.fragment),gp=c(),Zn=l("span"),jp=t("Batch encoding"),Za=c(),j(fe.$$.fragment),sl=c(),gs=l("p"),bp=t("output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 dictionary \u0E41\u0E15\u0E48\u0E40\u0E1B\u0E47\u0E19 Python object \u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),st=l("code"),_p=t("BatchEncoding"),$p=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 subclass \u0E02\u0E2D\u0E07 dictionary \u0E2D\u0E35\u0E01\u0E17\u0E35 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 index \u0E15\u0E31\u0E27 output \u0E44\u0E14\u0E49 "),et=l("code"),kp=t("BatchEncoding"),Ep=t(" \u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 dictionary \u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 \u0E21\u0E31\u0E19\u0E21\u0E35 method \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21 \u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E32\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22 fast tokenizer"),el=c(),ue=l("p"),vp=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01 fast tokenizer \u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E21\u0E31\u0E19\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 span (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A) \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),nt=l("em"),yp=t("offset mapping"),nl=c(),de=l("p"),tt=l("em"),wp=t("offset mapping"),Op=t(" \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E42\u0E22\u0E07 \u201C\u0E04\u0E33\u201D \u0E44\u0E1B\u0E2B\u0E32 token \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49 (\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u201C\u0E04\u0E33\u201D \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 \u0E01\u0E25\u0E38\u0E48\u0E21\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E33\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E32\u0E22 token \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E47\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E42\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E44\u0E1B\u0E2B\u0E32 token \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19"),tl=c(),mn=l("p"),Cp=t("\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19:"),al=c(),j(he.$$.fragment),ll=c(),Ns=l("p"),Ip=t("\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E04\u0E37\u0E2D "),at=l("code"),Pp=t("BatchEncoding"),Dp=t(" \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E25\u0E48\u0E32\u0E27\u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19:"),rl=c(),j(me.$$.fragment),pl=c(),J=l("p"),zp=t("\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 class "),lt=l("code"),Rp=t("AutoTokenizer"),Sp=t(" \u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27 fast tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 (by default) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),rt=l("code"),Bp=t("BatchEncoding"),Tp=t(` \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 \u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E49\u0E32 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2A\u0E2D\u0E07\u0E27\u0E34\u0E18\u0E35 \u0E27\u0E34\u0E18\u0E35\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 attribute `),pt=l("code"),qp=t("is_fast"),Fp=t(" \u0E02\u0E2D\u0E07 "),ot=l("code"),Ap=t("tokenizer"),Xp=t(" :"),ol=c(),j(xe.$$.fragment),il=c(),j(ge.$$.fragment),cl=c(),js=l("p"),Hp=t("\u0E2D\u0E35\u0E01\u0E27\u0E34\u0E18\u0E35\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04 attribute "),it=l("code"),Mp=t("is_fast"),Np=t(" \u0E02\u0E2D\u0E07 "),ct=l("code"),Gp=t("encoding"),Lp=t(":"),fl=c(),j(je.$$.fragment),ul=c(),j(be.$$.fragment),dl=c(),xn=l("p"),Vp=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 fast tokenizer \u0E17\u0E33\u0E2D\u0E30\u0E44\u0E23\u0E44\u0E14\u0E49\u0E1A\u0E49\u0E32\u0E07 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39 token \u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 ID \u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 token"),hl=c(),j(_e.$$.fragment),ml=c(),j($e.$$.fragment),xl=c(),Gs=l("p"),Yp=t("\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D "),ft=l("code"),Qp=t("##yl"),Up=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D"),gl=c(),Ls=l("p"),Jp=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method "),ut=l("code"),Kp=t("word_ids()"),Wp=t(" \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),jl=c(),j(ke.$$.fragment),bl=c(),j(Ee.$$.fragment),_l=c(),K=l("p"),Zp=t("\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E22\u0E48\u0E32\u0E07 "),dt=l("code"),so=t("[CLS]"),eo=t(" \u0E41\u0E25\u0E30 "),ht=l("code"),no=t("[SEP]"),to=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 "),mt=l("code"),ao=t("None"),lo=t(` \u0E2A\u0E48\u0E27\u0E19 token \u0E2D\u0E37\u0E48\u0E19\u0E46\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E49\u0E19\u0E15\u0E2D\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19
\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49 \u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E19\u0E43\u0E08\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48 \u0E41\u0E25\u0E30\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E14\u0E39\u0E17\u0E35\u0E48\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C `),xt=l("code"),ro=t("##"),po=t(" \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 token (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E23\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E04\u0E33) \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E41\u0E1A\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27"),$l=c(),Vs=l("p"),oo=t(`\u0E43\u0E19\u0E1A\u0E17\u0E2B\u0E19\u0E49\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 label \u0E01\u0E31\u0E1A token \u0E43\u0E19 task \u0E40\u0E0A\u0E48\u0E19 entity recognition (NER) and part-of-speech (POS) tagging \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E43\u0E0A\u0E49 masked language modeling \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 (\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),gt=l("em"),io=t("whole word masking"),co=t(")"),kl=c(),j(Ys.$$.fragment),El=c(),ts=l("p"),fo=t("\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35 method \u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E0A\u0E37\u0E48\u0E2D "),jt=l("code"),uo=t("sentence_ids()"),ho=t(" \u0E17\u0E35\u0E48\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E49\u0E19\u0E15\u0E2D \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),bt=l("code"),mo=t("token_type_ids"),xo=t(" \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19 tokenizer \u0E41\u0E17\u0E19 "),_t=l("code"),go=t("sentence_ids()"),jo=t(" \u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19"),vl=c(),ns=l("p"),bo=t("\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E04\u0E37\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E23\u0E37\u0E2D\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 method "),$t=l("code"),_o=t("word_to_chars()"),$o=t(" \u0E2B\u0E23\u0E37\u0E2D "),kt=l("code"),ko=t("token_to_chars()"),Eo=t(" \u0E41\u0E25\u0E30 "),Et=l("code"),vo=t("char_to_word()"),yo=t(" \u0E2B\u0E23\u0E37\u0E2D "),vt=l("code"),wo=t("char_to_token()"),yl=c(),bs=l("p"),Oo=t("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 method "),yt=l("code"),Co=t("word_ids()"),Io=t(" \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 "),wt=l("code"),Po=t("##yl"),Do=t(" \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 3 \u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2D\u0E22\u0E32\u0E01\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E44\u0E14\u0E49\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),wl=c(),j(ve.$$.fragment),Ol=c(),j(ye.$$.fragment),Cl=c(),_s=l("p"),zo=t("\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1A\u0E2D\u0E01\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 fast tokenizer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E21\u0E31\u0E19\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E02\u0E2D\u0E07 "),Ot=l("em"),Ro=t("offsets"),So=t(`
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 feature \u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 pipeline `),Ct=l("code"),Bo=t("token-classification"),To=t(" \u0E01\u0E31\u0E19"),Il=c(),j(Qs.$$.fragment),Pl=c(),Rs=l("h2"),Us=l("a"),It=l("span"),j(we.$$.fragment),qo=c(),gn=l("span"),Fo=t("\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline "),Pt=l("code"),Ao=t("token-classification"),Dl=c(),W=l("p"),Xo=t("\u0E43\u0E19"),jn=l("a"),Ho=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Mo=t(" \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E30\u0E1A\u0E1A NER \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 entitiy \u0E40\u0E0A\u0E48\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48 \u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Dt=l("code"),No=t("pipeline()"),Go=t(` \u0E08\u0E32\u0E01 \u{1F917} Transformers
\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E19`),bn=l("a"),Lo=t("\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Vo=t(` \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 pipeline \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 3 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2A\u0E48\u0E07\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (post-processing)
\u0E2A\u0E2D\u0E07\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01\u0E43\u0E19 pipeline `),zt=l("code"),Yo=t("token-classification"),Qo=t(" \u0E19\u0E31\u0E49\u0E19 \u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E41\u0E15\u0E48\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19 post-processing \u0E08\u0E30\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19"),zl=c(),cs.c(),_n=c(),Ss=l("h3"),Js=l("a"),Rt=l("span"),j(Oe.$$.fragment),Uo=c(),St=l("span"),Jo=t("\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"),Rl=c(),Ks=l("p"),Ko=t(`\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 token classification pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A pipeline
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E04\u0E37\u0E2D `),Ce=l("a"),Bt=l("code"),Wo=t("dbmdz/bert-large-cased-finetuned-conll03-english"),Zo=t(" \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 NER \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input:"),Sl=c(),j(Ie.$$.fragment),Bl=c(),j(Pe.$$.fragment),Tl=c(),$n=l("p"),si=t(`\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01 \u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E41\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E41\u0E25\u0E30 \u201CBrooklyn\u201D \u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 pipeline \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E21\u0E35 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22`),ql=c(),j(De.$$.fragment),Fl=c(),j(ze.$$.fragment),Al=c(),V=l("p"),Tt=l("code"),ei=t("aggregation_strategy"),ni=t(` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01 \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A `),qt=l("code"),ti=t('"simple"'),ai=t(" \u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E30\u0E41\u0E19\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E30\u0E41\u0E19\u0E19\u0E08\u0E32\u0E01 token \u0E22\u0E48\u0E2D\u0E22\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ft=l("code"),li=t("S"),ri=t(", "),At=l("code"),pi=t("##yl"),oi=t(", "),Xt=l("code"),ii=t("##va"),ci=t(", and "),Ht=l("code"),fi=t("##in"),Xl=c(),kn=l("p"),ui=t("\u0E27\u0E34\u0E18\u0E35\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E2D\u0E37\u0E48\u0E19 :"),Hl=c(),$s=l("ul"),Ws=l("li"),Mt=l("code"),di=t('"first"'),hi=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.993828 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 "),Nt=l("code"),mi=t("S"),xi=t(")"),gi=c(),En=l("li"),Gt=l("code"),ji=t('"max"'),bi=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E30\u0E41\u0E19\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.98879766 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 \u201CFace\u201D)"),_i=c(),Zs=l("li"),Lt=l("code"),$i=t('"average"'),ki=t(" \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07 entity \u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 entity (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E08\u0E30\u0E44\u0E21\u0E48\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A "),Vt=l("code"),Ei=t('"simple"'),vi=t(" \u0E41\u0E15\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E08\u0E33\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19 0.9819 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22 \u0E02\u0E2D\u0E07 \u201CHugging\u201D 0.975 \u0E41\u0E25\u0E30 \u201CFace\u201D 0.98879)"),Ml=c(),se=l("p"),yi=t("\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Yt=l("code"),wi=t("pipeline()"),Oi=t("!"),Nl=c(),Bs=l("h3"),ee=l("a"),Qt=l("span"),j(Re.$$.fragment),Ci=c(),Ut=l("span"),Ii=t("\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"),Gl=c(),us.c(),vn=c(),yn=l("p"),Pi=t(`\u0E41\u0E15\u0E48\u0E25\u0E30 batch \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 1 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 token 19 \u0E15\u0E31\u0E27 \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E19\u0E32\u0E22\u0E44\u0E14\u0E49 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D 1 x 19 x 9
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 text classification pipeline \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (probabilities) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 argmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 (\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 argmax \u0E02\u0E2D\u0E07\u0E04\u0E48\u0E32 logits \u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 softmax \u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2B\u0E21\u0E27\u0E14 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E2B\u0E21\u0E27\u0E14\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19)`),Ll=c(),hs.c(),wn=c(),j(Se.$$.fragment),Vl=c(),ne=l("p"),Di=t("attribute "),Jt=l("code"),zi=t("model.config.id2label"),Ri=t(" \u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A mapping \u0E02\u0E2D\u0E07 index \u0E44\u0E1B\u0E2B\u0E32 label \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),Yl=c(),j(Be.$$.fragment),Ql=c(),j(Te.$$.fragment),Ul=c(),ks=l("p"),Si=t("\u0E08\u0E32\u0E01 output \u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 label "),Kt=l("code"),Bi=t("O"),Ti=t(" \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19 named entity ("),Wt=l("code"),qi=t("O"),Fi=t(" \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Coutside\u201D) \u0E41\u0E25\u0E30 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E02\u0E2D\u0E07 entity \u0E08\u0E30\u0E21\u0E35\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E2A\u0E2D\u0E07 label (\u0E40\u0E23\u0E32\u0E21\u0E35\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 4 entity: miscellaneous, person, organization, and location)"),Jl=c(),I=l("p"),Ai=t("\u0E16\u0E49\u0E32 token \u0E16\u0E39\u0E01 label \u0E14\u0E49\u0E27\u0E22 "),Zt=l("code"),Xi=t("B-XXX"),Hi=t(" \u0E19\u0E31\u0E48\u0E19\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),sa=l("code"),Mi=t("XXX"),Ni=t(" \u0E2A\u0E48\u0E27\u0E19 label "),ea=l("code"),Gi=t("I-XXX"),Li=t(" \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),na=l("code"),Vi=t("XXX"),Yi=t(`
\u0E16\u0E49\u0E32\u0E14\u0E39\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 token `),ta=l("code"),Qi=t("S"),Ui=t(" \u0E01\u0E31\u0E1A\u0E2B\u0E21\u0E27\u0E14 "),aa=l("code"),Ji=t("B-PER"),Ki=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),la=l("code"),Wi=t("S"),Zi=t(" \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19) \u0E2A\u0E48\u0E27\u0E19 token "),ra=l("code"),sc=t("##yl"),ec=t(", "),pa=l("code"),nc=t("##va"),tc=t(" \u0E41\u0E25\u0E30 "),oa=l("code"),ac=t("##in"),lc=t(" \u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E16\u0E39\u0E01\u0E17\u0E33\u0E19\u0E32\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E21\u0E27\u0E14 "),ia=l("code"),rc=t("I-PER"),pc=t(" (\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19)"),Kl=c(),U=l("p"),oc=t("\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E17\u0E33\u0E19\u0E32\u0E22\u0E1C\u0E34\u0E14\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E35\u0E48 token \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ca=l("code"),ic=t("I-PER"),cc=t(` \u0E41\u0E15\u0E48\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 \u0E17\u0E33\u0E19\u0E32\u0E22\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E01\u0E47\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1C\u0E34\u0E14\u0E44\u0E1B\u0E0B\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14
\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E01\u0E32\u0E23\u0E17\u0E33\u0E19\u0E32\u0E22\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 label `),fa=l("code"),fc=t("B-"),uc=t(" \u0E41\u0E25\u0E30 "),ua=l("code"),dc=t("I-"),hc=t(" \u0E43\u0E19\u0E07\u0E32\u0E19 NER \u0E21\u0E35\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E04\u0E37\u0E2D "),da=l("em"),mc=t("IOB1"),xc=t(" and "),ha=l("em"),gc=t("IOB2"),Wl=c(),ms=l("p"),jc=t("IOB1 (\u0E2A\u0E35\u0E2A\u0E49\u0E21) \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E2A\u0E48\u0E27\u0E19 IOB2 (\u0E2A\u0E35\u0E21\u0E48\u0E27\u0E07) \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),ma=l("code"),bc=t("B-"),_c=t(` \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E41\u0E1A\u0E48\u0E07 entity \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E43\u0E2B\u0E49\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E01\u0E31\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01 fine-tune \u0E08\u0E32\u0E01\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E21\u0E35 label \u0E41\u0E1A\u0E1A IOB2 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22 `),xa=l("code"),$c=t("S"),kc=t(" \u0E40\u0E1B\u0E47\u0E19 "),ga=l("code"),Ec=t("I-PER"),Zl=c(),Ts=l("div"),qe=l("img"),vc=c(),Fe=l("img"),sr=c(),te=l("p"),yc=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C \u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E41\u0E25\u0E30 label \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 "),ja=l("code"),wc=t("O"),Oc=t("\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),er=c(),j(Ae.$$.fragment),nr=c(),j(Xe.$$.fragment),tr=c(),ae=l("p"),Cc=t(`\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E02\u0E49\u0E2D\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E14\u0E49\u0E27\u0E22
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset mapping \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 offset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E15 `),ba=l("code"),Ic=t("return_offsets_mapping=True"),Pc=t(" \u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E23\u0E31\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33"),ar=c(),j(He.$$.fragment),lr=c(),j(Me.$$.fragment),rr=c(),as=l("p"),Dc=t("\u0E41\u0E15\u0E48\u0E25\u0E30 tuple \u0E43\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E48\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E27\u0E01 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E01\u0E47\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 span \u0E40\u0E1B\u0E47\u0E19 "),_a=l("code"),zc=t("(0, 0)"),Rc=t(`
\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D `),$a=l("code"),Sc=t("##yl"),Bc=t(" \u0E21\u0E35\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19 "),ka=l("code"),Tc=t("(12, 14)"),qc=t(`
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E14\u0E49\u0E27\u0E22 index \u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32\u0E19\u0E35\u0E49`),pr=c(),j(Ne.$$.fragment),or=c(),Es=l("p"),Fc=t("\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Ea=l("code"),Ac=t("yl"),Xc=t(" \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),va=l("code"),Hc=t("##"),Mc=t(" \u0E08\u0E30\u0E16\u0E39\u0E01\u0E25\u0E30\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C:"),ir=c(),j(Ge.$$.fragment),cr=c(),On=l("p"),Nc=t("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E43\u0E19 pipeline:"),fr=c(),j(Le.$$.fragment),ur=c(),j(Ve.$$.fragment),dr=c(),Cn=l("p"),Gc=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E41\u0E25\u0E49\u0E27!"),hr=c(),qs=l("h3"),le=l("a"),ya=l("span"),j(Ye.$$.fragment),Lc=c(),wa=l("span"),Vc=t("\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"),mr=c(),In=l("p"),Yc=t(`\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 offset \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01\u0E19\u0E31\u0E01
\u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E21\u0E35\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E14\u0E49\u0E27\u0E22`),xr=c(),N=l("p"),Qc=t("\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 "),Oa=l("code"),Uc=t("Hu"),Jc=t(", "),Ca=l("code"),Kc=t("##gging"),Wc=t(", \u0E41\u0E25\u0E30 "),Ia=l("code"),Zc=t("Face"),sf=t(" \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E27\u0E48\u0E32 \u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E41\u0E23\u0E01\u0E01\u0E31\u0E1A token \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E25\u0E1A "),Pa=l("code"),ef=t("##"),nf=t(` \u0E2D\u0E2D\u0E01
\u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E0A\u0E48\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21 \u0E40\u0E1E\u0E23\u0E32\u0E30 `),Da=l("code"),tf=t("Face"),af=t(" \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22  "),za=l("code"),lf=t("##"),rf=t(` \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E40\u0E0A\u0E48\u0E19 \u0E41\u0E1A\u0E1A SentencePiece \u0E2B\u0E23\u0E37\u0E2D Byte-Pair-Encoding \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E43\u0E2B\u0E21\u0E48`),gr=c(),Y=l("p"),pf=t(`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E0E\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E40\u0E2D\u0E07 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01 \u0E41\u0E25\u0E30 \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07 entity \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35 3 token `),Ra=l("code"),of=t("Hu"),cf=t(", "),Sa=l("code"),ff=t("##gging"),uf=t(", \u0E41\u0E25\u0E30 "),Ba=l("code"),df=t("Face"),hf=t(" \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 33 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 "),Ta=l("code"),mf=t("Hu"),xf=t(") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E41\u0E25\u0E30 45 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 "),qa=l("code"),gf=t("Hu"),jf=t(") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E08\u0E1A\u0E02\u0E2D\u0E07 entity \u0E19\u0E35\u0E49"),jr=c(),j(Qe.$$.fragment),br=c(),j(Ue.$$.fragment),_r=c(),Pn=l("p"),bf=t("\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E31\u0E19 (post-processing) \u0E42\u0E14\u0E22\u0E08\u0E30\u0E17\u0E33\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),$r=c(),Q=l("p"),_f=t("\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 token \u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 entity \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07 "),Fa=l("code"),$f=t("B-XXX"),kf=t(" \u0E41\u0E25\u0E30 "),Aa=l("code"),Ef=t("I-XXX"),vf=t(" \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E15\u0E31\u0E27\u0E16\u0E31\u0E14\u0E46\u0E44\u0E1B \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Xa=l("code"),yf=t("I-XXX"),wf=t(" \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19 "),Ha=l("code"),Of=t("O"),Cf=t(" (\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 entity \u0E43\u0E14\u0E46 \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21) \u0E2B\u0E23\u0E37\u0E2D "),Ma=l("code"),If=t("B-XXX"),Pf=t(" (\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E23\u0E27\u0E21 entity \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48)"),kr=c(),j(Je.$$.fragment),Er=c(),Dn=l("p"),Df=t("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E41\u0E25\u0E49\u0E27!"),vr=c(),j(Ke.$$.fragment),yr=c(),zn=l("p"),zf=t(`\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E07\u0E32\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E01\u0E47\u0E04\u0E37\u0E2D question answering
\u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E1A\u0E1A\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E08\u0E31\u0E01\u0E01\u0E31\u0E1A feature \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07 tokenizers \u0E43\u0E19 \u{1F917} Transformers library \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A tokens \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input`),this.h()},l(s){const o=Ed('[data-svelte="svelte-1phssyn"]',document.head);d=r(o,"META",{name:!0,content:!0}),o.forEach(n),g=f(s),b(u.$$.fragment,s),E=f(s),R=r(s,"H1",{class:!0});var nn=p(R);O=r(nn,"A",{id:!0,class:!0,href:!0});var Rn=p(O);T=r(Rn,"SPAN",{});var Na=p(T);b(q.$$.fragment,Na),Na.forEach(n),Rn.forEach(n),S=f(nn),H=r(nn,"SPAN",{});var Ga=p(H);B=a(Ga,"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"),Ga.forEach(n),nn.forEach(n),M=f(s),A.l(s),D=f(s),X=r(s,"P",{});var La=p(X);C=a(La,`\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E43\u0E19 \u{1F917} Transformers library \u0E01\u0E31\u0E19
\u0E43\u0E19\u0E1A\u0E17\u0E01\u0E48\u0E2D\u0E19\u0E46 \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E43\u0E0A\u0E49 tokenizer \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E46 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 ID \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2D\u0E35\u0E01\u0E2B\u0E25\u0E32\u0E22\u0E2D\u0E22\u0E48\u0E32\u0E07 \u0E42\u0E14\u0E22\u0E40\u0E09\u0E1E\u0E32\u0E30 tokenizer \u0E08\u0E32\u0E01 \u{1F917} Tokenizers library`),La.forEach(n),G=f(s),w=r(s,"P",{});var Z=p(w);L=a(Z,"\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2B\u0E47\u0E19\u0E20\u0E32\u0E1E\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E0A\u0E31\u0E14\u0E40\u0E08\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (reproduce) \u0E02\u0E2D\u0E07 "),h=r(Z,"CODE",{});var Sn=p(h);y=a(Sn,"token-classification"),Sn.forEach(n),Os=a(Z," (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E2A\u0E31\u0E49\u0E19\u0E46\u0E27\u0E48\u0E32 "),os=r(Z,"CODE",{});var Bn=p(os);es=a(Bn,"ner"),Bn.forEach(n),Cs=a(Z,") \u0E41\u0E25\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07 pipeline \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A "),Yn=r(Z,"CODE",{});var Qf=p(Yn);Qr=a(Qf,"question-answering"),Qf.forEach(n),Ur=a(Z," \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27"),an=r(Z,"A",{href:!0});var Uf=p(an);Jr=a(Uf,"\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Uf.forEach(n),Kr=a(Z,"\u0E01\u0E31\u0E19"),Z.forEach(n),Qa=f(s),b(oe.$$.fragment,s),Ua=f(s),As=r(s,"P",{});var Or=p(As);Wr=a(Or,`\u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E22\u0E01 tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32 (slow) \u0E41\u0E25\u0E30\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Python \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Transformers library \u0E2A\u0E48\u0E27\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 tokenizer \u0E17\u0E35\u0E48\u0E40\u0E02\u0E35\u0E22\u0E19\u0E14\u0E49\u0E27\u0E22 Rust \u0E41\u0E25\u0E30\u0E21\u0E32\u0E08\u0E32\u0E01 \u{1F917} Tokenizers library
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E08\u0E33\u0E15\u0E32\u0E23\u0E32\u0E07\u0E08\u0E32\u0E01`),ln=r(Or,"A",{href:!0});var Jf=p(ln);Zr=a(Jf,"\u0E1A\u0E17\u0E17\u0E35\u0E48 5"),Jf.forEach(n),sp=a(Or,"\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E32\u0E23\u0E32\u0E07\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E40\u0E27\u0E25\u0E32 \u0E17\u0E35\u0E48 tokenizer \u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32 \u0E43\u0E0A\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25 Drug Review \u0E04\u0E38\u0E13\u0E01\u0E47\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E17\u0E33\u0E44\u0E21\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E23\u0E35\u0E22\u0E01\u0E1E\u0E27\u0E01\u0E21\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E41\u0E1A\u0E1A\u0E0A\u0E49\u0E32\u0E41\u0E25\u0E30\u0E40\u0E23\u0E47\u0E27"),Or.forEach(n),Ja=f(s),Xs=r(s,"TABLE",{});var Cr=p(Xs);Qn=r(Cr,"THEAD",{});var Kf=p(Qn);Is=r(Kf,"TR",{});var Tn=p(Is);rn=r(Tn,"TH",{align:!0});var Wf=p(rn);ep=a(Wf,"Fast tokenizer"),Wf.forEach(n),np=f(Tn),pn=r(Tn,"TH",{align:!0});var Zf=p(pn);tp=a(Zf,"Slow tokenizer"),Zf.forEach(n),ap=f(Tn),Un=r(Tn,"TH",{align:!0}),p(Un).forEach(n),Tn.forEach(n),Kf.forEach(n),lp=f(Cr),ie=r(Cr,"TBODY",{});var Ir=p(ie);Ps=r(Ir,"TR",{});var qn=p(Ps);on=r(qn,"TD",{align:!0});var s2=p(on);Jn=r(s2,"CODE",{});var e2=p(Jn);rp=a(e2,"batched=True"),e2.forEach(n),s2.forEach(n),pp=f(qn),cn=r(qn,"TD",{align:!0});var n2=p(cn);op=a(n2,"10.8s"),n2.forEach(n),ip=f(qn),fn=r(qn,"TD",{align:!0});var t2=p(fn);cp=a(t2,"4min41s"),t2.forEach(n),qn.forEach(n),fp=f(Ir),Ds=r(Ir,"TR",{});var Fn=p(Ds);un=r(Fn,"TD",{align:!0});var a2=p(un);Kn=r(a2,"CODE",{});var l2=p(Kn);up=a(l2,"batched=False"),l2.forEach(n),a2.forEach(n),dp=f(Fn),dn=r(Fn,"TD",{align:!0});var r2=p(dn);hp=a(r2,"59.2s"),r2.forEach(n),mp=f(Fn),hn=r(Fn,"TD",{align:!0});var p2=p(hn);xp=a(p2,"5min3s"),p2.forEach(n),Fn.forEach(n),Ir.forEach(n),Cr.forEach(n),Ka=f(s),b(Hs.$$.fragment,s),Wa=f(s),zs=r(s,"H2",{class:!0});var Pr=p(zs);Ms=r(Pr,"A",{id:!0,class:!0,href:!0});var o2=p(Ms);Wn=r(o2,"SPAN",{});var i2=p(Wn);b(ce.$$.fragment,i2),i2.forEach(n),o2.forEach(n),gp=f(Pr),Zn=r(Pr,"SPAN",{});var c2=p(Zn);jp=a(c2,"Batch encoding"),c2.forEach(n),Pr.forEach(n),Za=f(s),b(fe.$$.fragment,s),sl=f(s),gs=r(s,"P",{});var An=p(gs);bp=a(An,"output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 dictionary \u0E41\u0E15\u0E48\u0E40\u0E1B\u0E47\u0E19 Python object \u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),st=r(An,"CODE",{});var f2=p(st);_p=a(f2,"BatchEncoding"),f2.forEach(n),$p=a(An," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19 subclass \u0E02\u0E2D\u0E07 dictionary \u0E2D\u0E35\u0E01\u0E17\u0E35 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16 index \u0E15\u0E31\u0E27 output \u0E44\u0E14\u0E49 "),et=r(An,"CODE",{});var u2=p(et);kp=a(u2,"BatchEncoding"),u2.forEach(n),Ep=a(An," \u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01 dictionary \u0E17\u0E31\u0E48\u0E27\u0E44\u0E1B\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 \u0E21\u0E31\u0E19\u0E21\u0E35 method \u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21 \u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E32\u0E01\u0E08\u0E30\u0E16\u0E39\u0E01\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22 fast tokenizer"),An.forEach(n),el=f(s),ue=r(s,"P",{});var Rf=p(ue);vp=a(Rf,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01 fast tokenizer \u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E41\u0E1A\u0E1A parallel \u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E21\u0E31\u0E19\u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01 span (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A) \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49\u0E14\u0E49\u0E27\u0E22 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),nt=r(Rf,"EM",{});var d2=p(nt);yp=a(d2,"offset mapping"),d2.forEach(n),Rf.forEach(n),nl=f(s),de=r(s,"P",{});var Sf=p(de);tt=r(Sf,"EM",{});var h2=p(tt);wp=a(h2,"offset mapping"),h2.forEach(n),Op=a(Sf," \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E42\u0E22\u0E07 \u201C\u0E04\u0E33\u201D \u0E44\u0E1B\u0E2B\u0E32 token \u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49 (\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u201C\u0E04\u0E33\u201D \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 \u0E01\u0E25\u0E38\u0E48\u0E21\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E14\u0E49\u0E27\u0E22 space \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E04\u0E33\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E25\u0E32\u0E22 token \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E01\u0E47\u0E22\u0E31\u0E07\u0E0A\u0E48\u0E27\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E42\u0E22\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E44\u0E1B\u0E2B\u0E32 token \u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22\u0E40\u0E0A\u0E48\u0E19\u0E01\u0E31\u0E19"),Sf.forEach(n),tl=f(s),mn=r(s,"P",{});var m2=p(mn);Cp=a(m2,"\u0E21\u0E32\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E31\u0E19:"),m2.forEach(n),al=f(s),b(he.$$.fragment,s),ll=f(s),Ns=r(s,"P",{});var Dr=p(Ns);Ip=a(Dr,"\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E04\u0E37\u0E2D "),at=r(Dr,"CODE",{});var x2=p(at);Pp=a(x2,"BatchEncoding"),x2.forEach(n),Dp=a(Dr," \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E01\u0E25\u0E48\u0E32\u0E27\u0E44\u0E27\u0E49\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19:"),Dr.forEach(n),rl=f(s),b(me.$$.fragment,s),pl=f(s),J=r(s,"P",{});var vs=p(J);zp=a(vs,"\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 class "),lt=r(vs,"CODE",{});var g2=p(lt);Rp=a(g2,"AutoTokenizer"),g2.forEach(n),Sp=a(vs," \u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E15\u0E31\u0E27 fast tokenizer \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 (by default) \u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D "),rt=r(vs,"CODE",{});var j2=p(rt);Bp=a(j2,"BatchEncoding"),j2.forEach(n),Tp=a(vs,` \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49
\u0E01\u0E32\u0E23\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 \u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E49\u0E32 \u0E17\u0E33\u0E44\u0E14\u0E49\u0E2A\u0E2D\u0E07\u0E27\u0E34\u0E18\u0E35 \u0E27\u0E34\u0E18\u0E35\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 attribute `),pt=r(vs,"CODE",{});var b2=p(pt);qp=a(b2,"is_fast"),b2.forEach(n),Fp=a(vs," \u0E02\u0E2D\u0E07 "),ot=r(vs,"CODE",{});var _2=p(ot);Ap=a(_2,"tokenizer"),_2.forEach(n),Xp=a(vs," :"),vs.forEach(n),ol=f(s),b(xe.$$.fragment,s),il=f(s),b(ge.$$.fragment,s),cl=f(s),js=r(s,"P",{});var Xn=p(js);Hp=a(Xn,"\u0E2D\u0E35\u0E01\u0E27\u0E34\u0E18\u0E35\u0E04\u0E37\u0E2D\u0E40\u0E0A\u0E47\u0E04 attribute "),it=r(Xn,"CODE",{});var $2=p(it);Mp=a($2,"is_fast"),$2.forEach(n),Np=a(Xn," \u0E02\u0E2D\u0E07 "),ct=r(Xn,"CODE",{});var k2=p(ct);Gp=a(k2,"encoding"),k2.forEach(n),Lp=a(Xn,":"),Xn.forEach(n),fl=f(s),b(je.$$.fragment,s),ul=f(s),b(be.$$.fragment,s),dl=f(s),xn=r(s,"P",{});var E2=p(xn);Vp=a(E2,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 fast tokenizer \u0E17\u0E33\u0E2D\u0E30\u0E44\u0E23\u0E44\u0E14\u0E49\u0E1A\u0E49\u0E32\u0E07 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E04\u0E37\u0E2D \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39 token \u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 ID \u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 token"),E2.forEach(n),hl=f(s),b(_e.$$.fragment,s),ml=f(s),b($e.$$.fragment,s),xl=f(s),Gs=r(s,"P",{});var zr=p(Gs);Yp=a(zr,"\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D "),ft=r(zr,"CODE",{});var v2=p(ft);Qp=a(v2,"##yl"),v2.forEach(n),Up=a(zr," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D"),zr.forEach(n),gl=f(s),Ls=r(s,"P",{});var Rr=p(Ls);Jp=a(Rr,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 method "),ut=r(Rr,"CODE",{});var y2=p(ut);Kp=a(y2,"word_ids()"),y2.forEach(n),Wp=a(Rr," \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E14\u0E39\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22"),Rr.forEach(n),jl=f(s),b(ke.$$.fragment,s),bl=f(s),b(Ee.$$.fragment,s),_l=f(s),K=r(s,"P",{});var ys=p(K);Zp=a(ys,"\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E1E\u0E34\u0E40\u0E28\u0E29\u0E2D\u0E22\u0E48\u0E32\u0E07 "),dt=r(ys,"CODE",{});var w2=p(dt);so=a(w2,"[CLS]"),w2.forEach(n),eo=a(ys," \u0E41\u0E25\u0E30 "),ht=r(ys,"CODE",{});var O2=p(ht);no=a(O2,"[SEP]"),O2.forEach(n),to=a(ys," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32 "),mt=r(ys,"CODE",{});var C2=p(mt);ao=a(C2,"None"),C2.forEach(n),lo=a(ys,` \u0E2A\u0E48\u0E27\u0E19 token \u0E2D\u0E37\u0E48\u0E19\u0E46\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E49\u0E19\u0E15\u0E2D\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19
\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49 \u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E19\u0E43\u0E08\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48 \u0E41\u0E25\u0E30\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E40\u0E0A\u0E47\u0E04\u0E27\u0E48\u0E32 token \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27 \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48
\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E14\u0E39\u0E17\u0E35\u0E48\u0E2A\u0E31\u0E0D\u0E25\u0E31\u0E01\u0E29\u0E13\u0E4C `),xt=r(ys,"CODE",{});var I2=p(xt);ro=a(I2,"##"),I2.forEach(n),po=a(ys," \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32 token (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E15\u0E31\u0E27\u0E19\u0E35\u0E49 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E15\u0E23\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E04\u0E33) \u0E41\u0E15\u0E48\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E35\u0E48\u0E21\u0E35\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E41\u0E1A\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25 BERT \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27"),ys.forEach(n),$l=f(s),Vs=r(s,"P",{});var Sr=p(Vs);oo=a(Sr,`\u0E43\u0E19\u0E1A\u0E17\u0E2B\u0E19\u0E49\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 label \u0E01\u0E31\u0E1A token \u0E43\u0E19 task \u0E40\u0E0A\u0E48\u0E19 entity recognition (NER) and part-of-speech (POS) tagging \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E38\u0E13\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 feature \u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E38\u0E01\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E27\u0E25\u0E32\u0E43\u0E0A\u0E49 masked language modeling \u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22 (\u0E01\u0E32\u0E23\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),gt=r(Sr,"EM",{});var P2=p(gt);io=a(P2,"whole word masking"),P2.forEach(n),co=a(Sr,")"),Sr.forEach(n),kl=f(s),b(Ys.$$.fragment,s),El=f(s),ts=r(s,"P",{});var re=p(ts);fo=a(re,"\u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E22\u0E31\u0E07\u0E21\u0E35 method \u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E19 \u0E17\u0E35\u0E48\u0E0A\u0E37\u0E48\u0E2D "),jt=r(re,"CODE",{});var D2=p(jt);uo=a(D2,"sentence_ids()"),D2.forEach(n),ho=a(re," \u0E17\u0E35\u0E48\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E15\u0E49\u0E19\u0E15\u0E2D \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),bt=r(re,"CODE",{});var z2=p(bt);mo=a(z2,"token_type_ids"),z2.forEach(n),xo=a(re," \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E23\u0E31\u0E19 tokenizer \u0E41\u0E17\u0E19 "),_t=r(re,"CODE",{});var R2=p(_t);go=a(R2,"sentence_ids()"),R2.forEach(n),jo=a(re," \u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19"),re.forEach(n),vl=f(s),ns=r(s,"P",{});var Fs=p(ns);bo=a(Fs,"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E04\u0E37\u0E2D\u0E42\u0E22\u0E07 token \u0E44\u0E1B\u0E2B\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E2B\u0E23\u0E37\u0E2D\u0E01\u0E25\u0E31\u0E1A\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 method "),$t=r(Fs,"CODE",{});var S2=p($t);_o=a(S2,"word_to_chars()"),S2.forEach(n),$o=a(Fs," \u0E2B\u0E23\u0E37\u0E2D "),kt=r(Fs,"CODE",{});var B2=p(kt);ko=a(B2,"token_to_chars()"),B2.forEach(n),Eo=a(Fs," \u0E41\u0E25\u0E30 "),Et=r(Fs,"CODE",{});var T2=p(Et);vo=a(T2,"char_to_word()"),T2.forEach(n),yo=a(Fs," \u0E2B\u0E23\u0E37\u0E2D "),vt=r(Fs,"CODE",{});var q2=p(vt);wo=a(q2,"char_to_token()"),q2.forEach(n),Fs.forEach(n),yl=f(s),bs=r(s,"P",{});var Hn=p(bs);Oo=a(Hn,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 method "),yt=r(Hn,"CODE",{});var F2=p(yt);Co=a(F2,"word_ids()"),F2.forEach(n),Io=a(Hn," \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 "),wt=r(Hn,"CODE",{});var A2=p(wt);Po=a(A2,"##yl"),A2.forEach(n),Do=a(Hn," \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 3 \u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E2D\u0E22\u0E32\u0E01\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E44\u0E2B\u0E19\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E0A\u0E47\u0E04\u0E44\u0E14\u0E49\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49 :"),Hn.forEach(n),wl=f(s),b(ve.$$.fragment,s),Ol=f(s),b(ye.$$.fragment,s),Cl=f(s),_s=r(s,"P",{});var Mn=p(_s);zo=a(Mn,"\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1A\u0E2D\u0E01\u0E02\u0E49\u0E32\u0E07\u0E15\u0E49\u0E19\u0E41\u0E25\u0E49\u0E27 fast tokenizer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E21\u0E31\u0E19\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49 \u0E41\u0E25\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E44\u0E27\u0E49\u0E43\u0E19 list \u0E02\u0E2D\u0E07 "),Ot=r(Mn,"EM",{});var X2=p(Ot);Ro=a(X2,"offsets"),X2.forEach(n),So=a(Mn,`
\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2D\u0E18\u0E34\u0E1A\u0E32\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E02\u0E2D\u0E07 feature \u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E25\u0E2D\u0E07\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07 pipeline `),Ct=r(Mn,"CODE",{});var H2=p(Ct);Bo=a(H2,"token-classification"),H2.forEach(n),To=a(Mn," \u0E01\u0E31\u0E19"),Mn.forEach(n),Il=f(s),b(Qs.$$.fragment,s),Pl=f(s),Rs=r(s,"H2",{class:!0});var Br=p(Rs);Us=r(Br,"A",{id:!0,class:!0,href:!0});var M2=p(Us);It=r(M2,"SPAN",{});var N2=p(It);b(we.$$.fragment,N2),N2.forEach(n),M2.forEach(n),qo=f(Br),gn=r(Br,"SPAN",{});var Bf=p(gn);Fo=a(Bf,"\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline "),Pt=r(Bf,"CODE",{});var G2=p(Pt);Ao=a(G2,"token-classification"),G2.forEach(n),Bf.forEach(n),Br.forEach(n),Dl=f(s),W=r(s,"P",{});var ws=p(W);Xo=a(ws,"\u0E43\u0E19"),jn=r(ws,"A",{href:!0});var L2=p(jn);Ho=a(L2,"\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),L2.forEach(n),Mo=a(ws," \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E23\u0E30\u0E1A\u0E1A NER \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E23\u0E30\u0E1A\u0E1A\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 entitiy \u0E40\u0E0A\u0E48\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48 \u0E2B\u0E23\u0E37\u0E2D\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Dt=r(ws,"CODE",{});var V2=p(Dt);No=a(V2,"pipeline()"),V2.forEach(n),Go=a(ws,` \u0E08\u0E32\u0E01 \u{1F917} Transformers
\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E19`),bn=r(ws,"A",{href:!0});var Y2=p(bn);Lo=a(Y2,"\u0E1A\u0E17\u0E17\u0E35\u0E48 2"),Y2.forEach(n),Vo=a(ws,` \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E27\u0E48\u0E32 pipeline \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 3 \u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E2A\u0E33\u0E04\u0E31\u0E0D \u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01\u0E2A\u0E48\u0E07\u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C (post-processing)
\u0E2A\u0E2D\u0E07\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E23\u0E01\u0E43\u0E19 pipeline `),zt=r(ws,"CODE",{});var Q2=p(zt);Yo=a(Q2,"token-classification"),Q2.forEach(n),Qo=a(ws," \u0E19\u0E31\u0E49\u0E19 \u0E08\u0E30\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E41\u0E15\u0E48\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19 post-processing \u0E08\u0E30\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E0B\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19"),ws.forEach(n),zl=f(s),cs.l(s),_n=f(s),Ss=r(s,"H3",{class:!0});var Tr=p(Ss);Js=r(Tr,"A",{id:!0,class:!0,href:!0});var U2=p(Js);Rt=r(U2,"SPAN",{});var J2=p(Rt);b(Oe.$$.fragment,J2),J2.forEach(n),U2.forEach(n),Uo=f(Tr),St=r(Tr,"SPAN",{});var K2=p(St);Jo=a(K2,"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"),K2.forEach(n),Tr.forEach(n),Rl=f(s),Ks=r(s,"P",{});var qr=p(Ks);Ko=a(qr,`\u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 token classification pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A pipeline
\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E04\u0E37\u0E2D `),Ce=r(qr,"A",{href:!0,rel:!0});var W2=p(Ce);Bt=r(W2,"CODE",{});var Z2=p(Bt);Wo=a(Z2,"dbmdz/bert-large-cased-finetuned-conll03-english"),Z2.forEach(n),W2.forEach(n),Zo=a(qr," \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 NER \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input:"),qr.forEach(n),Sl=f(s),b(Ie.$$.fragment,s),Bl=f(s),b(Pe.$$.fragment,s),Tl=f(s),$n=r(s,"P",{});var su=p($n);si=a(su,`\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E35\u0E49\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1A\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01 \u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19 \u0E41\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E19\u0E31\u0E49\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2D\u0E07\u0E04\u0E4C\u0E01\u0E23 \u0E41\u0E25\u0E30 \u201CBrooklyn\u201D \u0E40\u0E1B\u0E47\u0E19\u0E0A\u0E37\u0E48\u0E2D\u0E2A\u0E16\u0E32\u0E19\u0E17\u0E35\u0E48
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 pipeline \u0E19\u0E35\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E21\u0E35 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22`),su.forEach(n),ql=f(s),b(De.$$.fragment,s),Fl=f(s),b(ze.$$.fragment,s),Al=f(s),V=r(s,"P",{});var ls=p(V);Tt=r(ls,"CODE",{});var eu=p(Tt);ei=a(eu,"aggregation_strategy"),eu.forEach(n),ni=a(ls,` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E25\u0E37\u0E2D\u0E01 \u0E08\u0E30\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22
\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A `),qt=r(ls,"CODE",{});var nu=p(qt);ti=a(nu,'"simple"'),nu.forEach(n),ai=a(ls," \u0E21\u0E31\u0E19\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E30\u0E41\u0E19\u0E19 \u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E19\u0E31\u0E1A\u0E40\u0E1B\u0E47\u0E19 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E37\u0E2D\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E30\u0E41\u0E19\u0E19\u0E08\u0E32\u0E01 token \u0E22\u0E48\u0E2D\u0E22\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D "),Ft=r(ls,"CODE",{});var tu=p(Ft);li=a(tu,"S"),tu.forEach(n),ri=a(ls,", "),At=r(ls,"CODE",{});var au=p(At);pi=a(au,"##yl"),au.forEach(n),oi=a(ls,", "),Xt=r(ls,"CODE",{});var lu=p(Xt);ii=a(lu,"##va"),lu.forEach(n),ci=a(ls,", and "),Ht=r(ls,"CODE",{});var ru=p(Ht);fi=a(ru,"##in"),ru.forEach(n),ls.forEach(n),Xl=f(s),kn=r(s,"P",{});var pu=p(kn);ui=a(pu,"\u0E27\u0E34\u0E18\u0E35\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E2D\u0E37\u0E48\u0E19 :"),pu.forEach(n),Hl=f(s),$s=r(s,"UL",{});var Nn=p($s);Ws=r(Nn,"LI",{});var Va=p(Ws);Mt=r(Va,"CODE",{});var ou=p(Mt);di=a(ou,'"first"'),ou.forEach(n),hi=a(Va," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.993828 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 "),Nt=r(Va,"CODE",{});var iu=p(Nt);mi=a(iu,"S"),iu.forEach(n),xi=a(Va,")"),Va.forEach(n),gi=f(Nn),En=r(Nn,"LI",{});var Tf=p(En);Gt=r(Tf,"CODE",{});var cu=p(Gt);ji=a(cu,'"max"'),cu.forEach(n),bi=a(Tf," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E30\u0E41\u0E19\u0E19\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 (\u0E40\u0E0A\u0E48\u0E19 \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E01\u0E47\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 0.98879766 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07 \u201CFace\u201D)"),Tf.forEach(n),_i=f(Nn),Zs=r(Nn,"LI",{});var Ya=p(Zs);Lt=r(Ya,"CODE",{});var fu=p(Lt);$i=a(fu,'"average"'),fu.forEach(n),ki=a(Ya," \u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07 entity \u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E02\u0E2D\u0E07 entity (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CSylvain\u201D \u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22\u0E08\u0E30\u0E44\u0E21\u0E48\u0E15\u0E48\u0E32\u0E07\u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E23\u0E27\u0E21\u0E41\u0E1A\u0E1A "),Vt=r(Ya,"CODE",{});var uu=p(Vt);Ei=a(uu,'"simple"'),uu.forEach(n),vi=a(Ya," \u0E41\u0E15\u0E48\u0E04\u0E33\u0E27\u0E48\u0E32 \u201CHugging Face\u201D \u0E08\u0E33\u0E44\u0E14\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19 0.9819 \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E40\u0E09\u0E25\u0E35\u0E48\u0E22 \u0E02\u0E2D\u0E07 \u201CHugging\u201D 0.975 \u0E41\u0E25\u0E30 \u201CFace\u201D 0.98879)"),Ya.forEach(n),Nn.forEach(n),Ml=f(s),se=r(s,"P",{});var Fr=p(se);yi=a(Fr,"\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E42\u0E14\u0E22\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),Yt=r(Fr,"CODE",{});var du=p(Yt);wi=a(du,"pipeline()"),du.forEach(n),Oi=a(Fr,"!"),Fr.forEach(n),Nl=f(s),Bs=r(s,"H3",{class:!0});var Ar=p(Bs);ee=r(Ar,"A",{id:!0,class:!0,href:!0});var hu=p(ee);Qt=r(hu,"SPAN",{});var mu=p(Qt);b(Re.$$.fragment,mu),mu.forEach(n),hu.forEach(n),Ci=f(Ar),Ut=r(Ar,"SPAN",{});var xu=p(Ut);Ii=a(xu,"\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"),xu.forEach(n),Ar.forEach(n),Gl=f(s),us.l(s),vn=f(s),yn=r(s,"P",{});var gu=p(yn);Pi=a(gu,`\u0E41\u0E15\u0E48\u0E25\u0E30 batch \u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22 1 \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 token 19 \u0E15\u0E31\u0E27 \u0E41\u0E25\u0E30\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E19\u0E32\u0E22\u0E44\u0E14\u0E49 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E02\u0E19\u0E32\u0E14\u0E02\u0E2D\u0E07 output \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D 1 x 19 x 9
\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 text classification pipeline \u0E04\u0E37\u0E2D\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 (probabilities) \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 argmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 (\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 argmax \u0E02\u0E2D\u0E07\u0E04\u0E48\u0E32 logits \u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49 \u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 softmax \u0E08\u0E32\u0E01\u0E04\u0E30\u0E41\u0E19\u0E19\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2B\u0E21\u0E27\u0E14 \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E25\u0E33\u0E14\u0E31\u0E1A\u0E02\u0E2D\u0E07\u0E2B\u0E21\u0E27\u0E14\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19)`),gu.forEach(n),Ll=f(s),hs.l(s),wn=f(s),b(Se.$$.fragment,s),Vl=f(s),ne=r(s,"P",{});var Xr=p(ne);Di=a(Xr,"attribute "),Jt=r(Xr,"CODE",{});var ju=p(Jt);zi=a(ju,"model.config.id2label"),ju.forEach(n),Ri=a(Xr," \u0E04\u0E37\u0E2D\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E01\u0E47\u0E1A\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A mapping \u0E02\u0E2D\u0E07 index \u0E44\u0E1B\u0E2B\u0E32 label \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E23\u0E37\u0E2D\u0E44\u0E21\u0E48"),Xr.forEach(n),Yl=f(s),b(Be.$$.fragment,s),Ql=f(s),b(Te.$$.fragment,s),Ul=f(s),ks=r(s,"P",{});var Gn=p(ks);Si=a(Gn,"\u0E08\u0E32\u0E01 output \u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E04\u0E33\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 9 \u0E2B\u0E21\u0E27\u0E14 (label) \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 label "),Kt=r(Gn,"CODE",{});var bu=p(Kt);Bi=a(bu,"O"),bu.forEach(n),Ti=a(Gn," \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19 named entity ("),Wt=r(Gn,"CODE",{});var _u=p(Wt);qi=a(_u,"O"),_u.forEach(n),Fi=a(Gn," \u0E21\u0E32\u0E08\u0E32\u0E01\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Coutside\u201D) \u0E41\u0E25\u0E30 \u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E02\u0E2D\u0E07 entity \u0E08\u0E30\u0E21\u0E35\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E2A\u0E2D\u0E07 label (\u0E40\u0E23\u0E32\u0E21\u0E35\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 4 entity: miscellaneous, person, organization, and location)"),Gn.forEach(n),Jl=f(s),I=r(s,"P",{});var F=p(I);Ai=a(F,"\u0E16\u0E49\u0E32 token \u0E16\u0E39\u0E01 label \u0E14\u0E49\u0E27\u0E22 "),Zt=r(F,"CODE",{});var $u=p(Zt);Xi=a($u,"B-XXX"),$u.forEach(n),Hi=a(F," \u0E19\u0E31\u0E48\u0E19\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),sa=r(F,"CODE",{});var ku=p(sa);Mi=a(ku,"XXX"),ku.forEach(n),Ni=a(F," \u0E2A\u0E48\u0E27\u0E19 label "),ea=r(F,"CODE",{});var Eu=p(ea);Gi=a(Eu,"I-XXX"),Eu.forEach(n),Li=a(F," \u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E19\u0E35\u0E49\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17 "),na=r(F,"CODE",{});var vu=p(na);Vi=a(vu,"XXX"),vu.forEach(n),Yi=a(F,`
\u0E16\u0E49\u0E32\u0E14\u0E39\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E08\u0E31\u0E1A\u0E04\u0E39\u0E48 token `),ta=r(F,"CODE",{});var yu=p(ta);Qi=a(yu,"S"),yu.forEach(n),Ui=a(F," \u0E01\u0E31\u0E1A\u0E2B\u0E21\u0E27\u0E14 "),aa=r(F,"CODE",{});var wu=p(aa);Ji=a(wu,"B-PER"),wu.forEach(n),Ki=a(F," (\u0E0B\u0E36\u0E48\u0E07\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32 "),la=r(F,"CODE",{});var Ou=p(la);Wi=a(Ou,"S"),Ou.forEach(n),Zi=a(F," \u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E49\u0E32\u0E07\u0E2B\u0E19\u0E49\u0E32\u0E02\u0E2D\u0E07 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19) \u0E2A\u0E48\u0E27\u0E19 token "),ra=r(F,"CODE",{});var Cu=p(ra);sc=a(Cu,"##yl"),Cu.forEach(n),ec=a(F,", "),pa=r(F,"CODE",{});var Iu=p(pa);nc=a(Iu,"##va"),Iu.forEach(n),tc=a(F," \u0E41\u0E25\u0E30 "),oa=r(F,"CODE",{});var Pu=p(oa);ac=a(Pu,"##in"),Pu.forEach(n),lc=a(F," \u0E01\u0E47\u0E04\u0E27\u0E23\u0E08\u0E30\u0E16\u0E39\u0E01\u0E17\u0E33\u0E19\u0E32\u0E22\u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2B\u0E21\u0E27\u0E14 "),ia=r(F,"CODE",{});var Du=p(ia);rc=a(Du,"I-PER"),Du.forEach(n),pc=a(F," (\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E02\u0E49\u0E32\u0E07\u0E43\u0E19 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E0A\u0E37\u0E48\u0E2D\u0E04\u0E19)"),F.forEach(n),Kl=f(s),U=r(s,"P",{});var xs=p(U);oc=a(xs,"\u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E04\u0E34\u0E14\u0E27\u0E48\u0E32 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E17\u0E33\u0E19\u0E32\u0E22\u0E1C\u0E34\u0E14\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E35\u0E48 token \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),ca=r(xs,"CODE",{});var zu=p(ca);ic=a(zu,"I-PER"),zu.forEach(n),cc=a(xs,` \u0E41\u0E15\u0E48\u0E08\u0E23\u0E34\u0E07\u0E46\u0E41\u0E25\u0E49\u0E27 \u0E17\u0E33\u0E19\u0E32\u0E22\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E01\u0E47\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E1C\u0E34\u0E14\u0E44\u0E1B\u0E0B\u0E30\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14
\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32 \u0E01\u0E32\u0E23\u0E17\u0E33\u0E19\u0E32\u0E22\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49 label `),fa=r(xs,"CODE",{});var Ru=p(fa);fc=a(Ru,"B-"),Ru.forEach(n),uc=a(xs," \u0E41\u0E25\u0E30 "),ua=r(xs,"CODE",{});var Su=p(ua);dc=a(Su,"I-"),Su.forEach(n),hc=a(xs," \u0E43\u0E19\u0E07\u0E32\u0E19 NER \u0E21\u0E35\u0E2A\u0E2D\u0E07\u0E41\u0E1A\u0E1A \u0E04\u0E37\u0E2D "),da=r(xs,"EM",{});var Bu=p(da);mc=a(Bu,"IOB1"),Bu.forEach(n),xc=a(xs," and "),ha=r(xs,"EM",{});var Tu=p(ha);gc=a(Tu,"IOB2"),Tu.forEach(n),xs.forEach(n),Wl=f(s),ms=r(s,"P",{});var tn=p(ms);jc=a(tn,"IOB1 (\u0E2A\u0E35\u0E2A\u0E49\u0E21) \u0E40\u0E1B\u0E47\u0E19\u0E41\u0E1A\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E2A\u0E48\u0E27\u0E19 IOB2 (\u0E2A\u0E35\u0E21\u0E48\u0E27\u0E07) \u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),ma=r(tn,"CODE",{});var qu=p(ma);bc=a(qu,"B-"),qu.forEach(n),_c=a(tn,` \u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E43\u0E0A\u0E49\u0E41\u0E1A\u0E48\u0E07 entity \u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27 \u0E43\u0E2B\u0E49\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E01\u0E31\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E19\u0E31\u0E49\u0E19\u0E16\u0E39\u0E01 fine-tune \u0E08\u0E32\u0E01\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E21\u0E35 label \u0E41\u0E1A\u0E1A IOB2 \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E17\u0E33\u0E19\u0E32\u0E22 `),xa=r(tn,"CODE",{});var Fu=p(xa);$c=a(Fu,"S"),Fu.forEach(n),kc=a(tn," \u0E40\u0E1B\u0E47\u0E19 "),ga=r(tn,"CODE",{});var Au=p(ga);Ec=a(Au,"I-PER"),Au.forEach(n),tn.forEach(n),Zl=f(s),Ts=r(s,"DIV",{class:!0});var Hr=p(Ts);qe=r(Hr,"IMG",{class:!0,src:!0,alt:!0}),vc=f(Hr),Fe=r(Hr,"IMG",{class:!0,src:!0,alt:!0}),Hr.forEach(n),sr=f(s),te=r(s,"P",{});var Mr=p(te);yc=a(Mr,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C \u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E41\u0E25\u0E30 label \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 "),ja=r(Mr,"CODE",{});var Xu=p(ja);wc=a(Xu,"O"),Xu.forEach(n),Oc=a(Mr,"\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19"),Mr.forEach(n),er=f(s),b(Ae.$$.fragment,s),nr=f(s),b(Xe.$$.fragment,s),tr=f(s),ae=r(s,"P",{});var Nr=p(ae);Cc=a(Nr,`\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E02\u0E49\u0E2D\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E08\u0E1A\u0E43\u0E19\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E14\u0E49\u0E27\u0E22
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset mapping \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E48\u0E32 offset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E0A\u0E47\u0E15 `),ba=r(Nr,"CODE",{});var Hu=p(ba);Ic=a(Hu,"return_offsets_mapping=True"),Hu.forEach(n),Pc=a(Nr," \u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E23\u0E31\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33"),Nr.forEach(n),ar=f(s),b(He.$$.fragment,s),lr=f(s),b(Me.$$.fragment,s),rr=f(s),as=r(s,"P",{});var pe=p(as);Dc=a(pe,"\u0E41\u0E15\u0E48\u0E25\u0E30 tuple \u0E43\u0E19\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E1A\u0E31\u0E19\u0E17\u0E36\u0E01\u0E04\u0E48\u0E32 span \u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E44\u0E27\u0E49 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E1E\u0E27\u0E01 token \u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E01\u0E47\u0E08\u0E30\u0E21\u0E35\u0E04\u0E48\u0E32 span \u0E40\u0E1B\u0E47\u0E19 "),_a=r(pe,"CODE",{});var Mu=p(_a);zc=a(Mu,"(0, 0)"),Mu.forEach(n),Rc=a(pe,`
\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 token \u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48 5 \u0E04\u0E37\u0E2D `),$a=r(pe,"CODE",{});var Nu=p($a);Sc=a(Nu,"##yl"),Nu.forEach(n),Bc=a(pe," \u0E21\u0E35\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19 "),ka=r(pe,"CODE",{});var Gu=p(ka);Tc=a(Gu,"(12, 14)"),Gu.forEach(n),qc=a(pe,`
\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E25\u0E2D\u0E07 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E14\u0E49\u0E27\u0E22 index \u0E2A\u0E2D\u0E07\u0E04\u0E48\u0E32\u0E19\u0E35\u0E49`),pe.forEach(n),pr=f(s),b(Ne.$$.fragment,s),or=f(s),Es=r(s,"P",{});var Ln=p(Es);Fc=a(Ln,"\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Ea=r(Ln,"CODE",{});var Lu=p(Ea);Ac=a(Lu,"yl"),Lu.forEach(n),Xc=a(Ln," \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),va=r(Ln,"CODE",{});var Vu=p(va);Hc=a(Vu,"##"),Vu.forEach(n),Mc=a(Ln," \u0E08\u0E30\u0E16\u0E39\u0E01\u0E25\u0E30\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C:"),Ln.forEach(n),ir=f(s),b(Ge.$$.fragment,s),cr=f(s),On=r(s,"P",{});var Yu=p(On);Nc=a(Yu,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E43\u0E19 pipeline:"),Yu.forEach(n),fr=f(s),b(Le.$$.fragment,s),ur=f(s),b(Ve.$$.fragment,s),dr=f(s),Cn=r(s,"P",{});var Qu=p(Cn);Gc=a(Qu,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01 pipeline \u0E41\u0E25\u0E49\u0E27!"),Qu.forEach(n),hr=f(s),qs=r(s,"H3",{class:!0});var Gr=p(qs);le=r(Gr,"A",{id:!0,class:!0,href:!0});var Uu=p(le);ya=r(Uu,"SPAN",{});var Ju=p(ya);b(Ye.$$.fragment,Ju),Ju.forEach(n),Uu.forEach(n),Lc=f(Gr),wa=r(Gr,"SPAN",{});var Ku=p(wa);Vc=a(Ku,"\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"),Ku.forEach(n),Gr.forEach(n),mr=f(s),In=r(s,"P",{});var Wu=p(In);Yc=a(Wu,`\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E41\u0E25\u0E30\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30 entity \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 offset \u0E2D\u0E32\u0E08\u0E08\u0E30\u0E44\u0E21\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01\u0E19\u0E31\u0E01
\u0E41\u0E15\u0E48\u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49 \u0E08\u0E30\u0E21\u0E35\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E41\u0E25\u0E30\u0E17\u0E33\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E14\u0E49\u0E27\u0E22`),Wu.forEach(n),xr=f(s),N=r(s,"P",{});var ss=p(N);Qc=a(ss,"\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E23\u0E27\u0E21 "),Oa=r(ss,"CODE",{});var Zu=p(Oa);Uc=a(Zu,"Hu"),Zu.forEach(n),Jc=a(ss,", "),Ca=r(ss,"CODE",{});var sd=p(Ca);Kc=a(sd,"##gging"),sd.forEach(n),Wc=a(ss,", \u0E41\u0E25\u0E30 "),Ia=r(ss,"CODE",{});var ed=p(Ia);Zc=a(ed,"Face"),ed.forEach(n),sf=a(ss," \u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E04\u0E38\u0E13\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E02\u0E35\u0E22\u0E19\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E27\u0E48\u0E32 \u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E41\u0E23\u0E01\u0E01\u0E31\u0E1A token \u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E25\u0E1A "),Pa=r(ss,"CODE",{});var nd=p(Pa);ef=a(nd,"##"),nd.forEach(n),nf=a(ss,` \u0E2D\u0E2D\u0E01
\u0E41\u0E25\u0E49\u0E27\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E17\u0E35\u0E48\u0E2A\u0E32\u0E21\u0E42\u0E14\u0E22\u0E43\u0E0A\u0E49\u0E0A\u0E48\u0E2D\u0E07\u0E27\u0E48\u0E32\u0E07\u0E43\u0E19\u0E01\u0E32\u0E23\u0E40\u0E0A\u0E37\u0E48\u0E2D\u0E21 \u0E40\u0E1E\u0E23\u0E32\u0E30 `),Da=r(ss,"CODE",{});var td=p(Da);tf=a(td,"Face"),td.forEach(n),af=a(ss," \u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22  "),za=r(ss,"CODE",{});var ad=p(za);lf=a(ad,"##"),ad.forEach(n),rf=a(ss,` \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21\u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49 \u0E43\u0E0A\u0E49\u0E44\u0E14\u0E49\u0E41\u0E04\u0E48\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E40\u0E0A\u0E48\u0E19 \u0E41\u0E1A\u0E1A SentencePiece \u0E2B\u0E23\u0E37\u0E2D Byte-Pair-Encoding \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E01\u0E0E\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E43\u0E2B\u0E21\u0E48`),ss.forEach(n),gr=f(s),Y=r(s,"P",{});var rs=p(Y);pf=a(rs,`\u0E01\u0E32\u0E23\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 offset \u0E17\u0E33\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E0E\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E02\u0E36\u0E49\u0E19\u0E21\u0E32\u0E40\u0E2D\u0E07 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 token \u0E41\u0E23\u0E01 \u0E41\u0E25\u0E30 \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E43\u0E19\u0E01\u0E32\u0E23 slice \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E2A\u0E48\u0E27\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E02\u0E2D\u0E07 entity \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E2A\u0E19\u0E43\u0E08
\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E21\u0E35 3 token `),Ra=r(rs,"CODE",{});var ld=p(Ra);of=a(ld,"Hu"),ld.forEach(n),cf=a(rs,", "),Sa=r(rs,"CODE",{});var rd=p(Sa);ff=a(rd,"##gging"),rd.forEach(n),uf=a(rs,", \u0E41\u0E25\u0E30 "),Ba=r(rs,"CODE",{});var pd=p(Ba);df=a(pd,"Face"),pd.forEach(n),hf=a(rs," \u0E0B\u0E36\u0E48\u0E07\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32 33 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E40\u0E23\u0E34\u0E48\u0E21\u0E02\u0E2D\u0E07 "),Ta=r(rs,"CODE",{});var od=p(Ta);mf=a(od,"Hu"),od.forEach(n),xf=a(rs,") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E41\u0E25\u0E30 45 (\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E1A\u0E02\u0E2D\u0E07 "),qa=r(rs,"CODE",{});var id=p(qa);gf=a(id,"Hu"),id.forEach(n),jf=a(rs,") \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E08\u0E1A\u0E02\u0E2D\u0E07 entity \u0E19\u0E35\u0E49"),rs.forEach(n),jr=f(s),b(Qe.$$.fragment,s),br=f(s),b(Ue.$$.fragment,s),_r=f(s),Pn=r(s,"P",{});var cd=p(Pn);bf=a(cd,"\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E40\u0E02\u0E35\u0E22\u0E19\u0E42\u0E04\u0E49\u0E14\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E31\u0E1A\u0E41\u0E15\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E31\u0E19 (post-processing) \u0E42\u0E14\u0E22\u0E08\u0E30\u0E17\u0E33\u0E44\u0E1B\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E46\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21\u0E01\u0E25\u0E38\u0E48\u0E21 entity \u0E14\u0E49\u0E27\u0E22\u0E27\u0E34\u0E18\u0E35\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49"),cd.forEach(n),$r=f(s),Q=r(s,"P",{});var ps=p(Q);_f=a(ps,"\u0E40\u0E23\u0E34\u0E48\u0E21\u0E08\u0E32\u0E01 token \u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07 entity \u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07 "),Fa=r(ps,"CODE",{});var fd=p(Fa);$f=a(fd,"B-XXX"),fd.forEach(n),kf=a(ps," \u0E41\u0E25\u0E30 "),Aa=r(ps,"CODE",{});var ud=p(Aa);Ef=a(ud,"I-XXX"),ud.forEach(n),vf=a(ps," \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E23\u0E27\u0E21 token \u0E15\u0E31\u0E27\u0E16\u0E31\u0E14\u0E46\u0E44\u0E1B \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19 "),Xa=r(ps,"CODE",{});var dd=p(Xa);yf=a(dd,"I-XXX"),dd.forEach(n),wf=a(ps," \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E08\u0E19\u0E01\u0E27\u0E48\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19 "),Ha=r(ps,"CODE",{});var hd=p(Ha);Of=a(hd,"O"),hd.forEach(n),Cf=a(ps," (\u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E01\u0E33\u0E25\u0E31\u0E07\u0E2D\u0E48\u0E32\u0E19\u0E16\u0E36\u0E07 token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 entity \u0E43\u0E14\u0E46 \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E2B\u0E22\u0E38\u0E14\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21) \u0E2B\u0E23\u0E37\u0E2D "),Ma=r(ps,"CODE",{});var md=p(Ma);If=a(md,"B-XXX"),md.forEach(n),Pf=a(ps," (\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E23\u0E27\u0E21 entity \u0E15\u0E31\u0E27\u0E43\u0E2B\u0E21\u0E48)"),ps.forEach(n),kr=f(s),b(Je.$$.fragment,s),Er=f(s),Dn=r(s,"P",{});var xd=p(Dn);Df=a(xd,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E1A\u0E1A\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A pipeline \u0E41\u0E25\u0E49\u0E27!"),xd.forEach(n),vr=f(s),b(Ke.$$.fragment,s),yr=f(s),zn=r(s,"P",{});var gd=p(zn);zf=a(gd,`\u0E2D\u0E35\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E07\u0E32\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 offset \u0E40\u0E1B\u0E47\u0E19\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E01\u0E47\u0E04\u0E37\u0E2D question answering
\u0E43\u0E19\u0E1A\u0E17\u0E16\u0E31\u0E14\u0E44\u0E1B \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E41\u0E1A\u0E1A\u0E40\u0E08\u0E32\u0E30\u0E25\u0E36\u0E01\u0E21\u0E32\u0E01\u0E02\u0E36\u0E49\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E23\u0E39\u0E49\u0E08\u0E31\u0E01\u0E01\u0E31\u0E1A feature \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07 tokenizers \u0E43\u0E19 \u{1F917} Transformers library \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A tokens \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input`),gd.forEach(n),this.h()},h(){k(d,"name","hf:doc:metadata"),k(d,"content",JSON.stringify(Fd)),k(O,"id","fast-tokenizers"),k(O,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(O,"href","#fast-tokenizers"),k(R,"class","relative group"),k(an,"href","/course/chapter1"),k(ln,"href","/course/chapter5/3"),k(rn,"align","center"),k(pn,"align","center"),k(Un,"align","center"),k(on,"align","center"),k(cn,"align","center"),k(fn,"align","center"),k(un,"align","center"),k(dn,"align","center"),k(hn,"align","center"),k(Ms,"id","batch-encoding"),k(Ms,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Ms,"href","#batch-encoding"),k(zs,"class","relative group"),k(Us,"id","pipeline-tokenclassification"),k(Us,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Us,"href","#pipeline-tokenclassification"),k(Rs,"class","relative group"),k(jn,"href","/course/chapter1"),k(bn,"href","/course/chapter2"),k(Js,"id","pipeline"),k(Js,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(Js,"href","#pipeline"),k(Ss,"class","relative group"),k(Ce,"href","https://huggingface.co/dbmdz/bert-large-cased-finetuned-conll03-english"),k(Ce,"rel","nofollow"),k(ee,"id","input"),k(ee,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(ee,"href","#input"),k(Bs,"class","relative group"),k(qe,"class","block dark:hidden"),jd(qe.src,Ff="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/IOB_versions.svg")||k(qe,"src",Ff),k(qe,"alt","IOB1 vs IOB2 format"),k(Fe,"class","hidden dark:block"),jd(Fe.src,Af="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/IOB_versions-dark.svg")||k(Fe,"src",Af),k(Fe,"alt","IOB1 vs IOB2 format"),k(Ts,"class","flex justify-center"),k(le,"id","entities"),k(le,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),k(le,"href","#entities"),k(qs,"class","relative group")},m(s,o){e(document.head,d),i(s,g,o),_(u,s,o),i(s,E,o),i(s,R,o),e(R,O),e(O,T),_(q,T,null),e(R,S),e(R,H),e(H,B),i(s,M,o),We[P].m(s,o),i(s,D,o),i(s,X,o),e(X,C),i(s,G,o),i(s,w,o),e(w,L),e(w,h),e(h,y),e(w,Os),e(w,os),e(os,es),e(w,Cs),e(w,Yn),e(Yn,Qr),e(w,Ur),e(w,an),e(an,Jr),e(w,Kr),i(s,Qa,o),_(oe,s,o),i(s,Ua,o),i(s,As,o),e(As,Wr),e(As,ln),e(ln,Zr),e(As,sp),i(s,Ja,o),i(s,Xs,o),e(Xs,Qn),e(Qn,Is),e(Is,rn),e(rn,ep),e(Is,np),e(Is,pn),e(pn,tp),e(Is,ap),e(Is,Un),e(Xs,lp),e(Xs,ie),e(ie,Ps),e(Ps,on),e(on,Jn),e(Jn,rp),e(Ps,pp),e(Ps,cn),e(cn,op),e(Ps,ip),e(Ps,fn),e(fn,cp),e(ie,fp),e(ie,Ds),e(Ds,un),e(un,Kn),e(Kn,up),e(Ds,dp),e(Ds,dn),e(dn,hp),e(Ds,mp),e(Ds,hn),e(hn,xp),i(s,Ka,o),_(Hs,s,o),i(s,Wa,o),i(s,zs,o),e(zs,Ms),e(Ms,Wn),_(ce,Wn,null),e(zs,gp),e(zs,Zn),e(Zn,jp),i(s,Za,o),_(fe,s,o),i(s,sl,o),i(s,gs,o),e(gs,bp),e(gs,st),e(st,_p),e(gs,$p),e(gs,et),e(et,kp),e(gs,Ep),i(s,el,o),i(s,ue,o),e(ue,vp),e(ue,nt),e(nt,yp),i(s,nl,o),i(s,de,o),e(de,tt),e(tt,wp),e(de,Op),i(s,tl,o),i(s,mn,o),e(mn,Cp),i(s,al,o),_(he,s,o),i(s,ll,o),i(s,Ns,o),e(Ns,Ip),e(Ns,at),e(at,Pp),e(Ns,Dp),i(s,rl,o),_(me,s,o),i(s,pl,o),i(s,J,o),e(J,zp),e(J,lt),e(lt,Rp),e(J,Sp),e(J,rt),e(rt,Bp),e(J,Tp),e(J,pt),e(pt,qp),e(J,Fp),e(J,ot),e(ot,Ap),e(J,Xp),i(s,ol,o),_(xe,s,o),i(s,il,o),_(ge,s,o),i(s,cl,o),i(s,js,o),e(js,Hp),e(js,it),e(it,Mp),e(js,Np),e(js,ct),e(ct,Gp),e(js,Lp),i(s,fl,o),_(je,s,o),i(s,ul,o),_(be,s,o),i(s,dl,o),i(s,xn,o),e(xn,Vp),i(s,hl,o),_(_e,s,o),i(s,ml,o),_($e,s,o),i(s,xl,o),i(s,Gs,o),e(Gs,Yp),e(Gs,ft),e(ft,Qp),e(Gs,Up),i(s,gl,o),i(s,Ls,o),e(Ls,Jp),e(Ls,ut),e(ut,Kp),e(Ls,Wp),i(s,jl,o),_(ke,s,o),i(s,bl,o),_(Ee,s,o),i(s,_l,o),i(s,K,o),e(K,Zp),e(K,dt),e(dt,so),e(K,eo),e(K,ht),e(ht,no),e(K,to),e(K,mt),e(mt,ao),e(K,lo),e(K,xt),e(xt,ro),e(K,po),i(s,$l,o),i(s,Vs,o),e(Vs,oo),e(Vs,gt),e(gt,io),e(Vs,co),i(s,kl,o),_(Ys,s,o),i(s,El,o),i(s,ts,o),e(ts,fo),e(ts,jt),e(jt,uo),e(ts,ho),e(ts,bt),e(bt,mo),e(ts,xo),e(ts,_t),e(_t,go),e(ts,jo),i(s,vl,o),i(s,ns,o),e(ns,bo),e(ns,$t),e($t,_o),e(ns,$o),e(ns,kt),e(kt,ko),e(ns,Eo),e(ns,Et),e(Et,vo),e(ns,yo),e(ns,vt),e(vt,wo),i(s,yl,o),i(s,bs,o),e(bs,Oo),e(bs,yt),e(yt,Co),e(bs,Io),e(bs,wt),e(wt,Po),e(bs,Do),i(s,wl,o),_(ve,s,o),i(s,Ol,o),_(ye,s,o),i(s,Cl,o),i(s,_s,o),e(_s,zo),e(_s,Ot),e(Ot,Ro),e(_s,So),e(_s,Ct),e(Ct,Bo),e(_s,To),i(s,Il,o),_(Qs,s,o),i(s,Pl,o),i(s,Rs,o),e(Rs,Us),e(Us,It),_(we,It,null),e(Rs,qo),e(Rs,gn),e(gn,Fo),e(gn,Pt),e(Pt,Ao),i(s,Dl,o),i(s,W,o),e(W,Xo),e(W,jn),e(jn,Ho),e(W,Mo),e(W,Dt),e(Dt,No),e(W,Go),e(W,bn),e(bn,Lo),e(W,Vo),e(W,zt),e(zt,Yo),e(W,Qo),i(s,zl,o),Ze[is].m(s,o),i(s,_n,o),i(s,Ss,o),e(Ss,Js),e(Js,Rt),_(Oe,Rt,null),e(Ss,Uo),e(Ss,St),e(St,Jo),i(s,Rl,o),i(s,Ks,o),e(Ks,Ko),e(Ks,Ce),e(Ce,Bt),e(Bt,Wo),e(Ks,Zo),i(s,Sl,o),_(Ie,s,o),i(s,Bl,o),_(Pe,s,o),i(s,Tl,o),i(s,$n,o),e($n,si),i(s,ql,o),_(De,s,o),i(s,Fl,o),_(ze,s,o),i(s,Al,o),i(s,V,o),e(V,Tt),e(Tt,ei),e(V,ni),e(V,qt),e(qt,ti),e(V,ai),e(V,Ft),e(Ft,li),e(V,ri),e(V,At),e(At,pi),e(V,oi),e(V,Xt),e(Xt,ii),e(V,ci),e(V,Ht),e(Ht,fi),i(s,Xl,o),i(s,kn,o),e(kn,ui),i(s,Hl,o),i(s,$s,o),e($s,Ws),e(Ws,Mt),e(Mt,di),e(Ws,hi),e(Ws,Nt),e(Nt,mi),e(Ws,xi),e($s,gi),e($s,En),e(En,Gt),e(Gt,ji),e(En,bi),e($s,_i),e($s,Zs),e(Zs,Lt),e(Lt,$i),e(Zs,ki),e(Zs,Vt),e(Vt,Ei),e(Zs,vi),i(s,Ml,o),i(s,se,o),e(se,yi),e(se,Yt),e(Yt,wi),e(se,Oi),i(s,Nl,o),i(s,Bs,o),e(Bs,ee),e(ee,Qt),_(Re,Qt,null),e(Bs,Ci),e(Bs,Ut),e(Ut,Ii),i(s,Gl,o),sn[fs].m(s,o),i(s,vn,o),i(s,yn,o),e(yn,Pi),i(s,Ll,o),en[ds].m(s,o),i(s,wn,o),_(Se,s,o),i(s,Vl,o),i(s,ne,o),e(ne,Di),e(ne,Jt),e(Jt,zi),e(ne,Ri),i(s,Yl,o),_(Be,s,o),i(s,Ql,o),_(Te,s,o),i(s,Ul,o),i(s,ks,o),e(ks,Si),e(ks,Kt),e(Kt,Bi),e(ks,Ti),e(ks,Wt),e(Wt,qi),e(ks,Fi),i(s,Jl,o),i(s,I,o),e(I,Ai),e(I,Zt),e(Zt,Xi),e(I,Hi),e(I,sa),e(sa,Mi),e(I,Ni),e(I,ea),e(ea,Gi),e(I,Li),e(I,na),e(na,Vi),e(I,Yi),e(I,ta),e(ta,Qi),e(I,Ui),e(I,aa),e(aa,Ji),e(I,Ki),e(I,la),e(la,Wi),e(I,Zi),e(I,ra),e(ra,sc),e(I,ec),e(I,pa),e(pa,nc),e(I,tc),e(I,oa),e(oa,ac),e(I,lc),e(I,ia),e(ia,rc),e(I,pc),i(s,Kl,o),i(s,U,o),e(U,oc),e(U,ca),e(ca,ic),e(U,cc),e(U,fa),e(fa,fc),e(U,uc),e(U,ua),e(ua,dc),e(U,hc),e(U,da),e(da,mc),e(U,xc),e(U,ha),e(ha,gc),i(s,Wl,o),i(s,ms,o),e(ms,jc),e(ms,ma),e(ma,bc),e(ms,_c),e(ms,xa),e(xa,$c),e(ms,kc),e(ms,ga),e(ga,Ec),i(s,Zl,o),i(s,Ts,o),e(Ts,qe),e(Ts,vc),e(Ts,Fe),i(s,sr,o),i(s,te,o),e(te,yc),e(te,ja),e(ja,wc),e(te,Oc),i(s,er,o),_(Ae,s,o),i(s,nr,o),_(Xe,s,o),i(s,tr,o),i(s,ae,o),e(ae,Cc),e(ae,ba),e(ba,Ic),e(ae,Pc),i(s,ar,o),_(He,s,o),i(s,lr,o),_(Me,s,o),i(s,rr,o),i(s,as,o),e(as,Dc),e(as,_a),e(_a,zc),e(as,Rc),e(as,$a),e($a,Sc),e(as,Bc),e(as,ka),e(ka,Tc),e(as,qc),i(s,pr,o),_(Ne,s,o),i(s,or,o),i(s,Es,o),e(Es,Fc),e(Es,Ea),e(Ea,Ac),e(Es,Xc),e(Es,va),e(va,Hc),e(Es,Mc),i(s,ir,o),_(Ge,s,o),i(s,cr,o),i(s,On,o),e(On,Nc),i(s,fr,o),_(Le,s,o),i(s,ur,o),_(Ve,s,o),i(s,dr,o),i(s,Cn,o),e(Cn,Gc),i(s,hr,o),i(s,qs,o),e(qs,le),e(le,ya),_(Ye,ya,null),e(qs,Lc),e(qs,wa),e(wa,Vc),i(s,mr,o),i(s,In,o),e(In,Yc),i(s,xr,o),i(s,N,o),e(N,Qc),e(N,Oa),e(Oa,Uc),e(N,Jc),e(N,Ca),e(Ca,Kc),e(N,Wc),e(N,Ia),e(Ia,Zc),e(N,sf),e(N,Pa),e(Pa,ef),e(N,nf),e(N,Da),e(Da,tf),e(N,af),e(N,za),e(za,lf),e(N,rf),i(s,gr,o),i(s,Y,o),e(Y,pf),e(Y,Ra),e(Ra,of),e(Y,cf),e(Y,Sa),e(Sa,ff),e(Y,uf),e(Y,Ba),e(Ba,df),e(Y,hf),e(Y,Ta),e(Ta,mf),e(Y,xf),e(Y,qa),e(qa,gf),e(Y,jf),i(s,jr,o),_(Qe,s,o),i(s,br,o),_(Ue,s,o),i(s,_r,o),i(s,Pn,o),e(Pn,bf),i(s,$r,o),i(s,Q,o),e(Q,_f),e(Q,Fa),e(Fa,$f),e(Q,kf),e(Q,Aa),e(Aa,Ef),e(Q,vf),e(Q,Xa),e(Xa,yf),e(Q,wf),e(Q,Ha),e(Ha,Of),e(Q,Cf),e(Q,Ma),e(Ma,If),e(Q,Pf),i(s,kr,o),_(Je,s,o),i(s,Er,o),i(s,Dn,o),e(Dn,Df),i(s,vr,o),_(Ke,s,o),i(s,yr,o),i(s,zn,o),e(zn,zf),wr=!0},p(s,[o]){const nn={};o&1&&(nn.fw=s[0]),u.$set(nn);let Rn=P;P=Hf(s),P!==Rn&&(Vr(),m(We[Rn],1,1,()=>{We[Rn]=null}),Lr(),A=We[P],A||(A=We[P]=Xf[P](s),A.c()),x(A,1),A.m(D.parentNode,D));const Na={};o&2&&(Na.$$scope={dirty:o,ctx:s}),Hs.$set(Na);const Ga={};o&2&&(Ga.$$scope={dirty:o,ctx:s}),Ys.$set(Ga);const La={};o&2&&(La.$$scope={dirty:o,ctx:s}),Qs.$set(La);let Z=is;is=Nf(s),is!==Z&&(Vr(),m(Ze[Z],1,1,()=>{Ze[Z]=null}),Lr(),cs=Ze[is],cs||(cs=Ze[is]=Mf[is](s),cs.c()),x(cs,1),cs.m(_n.parentNode,_n));let Sn=fs;fs=Lf(s),fs!==Sn&&(Vr(),m(sn[Sn],1,1,()=>{sn[Sn]=null}),Lr(),us=sn[fs],us||(us=sn[fs]=Gf[fs](s),us.c()),x(us,1),us.m(vn.parentNode,vn));let Bn=ds;ds=Yf(s),ds!==Bn&&(Vr(),m(en[Bn],1,1,()=>{en[Bn]=null}),Lr(),hs=en[ds],hs||(hs=en[ds]=Vf[ds](s),hs.c()),x(hs,1),hs.m(wn.parentNode,wn))},i(s){wr||(x(u.$$.fragment,s),x(q.$$.fragment,s),x(A),x(oe.$$.fragment,s),x(Hs.$$.fragment,s),x(ce.$$.fragment,s),x(fe.$$.fragment,s),x(he.$$.fragment,s),x(me.$$.fragment,s),x(xe.$$.fragment,s),x(ge.$$.fragment,s),x(je.$$.fragment,s),x(be.$$.fragment,s),x(_e.$$.fragment,s),x($e.$$.fragment,s),x(ke.$$.fragment,s),x(Ee.$$.fragment,s),x(Ys.$$.fragment,s),x(ve.$$.fragment,s),x(ye.$$.fragment,s),x(Qs.$$.fragment,s),x(we.$$.fragment,s),x(cs),x(Oe.$$.fragment,s),x(Ie.$$.fragment,s),x(Pe.$$.fragment,s),x(De.$$.fragment,s),x(ze.$$.fragment,s),x(Re.$$.fragment,s),x(us),x(hs),x(Se.$$.fragment,s),x(Be.$$.fragment,s),x(Te.$$.fragment,s),x(Ae.$$.fragment,s),x(Xe.$$.fragment,s),x(He.$$.fragment,s),x(Me.$$.fragment,s),x(Ne.$$.fragment,s),x(Ge.$$.fragment,s),x(Le.$$.fragment,s),x(Ve.$$.fragment,s),x(Ye.$$.fragment,s),x(Qe.$$.fragment,s),x(Ue.$$.fragment,s),x(Je.$$.fragment,s),x(Ke.$$.fragment,s),wr=!0)},o(s){m(u.$$.fragment,s),m(q.$$.fragment,s),m(A),m(oe.$$.fragment,s),m(Hs.$$.fragment,s),m(ce.$$.fragment,s),m(fe.$$.fragment,s),m(he.$$.fragment,s),m(me.$$.fragment,s),m(xe.$$.fragment,s),m(ge.$$.fragment,s),m(je.$$.fragment,s),m(be.$$.fragment,s),m(_e.$$.fragment,s),m($e.$$.fragment,s),m(ke.$$.fragment,s),m(Ee.$$.fragment,s),m(Ys.$$.fragment,s),m(ve.$$.fragment,s),m(ye.$$.fragment,s),m(Qs.$$.fragment,s),m(we.$$.fragment,s),m(cs),m(Oe.$$.fragment,s),m(Ie.$$.fragment,s),m(Pe.$$.fragment,s),m(De.$$.fragment,s),m(ze.$$.fragment,s),m(Re.$$.fragment,s),m(us),m(hs),m(Se.$$.fragment,s),m(Be.$$.fragment,s),m(Te.$$.fragment,s),m(Ae.$$.fragment,s),m(Xe.$$.fragment,s),m(He.$$.fragment,s),m(Me.$$.fragment,s),m(Ne.$$.fragment,s),m(Ge.$$.fragment,s),m(Le.$$.fragment,s),m(Ve.$$.fragment,s),m(Ye.$$.fragment,s),m(Qe.$$.fragment,s),m(Ue.$$.fragment,s),m(Je.$$.fragment,s),m(Ke.$$.fragment,s),wr=!1},d(s){n(d),s&&n(g),$(u,s),s&&n(E),s&&n(R),$(q),s&&n(M),We[P].d(s),s&&n(D),s&&n(X),s&&n(G),s&&n(w),s&&n(Qa),$(oe,s),s&&n(Ua),s&&n(As),s&&n(Ja),s&&n(Xs),s&&n(Ka),$(Hs,s),s&&n(Wa),s&&n(zs),$(ce),s&&n(Za),$(fe,s),s&&n(sl),s&&n(gs),s&&n(el),s&&n(ue),s&&n(nl),s&&n(de),s&&n(tl),s&&n(mn),s&&n(al),$(he,s),s&&n(ll),s&&n(Ns),s&&n(rl),$(me,s),s&&n(pl),s&&n(J),s&&n(ol),$(xe,s),s&&n(il),$(ge,s),s&&n(cl),s&&n(js),s&&n(fl),$(je,s),s&&n(ul),$(be,s),s&&n(dl),s&&n(xn),s&&n(hl),$(_e,s),s&&n(ml),$($e,s),s&&n(xl),s&&n(Gs),s&&n(gl),s&&n(Ls),s&&n(jl),$(ke,s),s&&n(bl),$(Ee,s),s&&n(_l),s&&n(K),s&&n($l),s&&n(Vs),s&&n(kl),$(Ys,s),s&&n(El),s&&n(ts),s&&n(vl),s&&n(ns),s&&n(yl),s&&n(bs),s&&n(wl),$(ve,s),s&&n(Ol),$(ye,s),s&&n(Cl),s&&n(_s),s&&n(Il),$(Qs,s),s&&n(Pl),s&&n(Rs),$(we),s&&n(Dl),s&&n(W),s&&n(zl),Ze[is].d(s),s&&n(_n),s&&n(Ss),$(Oe),s&&n(Rl),s&&n(Ks),s&&n(Sl),$(Ie,s),s&&n(Bl),$(Pe,s),s&&n(Tl),s&&n($n),s&&n(ql),$(De,s),s&&n(Fl),$(ze,s),s&&n(Al),s&&n(V),s&&n(Xl),s&&n(kn),s&&n(Hl),s&&n($s),s&&n(Ml),s&&n(se),s&&n(Nl),s&&n(Bs),$(Re),s&&n(Gl),sn[fs].d(s),s&&n(vn),s&&n(yn),s&&n(Ll),en[ds].d(s),s&&n(wn),$(Se,s),s&&n(Vl),s&&n(ne),s&&n(Yl),$(Be,s),s&&n(Ql),$(Te,s),s&&n(Ul),s&&n(ks),s&&n(Jl),s&&n(I),s&&n(Kl),s&&n(U),s&&n(Wl),s&&n(ms),s&&n(Zl),s&&n(Ts),s&&n(sr),s&&n(te),s&&n(er),$(Ae,s),s&&n(nr),$(Xe,s),s&&n(tr),s&&n(ae),s&&n(ar),$(He,s),s&&n(lr),$(Me,s),s&&n(rr),s&&n(as),s&&n(pr),$(Ne,s),s&&n(or),s&&n(Es),s&&n(ir),$(Ge,s),s&&n(cr),s&&n(On),s&&n(fr),$(Le,s),s&&n(ur),$(Ve,s),s&&n(dr),s&&n(Cn),s&&n(hr),s&&n(qs),$(Ye),s&&n(mr),s&&n(In),s&&n(xr),s&&n(N),s&&n(gr),s&&n(Y),s&&n(jr),$(Qe,s),s&&n(br),$(Ue,s),s&&n(_r),s&&n(Pn),s&&n($r),s&&n(Q),s&&n(kr),$(Je,s),s&&n(Er),s&&n(Dn),s&&n(vr),$(Ke,s),s&&n(yr),s&&n(zn)}}}const Fd={local:"fast-tokenizers",sections:[{local:"batch-encoding",title:"Batch encoding"},{local:"pipeline-tokenclassification",sections:[{local:"pipeline",title:"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E1A\u0E37\u0E49\u0E2D\u0E07\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 pipeline"},{local:"input",title:"\u0E08\u0E32\u0E01 input \u0E2A\u0E39\u0E48 \u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C"},{local:"entities",title:"\u0E01\u0E32\u0E23\u0E23\u0E27\u0E21 entities"}],title:"\u0E42\u0E04\u0E23\u0E07\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E20\u0E32\u0E22\u0E43\u0E19\u0E02\u0E2D\u0E07 pipeline `token-classification`"}],title:"\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (fast tokenizers)"};function Ad(z,d,g){let u="pt";return vd(()=>{const E=new URLSearchParams(window.location.search);g(0,u=E.get("fw")||"pt")}),[u]}class Yd extends _d{constructor(d){super();$d(this,d,Ad,qd,kd,{})}}export{Yd as default,Fd as metadata};
