import{S as $t,i as dt,s as _t,e as p,k as f,w as d,t as r,l as ct,M as bt,c as u,d as s,m,x as _,a as c,h as i,b as I,G as n,g as l,y as b,o as k,p as ft,q as $,B as g,v as gt,n as mt}from"../../chunks/vendor-hf-doc-builder.js";import{I as ht}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as q}from"../../chunks/CodeBlock-hf-doc-builder.js";import{D as kt}from"../../chunks/DocNotebookDropdown-hf-doc-builder.js";import{F as jt}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";function wt(v){let a,h;return a=new kt({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/chapter2/section6_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/chapter2/section6_tf.ipynb"}]}}),{c(){d(a.$$.fragment)},l(o){_(a.$$.fragment,o)},m(o,j){b(a,o,j),h=!0},i(o){h||($(a.$$.fragment,o),h=!0)},o(o){k(a.$$.fragment,o),h=!1},d(o){g(a,o)}}}function qt(v){let a,h;return a=new kt({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/chapter2/section6_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/chapter2/section6_pt.ipynb"}]}}),{c(){d(a.$$.fragment)},l(o){_(a.$$.fragment,o)},m(o,j){b(a,o,j),h=!0},i(o){h||($(a.$$.fragment,o),h=!0)},o(o){k(a.$$.fragment,o),h=!1},d(o){g(a,o)}}}function vt(v){let a,h;return a=new q({props:{code:`
`,highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [<span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>, <span class="hljs-string">&quot;So have I!&quot;</span>]

tokens = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
output = model(**tokens)`}}),{c(){d(a.$$.fragment)},l(o){_(a.$$.fragment,o)},m(o,j){b(a,o,j),h=!0},i(o){h||($(a.$$.fragment,o),h=!0)},o(o){k(a.$$.fragment,o),h=!1},d(o){g(a,o)}}}function zt(v){let a,h;return a=new q({props:{code:`
`,highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [<span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>, <span class="hljs-string">&quot;So have I!&quot;</span>]

tokens = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
output = model(**tokens)`}}),{c(){d(a.$$.fragment)},l(o){_(a.$$.fragment,o)},m(o,j){b(a,o,j),h=!0},i(o){h||($(a.$$.fragment,o),h=!0)},o(o){k(a.$$.fragment,o),h=!1},d(o){g(a,o)}}}function yt(v){let a,h,o,j,R,ns,Pe,z,y,se,te,os,Ie,x,ls,me,as,rs,Te,B,De,T,is,he,ps,us,ke,cs,fs,Se,ne,ms,Ae,M,Ce,oe,hs,xe,L,Fe,le,ks,Ne,G,He,ae,$s,Oe,J,Re,w,$e,ds,_s,de,bs,gs,_e,js,ws,be,qs,vs,Be,U,Me,S,F,ge,K,zs,je,ys,Le,re,Es,Ge,Q,Je,V,Ue,ie,Ps,Ke,W,Qe,X,Ve,D,Is,we,Ts,Ds,qe,Ss,As,We,A,N,ve,Y,Cs,ze,xs,Xe,H,Fs,ye,Ns,Hs,Ye,E,P,pe,Ze;o=new jt({props:{fw:v[0]}});const Os=[qt,wt],Z=[];function Rs(e,t){return e[0]==="pt"?0:1}z=Rs(v),y=Z[z]=Os[z](v),B=new q({props:{code:`

`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

model_inputs = tokenizer(sequence)`}}),M=new q({props:{code:"",highlighted:`sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

model_inputs = tokenizer(sequence)`}}),L=new q({props:{code:"",highlighted:`sequences = [<span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>, <span class="hljs-string">&quot;So have I!&quot;</span>]

model_inputs = tokenizer(sequences)`}}),G=new q({props:{code:`
`,highlighted:`<span class="hljs-comment"># \u0E08\u0E30\u0E40\u0E15\u0E34\u0E21\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E1B\u0E08\u0E19\u0E16\u0E36\u0E07\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-string">&quot;longest&quot;</span>)

<span class="hljs-comment"># \u0E08\u0E30\u0E40\u0E15\u0E34\u0E21\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E1B\u0E08\u0E19\u0E16\u0E36\u0E07\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E23\u0E31\u0E1A\u0E44\u0E14\u0E49</span>
<span class="hljs-comment"># (512 for BERT or DistilBERT)</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-string">&quot;max_length&quot;</span>)

<span class="hljs-comment"># \u0E08\u0E30\u0E40\u0E15\u0E34\u0E21\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E1B\u0E08\u0E19\u0E16\u0E36\u0E07\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E23\u0E30\u0E1A\u0E38\u0E44\u0E27\u0E49</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-string">&quot;max_length&quot;</span>, max_length=<span class="hljs-number">8</span>)`}}),J=new q({props:{code:`
`,highlighted:`sequences = [<span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>, <span class="hljs-string">&quot;So have I!&quot;</span>]

<span class="hljs-comment"># \u0E08\u0E30\u0E15\u0E31\u0E14\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E23\u0E31\u0E1A\u0E44\u0E14\u0E49</span>
<span class="hljs-comment"># (512 for BERT or DistilBERT)</span>
model_inputs = tokenizer(sequences, truncation=<span class="hljs-literal">True</span>)

<span class="hljs-comment"># \u0E08\u0E30\u0E15\u0E31\u0E14\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E17\u0E35\u0E48\u0E23\u0E30\u0E1A\u0E38\u0E44\u0E27\u0E49</span>
model_inputs = tokenizer(sequences, max_length=<span class="hljs-number">8</span>, truncation=<span class="hljs-literal">True</span>)`}}),U=new q({props:{code:`

`,highlighted:`sequences = [<span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>, <span class="hljs-string">&quot;So have I!&quot;</span>]

<span class="hljs-comment"># Returns PyTorch tensors</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)

<span class="hljs-comment"># Returns TensorFlow tensors</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)

<span class="hljs-comment"># Returns NumPy arrays</span>
model_inputs = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;np&quot;</span>)`}}),K=new ht({}),Q=new q({props:{code:`
`,highlighted:`sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

model_inputs = tokenizer(sequence)
<span class="hljs-built_in">print</span>(model_inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
<span class="hljs-built_in">print</span>(ids)`}}),V=new q({props:{code:`[101, 1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012, 102]
[1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012]`,highlighted:`[<span class="hljs-number">101</span>, <span class="hljs-number">1045</span>, <span class="hljs-number">1005</span>, <span class="hljs-number">2310</span>, <span class="hljs-number">2042</span>, <span class="hljs-number">3403</span>, <span class="hljs-number">2005</span>, <span class="hljs-number">1037</span>, <span class="hljs-number">17662</span>, <span class="hljs-number">12172</span>, <span class="hljs-number">2607</span>, <span class="hljs-number">2026</span>, <span class="hljs-number">2878</span>, <span class="hljs-number">2166</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>]
[<span class="hljs-number">1045</span>, <span class="hljs-number">1005</span>, <span class="hljs-number">2310</span>, <span class="hljs-number">2042</span>, <span class="hljs-number">3403</span>, <span class="hljs-number">2005</span>, <span class="hljs-number">1037</span>, <span class="hljs-number">17662</span>, <span class="hljs-number">12172</span>, <span class="hljs-number">2607</span>, <span class="hljs-number">2026</span>, <span class="hljs-number">2878</span>, <span class="hljs-number">2166</span>, <span class="hljs-number">1012</span>]`}}),W=new q({props:{code:`print(tokenizer.decode(model_inputs["input_ids"]))
print(tokenizer.decode(ids))`,highlighted:`<span class="hljs-built_in">print</span>(tokenizer.decode(model_inputs[<span class="hljs-string">&quot;input_ids&quot;</span>]))
<span class="hljs-built_in">print</span>(tokenizer.decode(ids))`}}),X=new q({props:{code:`"[CLS] i've been waiting for a huggingface course my whole life. [SEP]"
"i've been waiting for a huggingface course my whole life."`,highlighted:`<span class="hljs-string">&quot;[CLS] i&#x27;ve been waiting for a huggingface course my whole life. [SEP]&quot;</span>
<span class="hljs-string">&quot;i&#x27;ve been waiting for a huggingface course my whole life.&quot;</span>`}}),Y=new ht({});const Bs=[zt,vt],ee=[];function Ms(e,t){return e[0]==="pt"?0:1}return E=Ms(v),P=ee[E]=Bs[E](v),{c(){a=p("meta"),h=f(),d(o.$$.fragment),j=f(),R=p("h1"),ns=r("\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"),Pe=f(),y.c(),se=f(),te=p("p"),os=r("\u0E43\u0E19\u0E2A\u0E2D\u0E07\u0E2A\u0E32\u0E21 sections \u0E17\u0E35\u0E48\u0E1C\u0E48\u0E32\u0E19\u0E21\u0E32 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E17\u0E33\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E27\u0E22\u0E21\u0E37\u0E2D\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E28\u0E36\u0E01\u0E29\u0E32\u0E27\u0E48\u0E32 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E41\u0E25\u0E30\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23 tokenization, \u0E41\u0E1B\u0E25\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 input IDs, \u0E01\u0E32\u0E23\u0E40\u0E15\u0E34\u0E21(padding), \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14(truncation), \u0E41\u0E25\u0E30 attention masks"),Ie=f(),x=p("p"),ls=r("\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E19 section 2, \u{1F917} Transformers API \u0E19\u0E31\u0E49\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22 high-level \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E07\u0E25\u0E36\u0E07\u0E43\u0E19\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E48 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E04\u0E38\u0E13\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19 "),me=p("code"),as=r("tokenizer"),rs=r(" \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E15\u0E23\u0E07\u0E46\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E46, \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E17\u0E35\u0E48\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E08\u0E30\u0E43\u0E2A\u0E48\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32:"),Te=f(),d(B.$$.fragment),De=f(),T=p("p"),is=r("\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23 "),he=p("code"),ps=r("model_inputs"),us=r(" \u0E19\u0E31\u0E49\u0E19\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E07\u0E32\u0E19\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E35 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A DistilBERT \u0E19\u0E31\u0E49\u0E19\u0E23\u0E27\u0E21\u0E44\u0E1B\u0E16\u0E36\u0E07 input IDs \u0E41\u0E25\u0E30 attention mask \u0E14\u0E49\u0E27\u0E22 \u0E2A\u0E48\u0E27\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E23\u0E2D\u0E07\u0E23\u0E31\u0E1A\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E01\u0E47\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E17\u0E4C\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E08\u0E32\u0E01 "),ke=p("code"),cs=r("tokenizer"),fs=r(" object \u0E14\u0E49\u0E27\u0E22"),Se=f(),ne=p("p"),ms=r("\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E19\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E17\u0E23\u0E07\u0E1E\u0E25\u0E31\u0E07\u0E21\u0E32\u0E01 \u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30 tokenize \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27\u0E44\u0E14\u0E49:"),Ae=f(),d(M.$$.fragment),Ce=f(),oe=p("p"),hs=r("\u0E21\u0E31\u0E19\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49\u0E43\u0E19\u0E04\u0E23\u0E32\u0E27\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2D\u0E30\u0E44\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E43\u0E19  API \u0E40\u0E25\u0E22:"),xe=f(),d(L.$$.fragment),Fe=f(),le=p("p"),ks=r("\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E15\u0E34\u0E21(padding) \u0E43\u0E2B\u0E49\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C:"),Ne=f(),d(G.$$.fragment),He=f(),ae=p("p"),$s=r("\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E14\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22:"),Oe=f(),d(J.$$.fragment),Re=f(),w=p("p"),$e=p("code"),ds=r("tokenizer"),_s=r(" object \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E41\u0E1B\u0E25\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 tensors \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A framework \u0E17\u0E35\u0E48\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E40\u0E08\u0E32\u0E30\u0E08\u0E07\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E40\u0E02\u0E49\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E14\u0E49\u0E17\u0E31\u0E19\u0E17\u0E35 \u0E22\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E43\u0E19\u0E42\u0E04\u0E49\u0E14\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E31\u0E48\u0E07\u0E43\u0E2B\u0E49 tokenizer \u0E2A\u0E48\u0E07 tensors \u0E08\u0E32\u0E01 frameworks \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E01\u0E31\u0E19 \u2014 "),de=p("code"),bs=r('"pt"'),gs=r(" \u0E43\u0E2B\u0E49 PyTorch tensors, "),_e=p("code"),js=r('"tf"'),ws=r(" \u0E43\u0E2B\u0E49 TensorFlow tensors, and "),be=p("code"),qs=r('"np"'),vs=r(" \u0E43\u0E2B\u0E49 NumPy arrays:"),Be=f(),d(U.$$.fragment),Me=f(),S=p("h2"),F=p("a"),ge=p("span"),d(K.$$.fragment),zs=f(),je=p("span"),ys=r("tokens \u0E1E\u0E34\u0E40\u0E28\u0E29"),Le=f(),re=p("p"),Es=r("\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E14\u0E39\u0E17\u0E35\u0E48 input IDs \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 tokenizer \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E44\u0E1B\u0E08\u0E32\u0E01\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E04\u0E22\u0E44\u0E14\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49:"),Ge=f(),d(Q.$$.fragment),Je=f(),d(V.$$.fragment),Ue=f(),ie=p("p"),Ps=r("\u0E21\u0E35\u0E2B\u0E19\u0E36\u0E48\u0E07 token ID \u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E43\u0E2A\u0E48\u0E40\u0E02\u0E49\u0E32\u0E21\u0E32\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07 token ID \u0E43\u0E2A\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14 \u0E21\u0E32\u0E16\u0E2D\u0E14\u0E23\u0E2B\u0E31\u0E2A\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E02\u0E2D\u0E07 IDs \u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19\u0E14\u0E39\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E01\u0E31\u0E1A\u0E2D\u0E30\u0E44\u0E23:"),Ke=f(),d(W.$$.fragment),Qe=f(),d(X.$$.fragment),Ve=f(),D=p("p"),Is=r("tokenizer \u0E17\u0E33\u0E01\u0E32\u0E23\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 "),we=p("code"),Ts=r("[CLS]"),Ds=r(" \u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E41\u0E25\u0E30\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 "),qe=p("code"),Ss=r("[SEP]"),As=r(" \u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14 \u0E19\u0E31\u0E49\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E31\u0E49\u0E19\u0E44\u0E14\u0E49\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E21\u0E32\u0E41\u0E1A\u0E1A\u0E19\u0E31\u0E49\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E17\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E19\u0E38\u0E21\u0E32\u0E19(inference) \u0E40\u0E23\u0E32\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E21\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E41\u0E15\u0E48\u0E01\u0E47\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E23\u0E30\u0E2B\u0E19\u0E31\u0E01\u0E27\u0E48\u0E32\u0E1A\u0E32\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E2B\u0E23\u0E37\u0E2D \u0E43\u0E2A\u0E48\u0E04\u0E33\u0E17\u0E35\u0E48\u0E15\u0E48\u0E32\u0E07\u0E2D\u0E2D\u0E01\u0E44\u0E1B; \u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E41\u0E04\u0E48\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E2B\u0E23\u0E37\u0E2D \u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E44\u0E21\u0E48\u0E27\u0E48\u0E32\u0E08\u0E30\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E43\u0E14\u0E46 tokenizer \u0E23\u0E39\u0E49\u0E27\u0E48\u0E32\u0E2D\u0E31\u0E19\u0E44\u0E2B\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E19\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07:"),We=f(),A=p("h2"),N=p("a"),ve=p("span"),d(Y.$$.fragment),Cs=f(),ze=p("span"),xs=r("\u0E2A\u0E23\u0E38\u0E1B: \u0E08\u0E32\u0E01 tokenizer \u0E44\u0E1B\u0E22\u0E31\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25"),Xe=f(),H=p("p"),Fs=r("\u0E16\u0E36\u0E07\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E17\u0E35\u0E48 "),ye=p("code"),Ns=r("tokenizer"),Hs=r(" \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (padding!), \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E32\u0E27\u0E46, \u0E41\u0E25\u0E30 tensors \u0E2B\u0E25\u0E32\u0E22\u0E46 \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E14\u0E49\u0E27\u0E22 API \u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19:"),Ye=f(),P.c(),pe=ct(),this.h()},l(e){const t=bt('[data-svelte="svelte-1phssyn"]',document.head);a=u(t,"META",{name:!0,content:!0}),t.forEach(s),h=m(e),_(o.$$.fragment,e),j=m(e),R=u(e,"H1",{id:!0});var Ee=c(R);ns=i(Ee,"\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"),Ee.forEach(s),Pe=m(e),y.l(e),se=m(e),te=u(e,"P",{});var ue=c(te);os=i(ue,"\u0E43\u0E19\u0E2A\u0E2D\u0E07\u0E2A\u0E32\u0E21 sections \u0E17\u0E35\u0E48\u0E1C\u0E48\u0E32\u0E19\u0E21\u0E32 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E1E\u0E22\u0E32\u0E22\u0E32\u0E21\u0E17\u0E33\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E27\u0E22\u0E21\u0E37\u0E2D\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E40\u0E2D\u0E07 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E25\u0E2D\u0E07\u0E28\u0E36\u0E01\u0E29\u0E32\u0E27\u0E48\u0E32 tokenizer \u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E41\u0E25\u0E30\u0E27\u0E34\u0E18\u0E35\u0E01\u0E32\u0E23 tokenization, \u0E41\u0E1B\u0E25\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 input IDs, \u0E01\u0E32\u0E23\u0E40\u0E15\u0E34\u0E21(padding), \u0E01\u0E32\u0E23\u0E15\u0E31\u0E14(truncation), \u0E41\u0E25\u0E30 attention masks"),ue.forEach(s),Ie=m(e),x=u(e,"P",{});var O=c(x);ls=i(O,"\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E19 section 2, \u{1F917} Transformers API \u0E19\u0E31\u0E49\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22 high-level \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E25\u0E07\u0E25\u0E36\u0E07\u0E43\u0E19\u0E23\u0E32\u0E22\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E01\u0E31\u0E19\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E48 \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E04\u0E38\u0E13\u0E40\u0E23\u0E35\u0E22\u0E01\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19 "),me=u(O,"CODE",{});var Ls=c(me);as=i(Ls,"tokenizer"),Ls.forEach(s),rs=i(O," \u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13\u0E15\u0E23\u0E07\u0E46\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E46, \u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E17\u0E35\u0E48\u0E1E\u0E23\u0E49\u0E2D\u0E21\u0E08\u0E30\u0E43\u0E2A\u0E48\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32:"),O.forEach(s),Te=m(e),_(B.$$.fragment,e),De=m(e),T=u(e,"P",{});var ce=c(T);is=i(ce,"\u0E43\u0E19\u0E17\u0E35\u0E48\u0E19\u0E35\u0E49 \u0E15\u0E31\u0E27\u0E41\u0E1B\u0E23 "),he=u(ce,"CODE",{});var Gs=c(he);ps=i(Gs,"model_inputs"),Gs.forEach(s),us=i(ce," \u0E19\u0E31\u0E49\u0E19\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E14\u0E49\u0E27\u0E22\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E42\u0E21\u0E40\u0E14\u0E25\u0E17\u0E35\u0E48\u0E08\u0E30\u0E17\u0E33\u0E07\u0E32\u0E19\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E35 \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A DistilBERT \u0E19\u0E31\u0E49\u0E19\u0E23\u0E27\u0E21\u0E44\u0E1B\u0E16\u0E36\u0E07 input IDs \u0E41\u0E25\u0E30 attention mask \u0E14\u0E49\u0E27\u0E22 \u0E2A\u0E48\u0E27\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E37\u0E48\u0E19\u0E46\u0E17\u0E35\u0E48\u0E23\u0E2D\u0E07\u0E23\u0E31\u0E1A\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E15\u0E48\u0E32\u0E07\u0E46\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E01\u0E47\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E17\u0E4C\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E08\u0E32\u0E01 "),ke=u(ce,"CODE",{});var Js=c(ke);cs=i(Js,"tokenizer"),Js.forEach(s),fs=i(ce," object \u0E14\u0E49\u0E27\u0E22"),ce.forEach(s),Se=m(e),ne=u(e,"P",{});var Us=c(ne);ms=i(Us,"\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E43\u0E19\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E14\u0E49\u0E32\u0E19\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E27\u0E34\u0E18\u0E35\u0E19\u0E35\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E17\u0E23\u0E07\u0E1E\u0E25\u0E31\u0E07\u0E21\u0E32\u0E01 \u0E2D\u0E31\u0E19\u0E14\u0E31\u0E1A\u0E41\u0E23\u0E01 \u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30 tokenize \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27\u0E44\u0E14\u0E49:"),Us.forEach(s),Ae=m(e),_(M.$$.fragment,e),Ce=m(e),oe=u(e,"P",{});var Ks=c(oe);hs=i(Ks,"\u0E21\u0E31\u0E19\u0E22\u0E31\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49\u0E43\u0E19\u0E04\u0E23\u0E32\u0E27\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E21\u0E35\u0E2D\u0E30\u0E44\u0E23\u0E40\u0E1B\u0E25\u0E35\u0E48\u0E22\u0E19\u0E43\u0E19  API \u0E40\u0E25\u0E22:"),Ks.forEach(s),xe=m(e),_(L.$$.fragment,e),Fe=m(e),le=u(e,"P",{});var Qs=c(le);ks=i(Qs,"\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E15\u0E34\u0E21(padding) \u0E43\u0E2B\u0E49\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E27\u0E31\u0E15\u0E16\u0E38\u0E1B\u0E23\u0E30\u0E2A\u0E07\u0E04\u0E4C:"),Qs.forEach(s),Ne=m(e),_(G.$$.fragment,e),He=m(e),ae=u(e,"P",{});var Vs=c(ae);$s=i(Vs,"\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E14\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49\u0E2D\u0E35\u0E01\u0E14\u0E49\u0E27\u0E22:"),Vs.forEach(s),Oe=m(e),_(J.$$.fragment,e),Re=m(e),w=u(e,"P",{});var C=c(w);$e=u(C,"CODE",{});var Ws=c($e);ds=i(Ws,"tokenizer"),Ws.forEach(s),_s=i(C," object \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E41\u0E1B\u0E25\u0E07\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 tensors \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A framework \u0E17\u0E35\u0E48\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E40\u0E08\u0E32\u0E30\u0E08\u0E07\u0E44\u0E14\u0E49 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E35\u0E48\u0E08\u0E30\u0E2A\u0E48\u0E07\u0E40\u0E02\u0E49\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E14\u0E49\u0E17\u0E31\u0E19\u0E17\u0E35 \u0E22\u0E01\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19 \u0E43\u0E19\u0E42\u0E04\u0E49\u0E14\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E31\u0E48\u0E07\u0E43\u0E2B\u0E49 tokenizer \u0E2A\u0E48\u0E07 tensors \u0E08\u0E32\u0E01 frameworks \u0E15\u0E48\u0E32\u0E07\u0E46 \u0E01\u0E31\u0E19 \u2014 "),de=u(C,"CODE",{});var Xs=c(de);bs=i(Xs,'"pt"'),Xs.forEach(s),gs=i(C," \u0E43\u0E2B\u0E49 PyTorch tensors, "),_e=u(C,"CODE",{});var Ys=c(_e);js=i(Ys,'"tf"'),Ys.forEach(s),ws=i(C," \u0E43\u0E2B\u0E49 TensorFlow tensors, and "),be=u(C,"CODE",{});var Zs=c(be);qs=i(Zs,'"np"'),Zs.forEach(s),vs=i(C," \u0E43\u0E2B\u0E49 NumPy arrays:"),C.forEach(s),Be=m(e),_(U.$$.fragment,e),Me=m(e),S=u(e,"H2",{class:!0});var es=c(S);F=u(es,"A",{id:!0,class:!0,href:!0});var et=c(F);ge=u(et,"SPAN",{});var st=c(ge);_(K.$$.fragment,st),st.forEach(s),et.forEach(s),zs=m(es),je=u(es,"SPAN",{});var tt=c(je);ys=i(tt,"tokens \u0E1E\u0E34\u0E40\u0E28\u0E29"),tt.forEach(s),es.forEach(s),Le=m(e),re=u(e,"P",{});var nt=c(re);Es=i(nt,"\u0E16\u0E49\u0E32\u0E40\u0E23\u0E32\u0E14\u0E39\u0E17\u0E35\u0E48 input IDs \u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E08\u0E32\u0E01 tokenizer \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E44\u0E14\u0E49\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E04\u0E48\u0E2D\u0E19\u0E02\u0E49\u0E32\u0E07\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E44\u0E1B\u0E08\u0E32\u0E01\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E04\u0E22\u0E44\u0E14\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49:"),nt.forEach(s),Ge=m(e),_(Q.$$.fragment,e),Je=m(e),_(V.$$.fragment,e),Ue=m(e),ie=u(e,"P",{});var ot=c(ie);Ps=i(ot,"\u0E21\u0E35\u0E2B\u0E19\u0E36\u0E48\u0E07 token ID \u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E43\u0E2A\u0E48\u0E40\u0E02\u0E49\u0E32\u0E21\u0E32\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01\u0E2B\u0E19\u0E36\u0E48\u0E07 token ID \u0E43\u0E2A\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14 \u0E21\u0E32\u0E16\u0E2D\u0E14\u0E23\u0E2B\u0E31\u0E2A\u0E2A\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E02\u0E2D\u0E07 IDs \u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19\u0E14\u0E39\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E01\u0E31\u0E1A\u0E2D\u0E30\u0E44\u0E23:"),ot.forEach(s),Ke=m(e),_(W.$$.fragment,e),Qe=m(e),_(X.$$.fragment,e),Ve=m(e),D=u(e,"P",{});var fe=c(D);Is=i(fe,"tokenizer \u0E17\u0E33\u0E01\u0E32\u0E23\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 "),we=u(fe,"CODE",{});var lt=c(we);Ts=i(lt,"[CLS]"),lt.forEach(s),Ds=i(fe," \u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E41\u0E25\u0E30\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 "),qe=u(fe,"CODE",{});var at=c(qe);Ss=i(at,"[SEP]"),at.forEach(s),As=i(fe," \u0E17\u0E35\u0E48\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14 \u0E19\u0E31\u0E49\u0E19\u0E01\u0E47\u0E40\u0E1E\u0E23\u0E32\u0E30\u0E27\u0E48\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E31\u0E49\u0E19\u0E44\u0E14\u0E49\u0E1C\u0E48\u0E32\u0E19\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E21\u0E32\u0E41\u0E1A\u0E1A\u0E19\u0E31\u0E49\u0E19 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E17\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E2D\u0E19\u0E38\u0E21\u0E32\u0E19(inference) \u0E40\u0E23\u0E32\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E21\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 \u0E41\u0E15\u0E48\u0E01\u0E47\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E23\u0E30\u0E2B\u0E19\u0E31\u0E01\u0E27\u0E48\u0E32\u0E1A\u0E32\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29 \u0E2B\u0E23\u0E37\u0E2D \u0E43\u0E2A\u0E48\u0E04\u0E33\u0E17\u0E35\u0E48\u0E15\u0E48\u0E32\u0E07\u0E2D\u0E2D\u0E01\u0E44\u0E1B; \u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E04\u0E33\u0E1E\u0E34\u0E40\u0E28\u0E29\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E41\u0E04\u0E48\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E14\u0E49\u0E32\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E2A\u0E38\u0E14 \u0E2B\u0E23\u0E37\u0E2D \u0E14\u0E49\u0E32\u0E19\u0E2B\u0E25\u0E31\u0E07\u0E2A\u0E38\u0E14\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E44\u0E21\u0E48\u0E27\u0E48\u0E32\u0E08\u0E30\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E43\u0E14\u0E46 tokenizer \u0E23\u0E39\u0E49\u0E27\u0E48\u0E32\u0E2D\u0E31\u0E19\u0E44\u0E2B\u0E19\u0E40\u0E1B\u0E47\u0E19\u0E2D\u0E31\u0E19\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E41\u0E25\u0E30\u0E21\u0E31\u0E19\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E04\u0E38\u0E13\u0E40\u0E2D\u0E07:"),fe.forEach(s),We=m(e),A=u(e,"H2",{class:!0});var ss=c(A);N=u(ss,"A",{id:!0,class:!0,href:!0});var rt=c(N);ve=u(rt,"SPAN",{});var it=c(ve);_(Y.$$.fragment,it),it.forEach(s),rt.forEach(s),Cs=m(ss),ze=u(ss,"SPAN",{});var pt=c(ze);xs=i(pt,"\u0E2A\u0E23\u0E38\u0E1B: \u0E08\u0E32\u0E01 tokenizer \u0E44\u0E1B\u0E22\u0E31\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25"),pt.forEach(s),ss.forEach(s),Xe=m(e),H=u(e,"P",{});var ts=c(H);Fs=i(ts,"\u0E16\u0E36\u0E07\u0E15\u0E23\u0E07\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E47\u0E19\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E17\u0E35\u0E48 "),ye=u(ts,"CODE",{});var ut=c(ye);Ns=i(ut,"tokenizer"),ut.forEach(s),Hs=i(ts," \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1B\u0E23\u0E30\u0E21\u0E27\u0E25\u0E1C\u0E25\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E04\u0E23\u0E31\u0E49\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E46\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (padding!), \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E32\u0E27\u0E46, \u0E41\u0E25\u0E30 tensors \u0E2B\u0E25\u0E32\u0E22\u0E46 \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E14\u0E49\u0E27\u0E22 API \u0E2B\u0E25\u0E31\u0E01\u0E02\u0E2D\u0E07\u0E21\u0E31\u0E19:"),ts.forEach(s),Ye=m(e),P.l(e),pe=ct(),this.h()},h(){I(a,"name","hf:doc:metadata"),I(a,"content",JSON.stringify(Et)),I(R,"id",""),I(F,"id","tokens"),I(F,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),I(F,"href","#tokens"),I(S,"class","relative group"),I(N,"id","tokenizer"),I(N,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),I(N,"href","#tokenizer"),I(A,"class","relative group")},m(e,t){n(document.head,a),l(e,h,t),b(o,e,t),l(e,j,t),l(e,R,t),n(R,ns),l(e,Pe,t),Z[z].m(e,t),l(e,se,t),l(e,te,t),n(te,os),l(e,Ie,t),l(e,x,t),n(x,ls),n(x,me),n(me,as),n(x,rs),l(e,Te,t),b(B,e,t),l(e,De,t),l(e,T,t),n(T,is),n(T,he),n(he,ps),n(T,us),n(T,ke),n(ke,cs),n(T,fs),l(e,Se,t),l(e,ne,t),n(ne,ms),l(e,Ae,t),b(M,e,t),l(e,Ce,t),l(e,oe,t),n(oe,hs),l(e,xe,t),b(L,e,t),l(e,Fe,t),l(e,le,t),n(le,ks),l(e,Ne,t),b(G,e,t),l(e,He,t),l(e,ae,t),n(ae,$s),l(e,Oe,t),b(J,e,t),l(e,Re,t),l(e,w,t),n(w,$e),n($e,ds),n(w,_s),n(w,de),n(de,bs),n(w,gs),n(w,_e),n(_e,js),n(w,ws),n(w,be),n(be,qs),n(w,vs),l(e,Be,t),b(U,e,t),l(e,Me,t),l(e,S,t),n(S,F),n(F,ge),b(K,ge,null),n(S,zs),n(S,je),n(je,ys),l(e,Le,t),l(e,re,t),n(re,Es),l(e,Ge,t),b(Q,e,t),l(e,Je,t),b(V,e,t),l(e,Ue,t),l(e,ie,t),n(ie,Ps),l(e,Ke,t),b(W,e,t),l(e,Qe,t),b(X,e,t),l(e,Ve,t),l(e,D,t),n(D,Is),n(D,we),n(we,Ts),n(D,Ds),n(D,qe),n(qe,Ss),n(D,As),l(e,We,t),l(e,A,t),n(A,N),n(N,ve),b(Y,ve,null),n(A,Cs),n(A,ze),n(ze,xs),l(e,Xe,t),l(e,H,t),n(H,Fs),n(H,ye),n(ye,Ns),n(H,Hs),l(e,Ye,t),ee[E].m(e,t),l(e,pe,t),Ze=!0},p(e,[t]){const Ee={};t&1&&(Ee.fw=e[0]),o.$set(Ee);let ue=z;z=Rs(e),z!==ue&&(mt(),k(Z[ue],1,1,()=>{Z[ue]=null}),ft(),y=Z[z],y||(y=Z[z]=Os[z](e),y.c()),$(y,1),y.m(se.parentNode,se));let O=E;E=Ms(e),E!==O&&(mt(),k(ee[O],1,1,()=>{ee[O]=null}),ft(),P=ee[E],P||(P=ee[E]=Bs[E](e),P.c()),$(P,1),P.m(pe.parentNode,pe))},i(e){Ze||($(o.$$.fragment,e),$(y),$(B.$$.fragment,e),$(M.$$.fragment,e),$(L.$$.fragment,e),$(G.$$.fragment,e),$(J.$$.fragment,e),$(U.$$.fragment,e),$(K.$$.fragment,e),$(Q.$$.fragment,e),$(V.$$.fragment,e),$(W.$$.fragment,e),$(X.$$.fragment,e),$(Y.$$.fragment,e),$(P),Ze=!0)},o(e){k(o.$$.fragment,e),k(y),k(B.$$.fragment,e),k(M.$$.fragment,e),k(L.$$.fragment,e),k(G.$$.fragment,e),k(J.$$.fragment,e),k(U.$$.fragment,e),k(K.$$.fragment,e),k(Q.$$.fragment,e),k(V.$$.fragment,e),k(W.$$.fragment,e),k(X.$$.fragment,e),k(Y.$$.fragment,e),k(P),Ze=!1},d(e){s(a),e&&s(h),g(o,e),e&&s(j),e&&s(R),e&&s(Pe),Z[z].d(e),e&&s(se),e&&s(te),e&&s(Ie),e&&s(x),e&&s(Te),g(B,e),e&&s(De),e&&s(T),e&&s(Se),e&&s(ne),e&&s(Ae),g(M,e),e&&s(Ce),e&&s(oe),e&&s(xe),g(L,e),e&&s(Fe),e&&s(le),e&&s(Ne),g(G,e),e&&s(He),e&&s(ae),e&&s(Oe),g(J,e),e&&s(Re),e&&s(w),e&&s(Be),g(U,e),e&&s(Me),e&&s(S),g(K),e&&s(Le),e&&s(re),e&&s(Ge),g(Q,e),e&&s(Je),g(V,e),e&&s(Ue),e&&s(ie),e&&s(Ke),g(W,e),e&&s(Qe),g(X,e),e&&s(Ve),e&&s(D),e&&s(We),e&&s(A),g(Y),e&&s(Xe),e&&s(H),e&&s(Ye),ee[E].d(e),e&&s(pe)}}}const Et={local:"",sections:[{local:"tokens",title:"tokens \u0E1E\u0E34\u0E40\u0E28\u0E29"},{local:"tokenizer",title:"\u0E2A\u0E23\u0E38\u0E1B: \u0E08\u0E32\u0E01 tokenizer \u0E44\u0E1B\u0E22\u0E31\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25"}],title:"\u0E1B\u0E23\u0E30\u0E01\u0E2D\u0E1A\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19"};function Pt(v,a,h){let o="pt";return gt(()=>{const j=new URLSearchParams(window.location.search);h(0,o=j.get("fw")||"pt")}),[o]}class Ct extends $t{constructor(a){super();dt(this,a,Pt,yt,_t,{})}}export{Ct as default,Et as metadata};
