import{S as fp,i as up,s as dp,e as m,k as u,w as g,t as o,Y as rp,M as _p,c,d as s,m as d,x as k,a as f,h as i,Z as op,b as C,N as ip,G as a,g as l,y as x,o as _,p as W,q as h,B as w,v as hp,n as H}from"../../chunks/vendor-hf-doc-builder.js";import{T as nr}from"../../chunks/Tip-hf-doc-builder.js";import{Y as lp}from"../../chunks/Youtube-hf-doc-builder.js";import{I as ar}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as y}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as pp}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import{F as bp}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";function $p(v){let n,p;return n=new pp({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section3b_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section3b_tf.ipynb"}]}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function gp(v){let n,p;return n=new pp({props:{chapter:6,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/th/chapter6/section3b_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/th/chapter6/section3b_pt.ipynb"}]}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function kp(v){let n,p;return n=new lp({props:{id:"b3u8RzBCX9Y"}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function xp(v){let n,p;return n=new lp({props:{id:"_wxyB3j3mk4"}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function wp(v){let n,p;return n=new y({props:{code:`from transformers import AutoTokenizer, TFAutoModelForQuestionAnswering

model_checkpoint = "distilbert-base-cased-distilled-squad"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = TFAutoModelForQuestionAnswering.from_pretrained(model_checkpoint)

inputs = tokenizer(question, context, return_tensors="tf")
outputs = model(**inputs)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForQuestionAnswering

model_checkpoint = <span class="hljs-string">&quot;distilbert-base-cased-distilled-squad&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = TFAutoModelForQuestionAnswering.from_pretrained(model_checkpoint)

inputs = tokenizer(question, context, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
outputs = model(**inputs)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function vp(v){let n,p;return n=new y({props:{code:`from transformers import AutoTokenizer, AutoModelForQuestionAnswering

model_checkpoint = "distilbert-base-cased-distilled-squad"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForQuestionAnswering.from_pretrained(model_checkpoint)

inputs = tokenizer(question, context, return_tensors="pt")
outputs = model(**inputs)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForQuestionAnswering

model_checkpoint = <span class="hljs-string">&quot;distilbert-base-cased-distilled-squad&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForQuestionAnswering.from_pretrained(model_checkpoint)

inputs = tokenizer(question, context, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
outputs = model(**inputs)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function jp(v){let n,p;return n=new y({props:{code:"(1, 66) (1, 66)",highlighted:'(<span class="hljs-number">1</span>, <span class="hljs-number">66</span>) (<span class="hljs-number">1</span>, <span class="hljs-number">66</span>)'}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function yp(v){let n,p;return n=new y({props:{code:"torch.Size([1, 66]) torch.Size([1, 66])",highlighted:'torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">66</span>]) torch.Size([<span class="hljs-number">1</span>, <span class="hljs-number">66</span>])'}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function qp(v){let n,p;return n=new y({props:{code:`import tensorflow as tf

sequence_ids = inputs.sequence_ids()
# Mask everything apart from the tokens of the context
mask = [i != 1 for i in sequence_ids]
# Unmask the [CLS] token
mask[0] = False
mask = tf.constant(mask)[None]

start_logits = tf.where(mask, -10000, start_logits)
end_logits = tf.where(mask, -10000, end_logits)`,highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

sequence_ids = inputs.sequence_ids()
<span class="hljs-comment"># Mask everything apart from the tokens of the context</span>
mask = [i != <span class="hljs-number">1</span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> sequence_ids]
<span class="hljs-comment"># Unmask the [CLS] token</span>
mask[<span class="hljs-number">0</span>] = <span class="hljs-literal">False</span>
mask = tf.constant(mask)[<span class="hljs-literal">None</span>]

start_logits = tf.where(mask, -<span class="hljs-number">10000</span>, start_logits)
end_logits = tf.where(mask, -<span class="hljs-number">10000</span>, end_logits)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Ep(v){let n,p;return n=new y({props:{code:`import torch

sequence_ids = inputs.sequence_ids()
# Mask everything apart from the tokens of the context
mask = [i != 1 for i in sequence_ids]
# Unmask the [CLS] token
mask[0] = False
mask = torch.tensor(mask)[None]

start_logits[mask] = -10000
end_logits[mask] = -10000`,highlighted:`<span class="hljs-keyword">import</span> torch

sequence_ids = inputs.sequence_ids()
<span class="hljs-comment"># Mask everything apart from the tokens of the context</span>
mask = [i != <span class="hljs-number">1</span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> sequence_ids]
<span class="hljs-comment"># Unmask the [CLS] token</span>
mask[<span class="hljs-number">0</span>] = <span class="hljs-literal">False</span>
mask = torch.tensor(mask)[<span class="hljs-literal">None</span>]

start_logits[mask] = -<span class="hljs-number">10000</span>
end_logits[mask] = -<span class="hljs-number">10000</span>`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Pp(v){let n,p;return n=new y({props:{code:`start_probabilities = tf.math.softmax(start_logits, axis=-1)[0].numpy()
end_probabilities = tf.math.softmax(end_logits, axis=-1)[0].numpy()`,highlighted:`start_probabilities = tf.math.softmax(start_logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].numpy()
end_probabilities = tf.math.softmax(end_logits, axis=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>].numpy()`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Tp(v){let n,p;return n=new y({props:{code:`start_probabilities = torch.nn.functional.softmax(start_logits, dim=-1)[0]
end_probabilities = torch.nn.functional.softmax(end_logits, dim=-1)[0]`,highlighted:`start_probabilities = torch.nn.functional.softmax(start_logits, dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]
end_probabilities = torch.nn.functional.softmax(end_logits, dim=-<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>]`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Sp(v){let n,p,t,b,$,j,E,S,z,T,F,L,N,D;return N=new y({props:{code:"scores = np.triu(scores)",highlighted:"scores = np.triu(scores)"}}),{c(){n=m("p"),p=o("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E04\u0E48\u0E32\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),t=m("code"),b=o("start_index > end_index"),$=o(" \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),j=m("code"),E=o("0"),S=o(" (\u0E04\u0E48\u0E32 probabilities \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E1A\u0E27\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14) \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),z=m("code"),T=o("np.triu()"),F=o(" \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 \u0E2A\u0E48\u0E27\u0E19\u0E2A\u0E32\u0E21\u0E40\u0E2B\u0E25\u0E35\u0E48\u0E22\u0E21\u0E1A\u0E19\u0E02\u0E2D\u0E07 tensor 2 \u0E21\u0E34\u0E15\u0E34 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 argument \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 mask \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32:"),L=u(),g(N.$$.fragment)},l(q){n=c(q,"P",{});var P=f(n);p=i(P,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E04\u0E48\u0E32\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),t=c(P,"CODE",{});var xe=f(t);b=i(xe,"start_index > end_index"),xe.forEach(s),$=i(P," \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),j=c(P,"CODE",{});var R=f(j);E=i(R,"0"),R.forEach(s),S=i(P," (\u0E04\u0E48\u0E32 probabilities \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E1A\u0E27\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14) \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),z=c(P,"CODE",{});var we=f(z);T=i(we,"np.triu()"),we.forEach(s),F=i(P," \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 \u0E2A\u0E48\u0E27\u0E19\u0E2A\u0E32\u0E21\u0E40\u0E2B\u0E25\u0E35\u0E48\u0E22\u0E21\u0E1A\u0E19\u0E02\u0E2D\u0E07 tensor 2 \u0E21\u0E34\u0E15\u0E34 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 argument \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 mask \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32:"),P.forEach(s),L=d(q),k(N.$$.fragment,q)},m(q,P){l(q,n,P),a(n,p),a(n,t),a(t,b),a(n,$),a(n,j),a(j,E),a(n,S),a(n,z),a(z,T),a(n,F),l(q,L,P),x(N,q,P),D=!0},i(q){D||(h(N.$$.fragment,q),D=!0)},o(q){_(N.$$.fragment,q),D=!1},d(q){q&&s(n),q&&s(L),w(N,q)}}}function Cp(v){let n,p,t,b,$,j,E,S,z,T,F,L,N,D;return N=new y({props:{code:"scores = torch.triu(scores)",highlighted:"scores = torch.triu(scores)"}}),{c(){n=m("p"),p=o("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E04\u0E48\u0E32\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),t=m("code"),b=o("start_index > end_index"),$=o(" \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),j=m("code"),E=o("0"),S=o(" (\u0E04\u0E48\u0E32 probabilities \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E1A\u0E27\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14) \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),z=m("code"),T=o("torch.triu()"),F=o(" \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 \u0E2A\u0E48\u0E27\u0E19\u0E2A\u0E32\u0E21\u0E40\u0E2B\u0E25\u0E35\u0E48\u0E22\u0E21\u0E1A\u0E19\u0E02\u0E2D\u0E07 tensor 2 \u0E21\u0E34\u0E15\u0E34 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 argument \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 mask \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32:"),L=u(),g(N.$$.fragment)},l(q){n=c(q,"P",{});var P=f(n);p=i(P,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E04\u0E48\u0E32\u0E15\u0E23\u0E07\u0E17\u0E35\u0E48 "),t=c(P,"CODE",{});var xe=f(t);b=i(xe,"start_index > end_index"),xe.forEach(s),$=i(P," \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19 "),j=c(P,"CODE",{});var R=f(j);E=i(R,"0"),R.forEach(s),S=i(P," (\u0E04\u0E48\u0E32 probabilities \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E1B\u0E47\u0E19\u0E08\u0E33\u0E19\u0E27\u0E19\u0E1A\u0E27\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14) \u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 "),z=c(P,"CODE",{});var we=f(z);T=i(we,"torch.triu()"),we.forEach(s),F=i(P," \u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 \u0E2A\u0E48\u0E27\u0E19\u0E2A\u0E32\u0E21\u0E40\u0E2B\u0E25\u0E35\u0E48\u0E22\u0E21\u0E1A\u0E19\u0E02\u0E2D\u0E07 tensor 2 \u0E21\u0E34\u0E15\u0E34 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E44\u0E1B\u0E40\u0E1B\u0E47\u0E19 argument \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E21\u0E31\u0E19\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23 mask \u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32:"),P.forEach(s),L=d(q),k(N.$$.fragment,q)},m(q,P){l(q,n,P),a(n,p),a(n,t),a(t,b),a(n,$),a(n,j),a(j,E),a(n,S),a(n,z),a(z,T),a(n,F),l(q,L,P),x(N,q,P),D=!0},i(q){D||(h(N.$$.fragment,q),D=!0)},o(q){_(N.$$.fragment,q),D=!1},d(q){q&&s(n),q&&s(L),w(N,q)}}}function zp(v){let n,p,t,b,$;return{c(){n=m("p"),p=o("\u270F\uFE0F "),t=m("strong"),b=o("\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),$=o(" \u0E04\u0E33\u0E19\u0E27\u0E13 index \u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E04\u0E33\u0E15\u0E2D\u0E1A")},l(j){n=c(j,"P",{});var E=f(n);p=i(E,"\u270F\uFE0F "),t=c(E,"STRONG",{});var S=f(t);b=i(S,"\u0E25\u0E2D\u0E07\u0E17\u0E33\u0E14\u0E39!"),S.forEach(s),$=i(E," \u0E04\u0E33\u0E19\u0E27\u0E13 index \u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E04\u0E33\u0E15\u0E2D\u0E1A"),E.forEach(s)},m(j,E){l(j,n,E),a(n,p),a(n,t),a(t,b),a(n,$)},d(j){j&&s(n)}}}function Np(v){let n,p,t,b,$,j,E,S;return{c(){n=m("p"),p=o("\u270F\uFE0F "),t=m("strong"),b=o("\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),$=o(" \u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E27\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2B\u0E49\u0E32\u0E25\u0E33\u0E14\u0E31\u0E1A \u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E17\u0E35\u0E48 pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),j=m("code"),E=o("top_k=5"),S=o(" \u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E23\u0E31\u0E19 pipeline")},l(z){n=c(z,"P",{});var T=f(n);p=i(T,"\u270F\uFE0F "),t=c(T,"STRONG",{});var F=f(t);b=i(F,"\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),F.forEach(s),$=i(T," \u0E43\u0E0A\u0E49\u0E04\u0E30\u0E41\u0E19\u0E19\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E27\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E2B\u0E49\u0E32\u0E25\u0E33\u0E14\u0E31\u0E1A \u0E43\u0E19\u0E01\u0E32\u0E23\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E17\u0E35\u0E48 pipeline \u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),j=c(T,"CODE",{});var L=f(j);E=i(L,"top_k=5"),L.forEach(s),S=i(T," \u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E23\u0E31\u0E19 pipeline"),T.forEach(s)},m(z,T){l(z,n,T),a(n,p),a(n,t),a(t,b),a(n,$),a(n,j),a(j,E),a(n,S)},d(z){z&&s(n)}}}function Ap(v){let n,p,t,b;return n=new y({props:{code:`_ = inputs.pop("overflow_to_sample_mapping")
offsets = inputs.pop("offset_mapping")

inputs = inputs.convert_to_tensors("tf")
print(inputs["input_ids"].shape)`,highlighted:`_ = inputs.pop(<span class="hljs-string">&quot;overflow_to_sample_mapping&quot;</span>)
offsets = inputs.pop(<span class="hljs-string">&quot;offset_mapping&quot;</span>)

inputs = inputs.convert_to_tensors(<span class="hljs-string">&quot;tf&quot;</span>)
<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)`}}),t=new y({props:{code:"(2, 384)",highlighted:'(<span class="hljs-number">2</span>, <span class="hljs-number">384</span>)'}}),{c(){g(n.$$.fragment),p=u(),g(t.$$.fragment)},l($){k(n.$$.fragment,$),p=d($),k(t.$$.fragment,$)},m($,j){x(n,$,j),l($,p,j),x(t,$,j),b=!0},i($){b||(h(n.$$.fragment,$),h(t.$$.fragment,$),b=!0)},o($){_(n.$$.fragment,$),_(t.$$.fragment,$),b=!1},d($){w(n,$),$&&s(p),w(t,$)}}}function Dp(v){let n,p,t,b;return n=new y({props:{code:`_ = inputs.pop("overflow_to_sample_mapping")
offsets = inputs.pop("offset_mapping")

inputs = inputs.convert_to_tensors("pt")
print(inputs["input_ids"].shape)`,highlighted:`_ = inputs.pop(<span class="hljs-string">&quot;overflow_to_sample_mapping&quot;</span>)
offsets = inputs.pop(<span class="hljs-string">&quot;offset_mapping&quot;</span>)

inputs = inputs.convert_to_tensors(<span class="hljs-string">&quot;pt&quot;</span>)
<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>].shape)`}}),t=new y({props:{code:"torch.Size([2, 384])",highlighted:'torch.Size([<span class="hljs-number">2</span>, <span class="hljs-number">384</span>])'}}),{c(){g(n.$$.fragment),p=u(),g(t.$$.fragment)},l($){k(n.$$.fragment,$),p=d($),k(t.$$.fragment,$)},m($,j){x(n,$,j),l($,p,j),x(t,$,j),b=!0},i($){b||(h(n.$$.fragment,$),h(t.$$.fragment,$),b=!0)},o($){_(n.$$.fragment,$),_(t.$$.fragment,$),b=!1},d($){w(n,$),$&&s(p),w(t,$)}}}function Lp(v){let n,p;return n=new y({props:{code:"(2, 384) (2, 384)",highlighted:'(<span class="hljs-number">2</span>, <span class="hljs-number">384</span>) (<span class="hljs-number">2</span>, <span class="hljs-number">384</span>)'}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Op(v){let n,p;return n=new y({props:{code:"torch.Size([2, 384]) torch.Size([2, 384])",highlighted:'torch.Size([<span class="hljs-number">2</span>, <span class="hljs-number">384</span>]) torch.Size([<span class="hljs-number">2</span>, <span class="hljs-number">384</span>])'}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Fp(v){let n,p;return n=new y({props:{code:`sequence_ids = inputs.sequence_ids()
# Mask everything apart from the tokens of the context
mask = [i != 1 for i in sequence_ids]
# Unmask the [CLS] token
mask[0] = False
# Mask all the [PAD] tokens
mask = tf.math.logical_or(tf.constant(mask)[None], inputs["attention_mask"] == 0)

start_logits = tf.where(mask, -10000, start_logits)
end_logits = tf.where(mask, -10000, end_logits)`,highlighted:`sequence_ids = inputs.sequence_ids()
<span class="hljs-comment"># Mask everything apart from the tokens of the context</span>
mask = [i != <span class="hljs-number">1</span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> sequence_ids]
<span class="hljs-comment"># Unmask the [CLS] token</span>
mask[<span class="hljs-number">0</span>] = <span class="hljs-literal">False</span>
<span class="hljs-comment"># Mask all the [PAD] tokens</span>
mask = tf.math.logical_or(tf.constant(mask)[<span class="hljs-literal">None</span>], inputs[<span class="hljs-string">&quot;attention_mask&quot;</span>] == <span class="hljs-number">0</span>)

start_logits = tf.where(mask, -<span class="hljs-number">10000</span>, start_logits)
end_logits = tf.where(mask, -<span class="hljs-number">10000</span>, end_logits)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Mp(v){let n,p;return n=new y({props:{code:`sequence_ids = inputs.sequence_ids()
# Mask everything apart from the tokens of the context
mask = [i != 1 for i in sequence_ids]
# Unmask the [CLS] token
mask[0] = False
# Mask all the [PAD] tokens
mask = torch.logical_or(torch.tensor(mask)[None], (inputs["attention_mask"] == 0))

start_logits[mask] = -10000
end_logits[mask] = -10000`,highlighted:`sequence_ids = inputs.sequence_ids()
<span class="hljs-comment"># Mask everything apart from the tokens of the context</span>
mask = [i != <span class="hljs-number">1</span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> sequence_ids]
<span class="hljs-comment"># Unmask the [CLS] token</span>
mask[<span class="hljs-number">0</span>] = <span class="hljs-literal">False</span>
<span class="hljs-comment"># Mask all the [PAD] tokens</span>
mask = torch.logical_or(torch.tensor(mask)[<span class="hljs-literal">None</span>], (inputs[<span class="hljs-string">&quot;attention_mask&quot;</span>] == <span class="hljs-number">0</span>))

start_logits[mask] = -<span class="hljs-number">10000</span>
end_logits[mask] = -<span class="hljs-number">10000</span>`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Ip(v){let n,p;return n=new y({props:{code:`start_probabilities = tf.math.softmax(start_logits, axis=-1).numpy()
end_probabilities = tf.math.softmax(end_logits, axis=-1).numpy()`,highlighted:`start_probabilities = tf.math.softmax(start_logits, axis=-<span class="hljs-number">1</span>).numpy()
end_probabilities = tf.math.softmax(end_logits, axis=-<span class="hljs-number">1</span>).numpy()`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Up(v){let n,p;return n=new y({props:{code:`start_probabilities = torch.nn.functional.softmax(start_logits, dim=-1)
end_probabilities = torch.nn.functional.softmax(end_logits, dim=-1)`,highlighted:`start_probabilities = torch.nn.functional.softmax(start_logits, dim=-<span class="hljs-number">1</span>)
end_probabilities = torch.nn.functional.softmax(end_logits, dim=-<span class="hljs-number">1</span>)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Gp(v){let n,p;return n=new y({props:{code:`candidates = []
for start_probs, end_probs in zip(start_probabilities, end_probabilities):
    scores = start_probs[:, None] * end_probs[None, :]
    idx = np.triu(scores).argmax().item()

    start_idx = idx // scores.shape[1]
    end_idx = idx % scores.shape[1]
    score = scores[start_idx, end_idx].item()
    candidates.append((start_idx, end_idx, score))

print(candidates)`,highlighted:`candidates = []
<span class="hljs-keyword">for</span> start_probs, end_probs <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(start_probabilities, end_probabilities):
    scores = start_probs[:, <span class="hljs-literal">None</span>] * end_probs[<span class="hljs-literal">None</span>, :]
    idx = np.triu(scores).argmax().item()

    start_idx = idx // scores.shape[<span class="hljs-number">1</span>]
    end_idx = idx % scores.shape[<span class="hljs-number">1</span>]
    score = scores[start_idx, end_idx].item()
    candidates.append((start_idx, end_idx, score))

<span class="hljs-built_in">print</span>(candidates)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Jp(v){let n,p;return n=new y({props:{code:`candidates = []
for start_probs, end_probs in zip(start_probabilities, end_probabilities):
    scores = start_probs[:, None] * end_probs[None, :]
    idx = torch.triu(scores).argmax().item()

    start_idx = idx // scores.shape[1]
    end_idx = idx % scores.shape[1]
    score = scores[start_idx, end_idx].item()
    candidates.append((start_idx, end_idx, score))

print(candidates)`,highlighted:`candidates = []
<span class="hljs-keyword">for</span> start_probs, end_probs <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(start_probabilities, end_probabilities):
    scores = start_probs[:, <span class="hljs-literal">None</span>] * end_probs[<span class="hljs-literal">None</span>, :]
    idx = torch.triu(scores).argmax().item()

    start_idx = idx // scores.shape[<span class="hljs-number">1</span>]
    end_idx = idx % scores.shape[<span class="hljs-number">1</span>]
    score = scores[start_idx, end_idx].item()
    candidates.append((start_idx, end_idx, score))

<span class="hljs-built_in">print</span>(candidates)`}}),{c(){g(n.$$.fragment)},l(t){k(n.$$.fragment,t)},m(t,b){x(n,t,b),p=!0},i(t){p||(h(n.$$.fragment,t),p=!0)},o(t){_(n.$$.fragment,t),p=!1},d(t){w(n,t)}}}function Qp(v){let n,p,t,b,$;return{c(){n=m("p"),p=o("\u270F\uFE0F "),t=m("strong"),b=o("\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),$=o(" \u0E1B\u0E23\u0E31\u0E1A\u0E42\u0E04\u0E49\u0E14\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19 return score \u0E41\u0E25\u0E30 span \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E25\u0E33\u0E14\u0E31\u0E1A (\u0E42\u0E14\u0E22\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A score \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22)")},l(j){n=c(j,"P",{});var E=f(n);p=i(E,"\u270F\uFE0F "),t=c(E,"STRONG",{});var S=f(t);b=i(S,"\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),S.forEach(s),$=i(E," \u0E1B\u0E23\u0E31\u0E1A\u0E42\u0E04\u0E49\u0E14\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19 return score \u0E41\u0E25\u0E30 span \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E25\u0E33\u0E14\u0E31\u0E1A (\u0E42\u0E14\u0E22\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A score \u0E02\u0E2D\u0E07\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22)"),E.forEach(s)},m(j,E){l(j,n,E),a(n,p),a(n,t),a(t,b),a(n,$)},d(j){j&&s(n)}}}function Wp(v){let n,p,t,b,$,j,E,S;return{c(){n=m("p"),p=o("\u270F\uFE0F "),t=m("strong"),b=o("\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),$=o(" \u0E43\u0E0A\u0E49 score \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E2A\u0E14\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E25\u0E33\u0E14\u0E31\u0E1A (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19) \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C\u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),j=m("code"),E=o("top_k=5"),S=o(" \u0E40\u0E27\u0E25\u0E32\u0E23\u0E31\u0E19")},l(z){n=c(z,"P",{});var T=f(n);p=i(T,"\u270F\uFE0F "),t=c(T,"STRONG",{});var F=f(t);b=i(F,"\u0E25\u0E2D\u0E07\u0E14\u0E39\u0E2A\u0E34!"),F.forEach(s),$=i(T," \u0E43\u0E0A\u0E49 score \u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E2A\u0E14\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 5 \u0E25\u0E33\u0E14\u0E31\u0E1A (\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14 \u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19) \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E04\u0E38\u0E13 \u0E43\u0E2B\u0E49\u0E01\u0E25\u0E31\u0E1A\u0E44\u0E1B\u0E17\u0E35\u0E48\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C\u0E41\u0E23\u0E01\u0E41\u0E25\u0E49\u0E27\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),j=c(T,"CODE",{});var L=f(j);E=i(L,"top_k=5"),L.forEach(s),S=i(T," \u0E40\u0E27\u0E25\u0E32\u0E23\u0E31\u0E19"),T.forEach(s)},m(z,T){l(z,n,T),a(n,p),a(n,t),a(t,b),a(n,$),a(n,j),a(j,E),a(n,S)},d(z){z&&s(n)}}}function Hp(v){let n,p,t,b,$,j,E,S,z,T,F,L,N,D,q,P,xe,R,we,rr,Pn,K,B,Gt,ve,Se,Ns,He,or,Re,ir,As,lr,pr,Tn,he,mr,Jt,cr,fr,Ds,ur,dr,Sn,Ke,Cn,Be,zn,Qt,_r,Nn,Ye,An,Ve,Dn,Wt,hr,Ln,je,Ce,Ls,Xe,br,Os,$r,On,G,gr,Fs,kr,xr,Ze,Ms,wr,vr,Ht,jr,yr,Fn,Y,V,Rt,Kt,qr,Mn,ye,et,wi,Er,tt,vi,In,Bt,Pr,Un,st,Gn,X,Z,Yt,M,Tr,Is,Sr,Cr,Us,zr,Nr,Gs,Ar,Dr,Js,Lr,Or,Jn,ee,te,Vt,Xt,Fr,Qn,se,ne,Zt,A,Mr,Qs,Ir,Ur,Ws,Gr,Jr,Hs,Qr,Wr,Rs,Hr,Rr,Ks,Kr,Br,Bs,Yr,Vr,Ys,Xr,Zr,Vs,eo,to,Wn,mp='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi></mrow><mo stretchy="false">[</mo><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi></mrow><mo stretchy="false">]</mo><mo>\xD7</mo><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi></mrow><mo stretchy="false">[</mo><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi></mrow><mo stretchy="false">]</mo></mrow><annotation encoding="application/x-tex">\\mathrm{start\\_probabilities}[\\mathrm{start\\_index}] \\times \\mathrm{end\\_probabilities}[\\mathrm{end\\_index}]</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mord"><span class="mord mathrm">start_probabilities</span></span><span class="mopen">[</span><span class="mord"><span class="mord mathrm">start_index</span></span><span class="mclose">]</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mord"><span class="mord mathrm">end_probabilities</span></span><span class="mopen">[</span><span class="mord"><span class="mord mathrm">end_index</span></span><span class="mclose">]</span></span></span></span></span>',Hn,qe,so,Rn,cp='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi></mrow><mo stretchy="false">[</mo><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi></mrow><mo stretchy="false">]</mo><mo>\xD7</mo><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi></mrow><mo stretchy="false">[</mo><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">_</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi></mrow><mo stretchy="false">]</mo></mrow><annotation encoding="application/x-tex">\\mathrm{start\\_probabilities}[\\mathrm{start\\_index}] \\times \\mathrm{end\\_probabilities}[\\mathrm{end\\_index}]</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mord"><span class="mord mathrm">start_probabilities</span></span><span class="mopen">[</span><span class="mord"><span class="mord mathrm">start_index</span></span><span class="mclose">]</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">\xD7</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.06em;vertical-align:-0.31em;"></span><span class="mord"><span class="mord mathrm">end_probabilities</span></span><span class="mopen">[</span><span class="mord"><span class="mord mathrm">end_index</span></span><span class="mclose">]</span></span></span></span>',Kn,Xs,no,Bn,es,ao,Yn,nt,Vn,ae,re,ts,I,ro,Zs,oo,io,en,lo,po,tn,mo,co,sn,fo,uo,Xn,at,Zn,ss,_o,ea,rt,ta,ze,sa,be,ho,nn,bo,$o,an,go,ko,na,ot,aa,ns,xo,ra,it,oa,lt,ia,as,wo,la,Ne,pa,Ee,Ae,rn,pt,vo,on,jo,ma,De,yo,ln,qo,Eo,ca,mt,fa,ct,ua,Le,Po,pn,To,So,da,ft,_a,ut,ha,Oe,Co,mn,zo,No,ba,Pe,Ao,cn,Do,Lo,fn,Oo,$a,rs,Fo,ga,dt,ka,_t,xa,os,Mo,wa,is,Io,va,ht,ja,bt,ya,J,Uo,un,Go,Jo,dn,Qo,Wo,_n,Ho,Ro,qa,$t,Ea,gt,Pa,ls,Ko,Ta,kt,Sa,ps,Bo,Ca,xt,za,ms,Yo,Na,Q,Vo,hn,Xo,Zo,bn,ei,ti,$n,si,ni,Aa,wt,Da,U,gn,ai,ri,kn,oi,ii,xn,li,pi,wn,mi,ci,La,oe,ie,cs,fs,fi,Oa,vt,Fa,le,pe,us,ds,ui,Ma,me,ce,_s,hs,di,Ia,fe,ue,bs,$s,_i,Ua,de,_e,gs,jt,Ga,ks,hi,Ja,Fe,Qa,Me,bi,vn,$i,gi,Wa,yt,Ha,qt,Ra,xs,ki,Ka,Ie,Ba,ws,xi,Ya;t=new bp({props:{fw:v[0]}}),S=new ar({});const ji=[gp,$p],Et=[];function yi(e,r){return e[0]==="pt"?0:1}N=yi(v),D=Et[N]=ji[N](v);const qi=[xp,kp],Pt=[];function Ei(e,r){return e[0]==="pt"?0:1}K=Ei(v),B=Pt[K]=qi[K](v),He=new ar({}),Ke=new y({props:{code:`from transformers import pipeline

question_answerer = pipeline("question-answering")
context = """
\u{1F917} Transformers is backed by the three most popular deep learning libraries \u2014 Jax, PyTorch, and TensorFlow \u2014 with a seamless integration
between them. It's straightforward to train your models with one before loading them for inference with the other.
"""
question = "Which deep learning libraries back \u{1F917} Transformers?"
question_answerer(question=question, context=context)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

question_answerer = pipeline(<span class="hljs-string">&quot;question-answering&quot;</span>)
context = <span class="hljs-string">&quot;&quot;&quot;
\u{1F917} Transformers is backed by the three most popular deep learning libraries \u2014 Jax, PyTorch, and TensorFlow \u2014 with a seamless integration
between them. It&#x27;s straightforward to train your models with one before loading them for inference with the other.
&quot;&quot;&quot;</span>
question = <span class="hljs-string">&quot;Which deep learning libraries back \u{1F917} Transformers?&quot;</span>
question_answerer(question=question, context=context)`}}),Be=new y({props:{code:`{'score': 0.97773,
 'start': 78,
 'end': 105,
 'answer': 'Jax, PyTorch and TensorFlow'}`,highlighted:`{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97773</span>,
 <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">78</span>,
 <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">105</span>,
 <span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;Jax, PyTorch and TensorFlow&#x27;</span>}`}}),Ye=new y({props:{code:`long_context = """
\u{1F917} Transformers: State of the Art NLP

\u{1F917} Transformers provides thousands of pretrained models to perform tasks on texts such as classification, information extraction,
question answering, summarization, translation, text generation and more in over 100 languages.
Its aim is to make cutting-edge NLP easier to use for everyone.

\u{1F917} Transformers provides APIs to quickly download and use those pretrained models on a given text, fine-tune them on your own datasets and
then share them with the community on our model hub. At the same time, each python module defining an architecture is fully standalone and
can be modified to enable quick research experiments.

Why should I use transformers?

1. Easy-to-use state-of-the-art models:
  - High performance on NLU and NLG tasks.
  - Low barrier to entry for educators and practitioners.
  - Few user-facing abstractions with just three classes to learn.
  - A unified API for using all our pretrained models.
  - Lower compute costs, smaller carbon footprint:

2. Researchers can share trained models instead of always retraining.
  - Practitioners can reduce compute time and production costs.
  - Dozens of architectures with over 10,000 pretrained models, some in more than 100 languages.

3. Choose the right framework for every part of a model's lifetime:
  - Train state-of-the-art models in 3 lines of code.
  - Move a single model between TF2.0/PyTorch frameworks at will.
  - Seamlessly pick the right framework for training, evaluation and production.

4. Easily customize a model or an example to your needs:
  - We provide examples for each architecture to reproduce the results published by its original authors.
  - Model internals are exposed as consistently as possible.
  - Model files can be used independently of the library for quick experiments.

\u{1F917} Transformers is backed by the three most popular deep learning libraries \u2014 Jax, PyTorch and TensorFlow \u2014 with a seamless integration
between them. It's straightforward to train your models with one before loading them for inference with the other.
"""
question_answerer(question=question, context=long_context)`,highlighted:`long_context = <span class="hljs-string">&quot;&quot;&quot;
\u{1F917} Transformers: State of the Art NLP

\u{1F917} Transformers provides thousands of pretrained models to perform tasks on texts such as classification, information extraction,
question answering, summarization, translation, text generation and more in over 100 languages.
Its aim is to make cutting-edge NLP easier to use for everyone.

\u{1F917} Transformers provides APIs to quickly download and use those pretrained models on a given text, fine-tune them on your own datasets and
then share them with the community on our model hub. At the same time, each python module defining an architecture is fully standalone and
can be modified to enable quick research experiments.

Why should I use transformers?

1. Easy-to-use state-of-the-art models:
  - High performance on NLU and NLG tasks.
  - Low barrier to entry for educators and practitioners.
  - Few user-facing abstractions with just three classes to learn.
  - A unified API for using all our pretrained models.
  - Lower compute costs, smaller carbon footprint:

2. Researchers can share trained models instead of always retraining.
  - Practitioners can reduce compute time and production costs.
  - Dozens of architectures with over 10,000 pretrained models, some in more than 100 languages.

3. Choose the right framework for every part of a model&#x27;s lifetime:
  - Train state-of-the-art models in 3 lines of code.
  - Move a single model between TF2.0/PyTorch frameworks at will.
  - Seamlessly pick the right framework for training, evaluation and production.

4. Easily customize a model or an example to your needs:
  - We provide examples for each architecture to reproduce the results published by its original authors.
  - Model internals are exposed as consistently as possible.
  - Model files can be used independently of the library for quick experiments.

\u{1F917} Transformers is backed by the three most popular deep learning libraries \u2014 Jax, PyTorch and TensorFlow \u2014 with a seamless integration
between them. It&#x27;s straightforward to train your models with one before loading them for inference with the other.
&quot;&quot;&quot;</span>
question_answerer(question=question, context=long_context)`}}),Ve=new y({props:{code:`{'score': 0.97149,
 'start': 1892,
 'end': 1919,
 'answer': 'Jax, PyTorch and TensorFlow'}`,highlighted:`{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97149</span>,
 <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">1892</span>,
 <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">1919</span>,
 <span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;Jax, PyTorch and TensorFlow&#x27;</span>}`}}),Xe=new ar({});const Pi=[vp,wp],Tt=[];function Ti(e,r){return e[0]==="pt"?0:1}Y=Ti(v),V=Tt[Y]=Pi[Y](v),st=new y({props:{code:`start_logits = outputs.start_logits
end_logits = outputs.end_logits
print(start_logits.shape, end_logits.shape)`,highlighted:`start_logits = outputs.start_logits
end_logits = outputs.end_logits
<span class="hljs-built_in">print</span>(start_logits.shape, end_logits.shape)`}});const Si=[yp,jp],St=[];function Ci(e,r){return e[0]==="pt"?0:1}X=Ci(v),Z=St[X]=Si[X](v);const zi=[Ep,qp],Ct=[];function Ni(e,r){return e[0]==="pt"?0:1}ee=Ni(v),te=Ct[ee]=zi[ee](v);const Ai=[Tp,Pp],zt=[];function Di(e,r){return e[0]==="pt"?0:1}se=Di(v),ne=zt[se]=Ai[se](v),nt=new y({props:{code:"scores = start_probabilities[:, None] * end_probabilities[None, :]",highlighted:'scores = start_probabilities[:, <span class="hljs-literal">None</span>] * end_probabilities[<span class="hljs-literal">None</span>, :]'}});const Li=[Cp,Sp],Nt=[];function Oi(e,r){return e[0]==="pt"?0:1}ae=Oi(v),re=Nt[ae]=Li[ae](v),at=new y({props:{code:`max_index = scores.argmax().item()
start_index = max_index // scores.shape[1]
end_index = max_index % scores.shape[1]
print(scores[start_index, end_index])`,highlighted:`max_index = scores.argmax().item()
start_index = max_index // scores.shape[<span class="hljs-number">1</span>]
end_index = max_index % scores.shape[<span class="hljs-number">1</span>]
<span class="hljs-built_in">print</span>(scores[start_index, end_index])`}}),rt=new y({props:{code:"0.97773",highlighted:'<span class="hljs-number">0.97773</span>'}}),ze=new nr({props:{$$slots:{default:[zp]},$$scope:{ctx:v}}}),ot=new y({props:{code:`inputs_with_offsets = tokenizer(question, context, return_offsets_mapping=True)
offsets = inputs_with_offsets["offset_mapping"]

start_char, _ = offsets[start_index]
_, end_char = offsets[end_index]
answer = context[start_char:end_char]`,highlighted:`inputs_with_offsets = tokenizer(question, context, return_offsets_mapping=<span class="hljs-literal">True</span>)
offsets = inputs_with_offsets[<span class="hljs-string">&quot;offset_mapping&quot;</span>]

start_char, _ = offsets[start_index]
_, end_char = offsets[end_index]
answer = context[start_char:end_char]`}}),it=new y({props:{code:`result = {
    "answer": answer,
    "start": start_char,
    "end": end_char,
    "score": scores[start_index, end_index],
}
print(result)`,highlighted:`result = {
    <span class="hljs-string">&quot;answer&quot;</span>: answer,
    <span class="hljs-string">&quot;start&quot;</span>: start_char,
    <span class="hljs-string">&quot;end&quot;</span>: end_char,
    <span class="hljs-string">&quot;score&quot;</span>: scores[start_index, end_index],
}
<span class="hljs-built_in">print</span>(result)`}}),lt=new y({props:{code:`{'answer': 'Jax, PyTorch and TensorFlow',
 'start': 78,
 'end': 105,
 'score': 0.97773}`,highlighted:`{<span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;Jax, PyTorch and TensorFlow&#x27;</span>,
 <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">78</span>,
 <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">105</span>,
 <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97773</span>}`}}),Ne=new nr({props:{$$slots:{default:[Np]},$$scope:{ctx:v}}}),pt=new ar({}),mt=new y({props:{code:`inputs = tokenizer(question, long_context)
print(len(inputs["input_ids"]))`,highlighted:`inputs = tokenizer(question, long_context)
<span class="hljs-built_in">print</span>(<span class="hljs-built_in">len</span>(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>]))`}}),ct=new y({props:{code:"461",highlighted:'<span class="hljs-number">461</span>'}}),ft=new y({props:{code:`inputs = tokenizer(question, long_context, max_length=384, truncation="only_second")
print(tokenizer.decode(inputs["input_ids"]))`,highlighted:`inputs = tokenizer(question, long_context, max_length=<span class="hljs-number">384</span>, truncation=<span class="hljs-string">&quot;only_second&quot;</span>)
<span class="hljs-built_in">print</span>(tokenizer.decode(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>]))`}}),ut=new y({props:{code:`"""
[CLS] Which deep learning libraries back [UNK] Transformers? [SEP] [UNK] Transformers : State of the Art NLP

[UNK] Transformers provides thousands of pretrained models to perform tasks on texts such as classification, information extraction,
question answering, summarization, translation, text generation and more in over 100 languages.
Its aim is to make cutting-edge NLP easier to use for everyone.

[UNK] Transformers provides APIs to quickly download and use those pretrained models on a given text, fine-tune them on your own datasets and
then share them with the community on our model hub. At the same time, each python module defining an architecture is fully standalone and
can be modified to enable quick research experiments.

Why should I use transformers?

1. Easy-to-use state-of-the-art models:
  - High performance on NLU and NLG tasks.
  - Low barrier to entry for educators and practitioners.
  - Few user-facing abstractions with just three classes to learn.
  - A unified API for using all our pretrained models.
  - Lower compute costs, smaller carbon footprint:

2. Researchers can share trained models instead of always retraining.
  - Practitioners can reduce compute time and production costs.
  - Dozens of architectures with over 10,000 pretrained models, some in more than 100 languages.

3. Choose the right framework for every part of a model's lifetime:
  - Train state-of-the-art models in 3 lines of code.
  - Move a single model between TF2.0/PyTorch frameworks at will.
  - Seamlessly pick the right framework for training, evaluation and production.

4. Easily customize a model or an example to your needs:
  - We provide examples for each architecture to reproduce the results published by its original authors.
  - Model internal [SEP]
"""`,highlighted:`<span class="hljs-string">&quot;&quot;&quot;
[CLS] Which deep learning libraries back [UNK] Transformers? [SEP] [UNK] Transformers : State of the Art NLP

[UNK] Transformers provides thousands of pretrained models to perform tasks on texts such as classification, information extraction,
question answering, summarization, translation, text generation and more in over 100 languages.
Its aim is to make cutting-edge NLP easier to use for everyone.

[UNK] Transformers provides APIs to quickly download and use those pretrained models on a given text, fine-tune them on your own datasets and
then share them with the community on our model hub. At the same time, each python module defining an architecture is fully standalone and
can be modified to enable quick research experiments.

Why should I use transformers?

1. Easy-to-use state-of-the-art models:
  - High performance on NLU and NLG tasks.
  - Low barrier to entry for educators and practitioners.
  - Few user-facing abstractions with just three classes to learn.
  - A unified API for using all our pretrained models.
  - Lower compute costs, smaller carbon footprint:

2. Researchers can share trained models instead of always retraining.
  - Practitioners can reduce compute time and production costs.
  - Dozens of architectures with over 10,000 pretrained models, some in more than 100 languages.

3. Choose the right framework for every part of a model&#x27;s lifetime:
  - Train state-of-the-art models in 3 lines of code.
  - Move a single model between TF2.0/PyTorch frameworks at will.
  - Seamlessly pick the right framework for training, evaluation and production.

4. Easily customize a model or an example to your needs:
  - We provide examples for each architecture to reproduce the results published by its original authors.
  - Model internal [SEP]
&quot;&quot;&quot;</span>`}}),dt=new y({props:{code:`sentence = "This sentence is not too long but we are going to split it anyway."
inputs = tokenizer(
    sentence, truncation=True, return_overflowing_tokens=True, max_length=6, stride=2
)

for ids in inputs["input_ids"]:
    print(tokenizer.decode(ids))`,highlighted:`sentence = <span class="hljs-string">&quot;This sentence is not too long but we are going to split it anyway.&quot;</span>
inputs = tokenizer(
    sentence, truncation=<span class="hljs-literal">True</span>, return_overflowing_tokens=<span class="hljs-literal">True</span>, max_length=<span class="hljs-number">6</span>, stride=<span class="hljs-number">2</span>
)

<span class="hljs-keyword">for</span> ids <span class="hljs-keyword">in</span> inputs[<span class="hljs-string">&quot;input_ids&quot;</span>]:
    <span class="hljs-built_in">print</span>(tokenizer.decode(ids))`}}),_t=new y({props:{code:`'[CLS] This sentence is not [SEP]'
'[CLS] is not too long [SEP]'
'[CLS] too long but we [SEP]'
'[CLS] but we are going [SEP]'
'[CLS] are going to split [SEP]'
'[CLS] to split it anyway [SEP]'
'[CLS] it anyway. [SEP]'`,highlighted:`<span class="hljs-string">&#x27;[CLS] This sentence is not [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] is not too long [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] too long but we [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] but we are going [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] are going to split [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] to split it anyway [SEP]&#x27;</span>
<span class="hljs-string">&#x27;[CLS] it anyway. [SEP]&#x27;</span>`}}),ht=new y({props:{code:"print(inputs.keys())",highlighted:'<span class="hljs-built_in">print</span>(inputs.keys())'}}),bt=new y({props:{code:"dict_keys(['input_ids', 'attention_mask', 'overflow_to_sample_mapping'])",highlighted:'dict_keys([<span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;overflow_to_sample_mapping&#x27;</span>])'}}),$t=new y({props:{code:'print(inputs["overflow_to_sample_mapping"])',highlighted:'<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;overflow_to_sample_mapping&quot;</span>])'}}),gt=new y({props:{code:"[0, 0, 0, 0, 0, 0, 0]",highlighted:'[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]'}}),kt=new y({props:{code:`sentences = [
    "This sentence is not too long but we are going to split it anyway.",
    "This sentence is shorter but will still get split.",
]
inputs = tokenizer(
    sentences, truncation=True, return_overflowing_tokens=True, max_length=6, stride=2
)

print(inputs["overflow_to_sample_mapping"])`,highlighted:`sentences = [
    <span class="hljs-string">&quot;This sentence is not too long but we are going to split it anyway.&quot;</span>,
    <span class="hljs-string">&quot;This sentence is shorter but will still get split.&quot;</span>,
]
inputs = tokenizer(
    sentences, truncation=<span class="hljs-literal">True</span>, return_overflowing_tokens=<span class="hljs-literal">True</span>, max_length=<span class="hljs-number">6</span>, stride=<span class="hljs-number">2</span>
)

<span class="hljs-built_in">print</span>(inputs[<span class="hljs-string">&quot;overflow_to_sample_mapping&quot;</span>])`}}),xt=new y({props:{code:"[0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1]",highlighted:'[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]'}}),wt=new y({props:{code:`inputs = tokenizer(
    question,
    long_context,
    stride=128,
    max_length=384,
    padding="longest",
    truncation="only_second",
    return_overflowing_tokens=True,
    return_offsets_mapping=True,
)`,highlighted:`inputs = tokenizer(
    question,
    long_context,
    stride=<span class="hljs-number">128</span>,
    max_length=<span class="hljs-number">384</span>,
    padding=<span class="hljs-string">&quot;longest&quot;</span>,
    truncation=<span class="hljs-string">&quot;only_second&quot;</span>,
    return_overflowing_tokens=<span class="hljs-literal">True</span>,
    return_offsets_mapping=<span class="hljs-literal">True</span>,
)`}});const Fi=[Dp,Ap],At=[];function Mi(e,r){return e[0]==="pt"?0:1}oe=Mi(v),ie=At[oe]=Fi[oe](v),vt=new y({props:{code:`outputs = model(**inputs)

start_logits = outputs.start_logits
end_logits = outputs.end_logits
print(start_logits.shape, end_logits.shape)`,highlighted:`outputs = model(**inputs)

start_logits = outputs.start_logits
end_logits = outputs.end_logits
<span class="hljs-built_in">print</span>(start_logits.shape, end_logits.shape)`}});const Ii=[Op,Lp],Dt=[];function Ui(e,r){return e[0]==="pt"?0:1}le=Ui(v),pe=Dt[le]=Ii[le](v);const Gi=[Mp,Fp],Lt=[];function Ji(e,r){return e[0]==="pt"?0:1}me=Ji(v),ce=Lt[me]=Gi[me](v);const Qi=[Up,Ip],Ot=[];function Wi(e,r){return e[0]==="pt"?0:1}fe=Wi(v),ue=Ot[fe]=Qi[fe](v);const Hi=[Jp,Gp],Ft=[];function Ri(e,r){return e[0]==="pt"?0:1}return de=Ri(v),_e=Ft[de]=Hi[de](v),jt=new y({props:{code:"[(0, 18, 0.33867), (173, 184, 0.97149)]",highlighted:'[(<span class="hljs-number">0</span>, <span class="hljs-number">18</span>, <span class="hljs-number">0.33867</span>), (<span class="hljs-number">173</span>, <span class="hljs-number">184</span>, <span class="hljs-number">0.97149</span>)]'}}),Fe=new nr({props:{$$slots:{default:[Qp]},$$scope:{ctx:v}}}),yt=new y({props:{code:`for candidate, offset in zip(candidates, offsets):
    start_token, end_token, score = candidate
    start_char, _ = offset[start_token]
    _, end_char = offset[end_token]
    answer = long_context[start_char:end_char]
    result = {"answer": answer, "start": start_char, "end": end_char, "score": score}
    print(result)`,highlighted:`<span class="hljs-keyword">for</span> candidate, offset <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(candidates, offsets):
    start_token, end_token, score = candidate
    start_char, _ = offset[start_token]
    _, end_char = offset[end_token]
    answer = long_context[start_char:end_char]
    result = {<span class="hljs-string">&quot;answer&quot;</span>: answer, <span class="hljs-string">&quot;start&quot;</span>: start_char, <span class="hljs-string">&quot;end&quot;</span>: end_char, <span class="hljs-string">&quot;score&quot;</span>: score}
    <span class="hljs-built_in">print</span>(result)`}}),qt=new y({props:{code:`{'answer': '\\n\u{1F917} Transformers: State of the Art NLP', 'start': 0, 'end': 37, 'score': 0.33867}
{'answer': 'Jax, PyTorch and TensorFlow', 'start': 1892, 'end': 1919, 'score': 0.97149}`,highlighted:`{<span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;\\n\u{1F917} Transformers: State of the Art NLP&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">37</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.33867</span>}
{<span class="hljs-string">&#x27;answer&#x27;</span>: <span class="hljs-string">&#x27;Jax, PyTorch and TensorFlow&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">1892</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">1919</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.97149</span>}`}}),Ie=new nr({props:{$$slots:{default:[Wp]},$$scope:{ctx:v}}}),{c(){n=m("meta"),p=u(),g(t.$$.fragment),b=u(),$=m("h1"),j=m("a"),E=m("span"),g(S.$$.fragment),z=u(),T=m("span"),F=o("\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (Fast tokenizers) \u0E43\u0E19 QA pipeline"),L=u(),D.c(),q=u(),P=m("p"),xe=o("\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19 pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33 "),R=m("code"),we=o("question-answering"),rr=o(` \u0E41\u0E25\u0E30\u0E14\u0E39\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E16\u0E32\u0E21 input \u0E08\u0E32\u0E01\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E23\u0E2D\u0E1A\u0E46 (context) \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 offset \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E43\u0E19\u0E1A\u0E17\u0E17\u0E35\u0E48\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A context \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E21\u0E32\u0E01\u0E46 \u0E08\u0E19\u0E1A\u0E32\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E2D\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E2A\u0E48\u0E27\u0E19\u0E19\u0E35\u0E49\u0E2B\u0E32\u0E01\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E2A\u0E19\u0E43\u0E08 question answering`),Pn=u(),B.c(),Gt=u(),ve=m("h2"),Se=m("a"),Ns=m("span"),g(He.$$.fragment),or=u(),Re=m("span"),ir=o("\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 "),As=m("code"),lr=o("question-answering"),pr=o(" pipeline"),Tn=u(),he=m("p"),mr=o("\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E43\u0E19"),Jt=m("a"),cr=o("\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),fr=o(" \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),Ds=m("code"),ur=o("question-answering"),dr=o(" pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21 input \u0E44\u0E14\u0E49 :"),Sn=u(),g(Ke.$$.fragment),Cn=u(),g(Be.$$.fragment),zn=u(),Qt=m("p"),_r=o("\u0E43\u0E19 pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E41\u0E25\u0E30\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E44\u0E14\u0E49 (\u0E41\u0E25\u0E30\u0E2D\u0E32\u0E08\u0E1E\u0E25\u0E32\u0E14\u0E15\u0E31\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E40\u0E2D\u0E01\u0E2A\u0E32\u0E23\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22) \u0E41\u0E15\u0E48 pipeline \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A context \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E21\u0E32\u0E01\u0E44\u0E14\u0E49 \u0E41\u0E25\u0E30\u0E08\u0E30 return \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E16\u0E32\u0E21 \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22:"),Nn=u(),g(Ye.$$.fragment),An=u(),g(Ve.$$.fragment),Dn=u(),Wt=m("p"),hr=o("\u0E40\u0E23\u0E32\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23!"),Ln=u(),je=m("h2"),Ce=m("a"),Ls=m("span"),g(Xe.$$.fragment),br=u(),Os=m("span"),$r=o("\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E07\u0E32\u0E19 question answering"),On=u(),G=m("p"),gr=o(`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E15\u0E31\u0E27\u0E42\u0E21\u0E40\u0E14\u0E25
\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07 checkpoint \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A `),Fs=m("code"),kr=o("question-answering"),xr=o(" pipeline \u0E04\u0E37\u0E2D "),Ze=m("a"),Ms=m("code"),wr=o("distilbert-base-cased-distilled-squad"),vr=o(`
(\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Csquad\u201D \u0E21\u0E32\u0E08\u0E32\u0E01\u0E0A\u0E37\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D fine-tune \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D SQuAD dataset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E43\u0E19`),Ht=m("a"),jr=o("\u0E1A\u0E17\u0E17\u0E35\u0E48 7"),yr=o("):"),Fn=u(),V.c(),Rt=u(),Kt=m("p"),qr=o("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21\u0E41\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19 context \u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E08\u0E30\u0E15\u0E31\u0E14\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21\u0E01\u0E48\u0E2D\u0E19"),Mn=u(),ye=m("div"),et=m("img"),Er=u(),tt=m("img"),In=u(),Bt=m("p"),Pr=o(`\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A question answering \u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E44\u0E1B\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E37\u0E48\u0E19 \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E40\u0E04\u0E22\u0E40\u0E2B\u0E47\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27\u0E40\u0E25\u0E47\u0E01\u0E19\u0E49\u0E2D\u0E22 \u0E08\u0E32\u0E01\u0E20\u0E32\u0E1E\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E16\u0E39\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E43\u0E2B\u0E49\u0E17\u0E33\u0E19\u0E32\u0E22 index \u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A (\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E17\u0E35\u0E48 21) \u0E41\u0E25\u0E30 index \u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A
(\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E17\u0E35\u0E48 24) \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E2A\u0E32\u0E40\u0E2B\u0E15\u0E38\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48 return tensor \u0E02\u0E2D\u0E07 logit \u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27 \u0E41\u0E15\u0E48\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27: tensor \u0E41\u0E23\u0E01 \u0E04\u0E37\u0E2D logits \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A token \u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A
\u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01 tensor \u0E40\u0E1B\u0E47\u0E19 logits \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07 input \u0E40\u0E14\u0E35\u0E22\u0E27 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 66 token \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49:`),Un=u(),g(st.$$.fragment),Gn=u(),Z.c(),Yt=u(),M=m("p"),Tr=o(`\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 (probabilities) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax  \u0E41\u0E15\u0E48\u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14 (mask) index \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07 context \u0E01\u0E48\u0E2D\u0E19
\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E04\u0E37\u0E2D `),Is=m("code"),Sr=o("[CLS] question [SEP] context [SEP]"),Cr=o(" \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21 \u0E23\u0E27\u0E21\u0E16\u0E36\u0E07 token "),Us=m("code"),zr=o("[SEP]"),Nr=o(" \u0E14\u0E49\u0E27\u0E22 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E01\u0E47\u0E1A "),Gs=m("code"),Ar=o("[CLS]"),Dr=o(` \u0E44\u0E27\u0E49
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E21\u0E31\u0E19 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E30\u0E1A\u0E38\u0E27\u0E48\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E21\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 context
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E43\u0E19\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 logits \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 mask \u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E40\u0E25\u0E02\u0E15\u0E34\u0E14\u0E25\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19\u0E21\u0E32\u0E01 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 `),Js=m("code"),Lr=o("-10000"),Or=o(":"),Jn=u(),te.c(),Vt=u(),Xt=m("p"),Fr=o("\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 mask \u0E04\u0E48\u0E32 logits \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E17\u0E33\u0E19\u0E32\u0E22 \u0E40\u0E23\u0E35\u0E22\u0E1A\u0E23\u0E49\u0E2D\u0E22\u0E41\u0E25\u0E49\u0E27 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 softmax \u0E44\u0E14\u0E49:"),Qn=u(),ne.c(),Zt=u(),A=m("p"),Mr=o(`\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E32\u0E04\u0E48\u0E32 argmax \u0E02\u0E2D\u0E07 probabilities \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E08\u0E38\u0E14\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27
\u0E41\u0E15\u0E48\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E19\u0E31\u0E49\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E40\u0E01\u0E34\u0E19 index \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 probabilities \u0E02\u0E2D\u0E07 `),Qs=m("code"),Ir=o("start_index"),Ur=o(" \u0E41\u0E25\u0E30 "),Ws=m("code"),Gr=o("end_index"),Jr=o(" \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 "),Hs=m("code"),Qr=o("start_index <= end_index"),Wr=o(" \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48 tuple "),Rs=m("code"),Hr=o("(start_index, end_index)"),Rr=o(` \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14
\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32 \u0E40\u0E2B\u0E15\u0E38\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 \u201C\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48 `),Ks=m("code"),Kr=o("start_index"),Br=o("\u201D \u0E41\u0E25\u0E30 \u201C\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48 "),Bs=m("code"),Yr=o("end_index"),Vr=o("\u201D \u0E44\u0E21\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19 (independent) \u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48 \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48 "),Ys=m("code"),Xr=o("start_index"),Zr=o(" \u0E41\u0E25\u0E30\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48 "),Vs=m("code"),eo=o("end_index"),to=o(` \u0E04\u0E37\u0E2D:
`),Wn=new rp,Hn=u(),qe=m("p"),so=o("\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E17\u0E33\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E2D\u0E07 "),Rn=new rp,Kn=o(" \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),Xs=m("code"),no=o("start_index <= end_index"),Bn=u(),es=m("p"),ao=o("\u0E02\u0E31\u0E49\u0E19\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14:"),Yn=u(),g(nt.$$.fragment),Vn=u(),re.c(),ts=u(),I=m("p"),ro=o("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E32 index \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E48\u0E32 probability \u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 PyTorch \u0E08\u0E30 return \u0E04\u0E48\u0E32\u0E43\u0E19\u0E23\u0E39\u0E1B flattened tensor \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E23\u0E41\u0E25\u0E49\u0E27\u0E1B\u0E31\u0E14\u0E25\u0E07 (floor division) "),Zs=m("code"),oo=o("//"),io=o(" \u0E41\u0E25\u0E30\u0E42\u0E21\u0E14\u0E39\u0E25\u0E31\u0E2A "),en=m("code"),lo=o("%"),po=o(" \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13 "),tn=m("code"),mo=o("start_index"),co=o(" \u0E41\u0E25\u0E30 "),sn=m("code"),fo=o("end_index"),uo=o(":"),Xn=u(),g(at.$$.fragment),Zn=u(),ss=m("p"),_o=o("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49 score \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E41\u0E25\u0E49\u0E27 (\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E23\u0E01\u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32):"),ea=u(),g(rt.$$.fragment),ta=u(),g(ze.$$.fragment),sa=u(),be=m("p"),ho=o("\u0E40\u0E23\u0E32\u0E21\u0E35 "),nn=m("code"),bo=o("start_index"),$o=o(" \u0E41\u0E25\u0E30 "),an=m("code"),go=o("end_index"),ko=o(" \u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E21\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 index \u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E43\u0E19 context \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E08\u0E38\u0E14\u0E17\u0E35\u0E48 offsets \u0E08\u0E30\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E43\u0E19 token classification:"),na=u(),g(ot.$$.fragment),aa=u(),ns=m("p"),xo=o("\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E1F\u0E2D\u0E23\u0E4C\u0E41\u0E21\u0E15\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23:"),ra=u(),g(it.$$.fragment),oa=u(),g(lt.$$.fragment),ia=u(),as=m("p"),wo=o("\u0E22\u0E2D\u0E14\u0E40\u0E22\u0E35\u0E48\u0E22\u0E21! \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32!"),la=u(),g(Ne.$$.fragment),pa=u(),Ee=m("h2"),Ae=m("a"),rn=m("span"),g(pt.$$.fragment),vo=u(),on=m("span"),jo=o("\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E32\u0E27 (long contexts)"),ma=u(),De=m("p"),yo=o("\u0E2B\u0E32\u0E01\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E16\u0E32\u0E21\u0E41\u0E25\u0E30\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E17\u0E35\u0E48\u0E04\u0E48\u0E2D\u0E22\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E27 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E08\u0E33\u0E01\u0E31\u0E14\u0E44\u0E27\u0E49\u0E43\u0E19 pipeline "),ln=m("code"),qo=o("question-answering"),Eo=o(" (\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D 384):"),ca=u(),g(mt.$$.fragment),fa=u(),g(ct.$$.fragment),ua=u(),Le=m("p"),Po=o(`\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19 input \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E43\u0E2B\u0E49\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14 \u0E21\u0E35\u0E2B\u0E25\u0E32\u0E22\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E44\u0E14\u0E49 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E2A\u0E31\u0E49\u0E19\u0E25\u0E07 \u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E15\u0E31\u0E27\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E25\u0E22\u0E38\u0E17\u0E18\u0E4C\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),pn=m("code"),To=o('"only_second"'),So=o(`
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E44\u0E1B \u0E40\u0E0A\u0E48\u0E19\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E16\u0E32\u0E21\u0E17\u0E35\u0E48\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17 \u0E41\u0E25\u0E30\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E2D\u0E01\u0E44\u0E1B \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E01\u0E47\u0E08\u0E30\u0E2B\u0E32\u0E22\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22:`),da=u(),g(ft.$$.fragment),_a=u(),g(ut.$$.fragment),ha=u(),Oe=m("p"),Co=o("\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E22\u0E32\u0E01\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E01\u0E49\u0E44\u0E02\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49 \u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C "),mn=m("code"),zo=o("question-answering"),No=o(" \u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14"),ba=u(),Pe=m("p"),Ao=o(`\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E41\u0E19\u0E48\u0E43\u0E08\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E1C\u0E34\u0E14\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E42\u0E14\u0E22 \u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E48\u0E2D\u0E22\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E14\u0E49\u0E27\u0E22
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 tokenizer (\u0E17\u0E31\u0E49\u0E07\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32) \u0E17\u0E33\u0E2A\u0E34\u0E48\u0E07\u0E19\u0E35\u0E49\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 `),cn=m("code"),Do=o("return_overflowing_tokens=True"),Lo=o(" \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E21\u0E32\u0E01\u0E41\u0E04\u0E48\u0E44\u0E2B\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E33\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A argument "),fn=m("code"),Oo=o("stride"),$a=u(),rs=m("p"),Fo=o("\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 :"),ga=u(),g(dt.$$.fragment),ka=u(),g(_t.$$.fragment),xa=u(),os=m("p"),Mo=o("\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E46 \u0E42\u0E14\u0E22\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E08\u0E30\u0E21\u0E35\u0E44\u0E21\u0E48\u0E40\u0E01\u0E34\u0E19 6 token \u0E41\u0E25\u0E30\u0E21\u0E35 token \u0E17\u0E35\u0E48\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19 2 token (\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E27\u0E48\u0E32 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07 4 token \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21 padding token \u0E17\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E46)"),wa=u(),is=m("p"),Io=o("\u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenization \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E22\u0E34\u0E48\u0E07\u0E02\u0E36\u0E49\u0E19:"),va=u(),g(ht.$$.fragment),ja=u(),g(bt.$$.fragment),ya=u(),J=m("p"),Uo=o("\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D "),un=m("code"),Go=o("input_ids"),Jo=o(" \u0E41\u0E25\u0E30 "),dn=m("code"),Qo=o("attention_mask"),Wo=o(" \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E35\u0E22\u0E4C\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 "),_n=m("code"),Ho=o("overflow_to_sample_mapping"),Ro=o(" \u0E40\u0E1B\u0E47\u0E19  map \u0E17\u0E35\u0E48\u0E1A\u0E2D\u0E01\u0E40\u0E23\u0E32\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E21\u0E32\u0E08\u0E32\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 input \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E17\u0E48\u0E32\u0E44\u0E23 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27\u0E40\u0E1B\u0E47\u0E19 input \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 7 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E40\u0E1B\u0E47\u0E19 output \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01 map \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E21\u0E35 ID \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 :"),qa=u(),g($t.$$.fragment),Ea=u(),g(gt.$$.fragment),Pa=u(),ls=m("p"),Ko=o("feature \u0E19\u0E35\u0E49\u0E08\u0E30\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E40\u0E1B\u0E47\u0E19 input \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19:"),Ta=u(),g(kt.$$.fragment),Sa=u(),ps=m("p"),Bo=o("\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),Ca=u(),g(xt.$$.fragment),za=u(),ms=m("p"),Yo=o("\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E41\u0E23\u0E01\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 7 \u0E2A\u0E48\u0E27\u0E19 \u0E41\u0E25\u0E30 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 4 \u0E2A\u0E48\u0E27\u0E19"),Na=u(),Q=m("p"),Vo=o("\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E32\u0E27\u0E46\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C "),hn=m("code"),Xo=o("question-answering"),Zo=o(" \u0E08\u0E33\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E44\u0E27\u0E49\u0E17\u0E35\u0E48 384 \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 stride \u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E44\u0E27\u0E49\u0E17\u0E35\u0E48 128 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E16\u0E39\u0E01 fine-tune (\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E31\u0E1A parameters \u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),bn=m("code"),ei=o("max_seq_len"),ti=o(" \u0E41\u0E25\u0E30 "),$n=m("code"),si=o("stride"),ni=o(" \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 padding (\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E19\u0E33\u0E21\u0E31\u0E19\u0E44\u0E1B\u0E2A\u0E23\u0E49\u0E32\u0E07 tensor \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 offsets \u0E14\u0E49\u0E27\u0E22:"),Aa=u(),g(wt.$$.fragment),Da=u(),U=m("p"),gn=m("code"),ai=o("inputs"),ri=o(" \u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E21\u0E35 input ID \u0E41\u0E25\u0E30 attention masks \u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A offsets \u0E41\u0E25\u0E30 "),kn=m("code"),oi=o("overflow_to_sample_mapping"),ii=o(` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E07\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 parameters \u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 `),xn=m("code"),li=o("inputs"),pi=o(" \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07 "),wn=m("code"),mi=o("inputs"),ci=o(" \u0E40\u0E1B\u0E47\u0E19 tensor:"),La=u(),ie.c(),cs=u(),fs=m("p"),fi=o("\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E41\u0E1A\u0E1A\u0E22\u0E32\u0E27\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E2A\u0E48\u0E27\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E21\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 start logits \u0E41\u0E25\u0E30 end logits \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30 2 \u0E40\u0E0B\u0E47\u0E15 :"),Oa=u(),g(vt.$$.fragment),Fa=u(),pe.c(),us=u(),ds=m("p"),ui=o("\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19 \u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17 \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1B\u0E34\u0E14 padding tokens \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E14\u0E49\u0E27\u0E22 (\u0E15\u0E32\u0E21\u0E01\u0E32\u0E23\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E19 attention mask):"),Ma=u(),ce.c(),_s=u(),hs=m("p"),di=o("\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 logits \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19:"),Ia=u(),ue.c(),bs=u(),$s=m("p"),_i=o("\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E23\u0E31\u0E19 process \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E21\u0E32 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E08\u0E01\u0E08\u0E48\u0E32\u0E22 score \u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46 span \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 span \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"),Ua=u(),_e.c(),gs=u(),g(jt.$$.fragment),Ga=u(),ks=m("p"),hi=o("output \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D span \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22 \u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E43\u0E08\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E21\u0E32\u0E01\u0E46\u0E01\u0E31\u0E1A span \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E41\u0E23\u0E01 (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E13\u0E17\u0E35\u0E48\u0E14\u0E35!) \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D map \u0E04\u0E48\u0E32 span \u0E44\u0E1B\u0E2A\u0E39\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),Ja=u(),g(Fe.$$.fragment),Qa=u(),Me=m("p"),bi=o("\u0E04\u0E48\u0E32 "),vn=m("code"),$i=o("offsets"),gi=o(" \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1B\u0E47\u0E19 list \u0E02\u0E2D\u0E07 offsets \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E08\u0E30\u0E21\u0E35\u0E2B\u0E19\u0E36\u0E48\u0E07 list :"),Wa=u(),g(yt.$$.fragment),Ha=u(),g(qt.$$.fragment),Ra=u(),xs=m("p"),ki=o("\u0E16\u0E49\u0E32\u0E44\u0E21\u0E48\u0E19\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32 print \u0E2D\u0E2D\u0E01\u0E21\u0E32\u0E14\u0E49\u0E27\u0E22 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C \u2014 \u0E40\u0E22\u0E49!"),Ka=u(),g(Ie.$$.fragment),Ba=u(),ws=m("p"),xi=o("\u0E1A\u0E17\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 \u0E01\u0E32\u0E23\u0E2A\u0E23\u0E38\u0E1B\u0E08\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E41\u0E1A\u0E1A\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E43\u0E19\u0E1A\u0E17\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1D\u0E36\u0E01\u0E1D\u0E19\u0E2D\u0E35\u0E01 \u0E42\u0E14\u0E22\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1D\u0E36\u0E01 fine-tune \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E1E\u0E37\u0E48\u0E2D task \u0E17\u0E31\u0E48\u0E27\u0E46\u0E44\u0E1B \u0E02\u0E2D\u0E07 NLP"),this.h()},l(e){const r=_p('[data-svelte="svelte-1phssyn"]',document.head);n=c(r,"META",{name:!0,content:!0}),r.forEach(s),p=d(e),k(t.$$.fragment,e),b=d(e),$=c(e,"H1",{class:!0});var Mt=f($);j=c(Mt,"A",{id:!0,class:!0,href:!0});var vs=f(j);E=c(vs,"SPAN",{});var js=f(E);k(S.$$.fragment,js),js.forEach(s),vs.forEach(s),z=d(Mt),T=c(Mt,"SPAN",{});var ys=f(T);F=i(ys,"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (Fast tokenizers) \u0E43\u0E19 QA pipeline"),ys.forEach(s),Mt.forEach(s),L=d(e),D.l(e),q=d(e),P=c(e,"P",{});var Ue=f(P);xe=i(Ue,"\u0E43\u0E19\u0E1A\u0E17\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19 pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E33 "),R=c(Ue,"CODE",{});var qs=f(R);we=i(qs,"question-answering"),qs.forEach(s),rr=i(Ue,` \u0E41\u0E25\u0E30\u0E14\u0E39\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E08\u0E32\u0E01 offset \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E40\u0E2D\u0E32\u0E44\u0E27\u0E49\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E16\u0E32\u0E21 input \u0E08\u0E32\u0E01\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E23\u0E2D\u0E1A\u0E46 (context) \u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23
\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E08\u0E30\u0E04\u0E25\u0E49\u0E32\u0E22\u0E46\u0E01\u0E31\u0E1A\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 offset \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E27\u0E21\u0E23\u0E27\u0E21 entity \u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E43\u0E19\u0E1A\u0E17\u0E17\u0E35\u0E48\u0E41\u0E25\u0E49\u0E27
\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A context \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E21\u0E32\u0E01\u0E46 \u0E08\u0E19\u0E1A\u0E32\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E15\u0E49\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E2D\u0E2D\u0E01\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E49\u0E32\u0E21\u0E2A\u0E48\u0E27\u0E19\u0E19\u0E35\u0E49\u0E2B\u0E32\u0E01\u0E04\u0E38\u0E13\u0E44\u0E21\u0E48\u0E2A\u0E19\u0E43\u0E08 question answering`),Ue.forEach(s),Pn=d(e),B.l(e),Gt=d(e),ve=c(e,"H2",{class:!0});var Ge=f(ve);Se=c(Ge,"A",{id:!0,class:!0,href:!0});var Es=f(Se);Ns=c(Es,"SPAN",{});var jn=f(Ns);k(He.$$.fragment,jn),jn.forEach(s),Es.forEach(s),or=d(Ge),Re=c(Ge,"SPAN",{});var It=f(Re);ir=i(It,"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 "),As=c(It,"CODE",{});var Ps=f(As);lr=i(Ps,"question-answering"),Ps.forEach(s),pr=i(It," pipeline"),It.forEach(s),Ge.forEach(s),Tn=d(e),he=c(e,"P",{});var $e=f(he);mr=i($e,"\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E44\u0E14\u0E49\u0E40\u0E23\u0E35\u0E22\u0E19\u0E43\u0E19"),Jt=c($e,"A",{href:!0});var Ts=f(Jt);cr=i(Ts,"\u0E1A\u0E17\u0E17\u0E35\u0E48 1"),Ts.forEach(s),fr=i($e," \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 "),Ds=c($e,"CODE",{});var Ss=f(Ds);ur=i(Ss,"question-answering"),Ss.forEach(s),dr=i($e," pipeline \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21 input \u0E44\u0E14\u0E49 :"),$e.forEach(s),Sn=d(e),k(Ke.$$.fragment,e),Cn=d(e),k(Be.$$.fragment,e),zn=d(e),Qt=c(e,"P",{});var Cs=f(Qt);_r=i(Cs,"\u0E43\u0E19 pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E41\u0E25\u0E30\u0E41\u0E22\u0E01\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E44\u0E14\u0E49 (\u0E41\u0E25\u0E30\u0E2D\u0E32\u0E08\u0E1E\u0E25\u0E32\u0E14\u0E15\u0E31\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E40\u0E2D\u0E01\u0E2A\u0E32\u0E23\u0E44\u0E14\u0E49\u0E14\u0E49\u0E27\u0E22) \u0E41\u0E15\u0E48 pipeline \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E35\u0E22\u0E19\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49 \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A context \u0E17\u0E35\u0E48\u0E22\u0E32\u0E27\u0E21\u0E32\u0E01\u0E44\u0E14\u0E49 \u0E41\u0E25\u0E30\u0E08\u0E30 return \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E04\u0E33\u0E16\u0E32\u0E21 \u0E41\u0E21\u0E49\u0E27\u0E48\u0E32\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22:"),Cs.forEach(s),Nn=d(e),k(Ye.$$.fragment,e),An=d(e),k(Ve.$$.fragment,e),Dn=d(e),Wt=c(e,"P",{});var yn=f(Wt);hr=i(yn,"\u0E40\u0E23\u0E32\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32\u0E21\u0E31\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23!"),yn.forEach(s),Ln=d(e),je=c(e,"H2",{class:!0});var Ut=f(je);Ce=c(Ut,"A",{id:!0,class:!0,href:!0});var Ki=f(Ce);Ls=c(Ki,"SPAN",{});var Bi=f(Ls);k(Xe.$$.fragment,Bi),Bi.forEach(s),Ki.forEach(s),br=d(Ut),Os=c(Ut,"SPAN",{});var Yi=f(Os);$r=i(Yi,"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E07\u0E32\u0E19 question answering"),Yi.forEach(s),Ut.forEach(s),On=d(e),G=c(e,"P",{});var Je=f(G);gr=i(Je,`\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A pipeline \u0E2D\u0E37\u0E48\u0E19\u0E46 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E14\u0E49\u0E27\u0E22\u0E01\u0E32\u0E23 tokenize \u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21 input \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E41\u0E25\u0E49\u0E27\u0E2A\u0E48\u0E07\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E44\u0E14\u0E49\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E22\u0E31\u0E07\u0E15\u0E31\u0E27\u0E42\u0E21\u0E40\u0E14\u0E25
\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07 checkpoint \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A `),Fs=c(Je,"CODE",{});var Vi=f(Fs);kr=i(Vi,"question-answering"),Vi.forEach(s),xr=i(Je," pipeline \u0E04\u0E37\u0E2D "),Ze=c(Je,"A",{href:!0,rel:!0});var Xi=f(Ze);Ms=c(Xi,"CODE",{});var Zi=f(Ms);wr=i(Zi,"distilbert-base-cased-distilled-squad"),Zi.forEach(s),Xi.forEach(s),vr=i(Je,`
(\u0E04\u0E33\u0E27\u0E48\u0E32 \u201Csquad\u201D \u0E21\u0E32\u0E08\u0E32\u0E01\u0E0A\u0E37\u0E48\u0E2D\u0E02\u0E2D\u0E07\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E37\u0E48\u0E2D fine-tune \u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D SQuAD dataset \u0E40\u0E23\u0E32\u0E08\u0E30\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07\u0E0A\u0E38\u0E14\u0E02\u0E49\u0E2D\u0E21\u0E39\u0E25\u0E19\u0E35\u0E49\u0E40\u0E1E\u0E34\u0E48\u0E21\u0E40\u0E15\u0E34\u0E21\u0E43\u0E19`),Ht=c(Je,"A",{href:!0});var el=f(Ht);jr=i(el,"\u0E1A\u0E17\u0E17\u0E35\u0E48 7"),el.forEach(s),yr=i(Je,"):"),Je.forEach(s),Fn=d(e),V.l(e),Rt=d(e),Kt=c(e,"P",{});var tl=f(Kt);qr=i(tl,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E17\u0E33\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21\u0E41\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19 context \u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22\u0E01\u0E31\u0E19 \u0E42\u0E14\u0E22\u0E08\u0E30\u0E15\u0E31\u0E14\u0E04\u0E33\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21\u0E01\u0E48\u0E2D\u0E19"),tl.forEach(s),Mn=d(e),ye=c(e,"DIV",{class:!0});var Va=f(ye);et=c(Va,"IMG",{class:!0,src:!0,alt:!0}),Er=d(Va),tt=c(Va,"IMG",{class:!0,src:!0,alt:!0}),Va.forEach(s),In=d(e),Bt=c(e,"P",{});var sl=f(Bt);Pr=i(sl,`\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A question answering \u0E19\u0E31\u0E49\u0E19\u0E17\u0E33\u0E07\u0E32\u0E19\u0E41\u0E15\u0E01\u0E15\u0E48\u0E32\u0E07\u0E44\u0E1B\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2D\u0E37\u0E48\u0E19 \u0E17\u0E35\u0E48\u0E04\u0E38\u0E13\u0E40\u0E04\u0E22\u0E40\u0E2B\u0E47\u0E19\u0E21\u0E32\u0E41\u0E25\u0E49\u0E27\u0E40\u0E25\u0E47\u0E01\u0E19\u0E49\u0E2D\u0E22 \u0E08\u0E32\u0E01\u0E20\u0E32\u0E1E\u0E14\u0E49\u0E32\u0E19\u0E1A\u0E19
\u0E42\u0E21\u0E40\u0E14\u0E25\u0E08\u0E30\u0E16\u0E39\u0E01\u0E01\u0E32\u0E23\u0E40\u0E17\u0E23\u0E19\u0E43\u0E2B\u0E49\u0E17\u0E33\u0E19\u0E32\u0E22 index \u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A (\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E17\u0E35\u0E48 21) \u0E41\u0E25\u0E30 index \u0E02\u0E2D\u0E07 token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A
(\u0E0B\u0E36\u0E48\u0E07\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E17\u0E35\u0E48 24) \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E2A\u0E32\u0E40\u0E2B\u0E15\u0E38\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E44\u0E21\u0E48 return tensor \u0E02\u0E2D\u0E07 logit \u0E2B\u0E19\u0E36\u0E48\u0E07\u0E15\u0E31\u0E27 \u0E41\u0E15\u0E48\u0E2A\u0E2D\u0E07\u0E15\u0E31\u0E27: tensor \u0E41\u0E23\u0E01 \u0E04\u0E37\u0E2D logits \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A token \u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A
\u0E41\u0E25\u0E30\u0E2D\u0E35\u0E01 tensor \u0E40\u0E1B\u0E47\u0E19 logits \u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A token \u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E43\u0E19\u0E01\u0E23\u0E13\u0E35\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07 input \u0E40\u0E14\u0E35\u0E22\u0E27 \u0E0B\u0E36\u0E48\u0E07\u0E21\u0E35 66 token \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E14\u0E31\u0E07\u0E19\u0E35\u0E49:`),sl.forEach(s),Un=d(e),k(st.$$.fragment,e),Gn=d(e),Z.l(e),Yt=d(e),M=c(e,"P",{});var ge=f(M);Tr=i(ge,`\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E1B\u0E25\u0E07\u0E04\u0E48\u0E32 logits \u0E43\u0E2B\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19 (probabilities) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E1F\u0E31\u0E07\u0E01\u0E4C\u0E0A\u0E31\u0E19 softmax  \u0E41\u0E15\u0E48\u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E01\u0E32\u0E23\u0E1B\u0E01\u0E1B\u0E34\u0E14 (mask) index \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07 context \u0E01\u0E48\u0E2D\u0E19
\u0E2D\u0E34\u0E19\u0E1E\u0E38\u0E15\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E04\u0E37\u0E2D `),Is=c(ge,"CODE",{});var nl=f(Is);Sr=i(nl,"[CLS] question [SEP] context [SEP]"),nl.forEach(s),Cr=i(ge," \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30 mask \u0E41\u0E15\u0E48\u0E25\u0E30 token \u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E16\u0E32\u0E21 \u0E23\u0E27\u0E21\u0E16\u0E36\u0E07 token "),Us=c(ge,"CODE",{});var al=f(Us);zr=i(al,"[SEP]"),al.forEach(s),Nr=i(ge," \u0E14\u0E49\u0E27\u0E22 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E01\u0E47\u0E1A "),Gs=c(ge,"CODE",{});var rl=f(Gs);Ar=i(rl,"[CLS]"),rl.forEach(s),Dr=i(ge,` \u0E44\u0E27\u0E49
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25\u0E1A\u0E32\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E21\u0E31\u0E19 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E23\u0E30\u0E1A\u0E38\u0E27\u0E48\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E21\u0E48\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19 context
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E43\u0E19\u0E20\u0E32\u0E22\u0E2B\u0E25\u0E31\u0E07 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E17\u0E19\u0E17\u0E35\u0E48\u0E04\u0E48\u0E32 logits \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 mask \u0E14\u0E49\u0E27\u0E22\u0E15\u0E31\u0E27\u0E40\u0E25\u0E02\u0E15\u0E34\u0E14\u0E25\u0E1A\u0E08\u0E33\u0E19\u0E27\u0E19\u0E21\u0E32\u0E01 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49 `),Js=c(ge,"CODE",{});var ol=f(Js);Lr=i(ol,"-10000"),ol.forEach(s),Or=i(ge,":"),ge.forEach(s),Jn=d(e),te.l(e),Vt=d(e),Xt=c(e,"P",{});var il=f(Xt);Fr=i(il,"\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E17\u0E35\u0E48 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 mask \u0E04\u0E48\u0E32 logits \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E08\u0E30\u0E17\u0E33\u0E19\u0E32\u0E22 \u0E40\u0E23\u0E35\u0E22\u0E1A\u0E23\u0E49\u0E2D\u0E22\u0E41\u0E25\u0E49\u0E27 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E01\u0E47\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E33\u0E19\u0E27\u0E13 softmax \u0E44\u0E14\u0E49:"),il.forEach(s),Qn=d(e),ne.l(e),Zt=d(e),A=c(e,"P",{});var O=f(A);Mr=i(O,`\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E2B\u0E32\u0E04\u0E48\u0E32 argmax \u0E02\u0E2D\u0E07 probabilities \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E08\u0E38\u0E14\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27
\u0E41\u0E15\u0E48\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D index \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19 \u0E19\u0E31\u0E49\u0E19\u0E2D\u0E22\u0E39\u0E48\u0E40\u0E01\u0E34\u0E19 index \u0E02\u0E2D\u0E07\u0E08\u0E38\u0E14\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13 probabilities \u0E02\u0E2D\u0E07 `),Qs=c(O,"CODE",{});var ll=f(Qs);Ir=i(ll,"start_index"),ll.forEach(s),Ur=i(O," \u0E41\u0E25\u0E30 "),Ws=c(O,"CODE",{});var pl=f(Ws);Gr=i(pl,"end_index"),pl.forEach(s),Jr=i(O," \u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E08\u0E23\u0E34\u0E07 \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E16\u0E36\u0E07 "),Hs=c(O,"CODE",{});var ml=f(Hs);Qr=i(ml,"start_index <= end_index"),ml.forEach(s),Wr=i(O," \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48 tuple "),Rs=c(O,"CODE",{});var cl=f(Rs);Hr=i(cl,"(start_index, end_index)"),cl.forEach(s),Rr=i(O,` \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14
\u0E2A\u0E21\u0E21\u0E15\u0E34\u0E27\u0E48\u0E32 \u0E40\u0E2B\u0E15\u0E38\u0E01\u0E32\u0E23\u0E13\u0E4C\u0E17\u0E35\u0E48 \u201C\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48 `),Ks=c(O,"CODE",{});var fl=f(Ks);Kr=i(fl,"start_index"),fl.forEach(s),Br=i(O,"\u201D \u0E41\u0E25\u0E30 \u201C\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48 "),Bs=c(O,"CODE",{});var ul=f(Bs);Yr=i(ul,"end_index"),ul.forEach(s),Vr=i(O,"\u201D \u0E44\u0E21\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E40\u0E01\u0E35\u0E48\u0E22\u0E27\u0E02\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E19 (independent) \u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19\u0E17\u0E35\u0E48 \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E08\u0E30\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E17\u0E35\u0E48 "),Ys=c(O,"CODE",{});var dl=f(Ys);Xr=i(dl,"start_index"),dl.forEach(s),Zr=i(O," \u0E41\u0E25\u0E30\u0E2A\u0E34\u0E49\u0E19\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48 "),Vs=c(O,"CODE",{});var _l=f(Vs);eo=i(_l,"end_index"),_l.forEach(s),to=i(O,` \u0E04\u0E37\u0E2D:
`),Wn=op(O),O.forEach(s),Hn=d(e),qe=c(e,"P",{});var qn=f(qe);so=i(qn,"\u0E01\u0E32\u0E23\u0E04\u0E33\u0E19\u0E27\u0E13 score \u0E17\u0E33\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E02\u0E2D\u0E07 "),Rn=op(qn),Kn=i(qn," \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48 "),Xs=c(qn,"CODE",{});var hl=f(Xs);no=i(hl,"start_index <= end_index"),hl.forEach(s),qn.forEach(s),Bn=d(e),es=c(e,"P",{});var bl=f(es);ao=i(bl,"\u0E02\u0E31\u0E49\u0E19\u0E41\u0E23\u0E01 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E04\u0E33\u0E19\u0E27\u0E13\u0E1C\u0E25\u0E04\u0E39\u0E13\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49\u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14:"),bl.forEach(s),Yn=d(e),k(nt.$$.fragment,e),Vn=d(e),re.l(e),ts=d(e),I=c(e,"P",{});var ke=f(I);ro=i(ke,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E2B\u0E32 index \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E48\u0E32 probability \u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14 \u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01 PyTorch \u0E08\u0E30 return \u0E04\u0E48\u0E32\u0E43\u0E19\u0E23\u0E39\u0E1B flattened tensor \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E15\u0E49\u0E2D\u0E07\u0E43\u0E0A\u0E49\u0E01\u0E32\u0E23\u0E2B\u0E32\u0E23\u0E41\u0E25\u0E49\u0E27\u0E1B\u0E31\u0E14\u0E25\u0E07 (floor division) "),Zs=c(ke,"CODE",{});var $l=f(Zs);oo=i($l,"//"),$l.forEach(s),io=i(ke," \u0E41\u0E25\u0E30\u0E42\u0E21\u0E14\u0E39\u0E25\u0E31\u0E2A "),en=c(ke,"CODE",{});var gl=f(en);lo=i(gl,"%"),gl.forEach(s),po=i(ke," \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E04\u0E33\u0E19\u0E27\u0E13 "),tn=c(ke,"CODE",{});var kl=f(tn);mo=i(kl,"start_index"),kl.forEach(s),co=i(ke," \u0E41\u0E25\u0E30 "),sn=c(ke,"CODE",{});var xl=f(sn);fo=i(xl,"end_index"),xl.forEach(s),uo=i(ke,":"),ke.forEach(s),Xn=d(e),k(at.$$.fragment,e),Zn=d(e),ss=c(e,"P",{});var wl=f(ss);_o=i(wl,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E44\u0E14\u0E49 score \u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E41\u0E25\u0E49\u0E27 (\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E15\u0E23\u0E27\u0E08\u0E2A\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E42\u0E14\u0E22\u0E40\u0E1B\u0E23\u0E35\u0E22\u0E1A\u0E40\u0E17\u0E35\u0E22\u0E1A\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E23\u0E01\u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32):"),wl.forEach(s),ea=d(e),k(rt.$$.fragment,e),ta=d(e),k(ze.$$.fragment,e),sa=d(e),be=c(e,"P",{});var zs=f(be);ho=i(zs,"\u0E40\u0E23\u0E32\u0E21\u0E35 "),nn=c(zs,"CODE",{});var vl=f(nn);bo=i(vl,"start_index"),vl.forEach(s),$o=i(zs," \u0E41\u0E25\u0E30 "),an=c(zs,"CODE",{});var jl=f(an);go=i(jl,"end_index"),jl.forEach(s),ko=i(zs," \u0E02\u0E2D\u0E07 token \u0E17\u0E35\u0E48\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E21\u0E32\u0E40\u0E1B\u0E47\u0E19\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E41\u0E25\u0E49\u0E27 \u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E41\u0E1B\u0E25\u0E07\u0E40\u0E1B\u0E47\u0E19 index \u0E02\u0E2D\u0E07\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E43\u0E19 context \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E19\u0E35\u0E48\u0E04\u0E37\u0E2D\u0E08\u0E38\u0E14\u0E17\u0E35\u0E48 offsets \u0E08\u0E30\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E21\u0E32\u0E01 \u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E21\u0E31\u0E19\u0E44\u0E14\u0E49\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E43\u0E19 token classification:"),zs.forEach(s),na=d(e),k(ot.$$.fragment,e),aa=d(e),ns=c(e,"P",{});var yl=f(ns);xo=i(yl,"\u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E41\u0E04\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E1F\u0E2D\u0E23\u0E4C\u0E41\u0E21\u0E15\u0E17\u0E38\u0E01\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E17\u0E35\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23:"),yl.forEach(s),ra=d(e),k(it.$$.fragment,e),oa=d(e),k(lt.$$.fragment,e),ia=d(e),as=c(e,"P",{});var ql=f(as);wo=i(ql,"\u0E22\u0E2D\u0E14\u0E40\u0E22\u0E35\u0E48\u0E22\u0E21! \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E40\u0E2B\u0E21\u0E37\u0E2D\u0E19\u0E01\u0E31\u0E1A\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E41\u0E23\u0E01\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32!"),ql.forEach(s),la=d(e),k(Ne.$$.fragment,e),pa=d(e),Ee=c(e,"H2",{class:!0});var Xa=f(Ee);Ae=c(Xa,"A",{id:!0,class:!0,href:!0});var El=f(Ae);rn=c(El,"SPAN",{});var Pl=f(rn);k(pt.$$.fragment,Pl),Pl.forEach(s),El.forEach(s),vo=d(Xa),on=c(Xa,"SPAN",{});var Tl=f(on);jo=i(Tl,"\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E32\u0E27 (long contexts)"),Tl.forEach(s),Xa.forEach(s),ma=d(e),De=c(e,"P",{});var Za=f(De);yo=i(Za,"\u0E2B\u0E32\u0E01\u0E04\u0E38\u0E13\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenize \u0E04\u0E33\u0E16\u0E32\u0E21\u0E41\u0E25\u0E30\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E17\u0E35\u0E48\u0E04\u0E48\u0E2D\u0E22\u0E02\u0E49\u0E32\u0E07\u0E22\u0E32\u0E27 \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49 token \u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E01\u0E27\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E17\u0E35\u0E48\u0E08\u0E33\u0E01\u0E31\u0E14\u0E44\u0E27\u0E49\u0E43\u0E19 pipeline "),ln=c(Za,"CODE",{});var Sl=f(ln);qo=i(Sl,"question-answering"),Sl.forEach(s),Eo=i(Za," (\u0E0B\u0E36\u0E48\u0E07\u0E04\u0E37\u0E2D 384):"),Za.forEach(s),ca=d(e),k(mt.$$.fragment,e),fa=d(e),k(ct.$$.fragment,e),ua=d(e),Le=c(e,"P",{});var er=f(Le);Po=i(er,`\u0E14\u0E31\u0E07\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E36\u0E07\u0E08\u0E33\u0E40\u0E1B\u0E47\u0E19\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19 input \u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E43\u0E2B\u0E49\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14 \u0E21\u0E35\u0E2B\u0E25\u0E32\u0E22\u0E27\u0E34\u0E18\u0E35\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E17\u0E33\u0E44\u0E14\u0E49 \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E40\u0E23\u0E32\u0E44\u0E21\u0E48\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E43\u0E2B\u0E49\u0E2A\u0E31\u0E49\u0E19\u0E25\u0E07 \u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E15\u0E31\u0E27\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E01\u0E25\u0E22\u0E38\u0E17\u0E18\u0E4C\u0E01\u0E32\u0E23\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 `),pn=c(er,"CODE",{});var Cl=f(pn);To=i(Cl,'"only_second"'),Cl.forEach(s),So=i(er,`
\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23\u0E01\u0E47\u0E15\u0E32\u0E21 \u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E17\u0E35\u0E48\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E40\u0E01\u0E34\u0E14\u0E02\u0E36\u0E49\u0E19\u0E01\u0E47\u0E04\u0E37\u0E2D \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E02\u0E2D\u0E07\u0E04\u0E33\u0E16\u0E32\u0E21\u0E2D\u0E32\u0E08\u0E08\u0E30\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E16\u0E39\u0E01\u0E15\u0E31\u0E14\u0E2D\u0E2D\u0E01\u0E44\u0E1B \u0E40\u0E0A\u0E48\u0E19\u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E1A\u0E19 \u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E16\u0E32\u0E21\u0E17\u0E35\u0E48\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E2D\u0E22\u0E39\u0E48\u0E43\u0E19\u0E15\u0E2D\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17 \u0E41\u0E25\u0E30\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E15\u0E31\u0E14\u0E17\u0E2D\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E49\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E2D\u0E01\u0E44\u0E1B \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E01\u0E47\u0E08\u0E30\u0E2B\u0E32\u0E22\u0E44\u0E1B\u0E14\u0E49\u0E27\u0E22:`),er.forEach(s),da=d(e),k(ft.$$.fragment,e),_a=d(e),k(ut.$$.fragment,e),ha=d(e),Oe=c(e,"P",{});var tr=f(Oe);Co=i(tr,"\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E21\u0E31\u0E19\u0E08\u0E30\u0E22\u0E32\u0E01\u0E21\u0E32\u0E01\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49\u0E16\u0E39\u0E01\u0E15\u0E49\u0E2D\u0E07 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E01\u0E49\u0E44\u0E02\u0E1B\u0E31\u0E0D\u0E2B\u0E32\u0E19\u0E35\u0E49 \u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C "),mn=c(tr,"CODE",{});var zl=f(mn);zo=i(zl,"question-answering"),zl.forEach(s),No=i(tr," \u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E22\u0E32\u0E27\u0E40\u0E01\u0E34\u0E19\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14"),tr.forEach(s),ba=d(e),Pe=c(e,"P",{});var En=f(Pe);Ao=i(En,`\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E41\u0E19\u0E48\u0E43\u0E08\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E21\u0E48\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E1C\u0E34\u0E14\u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E08\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E44\u0E21\u0E48\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E04\u0E49\u0E19\u0E2B\u0E32\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E1A\u0E48\u0E07\u0E42\u0E14\u0E22 \u0E43\u0E2B\u0E49\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E48\u0E2D\u0E22\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E21\u0E35\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E14\u0E49\u0E27\u0E22
\u0E40\u0E23\u0E32\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E43\u0E0A\u0E49 tokenizer (\u0E17\u0E31\u0E49\u0E07\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27\u0E41\u0E25\u0E30\u0E0A\u0E49\u0E32) \u0E17\u0E33\u0E2A\u0E34\u0E48\u0E07\u0E19\u0E35\u0E49\u0E43\u0E2B\u0E49\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E04\u0E38\u0E13\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 `),cn=c(En,"CODE",{});var Nl=f(cn);Do=i(Nl,"return_overflowing_tokens=True"),Nl.forEach(s),Lo=i(En," \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E27\u0E48\u0E32\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E2B\u0E49\u0E02\u0E49\u0E2D\u0E04\u0E27\u0E32\u0E21\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19\u0E21\u0E32\u0E01\u0E41\u0E04\u0E48\u0E44\u0E2B\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E33\u0E01\u0E33\u0E2B\u0E19\u0E14\u0E04\u0E48\u0E32\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A argument "),fn=c(En,"CODE",{});var Al=f(fn);Oo=i(Al,"stride"),Al.forEach(s),En.forEach(s),$a=d(e),rs=c(e,"P",{});var Dl=f(rs);Fo=i(Dl,"\u0E14\u0E39\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E49\u0E32\u0E07\u0E25\u0E48\u0E32\u0E07\u0E19\u0E35\u0E49 :"),Dl.forEach(s),ga=d(e),k(dt.$$.fragment,e),ka=d(e),k(_t.$$.fragment,e),xa=d(e),os=c(e,"P",{});var Ll=f(os);Mo=i(Ll,"\u0E04\u0E38\u0E13\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E46 \u0E42\u0E14\u0E22\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E08\u0E30\u0E21\u0E35\u0E44\u0E21\u0E48\u0E40\u0E01\u0E34\u0E19 6 token \u0E41\u0E25\u0E30\u0E21\u0E35 token \u0E17\u0E35\u0E48\u0E17\u0E31\u0E1A\u0E0B\u0E49\u0E2D\u0E19\u0E01\u0E31\u0E19 2 token (\u0E2A\u0E31\u0E07\u0E40\u0E01\u0E15\u0E27\u0E48\u0E32 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E21\u0E35\u0E40\u0E1E\u0E35\u0E22\u0E07 4 token \u0E43\u0E19\u0E01\u0E23\u0E13\u0E35 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E49\u0E2D\u0E07\u0E40\u0E1E\u0E34\u0E48\u0E21 padding token \u0E17\u0E35\u0E2B\u0E25\u0E31\u0E07\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E31\u0E19\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E1A\u0E2A\u0E48\u0E27\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E46)"),Ll.forEach(s),wa=d(e),is=c(e,"P",{});var Ol=f(is);Io=i(Ol,"\u0E21\u0E32\u0E14\u0E39\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E02\u0E2D\u0E07\u0E01\u0E32\u0E23 tokenization \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14\u0E22\u0E34\u0E48\u0E07\u0E02\u0E36\u0E49\u0E19:"),Ol.forEach(s),va=d(e),k(ht.$$.fragment,e),ja=d(e),k(bt.$$.fragment,e),ya=d(e),J=c(e,"P",{});var Qe=f(J);Uo=i(Qe,"\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E19\u0E35\u0E49 \u0E04\u0E37\u0E2D "),un=c(Qe,"CODE",{});var Fl=f(un);Go=i(Fl,"input_ids"),Fl.forEach(s),Jo=i(Qe," \u0E41\u0E25\u0E30 "),dn=c(Qe,"CODE",{});var Ml=f(dn);Qo=i(Ml,"attention_mask"),Ml.forEach(s),Wo=i(Qe," \u0E2A\u0E48\u0E27\u0E19\u0E04\u0E35\u0E22\u0E4C\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22 "),_n=c(Qe,"CODE",{});var Il=f(_n);Ho=i(Il,"overflow_to_sample_mapping"),Il.forEach(s),Ro=i(Qe," \u0E40\u0E1B\u0E47\u0E19  map \u0E17\u0E35\u0E48\u0E1A\u0E2D\u0E01\u0E40\u0E23\u0E32\u0E27\u0E48\u0E32\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E21\u0E32\u0E08\u0E32\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 input \u0E15\u0E33\u0E41\u0E2B\u0E19\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E17\u0E48\u0E32\u0E44\u0E23 \u0E43\u0E19\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E41\u0E04\u0E48\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E14\u0E35\u0E22\u0E27\u0E40\u0E1B\u0E47\u0E19 input \u0E41\u0E25\u0E30\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49 7 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E40\u0E1B\u0E47\u0E19 output \u0E41\u0E1B\u0E25\u0E27\u0E48\u0E32\u0E17\u0E38\u0E01\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E01\u0E47\u0E08\u0E30\u0E16\u0E39\u0E01 map \u0E44\u0E1B\u0E2B\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E31\u0E01\u0E17\u0E35\u0E48\u0E21\u0E35 ID \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19 :"),Qe.forEach(s),qa=d(e),k($t.$$.fragment,e),Ea=d(e),k(gt.$$.fragment,e),Pa=d(e),ls=c(e,"P",{});var Ul=f(ls);Ko=i(Ul,"feature \u0E19\u0E35\u0E49\u0E08\u0E30\u0E21\u0E35\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E0A\u0E19\u0E4C\u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E2B\u0E25\u0E32\u0E22\u0E40\u0E1B\u0E47\u0E19 input \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E40\u0E0A\u0E48\u0E19:"),Ul.forEach(s),Ta=d(e),k(kt.$$.fragment,e),Sa=d(e),ps=c(e,"P",{});var Gl=f(ps);Bo=i(Gl,"\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49 :"),Gl.forEach(s),Ca=d(e),k(xt.$$.fragment,e),za=d(e),ms=c(e,"P",{});var Jl=f(ms);Yo=i(Jl,"\u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E41\u0E23\u0E01\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 7 \u0E2A\u0E48\u0E27\u0E19 \u0E41\u0E25\u0E30 \u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19 4 \u0E2A\u0E48\u0E27\u0E19"),Jl.forEach(s),Na=d(e),Q=c(e,"P",{});var We=f(Q);Vo=i(We,"\u0E01\u0E25\u0E31\u0E1A\u0E21\u0E32\u0E14\u0E39\u0E01\u0E31\u0E19\u0E27\u0E48\u0E32 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E32\u0E27\u0E46\u0E44\u0E14\u0E49\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E44\u0E23 \u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C "),hn=c(We,"CODE",{});var Ql=f(hn);Xo=i(Ql,"question-answering"),Ql.forEach(s),Zo=i(We," \u0E08\u0E33\u0E01\u0E31\u0E14\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E2A\u0E39\u0E07\u0E2A\u0E38\u0E14\u0E44\u0E27\u0E49\u0E17\u0E35\u0E48 384 \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 stride \u0E16\u0E39\u0E01\u0E15\u0E31\u0E49\u0E07\u0E44\u0E27\u0E49\u0E17\u0E35\u0E48 128 \u0E0B\u0E36\u0E48\u0E07\u0E2A\u0E2D\u0E14\u0E04\u0E25\u0E49\u0E2D\u0E07\u0E01\u0E31\u0E1A\u0E04\u0E48\u0E32\u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E15\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E16\u0E39\u0E01 fine-tune (\u0E04\u0E38\u0E13\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E1B\u0E23\u0E31\u0E1A parameters \u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E44\u0E14\u0E49 \u0E42\u0E14\u0E22\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 "),bn=c(We,"CODE",{});var Wl=f(bn);ei=i(Wl,"max_seq_len"),Wl.forEach(s),ti=i(We," \u0E41\u0E25\u0E30 "),$n=c(We,"CODE",{});var Hl=f($n);si=i(Hl,"stride"),Hl.forEach(s),ni=i(We," \u0E40\u0E21\u0E37\u0E48\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C) \u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49\u0E04\u0E48\u0E32\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E1E\u0E27\u0E01\u0E19\u0E35\u0E49\u0E43\u0E19\u0E01\u0E32\u0E23\u0E41\u0E1A\u0E48\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E22\u0E48\u0E2D\u0E22\u0E46 \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32 padding (\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E43\u0E2B\u0E49\u0E21\u0E35\u0E41\u0E15\u0E48\u0E25\u0E30\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E21\u0E35\u0E04\u0E27\u0E32\u0E21\u0E22\u0E32\u0E27\u0E40\u0E17\u0E48\u0E32\u0E01\u0E31\u0E19 \u0E41\u0E25\u0E30\u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E19\u0E33\u0E21\u0E31\u0E19\u0E44\u0E1B\u0E2A\u0E23\u0E49\u0E32\u0E07 tensor \u0E44\u0E14\u0E49) \u0E41\u0E25\u0E30\u0E04\u0E48\u0E32 offsets \u0E14\u0E49\u0E27\u0E22:"),We.forEach(s),Aa=d(e),k(wt.$$.fragment,e),Da=d(e),U=c(e,"P",{});var Te=f(U);gn=c(Te,"CODE",{});var Rl=f(gn);ai=i(Rl,"inputs"),Rl.forEach(s),ri=i(Te," \u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19\u0E08\u0E30\u0E21\u0E35 input ID \u0E41\u0E25\u0E30 attention masks \u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A offsets \u0E41\u0E25\u0E30 "),kn=c(Te,"CODE",{});var Kl=f(kn);oi=i(Kl,"overflow_to_sample_mapping"),Kl.forEach(s),ii=i(Te,` \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E40\u0E1E\u0E34\u0E48\u0E07\u0E1E\u0E39\u0E14\u0E16\u0E36\u0E07
\u0E40\u0E19\u0E37\u0E48\u0E2D\u0E07\u0E08\u0E32\u0E01\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E2B\u0E25\u0E31\u0E07\u0E19\u0E35\u0E49\u0E44\u0E21\u0E48\u0E43\u0E0A\u0E48 parameters \u0E17\u0E35\u0E48\u0E43\u0E0A\u0E49\u0E42\u0E14\u0E22\u0E42\u0E21\u0E40\u0E14\u0E25 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2D\u0E32\u0E21\u0E31\u0E19\u0E2D\u0E2D\u0E01\u0E08\u0E32\u0E01 `),xn=c(Te,"CODE",{});var Bl=f(xn);li=i(Bl,"inputs"),Bl.forEach(s),pi=i(Te," \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E41\u0E1B\u0E25\u0E07 "),wn=c(Te,"CODE",{});var Yl=f(wn);mi=i(Yl,"inputs"),Yl.forEach(s),ci=i(Te," \u0E40\u0E1B\u0E47\u0E19 tensor:"),Te.forEach(s),La=d(e),ie.l(e),cs=d(e),fs=c(e,"P",{});var Vl=f(fs);fi=i(Vl,"\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E41\u0E1A\u0E1A\u0E22\u0E32\u0E27\u0E02\u0E2D\u0E07\u0E40\u0E23\u0E32 \u0E15\u0E2D\u0E19\u0E19\u0E35\u0E49\u0E16\u0E39\u0E01\u0E41\u0E1A\u0E48\u0E07\u0E2D\u0E2D\u0E01\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E2D\u0E07\u0E2A\u0E48\u0E27\u0E19 \u0E0B\u0E36\u0E48\u0E07\u0E2B\u0E21\u0E32\u0E22\u0E04\u0E27\u0E32\u0E21\u0E27\u0E48\u0E32 \u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E40\u0E23\u0E32\u0E43\u0E2A\u0E48\u0E21\u0E31\u0E19\u0E40\u0E02\u0E49\u0E32\u0E44\u0E1B\u0E43\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E41\u0E25\u0E49\u0E27 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E44\u0E14\u0E49\u0E04\u0E48\u0E32 start logits \u0E41\u0E25\u0E30 end logits \u0E2D\u0E22\u0E48\u0E32\u0E07\u0E25\u0E30 2 \u0E40\u0E0B\u0E47\u0E15 :"),Vl.forEach(s),Oa=d(e),k(vt.$$.fragment,e),Fa=d(e),pe.l(e),us=d(e),ds=c(e,"P",{});var Xl=f(ds);ui=i(Xl,"\u0E40\u0E0A\u0E48\u0E19\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E1A\u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E01\u0E48\u0E2D\u0E19 \u0E01\u0E48\u0E2D\u0E19\u0E2D\u0E37\u0E48\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1B\u0E34\u0E14(mask) token \u0E17\u0E35\u0E48\u0E44\u0E21\u0E48\u0E44\u0E14\u0E49\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E48\u0E27\u0E19\u0E2B\u0E19\u0E36\u0E48\u0E07\u0E02\u0E2D\u0E07\u0E1A\u0E23\u0E34\u0E1A\u0E17 \u0E01\u0E48\u0E2D\u0E19\u0E17\u0E35\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E19\u0E2D\u0E01\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49\u0E40\u0E23\u0E32\u0E08\u0E30\u0E1B\u0E34\u0E14 padding tokens \u0E17\u0E31\u0E49\u0E07\u0E2B\u0E21\u0E14\u0E14\u0E49\u0E27\u0E22 (\u0E15\u0E32\u0E21\u0E01\u0E32\u0E23\u0E15\u0E31\u0E49\u0E07\u0E04\u0E48\u0E32\u0E43\u0E19 attention mask):"),Xl.forEach(s),Ma=d(e),ce.l(e),_s=d(e),hs=c(e,"P",{});var Zl=f(hs);di=i(Zl,"\u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19\u0E40\u0E23\u0E32\u0E08\u0E30\u0E43\u0E0A\u0E49 softmax \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E41\u0E1B\u0E25\u0E07 logits \u0E40\u0E1B\u0E47\u0E19\u0E04\u0E27\u0E32\u0E21\u0E19\u0E48\u0E32\u0E08\u0E30\u0E40\u0E1B\u0E47\u0E19:"),Zl.forEach(s),Ia=d(e),ue.l(e),bs=d(e),$s=c(e,"P",{});var ep=f($s);_i=i(ep,"\u0E02\u0E31\u0E49\u0E19\u0E15\u0E2D\u0E19\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E19\u0E31\u0E49\u0E19 \u0E04\u0E25\u0E49\u0E32\u0E22\u0E01\u0E31\u0E1A\u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E17\u0E33\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E41\u0E1A\u0E1A\u0E2A\u0E31\u0E49\u0E19\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E23\u0E31\u0E19 process \u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E19\u0E35\u0E49\u0E01\u0E31\u0E1A\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E17\u0E31\u0E49\u0E07\u0E2A\u0E2D\u0E07\u0E2A\u0E48\u0E27\u0E19\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E21\u0E32 \u0E08\u0E32\u0E01\u0E19\u0E31\u0E49\u0E19 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E41\u0E08\u0E01\u0E08\u0E48\u0E32\u0E22 score \u0E44\u0E1B\u0E43\u0E2B\u0E49\u0E01\u0E31\u0E1A\u0E17\u0E38\u0E01\u0E46 span \u0E02\u0E2D\u0E07\u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E40\u0E1B\u0E47\u0E19\u0E44\u0E1B\u0E44\u0E14\u0E49 \u0E41\u0E25\u0E30\u0E2A\u0E38\u0E14\u0E17\u0E49\u0E32\u0E22\u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E25\u0E37\u0E2D\u0E01 span \u0E17\u0E35\u0E48\u0E21\u0E35 score \u0E2A\u0E39\u0E07\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14"),ep.forEach(s),Ua=d(e),_e.l(e),gs=d(e),k(jt.$$.fragment,e),Ga=d(e),ks=c(e,"P",{});var tp=f(ks);hi=i(tp,"output \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D span \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E14\u0E35\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14\u0E02\u0E2D\u0E07\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22 \u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49 \u0E40\u0E23\u0E32\u0E08\u0E30\u0E40\u0E2B\u0E47\u0E19\u0E27\u0E48\u0E32\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E2B\u0E49\u0E04\u0E48\u0E32\u0E04\u0E27\u0E32\u0E21\u0E21\u0E31\u0E48\u0E19\u0E43\u0E08\u0E17\u0E35\u0E48\u0E2A\u0E39\u0E07\u0E21\u0E32\u0E01\u0E46\u0E01\u0E31\u0E1A span \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E35\u0E48\u0E2A\u0E2D\u0E07\u0E21\u0E32\u0E01\u0E01\u0E27\u0E48\u0E32\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E41\u0E23\u0E01 (\u0E0B\u0E36\u0E48\u0E07\u0E40\u0E1B\u0E47\u0E19\u0E2A\u0E31\u0E0D\u0E0D\u0E32\u0E13\u0E17\u0E35\u0E48\u0E14\u0E35!) \u0E2A\u0E34\u0E48\u0E07\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E15\u0E49\u0E2D\u0E07\u0E17\u0E33\u0E2B\u0E25\u0E31\u0E07\u0E08\u0E32\u0E01\u0E19\u0E35\u0E49\u0E01\u0E47\u0E04\u0E37\u0E2D map \u0E04\u0E48\u0E32 span \u0E44\u0E1B\u0E2A\u0E39\u0E48\u0E15\u0E31\u0E27\u0E2D\u0E31\u0E01\u0E29\u0E23 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E14\u0E39\u0E27\u0E48\u0E32 \u0E04\u0E33\u0E15\u0E2D\u0E1A\u0E17\u0E35\u0E48\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E33\u0E19\u0E27\u0E13\u0E44\u0E14\u0E49\u0E04\u0E37\u0E2D\u0E2D\u0E30\u0E44\u0E23"),tp.forEach(s),Ja=d(e),k(Fe.$$.fragment,e),Qa=d(e),Me=c(e,"P",{});var sr=f(Me);bi=i(sr,"\u0E04\u0E48\u0E32 "),vn=c(sr,"CODE",{});var sp=f(vn);$i=i(sp,"offsets"),sp.forEach(s),gi=i(sr," \u0E17\u0E35\u0E48\u0E40\u0E23\u0E32\u0E43\u0E0A\u0E49\u0E01\u0E48\u0E2D\u0E19\u0E2B\u0E19\u0E49\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1B\u0E47\u0E19 list \u0E02\u0E2D\u0E07 offsets \u0E42\u0E14\u0E22\u0E17\u0E35\u0E48\u0E41\u0E15\u0E48\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E22\u0E48\u0E2D\u0E22\u0E08\u0E30\u0E21\u0E35\u0E2B\u0E19\u0E36\u0E48\u0E07 list :"),sr.forEach(s),Wa=d(e),k(yt.$$.fragment,e),Ha=d(e),k(qt.$$.fragment,e),Ra=d(e),xs=c(e,"P",{});var np=f(xs);ki=i(np,"\u0E16\u0E49\u0E32\u0E44\u0E21\u0E48\u0E19\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E41\u0E23\u0E01\u0E17\u0E35\u0E48\u0E40\u0E23\u0E32 print \u0E2D\u0E2D\u0E01\u0E21\u0E32\u0E14\u0E49\u0E27\u0E22 \u0E40\u0E23\u0E32\u0E01\u0E47\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E40\u0E14\u0E35\u0E22\u0E27\u0E01\u0E31\u0E19\u0E01\u0E31\u0E1A\u0E1C\u0E25\u0E25\u0E31\u0E1E\u0E18\u0E4C\u0E08\u0E32\u0E01\u0E44\u0E1B\u0E1B\u0E4C\u0E44\u0E25\u0E19\u0E4C \u2014 \u0E40\u0E22\u0E49!"),np.forEach(s),Ka=d(e),k(Ie.$$.fragment,e),Ba=d(e),ws=c(e,"P",{});var ap=f(ws);xi=i(ap,"\u0E1A\u0E17\u0E19\u0E35\u0E49\u0E16\u0E37\u0E2D\u0E27\u0E48\u0E32\u0E40\u0E1B\u0E47\u0E19 \u0E01\u0E32\u0E23\u0E2A\u0E23\u0E38\u0E1B\u0E08\u0E1A\u0E01\u0E32\u0E23\u0E40\u0E23\u0E35\u0E22\u0E19\u0E23\u0E39\u0E49\u0E04\u0E27\u0E32\u0E21\u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E02\u0E2D\u0E07 tokenizer \u0E41\u0E1A\u0E1A\u0E25\u0E30\u0E40\u0E2D\u0E35\u0E22\u0E14 \u0E43\u0E19\u0E1A\u0E17\u0E15\u0E48\u0E2D\u0E44\u0E1B\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E43\u0E0A\u0E49\u0E04\u0E27\u0E32\u0E21\u0E23\u0E39\u0E49\u0E17\u0E35\u0E48\u0E40\u0E23\u0E35\u0E22\u0E19\u0E21\u0E32\u0E19\u0E35\u0E49 \u0E40\u0E1E\u0E37\u0E48\u0E2D\u0E1D\u0E36\u0E01\u0E1D\u0E19\u0E2D\u0E35\u0E01 \u0E42\u0E14\u0E22\u0E04\u0E38\u0E13\u0E08\u0E30\u0E44\u0E14\u0E49\u0E1D\u0E36\u0E01 fine-tune \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E1E\u0E37\u0E48\u0E2D task \u0E17\u0E31\u0E48\u0E27\u0E46\u0E44\u0E1B \u0E02\u0E2D\u0E07 NLP"),ap.forEach(s),this.h()},h(){C(n,"name","hf:doc:metadata"),C(n,"content",JSON.stringify(Rp)),C(j,"id","fast-tokenizers-qa-pipeline"),C(j,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),C(j,"href","#fast-tokenizers-qa-pipeline"),C($,"class","relative group"),C(Se,"id","questionanswering-pipeline"),C(Se,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),C(Se,"href","#questionanswering-pipeline"),C(ve,"class","relative group"),C(Jt,"href","/course/chapter1"),C(Ce,"id","question-answering"),C(Ce,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),C(Ce,"href","#question-answering"),C(je,"class","relative group"),C(Ze,"href","https://huggingface.co/distilbert-base-cased-distilled-squad"),C(Ze,"rel","nofollow"),C(Ht,"href","/course/chapter7/7"),C(et,"class","block dark:hidden"),ip(et.src,wi="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/question_tokens.svg")||C(et,"src",wi),C(et,"alt","An example of tokenization of question and context"),C(tt,"class","hidden dark:block"),ip(tt.src,vi="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter6/question_tokens-dark.svg")||C(tt,"src",vi),C(tt,"alt","An example of tokenization of question and context"),C(ye,"class","flex justify-center"),Wn.a=null,Rn.a=Kn,C(Ae,"id","long-contexts"),C(Ae,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),C(Ae,"href","#long-contexts"),C(Ee,"class","relative group")},m(e,r){a(document.head,n),l(e,p,r),x(t,e,r),l(e,b,r),l(e,$,r),a($,j),a(j,E),x(S,E,null),a($,z),a($,T),a(T,F),l(e,L,r),Et[N].m(e,r),l(e,q,r),l(e,P,r),a(P,xe),a(P,R),a(R,we),a(P,rr),l(e,Pn,r),Pt[K].m(e,r),l(e,Gt,r),l(e,ve,r),a(ve,Se),a(Se,Ns),x(He,Ns,null),a(ve,or),a(ve,Re),a(Re,ir),a(Re,As),a(As,lr),a(Re,pr),l(e,Tn,r),l(e,he,r),a(he,mr),a(he,Jt),a(Jt,cr),a(he,fr),a(he,Ds),a(Ds,ur),a(he,dr),l(e,Sn,r),x(Ke,e,r),l(e,Cn,r),x(Be,e,r),l(e,zn,r),l(e,Qt,r),a(Qt,_r),l(e,Nn,r),x(Ye,e,r),l(e,An,r),x(Ve,e,r),l(e,Dn,r),l(e,Wt,r),a(Wt,hr),l(e,Ln,r),l(e,je,r),a(je,Ce),a(Ce,Ls),x(Xe,Ls,null),a(je,br),a(je,Os),a(Os,$r),l(e,On,r),l(e,G,r),a(G,gr),a(G,Fs),a(Fs,kr),a(G,xr),a(G,Ze),a(Ze,Ms),a(Ms,wr),a(G,vr),a(G,Ht),a(Ht,jr),a(G,yr),l(e,Fn,r),Tt[Y].m(e,r),l(e,Rt,r),l(e,Kt,r),a(Kt,qr),l(e,Mn,r),l(e,ye,r),a(ye,et),a(ye,Er),a(ye,tt),l(e,In,r),l(e,Bt,r),a(Bt,Pr),l(e,Un,r),x(st,e,r),l(e,Gn,r),St[X].m(e,r),l(e,Yt,r),l(e,M,r),a(M,Tr),a(M,Is),a(Is,Sr),a(M,Cr),a(M,Us),a(Us,zr),a(M,Nr),a(M,Gs),a(Gs,Ar),a(M,Dr),a(M,Js),a(Js,Lr),a(M,Or),l(e,Jn,r),Ct[ee].m(e,r),l(e,Vt,r),l(e,Xt,r),a(Xt,Fr),l(e,Qn,r),zt[se].m(e,r),l(e,Zt,r),l(e,A,r),a(A,Mr),a(A,Qs),a(Qs,Ir),a(A,Ur),a(A,Ws),a(Ws,Gr),a(A,Jr),a(A,Hs),a(Hs,Qr),a(A,Wr),a(A,Rs),a(Rs,Hr),a(A,Rr),a(A,Ks),a(Ks,Kr),a(A,Br),a(A,Bs),a(Bs,Yr),a(A,Vr),a(A,Ys),a(Ys,Xr),a(A,Zr),a(A,Vs),a(Vs,eo),a(A,to),Wn.m(mp,A),l(e,Hn,r),l(e,qe,r),a(qe,so),Rn.m(cp,qe),a(qe,Kn),a(qe,Xs),a(Xs,no),l(e,Bn,r),l(e,es,r),a(es,ao),l(e,Yn,r),x(nt,e,r),l(e,Vn,r),Nt[ae].m(e,r),l(e,ts,r),l(e,I,r),a(I,ro),a(I,Zs),a(Zs,oo),a(I,io),a(I,en),a(en,lo),a(I,po),a(I,tn),a(tn,mo),a(I,co),a(I,sn),a(sn,fo),a(I,uo),l(e,Xn,r),x(at,e,r),l(e,Zn,r),l(e,ss,r),a(ss,_o),l(e,ea,r),x(rt,e,r),l(e,ta,r),x(ze,e,r),l(e,sa,r),l(e,be,r),a(be,ho),a(be,nn),a(nn,bo),a(be,$o),a(be,an),a(an,go),a(be,ko),l(e,na,r),x(ot,e,r),l(e,aa,r),l(e,ns,r),a(ns,xo),l(e,ra,r),x(it,e,r),l(e,oa,r),x(lt,e,r),l(e,ia,r),l(e,as,r),a(as,wo),l(e,la,r),x(Ne,e,r),l(e,pa,r),l(e,Ee,r),a(Ee,Ae),a(Ae,rn),x(pt,rn,null),a(Ee,vo),a(Ee,on),a(on,jo),l(e,ma,r),l(e,De,r),a(De,yo),a(De,ln),a(ln,qo),a(De,Eo),l(e,ca,r),x(mt,e,r),l(e,fa,r),x(ct,e,r),l(e,ua,r),l(e,Le,r),a(Le,Po),a(Le,pn),a(pn,To),a(Le,So),l(e,da,r),x(ft,e,r),l(e,_a,r),x(ut,e,r),l(e,ha,r),l(e,Oe,r),a(Oe,Co),a(Oe,mn),a(mn,zo),a(Oe,No),l(e,ba,r),l(e,Pe,r),a(Pe,Ao),a(Pe,cn),a(cn,Do),a(Pe,Lo),a(Pe,fn),a(fn,Oo),l(e,$a,r),l(e,rs,r),a(rs,Fo),l(e,ga,r),x(dt,e,r),l(e,ka,r),x(_t,e,r),l(e,xa,r),l(e,os,r),a(os,Mo),l(e,wa,r),l(e,is,r),a(is,Io),l(e,va,r),x(ht,e,r),l(e,ja,r),x(bt,e,r),l(e,ya,r),l(e,J,r),a(J,Uo),a(J,un),a(un,Go),a(J,Jo),a(J,dn),a(dn,Qo),a(J,Wo),a(J,_n),a(_n,Ho),a(J,Ro),l(e,qa,r),x($t,e,r),l(e,Ea,r),x(gt,e,r),l(e,Pa,r),l(e,ls,r),a(ls,Ko),l(e,Ta,r),x(kt,e,r),l(e,Sa,r),l(e,ps,r),a(ps,Bo),l(e,Ca,r),x(xt,e,r),l(e,za,r),l(e,ms,r),a(ms,Yo),l(e,Na,r),l(e,Q,r),a(Q,Vo),a(Q,hn),a(hn,Xo),a(Q,Zo),a(Q,bn),a(bn,ei),a(Q,ti),a(Q,$n),a($n,si),a(Q,ni),l(e,Aa,r),x(wt,e,r),l(e,Da,r),l(e,U,r),a(U,gn),a(gn,ai),a(U,ri),a(U,kn),a(kn,oi),a(U,ii),a(U,xn),a(xn,li),a(U,pi),a(U,wn),a(wn,mi),a(U,ci),l(e,La,r),At[oe].m(e,r),l(e,cs,r),l(e,fs,r),a(fs,fi),l(e,Oa,r),x(vt,e,r),l(e,Fa,r),Dt[le].m(e,r),l(e,us,r),l(e,ds,r),a(ds,ui),l(e,Ma,r),Lt[me].m(e,r),l(e,_s,r),l(e,hs,r),a(hs,di),l(e,Ia,r),Ot[fe].m(e,r),l(e,bs,r),l(e,$s,r),a($s,_i),l(e,Ua,r),Ft[de].m(e,r),l(e,gs,r),x(jt,e,r),l(e,Ga,r),l(e,ks,r),a(ks,hi),l(e,Ja,r),x(Fe,e,r),l(e,Qa,r),l(e,Me,r),a(Me,bi),a(Me,vn),a(vn,$i),a(Me,gi),l(e,Wa,r),x(yt,e,r),l(e,Ha,r),x(qt,e,r),l(e,Ra,r),l(e,xs,r),a(xs,ki),l(e,Ka,r),x(Ie,e,r),l(e,Ba,r),l(e,ws,r),a(ws,xi),Ya=!0},p(e,[r]){const Mt={};r&1&&(Mt.fw=e[0]),t.$set(Mt);let vs=N;N=yi(e),N!==vs&&(H(),_(Et[vs],1,1,()=>{Et[vs]=null}),W(),D=Et[N],D||(D=Et[N]=ji[N](e),D.c()),h(D,1),D.m(q.parentNode,q));let js=K;K=Ei(e),K!==js&&(H(),_(Pt[js],1,1,()=>{Pt[js]=null}),W(),B=Pt[K],B||(B=Pt[K]=qi[K](e),B.c()),h(B,1),B.m(Gt.parentNode,Gt));let ys=Y;Y=Ti(e),Y!==ys&&(H(),_(Tt[ys],1,1,()=>{Tt[ys]=null}),W(),V=Tt[Y],V||(V=Tt[Y]=Pi[Y](e),V.c()),h(V,1),V.m(Rt.parentNode,Rt));let Ue=X;X=Ci(e),X!==Ue&&(H(),_(St[Ue],1,1,()=>{St[Ue]=null}),W(),Z=St[X],Z||(Z=St[X]=Si[X](e),Z.c()),h(Z,1),Z.m(Yt.parentNode,Yt));let qs=ee;ee=Ni(e),ee!==qs&&(H(),_(Ct[qs],1,1,()=>{Ct[qs]=null}),W(),te=Ct[ee],te||(te=Ct[ee]=zi[ee](e),te.c()),h(te,1),te.m(Vt.parentNode,Vt));let Ge=se;se=Di(e),se!==Ge&&(H(),_(zt[Ge],1,1,()=>{zt[Ge]=null}),W(),ne=zt[se],ne||(ne=zt[se]=Ai[se](e),ne.c()),h(ne,1),ne.m(Zt.parentNode,Zt));let Es=ae;ae=Oi(e),ae!==Es&&(H(),_(Nt[Es],1,1,()=>{Nt[Es]=null}),W(),re=Nt[ae],re||(re=Nt[ae]=Li[ae](e),re.c()),h(re,1),re.m(ts.parentNode,ts));const jn={};r&2&&(jn.$$scope={dirty:r,ctx:e}),ze.$set(jn);const It={};r&2&&(It.$$scope={dirty:r,ctx:e}),Ne.$set(It);let Ps=oe;oe=Mi(e),oe!==Ps&&(H(),_(At[Ps],1,1,()=>{At[Ps]=null}),W(),ie=At[oe],ie||(ie=At[oe]=Fi[oe](e),ie.c()),h(ie,1),ie.m(cs.parentNode,cs));let $e=le;le=Ui(e),le!==$e&&(H(),_(Dt[$e],1,1,()=>{Dt[$e]=null}),W(),pe=Dt[le],pe||(pe=Dt[le]=Ii[le](e),pe.c()),h(pe,1),pe.m(us.parentNode,us));let Ts=me;me=Ji(e),me!==Ts&&(H(),_(Lt[Ts],1,1,()=>{Lt[Ts]=null}),W(),ce=Lt[me],ce||(ce=Lt[me]=Gi[me](e),ce.c()),h(ce,1),ce.m(_s.parentNode,_s));let Ss=fe;fe=Wi(e),fe!==Ss&&(H(),_(Ot[Ss],1,1,()=>{Ot[Ss]=null}),W(),ue=Ot[fe],ue||(ue=Ot[fe]=Qi[fe](e),ue.c()),h(ue,1),ue.m(bs.parentNode,bs));let Cs=de;de=Ri(e),de!==Cs&&(H(),_(Ft[Cs],1,1,()=>{Ft[Cs]=null}),W(),_e=Ft[de],_e||(_e=Ft[de]=Hi[de](e),_e.c()),h(_e,1),_e.m(gs.parentNode,gs));const yn={};r&2&&(yn.$$scope={dirty:r,ctx:e}),Fe.$set(yn);const Ut={};r&2&&(Ut.$$scope={dirty:r,ctx:e}),Ie.$set(Ut)},i(e){Ya||(h(t.$$.fragment,e),h(S.$$.fragment,e),h(D),h(B),h(He.$$.fragment,e),h(Ke.$$.fragment,e),h(Be.$$.fragment,e),h(Ye.$$.fragment,e),h(Ve.$$.fragment,e),h(Xe.$$.fragment,e),h(V),h(st.$$.fragment,e),h(Z),h(te),h(ne),h(nt.$$.fragment,e),h(re),h(at.$$.fragment,e),h(rt.$$.fragment,e),h(ze.$$.fragment,e),h(ot.$$.fragment,e),h(it.$$.fragment,e),h(lt.$$.fragment,e),h(Ne.$$.fragment,e),h(pt.$$.fragment,e),h(mt.$$.fragment,e),h(ct.$$.fragment,e),h(ft.$$.fragment,e),h(ut.$$.fragment,e),h(dt.$$.fragment,e),h(_t.$$.fragment,e),h(ht.$$.fragment,e),h(bt.$$.fragment,e),h($t.$$.fragment,e),h(gt.$$.fragment,e),h(kt.$$.fragment,e),h(xt.$$.fragment,e),h(wt.$$.fragment,e),h(ie),h(vt.$$.fragment,e),h(pe),h(ce),h(ue),h(_e),h(jt.$$.fragment,e),h(Fe.$$.fragment,e),h(yt.$$.fragment,e),h(qt.$$.fragment,e),h(Ie.$$.fragment,e),Ya=!0)},o(e){_(t.$$.fragment,e),_(S.$$.fragment,e),_(D),_(B),_(He.$$.fragment,e),_(Ke.$$.fragment,e),_(Be.$$.fragment,e),_(Ye.$$.fragment,e),_(Ve.$$.fragment,e),_(Xe.$$.fragment,e),_(V),_(st.$$.fragment,e),_(Z),_(te),_(ne),_(nt.$$.fragment,e),_(re),_(at.$$.fragment,e),_(rt.$$.fragment,e),_(ze.$$.fragment,e),_(ot.$$.fragment,e),_(it.$$.fragment,e),_(lt.$$.fragment,e),_(Ne.$$.fragment,e),_(pt.$$.fragment,e),_(mt.$$.fragment,e),_(ct.$$.fragment,e),_(ft.$$.fragment,e),_(ut.$$.fragment,e),_(dt.$$.fragment,e),_(_t.$$.fragment,e),_(ht.$$.fragment,e),_(bt.$$.fragment,e),_($t.$$.fragment,e),_(gt.$$.fragment,e),_(kt.$$.fragment,e),_(xt.$$.fragment,e),_(wt.$$.fragment,e),_(ie),_(vt.$$.fragment,e),_(pe),_(ce),_(ue),_(_e),_(jt.$$.fragment,e),_(Fe.$$.fragment,e),_(yt.$$.fragment,e),_(qt.$$.fragment,e),_(Ie.$$.fragment,e),Ya=!1},d(e){s(n),e&&s(p),w(t,e),e&&s(b),e&&s($),w(S),e&&s(L),Et[N].d(e),e&&s(q),e&&s(P),e&&s(Pn),Pt[K].d(e),e&&s(Gt),e&&s(ve),w(He),e&&s(Tn),e&&s(he),e&&s(Sn),w(Ke,e),e&&s(Cn),w(Be,e),e&&s(zn),e&&s(Qt),e&&s(Nn),w(Ye,e),e&&s(An),w(Ve,e),e&&s(Dn),e&&s(Wt),e&&s(Ln),e&&s(je),w(Xe),e&&s(On),e&&s(G),e&&s(Fn),Tt[Y].d(e),e&&s(Rt),e&&s(Kt),e&&s(Mn),e&&s(ye),e&&s(In),e&&s(Bt),e&&s(Un),w(st,e),e&&s(Gn),St[X].d(e),e&&s(Yt),e&&s(M),e&&s(Jn),Ct[ee].d(e),e&&s(Vt),e&&s(Xt),e&&s(Qn),zt[se].d(e),e&&s(Zt),e&&s(A),e&&s(Hn),e&&s(qe),e&&s(Bn),e&&s(es),e&&s(Yn),w(nt,e),e&&s(Vn),Nt[ae].d(e),e&&s(ts),e&&s(I),e&&s(Xn),w(at,e),e&&s(Zn),e&&s(ss),e&&s(ea),w(rt,e),e&&s(ta),w(ze,e),e&&s(sa),e&&s(be),e&&s(na),w(ot,e),e&&s(aa),e&&s(ns),e&&s(ra),w(it,e),e&&s(oa),w(lt,e),e&&s(ia),e&&s(as),e&&s(la),w(Ne,e),e&&s(pa),e&&s(Ee),w(pt),e&&s(ma),e&&s(De),e&&s(ca),w(mt,e),e&&s(fa),w(ct,e),e&&s(ua),e&&s(Le),e&&s(da),w(ft,e),e&&s(_a),w(ut,e),e&&s(ha),e&&s(Oe),e&&s(ba),e&&s(Pe),e&&s($a),e&&s(rs),e&&s(ga),w(dt,e),e&&s(ka),w(_t,e),e&&s(xa),e&&s(os),e&&s(wa),e&&s(is),e&&s(va),w(ht,e),e&&s(ja),w(bt,e),e&&s(ya),e&&s(J),e&&s(qa),w($t,e),e&&s(Ea),w(gt,e),e&&s(Pa),e&&s(ls),e&&s(Ta),w(kt,e),e&&s(Sa),e&&s(ps),e&&s(Ca),w(xt,e),e&&s(za),e&&s(ms),e&&s(Na),e&&s(Q),e&&s(Aa),w(wt,e),e&&s(Da),e&&s(U),e&&s(La),At[oe].d(e),e&&s(cs),e&&s(fs),e&&s(Oa),w(vt,e),e&&s(Fa),Dt[le].d(e),e&&s(us),e&&s(ds),e&&s(Ma),Lt[me].d(e),e&&s(_s),e&&s(hs),e&&s(Ia),Ot[fe].d(e),e&&s(bs),e&&s($s),e&&s(Ua),Ft[de].d(e),e&&s(gs),w(jt,e),e&&s(Ga),e&&s(ks),e&&s(Ja),w(Fe,e),e&&s(Qa),e&&s(Me),e&&s(Wa),w(yt,e),e&&s(Ha),w(qt,e),e&&s(Ra),e&&s(xs),e&&s(Ka),w(Ie,e),e&&s(Ba),e&&s(ws)}}}const Rp={local:"fast-tokenizers-qa-pipeline",sections:[{local:"questionanswering-pipeline",title:"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49 `question-answering` pipeline"},{local:"question-answering",title:"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E2A\u0E33\u0E2B\u0E23\u0E31\u0E1A\u0E07\u0E32\u0E19 question answering"},{local:"long-contexts",title:"\u0E01\u0E32\u0E23\u0E08\u0E31\u0E14\u0E01\u0E32\u0E23\u0E01\u0E31\u0E1A\u0E1A\u0E23\u0E34\u0E1A\u0E17\u0E22\u0E32\u0E27 (long contexts)"}],title:"\u0E01\u0E32\u0E23\u0E43\u0E0A\u0E49\u0E07\u0E32\u0E19\u0E15\u0E31\u0E27\u0E15\u0E31\u0E14\u0E04\u0E33\u0E41\u0E1A\u0E1A\u0E40\u0E23\u0E47\u0E27 (Fast tokenizers) \u0E43\u0E19 QA pipeline"};function Kp(v,n,p){let t="pt";return hp(()=>{const b=new URLSearchParams(window.location.search);p(0,t=b.get("fw")||"pt")}),[t]}class sm extends fp{constructor(n){super();up(this,n,Kp,Hp,dp,{})}}export{sm as default,Rp as metadata};
