import{S as Hi,i as Wi,s as Bi,e as p,t as a,k as _,w as g,c as i,a as c,h as n,d as t,m,x as w,g as f,G as e,y,q as $,o as k,B as q,l as Mi,M as Ui,b as z,p as ye,v as Gi,n as qe}from"../../chunks/vendor-hf-doc-builder.js";import{T as Yo}from"../../chunks/Tip-hf-doc-builder.js";import{Y as $a}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Fi}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as T}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as Li}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import{F as Ii}from"../../chunks/FrameworkSwitchCourse-hf-doc-builder.js";import"../../chunks/DocNotebookDropdown-hf-doc-builder.js";function Vi(v){let l,u;return l=new Li({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_tf.ipynb"}]}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function Ji(v){let l,u;return l=new Li({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ru/chapter3/section2_pt.ipynb"}]}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function Ki(v){let l,u,o,h,j,d,b,x;return b=new T({props:{code:`import tensorflow as tf
import numpy as np
from transformers import AutoTokenizer, TFAutoModelForSequenceClassification

# \u0422\u0430\u043A \u0436\u0435, \u043A\u0430\u043A \u0438 \u0432 \u043F\u0440\u043E\u0448\u043B\u044B\u0439 \u0440\u0430\u0437
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    "I've been waiting for a HuggingFace course my whole life.",
    "This course is amazing!",
]
batch = dict(tokenizer(sequences, padding=True, truncation=True, return_tensors="tf"))

# \u042D\u0442\u0430 \u0447\u0430\u0441\u0442\u044C \u043D\u043E\u0432\u0430\u044F
model.compile(optimizer="adam", loss="sparse_categorical_crossentropy")
labels = tf.convert_to_tensor([1, 1])
model.train_on_batch(batch, labels)`,highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

<span class="hljs-comment"># \u0422\u0430\u043A \u0436\u0435, \u043A\u0430\u043A \u0438 \u0432 \u043F\u0440\u043E\u0448\u043B\u044B\u0439 \u0440\u0430\u0437</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = <span class="hljs-built_in">dict</span>(tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>))

<span class="hljs-comment"># \u042D\u0442\u0430 \u0447\u0430\u0441\u0442\u044C \u043D\u043E\u0432\u0430\u044F</span>
model.<span class="hljs-built_in">compile</span>(optimizer=<span class="hljs-string">&quot;adam&quot;</span>, loss=<span class="hljs-string">&quot;sparse_categorical_crossentropy&quot;</span>)
labels = tf.convert_to_tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])
model.train_on_batch(batch, labels)`}}),{c(){l=p("p"),u=a("Continuing with the example from the "),o=p("a"),h=a("previous chapter"),j=a(", \u0432\u043E\u0442 \u043A\u0430\u043A \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u043E\u0431\u0443\u0447\u0430\u0442\u044C \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043D\u0430 \u043E\u0434\u043D\u043E\u043C \u0431\u0430\u0442\u0447\u0435 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E TensorFlow:"),d=_(),g(b.$$.fragment),this.h()},l(E){l=i(E,"P",{});var D=c(l);u=n(D,"Continuing with the example from the "),o=i(D,"A",{href:!0});var P=c(o);h=n(P,"previous chapter"),P.forEach(t),j=n(D,", \u0432\u043E\u0442 \u043A\u0430\u043A \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u043E\u0431\u0443\u0447\u0430\u0442\u044C \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043D\u0430 \u043E\u0434\u043D\u043E\u043C \u0431\u0430\u0442\u0447\u0435 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E TensorFlow:"),D.forEach(t),d=m(E),w(b.$$.fragment,E),this.h()},h(){z(o,"href","/course/ru/chapter2")},m(E,D){f(E,l,D),e(l,u),e(l,o),e(o,h),e(l,j),f(E,d,D),y(b,E,D),x=!0},i(E){x||($(b.$$.fragment,E),x=!0)},o(E){k(b.$$.fragment,E),x=!1},d(E){E&&t(l),E&&t(d),q(b,E)}}}function Yi(v){let l,u,o,h,j,d,b,x,E,D,P;return D=new T({props:{code:`import torch
from transformers import AdamW, AutoTokenizer, AutoModelForSequenceClassification

# \u0422\u0430\u043A \u0436\u0435, \u043A\u0430\u043A \u0438 \u0432 \u043F\u0440\u043E\u0448\u043B\u044B\u0439 \u0440\u0430\u0437
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    "I've been waiting for a HuggingFace course my whole life.",
    "This course is amazing!",
]
batch = tokenizer(sequences, padding=True, truncation=True, return_tensors="pt")

# \u042D\u0442\u0430 \u0447\u0430\u0441\u0442\u044C \u043D\u043E\u0432\u0430\u044F
batch["labels"] = torch.tensor([1, 1])

optimizer = AdamW(model.parameters())
loss = model(**batch).loss
loss.backward()
optimizer.step()`,highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AdamW, AutoTokenizer, AutoModelForSequenceClassification

<span class="hljs-comment"># \u0422\u0430\u043A \u0436\u0435, \u043A\u0430\u043A \u0438 \u0432 \u043F\u0440\u043E\u0448\u043B\u044B\u0439 \u0440\u0430\u0437</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)

<span class="hljs-comment"># \u042D\u0442\u0430 \u0447\u0430\u0441\u0442\u044C \u043D\u043E\u0432\u0430\u044F</span>
batch[<span class="hljs-string">&quot;labels&quot;</span>] = torch.tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])

optimizer = AdamW(model.parameters())
loss = model(**batch).loss
loss.backward()
optimizer.step()`}}),{c(){l=p("p"),u=a("\u041F\u0440\u043E\u0434\u043E\u043B\u0436\u0438\u043C \u0441 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0438\u0437 "),o=p("a"),h=a("\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u044B"),j=a(`
Continuing with the example from the `),d=p("a"),b=a("previous chapter"),x=a(", \u0432\u043E\u0442 \u043A\u0430\u043A \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u043E\u0431\u0443\u0447\u0430\u0442\u044C \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043D\u0430 \u043E\u0434\u043D\u043E\u043C \u0431\u0430\u0442\u0447\u0435 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E PyTorch:"),E=_(),g(D.$$.fragment),this.h()},l(C){l=i(C,"P",{});var N=c(l);u=n(N,"\u041F\u0440\u043E\u0434\u043E\u043B\u0436\u0438\u043C \u0441 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0438\u0437 "),o=i(N,"A",{href:!0});var B=c(o);h=n(B,"\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u044B"),B.forEach(t),j=n(N,`
Continuing with the example from the `),d=i(N,"A",{href:!0});var ss=c(d);b=n(ss,"previous chapter"),ss.forEach(t),x=n(N,", \u0432\u043E\u0442 \u043A\u0430\u043A \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u043E\u0431\u0443\u0447\u0430\u0442\u044C \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043D\u0430 \u043E\u0434\u043D\u043E\u043C \u0431\u0430\u0442\u0447\u0435 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E PyTorch:"),N.forEach(t),E=m(C),w(D.$$.fragment,C),this.h()},h(){z(o,"href","/course/ru/chapter2"),z(d,"href","/course/ru/chapter2")},m(C,N){f(C,l,N),e(l,u),e(l,o),e(o,h),e(l,j),e(l,d),e(d,b),e(l,x),f(C,E,N),y(D,C,N),P=!0},i(C){P||($(D.$$.fragment,C),P=!0)},o(C){k(D.$$.fragment,C),P=!1},d(C){C&&t(l),C&&t(E),q(D,C)}}}function Zi(v){let l,u;return l=new $a({props:{id:"W_gMJF0xomE"}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function Qi(v){let l,u;return l=new $a({props:{id:"_BZearw7f0w"}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function Xi(v){let l,u,o,h,j;return{c(){l=p("p"),u=a("\u270F\uFE0F "),o=p("strong"),h=a("\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),j=a(" \u041F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u0442\u0435 \u043D\u0430 15-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u0438 \u043D\u0430 87-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u0432\u0430\u0434\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u043E\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438. \u041A\u0430\u043A\u0438\u0435 \u0443 \u043D\u0438\u0445 \u043B\u0435\u0439\u0431\u043B\u044B?")},l(d){l=i(d,"P",{});var b=c(l);u=n(b,"\u270F\uFE0F "),o=i(b,"STRONG",{});var x=c(o);h=n(x,"\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),x.forEach(t),j=n(b," \u041F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u0442\u0435 \u043D\u0430 15-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u0438 \u043D\u0430 87-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u0432\u0430\u0434\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u043E\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438. \u041A\u0430\u043A\u0438\u0435 \u0443 \u043D\u0438\u0445 \u043B\u0435\u0439\u0431\u043B\u044B?"),b.forEach(t)},m(d,b){f(d,l,b),e(l,u),e(l,o),e(o,h),e(l,j)},d(d){d&&t(l)}}}function sc(v){let l,u;return l=new $a({props:{id:"P-rZWqcB6CE"}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function ec(v){let l,u;return l=new $a({props:{id:"0u3ioSwev3s"}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function tc(v){let l,u,o,h,j;return{c(){l=p("p"),u=a("\u270F\uFE0F "),o=p("strong"),h=a("\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),j=a(" \u0422\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 15-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u043A\u0430\u043A \u0434\u0432\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F, \u0438 \u043A\u0430\u043A \u043F\u0430\u0440\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u0412 \u0447\u0435\u043C \u0440\u0430\u0437\u043D\u0438\u0446\u0430 \u043C\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043C\u044F \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u0430\u043C\u0438?")},l(d){l=i(d,"P",{});var b=c(l);u=n(b,"\u270F\uFE0F "),o=i(b,"STRONG",{});var x=c(o);h=n(x,"\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),x.forEach(t),j=n(b," \u0422\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 15-\u0439 \u044D\u043B\u0435\u043C\u0435\u043D\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u043A\u0430\u043A \u0434\u0432\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F, \u0438 \u043A\u0430\u043A \u043F\u0430\u0440\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u0412 \u0447\u0435\u043C \u0440\u0430\u0437\u043D\u0438\u0446\u0430 \u043C\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043C\u044F \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u0430\u043C\u0438?"),b.forEach(t)},m(d,b){f(d,l,b),e(l,u),e(l,o),e(o,h),e(l,j)},d(d){d&&t(l)}}}function ac(v){let l,u,o,h,j;return{c(){l=p("p"),u=a("\u0424\u0443\u043D\u043A\u0446\u0438\u044F, \u043E\u0442\u0432\u0435\u0447\u0430\u044E\u0449\u0430\u044F \u0437\u0430 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u043D\u0443\u0442\u0440\u0438 \u0431\u0430\u0442\u0447\u0430, \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u0442\u0441\u044F "),o=p("em"),h=a("collate function"),j=a(" (\u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F). \u041F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u2014 \u044D\u0442\u043E \u0444\u0443\u043D\u043A\u0446\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0432\u0430\u0448\u0438 \u043E\u0431\u0440\u0430\u0437\u0446\u044B \u0432 tf.Tensor \u0438 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u044F\u0435\u0442 \u0438\u0445 (\u0440\u0435\u043A\u0443\u0440\u0441\u0438\u0432\u043D\u043E, \u0435\u0441\u043B\u0438 \u0432\u0430\u0448\u0438 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u2014 \u044D\u0442\u043E \u0441\u043F\u0438\u0441\u043A\u0438, \u043A\u043E\u0440\u0442\u0435\u0436\u0438 \u0438\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u0438). \u0412 \u043D\u0430\u0448\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u044D\u0442\u043E \u043D\u0435\u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E, \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C, \u043D\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u043C\u0435\u0442\u044C \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u043E\u0433\u043E \u0440\u0430\u0437\u043C\u0435\u0440\u0430. \u041C\u044B \u043D\u0430\u043C\u0435\u0440\u0435\u043D\u043D\u043E \u043E\u0442\u043B\u043E\u0436\u0438\u043B\u0438 \u043E\u0442\u0441\u0442\u0443\u043F\u044B, \u0447\u0442\u043E\u0431\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0438\u0445 \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u043E \u043C\u0435\u0440\u0435 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0432 \u043A\u0430\u0436\u0434\u043E\u043C \u043F\u0430\u043A\u0435\u0442\u0435 \u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044C \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0431\u043E\u043B\u044C\u0448\u0438\u043C \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u043E\u043C \u043E\u0442\u0441\u0442\u0443\u043F\u043E\u0432. \u042D\u0442\u043E \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u0435, \u043D\u043E \u0443\u0447\u0442\u0438\u0442\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0442\u0440\u0435\u043D\u0438\u0440\u0443\u0435\u0442\u0435\u0441\u044C \u043D\u0430 TPU, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0432\u044B\u0437\u0432\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B \u2014 TPU \u043F\u0440\u0435\u0434\u043F\u043E\u0447\u0438\u0442\u0430\u044E\u0442 \u0444\u0438\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0444\u043E\u0440\u043C\u044B, \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u0434\u043B\u044F \u044D\u0442\u043E\u0433\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0435 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u0435.")},l(d){l=i(d,"P",{});var b=c(l);u=n(b,"\u0424\u0443\u043D\u043A\u0446\u0438\u044F, \u043E\u0442\u0432\u0435\u0447\u0430\u044E\u0449\u0430\u044F \u0437\u0430 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u043D\u0443\u0442\u0440\u0438 \u0431\u0430\u0442\u0447\u0430, \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u0442\u0441\u044F "),o=i(b,"EM",{});var x=c(o);h=n(x,"collate function"),x.forEach(t),j=n(b," (\u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F). \u041F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u2014 \u044D\u0442\u043E \u0444\u0443\u043D\u043A\u0446\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0432\u0430\u0448\u0438 \u043E\u0431\u0440\u0430\u0437\u0446\u044B \u0432 tf.Tensor \u0438 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u044F\u0435\u0442 \u0438\u0445 (\u0440\u0435\u043A\u0443\u0440\u0441\u0438\u0432\u043D\u043E, \u0435\u0441\u043B\u0438 \u0432\u0430\u0448\u0438 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u2014 \u044D\u0442\u043E \u0441\u043F\u0438\u0441\u043A\u0438, \u043A\u043E\u0440\u0442\u0435\u0436\u0438 \u0438\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u0438). \u0412 \u043D\u0430\u0448\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u044D\u0442\u043E \u043D\u0435\u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E, \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C, \u043D\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u043C\u0435\u0442\u044C \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u043E\u0433\u043E \u0440\u0430\u0437\u043C\u0435\u0440\u0430. \u041C\u044B \u043D\u0430\u043C\u0435\u0440\u0435\u043D\u043D\u043E \u043E\u0442\u043B\u043E\u0436\u0438\u043B\u0438 \u043E\u0442\u0441\u0442\u0443\u043F\u044B, \u0447\u0442\u043E\u0431\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0438\u0445 \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u043E \u043C\u0435\u0440\u0435 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0432 \u043A\u0430\u0436\u0434\u043E\u043C \u043F\u0430\u043A\u0435\u0442\u0435 \u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044C \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0431\u043E\u043B\u044C\u0448\u0438\u043C \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u043E\u043C \u043E\u0442\u0441\u0442\u0443\u043F\u043E\u0432. \u042D\u0442\u043E \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u0435, \u043D\u043E \u0443\u0447\u0442\u0438\u0442\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0442\u0440\u0435\u043D\u0438\u0440\u0443\u0435\u0442\u0435\u0441\u044C \u043D\u0430 TPU, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0432\u044B\u0437\u0432\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B \u2014 TPU \u043F\u0440\u0435\u0434\u043F\u043E\u0447\u0438\u0442\u0430\u044E\u0442 \u0444\u0438\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0444\u043E\u0440\u043C\u044B, \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u0434\u043B\u044F \u044D\u0442\u043E\u0433\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0435 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u0435."),b.forEach(t)},m(d,b){f(d,l,b),e(l,u),e(l,o),e(o,h),e(l,j)},d(d){d&&t(l)}}}function nc(v){let l,u,o,h,j,d,b,x;return{c(){l=p("p"),u=a("\u0424\u0443\u043D\u043A\u0446\u0438\u044F, \u043E\u0442\u0432\u0435\u0447\u0430\u044E\u0449\u0430\u044F \u0437\u0430 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u043D\u0443\u0442\u0440\u0438 \u0431\u0430\u0442\u0447\u0430, \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u0442\u0441\u044F "),o=p("em"),h=a("collate function"),j=a(" (\u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F). \u042D\u0442\u043E \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u043F\u0440\u0438 \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u0438 "),d=p("code"),b=a("DataLoader"),x=a(", \u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u044D\u0442\u043E \u0444\u0443\u043D\u043A\u0446\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0432\u0430\u0448\u0438 \u043E\u0431\u0440\u0430\u0437\u0446\u044B \u0432 \u0442\u0435\u043D\u0437\u043E\u0440\u044B PyTorch \u0438 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u044F\u0435\u0442 \u0438\u0445 (\u0440\u0435\u043A\u0443\u0440\u0441\u0438\u0432\u043D\u043E, \u0435\u0441\u043B\u0438 \u0432\u0430\u0448\u0438\u043C\u0438 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C\u0438 \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u0441\u043F\u0438\u0441\u043A\u0438, \u043A\u043E\u0440\u0442\u0435\u0436\u0438 \u0438\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u0438). \u0412 \u043D\u0430\u0448\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u044D\u0442\u043E \u043D\u0435\u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E, \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C, \u043D\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u043C\u0435\u0442\u044C \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u043E\u0433\u043E \u0440\u0430\u0437\u043C\u0435\u0440\u0430. \u041C\u044B \u043D\u0430\u043C\u0435\u0440\u0435\u043D\u043D\u043E \u043D\u0435 \u0441\u0442\u0430\u043B\u0438 \u0434\u0435\u043B\u0430\u0442\u044C \u043F\u044D\u0434\u0434\u0438\u043D\u0433, \u0447\u0442\u043E\u0431\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0435\u0433\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u043E \u043C\u0435\u0440\u0435 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0432 \u043A\u0430\u0436\u0434\u043E\u043C \u043F\u0430\u043A\u0435\u0442\u0435 \u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044C \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0431\u043E\u043B\u044C\u0448\u0438\u043C \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u043E\u043C \u043E\u0442\u0441\u0442\u0443\u043F\u043E\u0432. \u042D\u0442\u043E \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u0435, \u043D\u043E \u0443\u0447\u0442\u0438\u0442\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0442\u0440\u0435\u043D\u0438\u0440\u0443\u0435\u0442\u0435\u0441\u044C \u043D\u0430 TPU, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0432\u044B\u0437\u0432\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B \u2014 TPU \u043F\u0440\u0435\u0434\u043F\u043E\u0447\u0438\u0442\u0430\u044E\u0442 \u0444\u0438\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0444\u043E\u0440\u043C\u044B, \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u0434\u043B\u044F \u044D\u0442\u043E\u0433\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D \u043F\u044D\u0434\u0434\u0438\u043D\u0433.")},l(E){l=i(E,"P",{});var D=c(l);u=n(D,"\u0424\u0443\u043D\u043A\u0446\u0438\u044F, \u043E\u0442\u0432\u0435\u0447\u0430\u044E\u0449\u0430\u044F \u0437\u0430 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u043D\u0443\u0442\u0440\u0438 \u0431\u0430\u0442\u0447\u0430, \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u0442\u0441\u044F "),o=i(D,"EM",{});var P=c(o);h=n(P,"collate function"),P.forEach(t),j=n(D," (\u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F). \u042D\u0442\u043E \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u043F\u0440\u0438 \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u0438 "),d=i(D,"CODE",{});var C=c(d);b=n(C,"DataLoader"),C.forEach(t),x=n(D,", \u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u044D\u0442\u043E \u0444\u0443\u043D\u043A\u0446\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0432\u0430\u0448\u0438 \u043E\u0431\u0440\u0430\u0437\u0446\u044B \u0432 \u0442\u0435\u043D\u0437\u043E\u0440\u044B PyTorch \u0438 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u044F\u0435\u0442 \u0438\u0445 (\u0440\u0435\u043A\u0443\u0440\u0441\u0438\u0432\u043D\u043E, \u0435\u0441\u043B\u0438 \u0432\u0430\u0448\u0438\u043C\u0438 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C\u0438 \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u0441\u043F\u0438\u0441\u043A\u0438, \u043A\u043E\u0440\u0442\u0435\u0436\u0438 \u0438\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u0438). \u0412 \u043D\u0430\u0448\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u044D\u0442\u043E \u043D\u0435\u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E, \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C, \u043D\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u043C\u0435\u0442\u044C \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u043E\u0433\u043E \u0440\u0430\u0437\u043C\u0435\u0440\u0430. \u041C\u044B \u043D\u0430\u043C\u0435\u0440\u0435\u043D\u043D\u043E \u043D\u0435 \u0441\u0442\u0430\u043B\u0438 \u0434\u0435\u043B\u0430\u0442\u044C \u043F\u044D\u0434\u0434\u0438\u043D\u0433, \u0447\u0442\u043E\u0431\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0435\u0433\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u043E \u043C\u0435\u0440\u0435 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0432 \u043A\u0430\u0436\u0434\u043E\u043C \u043F\u0430\u043A\u0435\u0442\u0435 \u0438 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044C \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0431\u043E\u043B\u044C\u0448\u0438\u043C \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u043E\u043C \u043E\u0442\u0441\u0442\u0443\u043F\u043E\u0432. \u042D\u0442\u043E \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u0435, \u043D\u043E \u0443\u0447\u0442\u0438\u0442\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0442\u0440\u0435\u043D\u0438\u0440\u0443\u0435\u0442\u0435\u0441\u044C \u043D\u0430 TPU, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0432\u044B\u0437\u0432\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B \u2014 TPU \u043F\u0440\u0435\u0434\u043F\u043E\u0447\u0438\u0442\u0430\u044E\u0442 \u0444\u0438\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0444\u043E\u0440\u043C\u044B, \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u0434\u043B\u044F \u044D\u0442\u043E\u0433\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D \u043F\u044D\u0434\u0434\u0438\u043D\u0433."),D.forEach(t)},m(E,D){f(E,l,D),e(l,u),e(l,o),e(o,h),e(l,j),e(l,d),e(d,b),e(l,x)},d(E){E&&t(l)}}}function lc(v){let l,u;return l=new T({props:{code:`from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors="tf")`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function rc(v){let l,u;return l=new T({props:{code:`from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function oc(v){let l,u,o,h,j;return l=new T({props:{code:`{'attention_mask': torch.Size([8, 67]),
 'input_ids': torch.Size([8, 67]),
 'token_type_ids': torch.Size([8, 67]),
 'labels': torch.Size([8])}`,highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: torch.Size([<span class="hljs-number">8</span>])}`}}),{c(){g(l.$$.fragment),u=_(),o=p("p"),h=a("\u0412\u044B\u0433\u043B\u044F\u0434\u0438\u0442 \u043D\u0435\u043F\u043B\u043E\u0445\u043E! \u0422\u0435\u043F\u0435\u0440\u044C \u043C\u044B \u043F\u0440\u0438\u0448\u043B\u0438 \u043E\u0442 \u043E\u0431\u044B\u0447\u043D\u043E\u0433\u043E \u0442\u0435\u043A\u0441\u0442\u0430 \u043A \u0431\u0430\u0442\u0447\u0443, \u0441 \u043A\u043E\u0442\u043E\u0440\u044B\u043C \u043C\u043E\u0436\u0435\u0442 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043D\u0430\u0448\u0430 \u043C\u043E\u0434\u0435\u043B\u044C. \u041C\u043E\u0436\u0435\u043C \u043F\u0440\u0438\u0441\u0442\u0443\u043F\u0438\u0442\u044C \u043A fine-tuning!")},l(d){w(l.$$.fragment,d),u=m(d),o=i(d,"P",{});var b=c(o);h=n(b,"\u0412\u044B\u0433\u043B\u044F\u0434\u0438\u0442 \u043D\u0435\u043F\u043B\u043E\u0445\u043E! \u0422\u0435\u043F\u0435\u0440\u044C \u043C\u044B \u043F\u0440\u0438\u0448\u043B\u0438 \u043E\u0442 \u043E\u0431\u044B\u0447\u043D\u043E\u0433\u043E \u0442\u0435\u043A\u0441\u0442\u0430 \u043A \u0431\u0430\u0442\u0447\u0443, \u0441 \u043A\u043E\u0442\u043E\u0440\u044B\u043C \u043C\u043E\u0436\u0435\u0442 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043D\u0430\u0448\u0430 \u043C\u043E\u0434\u0435\u043B\u044C. \u041C\u043E\u0436\u0435\u043C \u043F\u0440\u0438\u0441\u0442\u0443\u043F\u0438\u0442\u044C \u043A fine-tuning!"),b.forEach(t)},m(d,b){y(l,d,b),f(d,u,b),f(d,o,b),e(o,h),j=!0},i(d){j||($(l.$$.fragment,d),j=!0)},o(d){k(l.$$.fragment,d),j=!1},d(d){q(l,d),d&&t(u),d&&t(o)}}}function pc(v){let l,u;return l=new T({props:{code:`{'attention_mask': TensorShape([8, 67]),
 'input_ids': TensorShape([8, 67]),
 'token_type_ids': TensorShape([8, 67]),
 'labels': TensorShape([8])}`,highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: TensorShape([<span class="hljs-number">8</span>])}`}}),{c(){g(l.$$.fragment)},l(o){w(l.$$.fragment,o)},m(o,h){y(l,o,h),u=!0},i(o){u||($(l.$$.fragment,o),u=!0)},o(o){k(l.$$.fragment,o),u=!1},d(o){q(l,o)}}}function ic(v){let l,u,o,h,j;return{c(){l=p("p"),u=a("\u270F\uFE0F "),o=p("strong"),h=a("\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),j=a(" \u041F\u043E\u0432\u0442\u043E\u0440\u0438\u0442\u0435 \u044D\u0442\u0430\u043F \u043F\u0440\u0435\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433\u0430 \u0434\u043B\u044F \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 GLUE SST-2. \u041E\u043D \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u043E\u0442\u043B\u0438\u0447\u0430\u0435\u0442\u0441\u044F, \u0442\u0430\u043A \u043A\u0430\u043A \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 \u043E\u0442\u0434\u0435\u043B\u044C\u043D\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0430 \u043D\u0435 \u043F\u0430\u0440, \u043D\u043E \u0432 \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u043E\u043C \u044D\u0442\u043E \u0442\u043E \u0436\u0435 \u0441\u0430\u043C\u043E\u0435, \u0447\u0442\u043E \u043C\u044B \u0441\u0434\u0435\u043B\u0430\u043B\u0438. \u0414\u043B\u044F \u0431\u043E\u043B\u0435\u0435 \u0441\u043B\u043E\u0436\u043D\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435 \u043D\u0430\u043F\u0438\u0441\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0441 \u043B\u044E\u0431\u043E\u0439 \u0438\u0437 \u0437\u0430\u0434\u0430\u0447 GLUE.")},l(d){l=i(d,"P",{});var b=c(l);u=n(b,"\u270F\uFE0F "),o=i(b,"STRONG",{});var x=c(o);h=n(x,"\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),x.forEach(t),j=n(b," \u041F\u043E\u0432\u0442\u043E\u0440\u0438\u0442\u0435 \u044D\u0442\u0430\u043F \u043F\u0440\u0435\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433\u0430 \u0434\u043B\u044F \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 GLUE SST-2. \u041E\u043D \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u043E\u0442\u043B\u0438\u0447\u0430\u0435\u0442\u0441\u044F, \u0442\u0430\u043A \u043A\u0430\u043A \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 \u043E\u0442\u0434\u0435\u043B\u044C\u043D\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0430 \u043D\u0435 \u043F\u0430\u0440, \u043D\u043E \u0432 \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u043E\u043C \u044D\u0442\u043E \u0442\u043E \u0436\u0435 \u0441\u0430\u043C\u043E\u0435, \u0447\u0442\u043E \u043C\u044B \u0441\u0434\u0435\u043B\u0430\u043B\u0438. \u0414\u043B\u044F \u0431\u043E\u043B\u0435\u0435 \u0441\u043B\u043E\u0436\u043D\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435 \u043D\u0430\u043F\u0438\u0441\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0441 \u043B\u044E\u0431\u043E\u0439 \u0438\u0437 \u0437\u0430\u0434\u0430\u0447 GLUE."),b.forEach(t)},m(d,b){f(d,l,b),e(l,u),e(l,o),e(o,h),e(l,j)},d(d){d&&t(l)}}}function Ri(v){let l,u,o,h,j,d,b,x,E,D,P,C,N,B,ss,V,ys,fs,qs,J;return V=new T({props:{code:`tf_train_dataset = tokenized_datasets["train"].to_tf_dataset(
    columns=["attention_mask", "input_ids", "token_type_ids"],
    label_cols=["labels"],
    shuffle=True,
    collate_fn=data_collator,
    batch_size=8,
)

tf_validation_dataset = tokenized_datasets["validation"].to_tf_dataset(
    columns=["attention_mask", "input_ids", "token_type_ids"],
    label_cols=["labels"],
    shuffle=False,
    collate_fn=data_collator,
    batch_size=8,
)`,highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)

tf_validation_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">False</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)`}}),{c(){l=p("p"),u=a("\u0422\u0435\u043F\u0435\u0440\u044C, \u043A\u043E\u0433\u0434\u0430 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F \u0434\u0430\u043D\u043D\u044B\u0445, \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0441\u043E\u0431\u0440\u0430\u0442\u044C \u0438\u0445 \u0432\u043C\u0435\u0441\u0442\u0435. \u041C\u044B \u043C\u043E\u0433\u043B\u0438 \u0431\u044B \u0432\u0440\u0443\u0447\u043D\u0443\u044E \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u043F\u0430\u043A\u0435\u0442\u044B \u0438 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u043A \u043D\u0438\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E, \u043D\u043E \u044D\u0442\u043E \u043D\u0435\u0443\u0434\u043E\u0431\u043D\u043E \u0438 \u043D\u0435 \u043E\u0447\u0435\u043D\u044C \u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E. \u0412\u043C\u0435\u0441\u0442\u043E \u044D\u0442\u043E\u0433\u043E \u0435\u0441\u0442\u044C \u043F\u0440\u043E\u0441\u0442\u043E\u0439 \u043C\u0435\u0442\u043E\u0434, \u043F\u0440\u0435\u0434\u043B\u0430\u0433\u0430\u044E\u0449\u0438\u0439 \u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E\u0435 \u0440\u0435\u0448\u0435\u043D\u0438\u0435 \u044D\u0442\u043E\u0439 \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B: "),o=p("code"),h=a("to_tf_dataset()"),j=a(". \u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043E\u0431\u0435\u0440\u043D\u0435\u0442 "),d=p("code"),b=a("tf.data.Dataset"),x=a(" \u0432\u043E\u043A\u0440\u0443\u0433 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u0444\u0443\u043D\u043A\u0446\u0438\u0435\u0439 \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F. "),E=p("code"),D=a("tf.data.Dataset"),P=a(" \u2014 \u044D\u0442\u043E \u0441\u043E\u0431\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0439 \u0444\u043E\u0440\u043C\u0430\u0442 TensorFlow, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 Keras \u043C\u043E\u0436\u0435\u0442 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0434\u043B\u044F "),C=p("code"),N=a("model.fit()"),B=a(", \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u044D\u0442\u043E\u0442 \u043C\u0435\u0442\u043E\u0434 \u043D\u0435\u043C\u0435\u0434\u043B\u0435\u043D\u043D\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u{1F917} \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442, \u0433\u043E\u0442\u043E\u0432\u044B\u0439 \u0434\u043B\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u044D\u0442\u043E \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438 \u0441 \u043D\u0430\u0448\u0438\u043C \u043D\u0430\u0431\u043E\u0440\u043E\u043C \u0434\u0430\u043D\u043D\u044B\u0445!"),ss=_(),g(V.$$.fragment),ys=_(),fs=p("p"),qs=a("\u042D\u0442\u043E \u0432\u0441\u0435! \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u044D\u0442\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u0432 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0439 \u043B\u0435\u043A\u0446\u0438\u0438, \u0433\u0434\u0435 \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u0431\u0443\u0434\u0435\u0442 \u043E\u0447\u0435\u043D\u044C \u043F\u0440\u043E\u0441\u0442\u044B\u043C \u043F\u043E\u0441\u043B\u0435 \u0440\u0443\u0442\u0438\u043D\u043D\u043E\u0439 \u043F\u0440\u043E\u0446\u0435\u0434\u0443\u0440\u0430 \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438.")},l(S){l=i(S,"P",{});var O=c(l);u=n(O,"\u0422\u0435\u043F\u0435\u0440\u044C, \u043A\u043E\u0433\u0434\u0430 \u0443 \u043D\u0430\u0441 \u0435\u0441\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F \u0434\u0430\u043D\u043D\u044B\u0445, \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0441\u043E\u0431\u0440\u0430\u0442\u044C \u0438\u0445 \u0432\u043C\u0435\u0441\u0442\u0435. \u041C\u044B \u043C\u043E\u0433\u043B\u0438 \u0431\u044B \u0432\u0440\u0443\u0447\u043D\u0443\u044E \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u043F\u0430\u043A\u0435\u0442\u044B \u0438 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u043A \u043D\u0438\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E, \u043D\u043E \u044D\u0442\u043E \u043D\u0435\u0443\u0434\u043E\u0431\u043D\u043E \u0438 \u043D\u0435 \u043E\u0447\u0435\u043D\u044C \u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E. \u0412\u043C\u0435\u0441\u0442\u043E \u044D\u0442\u043E\u0433\u043E \u0435\u0441\u0442\u044C \u043F\u0440\u043E\u0441\u0442\u043E\u0439 \u043C\u0435\u0442\u043E\u0434, \u043F\u0440\u0435\u0434\u043B\u0430\u0433\u0430\u044E\u0449\u0438\u0439 \u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E\u0435 \u0440\u0435\u0448\u0435\u043D\u0438\u0435 \u044D\u0442\u043E\u0439 \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B: "),o=i(O,"CODE",{});var De=c(o);h=n(De,"to_tf_dataset()"),De.forEach(t),j=n(O,". \u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043E\u0431\u0435\u0440\u043D\u0435\u0442 "),d=i(O,"CODE",{});var Ce=c(d);b=n(Ce,"tf.data.Dataset"),Ce.forEach(t),x=n(O," \u0432\u043E\u043A\u0440\u0443\u0433 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u0444\u0443\u043D\u043A\u0446\u0438\u0435\u0439 \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F. "),E=i(O,"CODE",{});var Us=c(E);D=n(Us,"tf.data.Dataset"),Us.forEach(t),P=n(O," \u2014 \u044D\u0442\u043E \u0441\u043E\u0431\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0439 \u0444\u043E\u0440\u043C\u0430\u0442 TensorFlow, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 Keras \u043C\u043E\u0436\u0435\u0442 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0434\u043B\u044F "),C=i(O,"CODE",{});var K=c(C);N=n(K,"model.fit()"),K.forEach(t),B=n(O,", \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u044D\u0442\u043E\u0442 \u043C\u0435\u0442\u043E\u0434 \u043D\u0435\u043C\u0435\u0434\u043B\u0435\u043D\u043D\u043E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u{1F917} \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442, \u0433\u043E\u0442\u043E\u0432\u044B\u0439 \u0434\u043B\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u044D\u0442\u043E \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438 \u0441 \u043D\u0430\u0448\u0438\u043C \u043D\u0430\u0431\u043E\u0440\u043E\u043C \u0434\u0430\u043D\u043D\u044B\u0445!"),O.forEach(t),ss=m(S),w(V.$$.fragment,S),ys=m(S),fs=i(S,"P",{});var es=c(fs);qs=n(es,"\u042D\u0442\u043E \u0432\u0441\u0435! \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u044D\u0442\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u0432 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0439 \u043B\u0435\u043A\u0446\u0438\u0438, \u0433\u0434\u0435 \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u0431\u0443\u0434\u0435\u0442 \u043E\u0447\u0435\u043D\u044C \u043F\u0440\u043E\u0441\u0442\u044B\u043C \u043F\u043E\u0441\u043B\u0435 \u0440\u0443\u0442\u0438\u043D\u043D\u043E\u0439 \u043F\u0440\u043E\u0446\u0435\u0434\u0443\u0440\u0430 \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438."),es.forEach(t)},m(S,O){f(S,l,O),e(l,u),e(l,o),e(o,h),e(l,j),e(l,d),e(d,b),e(l,x),e(l,E),e(E,D),e(l,P),e(l,C),e(C,N),e(l,B),f(S,ss,O),y(V,S,O),f(S,ys,O),f(S,fs,O),e(fs,qs),J=!0},i(S){J||($(V.$$.fragment,S),J=!0)},o(S){k(V.$$.fragment,S),J=!1},d(S){S&&t(l),S&&t(ss),q(V,S),S&&t(ys),S&&t(fs)}}}function cc(v){let l,u,o,h,j,d,b,x,E,D,P,C,N,B,ss,V,ys,fs,qs,J,S,O,De,Ce,Us,K,es,nt,Gs,An,lt,Nn,ka,ts,as,ze,Y,Mn,Is,Fn,Rn,Vs,Ln,Hn,Js,Wn,Bn,ja,Pe,Un,Ea,Ks,xa,Ys,va,L,Gn,rt,In,Vn,ot,Jn,Kn,pt,Yn,Zn,it,Qn,Xn,ct,sl,el,ga,us,tl,ft,al,nl,ut,ll,rl,wa,Ds,ol,_t,pl,il,ya,Zs,qa,Qs,Da,_s,cl,mt,fl,ul,dt,_l,ml,Ca,Xs,za,se,Pa,M,dl,ht,hl,bl,bt,$l,kl,$t,jl,El,kt,xl,vl,jt,gl,wl,Et,yl,ql,xt,Dl,Cl,Ta,Cs,Sa,ee,zl,Oa,ns,ls,Te,zs,Pl,Se,Tl,Sl,Aa,te,Na,Oe,Ol,Ma,ae,Fa,ne,Ra,U,Al,vt,Nl,Ml,gt,Fl,Rl,Ae,Ll,Hl,wt,Wl,Bl,La,Ps,Ha,Ts,Ul,yt,Gl,Il,Wa,le,Ba,Ne,Vl,Ua,re,Ga,vs,Jl,qt,Kl,Yl,Dt,Zl,Ia,oe,Va,G,Ql,Ct,Xl,sr,zt,er,tr,Pt,ar,nr,Tt,lr,rr,Ja,Ss,or,St,pr,ir,Ka,ms,cr,Me,fr,ur,Ot,_r,mr,Ya,Fe,dr,Za,Os,hr,At,br,$r,Qa,ds,kr,Re,jr,Er,Le,xr,vr,Xa,pe,sn,I,gr,Nt,wr,yr,Mt,qr,Dr,Ft,Cr,zr,ie,Pr,Tr,en,hs,Sr,ce,Rt,Or,Ar,Lt,Nr,Mr,tn,fe,an,A,Fr,Ht,Rr,Lr,Wt,Hr,Wr,Bt,Br,Ur,Ut,Gr,Ir,Gt,Vr,Jr,It,Kr,Yr,Vt,Zr,Qr,Jt,Xr,so,ue,eo,to,nn,As,ao,Kt,no,lo,ln,bs,ro,Yt,oo,po,Zt,io,co,rn,_e,on,He,fo,pn,me,cn,$s,uo,Qt,_o,mo,Xt,ho,bo,fn,H,$o,sa,ko,jo,ea,Eo,xo,ta,vo,go,aa,wo,yo,na,qo,Do,un,ks,Co,la,zo,Po,ra,To,So,_n,gs,Ns,oa,de,Oo,pa,Ao,mn,he,dn,We,Ms,No,ia,Mo,Fo,hn,rs,os,Be,Z,Ro,ca,Lo,Ho,fa,Wo,Bo,ua,Uo,Go,bn,be,$n,$e,kn,Ue,Io,jn,Fs,Vo,_a,Jo,Ko,En,ke,xn,ps,is,Ge,Rs,vn,Ie,gn;o=new Ii({props:{fw:v[0]}});const Zo=[Ji,Vi],je=[];function Qo(s,r){return s[0]==="pt"?0:1}x=Qo(v),E=je[x]=Zo[x](v);const Xo=[Yi,Ki],Ee=[];function sp(s,r){return s[0]==="pt"?0:1}P=sp(v),C=Ee[P]=Xo[P](v),Gs=new Fi({});const ep=[Qi,Zi],xe=[];function tp(s,r){return s[0]==="pt"?0:1}ts=tp(v),as=xe[ts]=ep[ts](v),Ks=new T({props:{code:`from datasets import load_dataset

raw_datasets = load_dataset("glue", "mrpc")
raw_datasets`,highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
raw_datasets`}}),Ys=new T({props:{code:`DatasetDict({
    train: Dataset({
        features: ['sentence1', 'sentence2', 'label', 'idx'],
        num_rows: 3668
    })
    validation: Dataset({
        features: ['sentence1', 'sentence2', 'label', 'idx'],
        num_rows: 408
    })
    test: Dataset({
        features: ['sentence1', 'sentence2', 'label', 'idx'],
        num_rows: 1725
    })
})`,highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`}}),Zs=new T({props:{code:`raw_train_dataset = raw_datasets["train"]
raw_train_dataset[0]`,highlighted:`raw_train_dataset = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>]
raw_train_dataset[<span class="hljs-number">0</span>]`}}),Qs=new T({props:{code:`{'idx': 0,
 'label': 1,
 'sentence1': 'Amrozi accused his brother , whom he called " the witness " , of deliberately distorting his evidence .',
 'sentence2': 'Referring to him as only " the witness " , Amrozi accused his brother of deliberately distorting his evidence .'}`,highlighted:`{<span class="hljs-string">&#x27;idx&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">1</span>,
 <span class="hljs-string">&#x27;sentence1&#x27;</span>: <span class="hljs-string">&#x27;Amrozi accused his brother , whom he called &quot; the witness &quot; , of deliberately distorting his evidence .&#x27;</span>,
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: <span class="hljs-string">&#x27;Referring to him as only &quot; the witness &quot; , Amrozi accused his brother of deliberately distorting his evidence .&#x27;</span>}`}}),Xs=new T({props:{code:"raw_train_dataset.features",highlighted:"raw_train_dataset.features"}}),se=new T({props:{code:`{'sentence1': Value(dtype='string', id=None),
 'sentence2': Value(dtype='string', id=None),
 'label': ClassLabel(num_classes=2, names=['not_equivalent', 'equivalent'], names_file=None, id=None),
 'idx': Value(dtype='int32', id=None)}`,highlighted:`{<span class="hljs-string">&#x27;sentence1&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label&#x27;</span>: ClassLabel(num_classes=<span class="hljs-number">2</span>, names=[<span class="hljs-string">&#x27;not_equivalent&#x27;</span>, <span class="hljs-string">&#x27;equivalent&#x27;</span>], names_file=<span class="hljs-literal">None</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;idx&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;int32&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}`}}),Cs=new Yo({props:{$$slots:{default:[Xi]},$$scope:{ctx:v}}});const ap=[ec,sc],ve=[];function np(s,r){return s[0]==="pt"?0:1}ns=np(v),ls=ve[ns]=ap[ns](v),te=new T({props:{code:`from transformers import AutoTokenizer

checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
tokenized_sentences_1 = tokenizer(raw_datasets["train"]["sentence1"])
tokenized_sentences_2 = tokenizer(raw_datasets["train"]["sentence2"])`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
tokenized_sentences_1 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>])
tokenized_sentences_2 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>])`}}),ae=new T({props:{code:`inputs = tokenizer("This is the first sentence.", "This is the second one.")
inputs`,highlighted:`inputs = tokenizer(<span class="hljs-string">&quot;This is the first sentence.&quot;</span>, <span class="hljs-string">&quot;This is the second one.&quot;</span>)
inputs`}}),ne=new T({props:{code:`{ 
  'input_ids': [101, 2023, 2003, 1996, 2034, 6251, 1012, 102, 2023, 2003, 1996, 2117, 2028, 1012, 102],
  'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1],
  'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}`,highlighted:`{ 
  <span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2034</span>, <span class="hljs-number">6251</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2117</span>, <span class="hljs-number">2028</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
  <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
  <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]
}`}}),Ps=new Yo({props:{$$slots:{default:[tc]},$$scope:{ctx:v}}}),le=new T({props:{code:'tokenizer.convert_ids_to_tokens(inputs["input_ids"])',highlighted:'tokenizer.convert_ids_to_tokens(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])'}}),re=new T({props:{code:"['[CLS]', 'this', 'is', 'the', 'first', 'sentence', '.', '[SEP]', 'this', 'is', 'the', 'second', 'one', '.', '[SEP]']",highlighted:'[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]'}}),oe=new T({props:{code:`['[CLS]', 'this', 'is', 'the', 'first', 'sentence', '.', '[SEP]', 'this', 'is', 'the', 'second', 'one', '.', '[SEP]']
[      0,      0,    0,     0,       0,          0,   0,       0,      1,    1,     1,        1,     1,   1,       1]`,highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]
[      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,     <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,          <span class="hljs-number">0</span>,   <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,      <span class="hljs-number">1</span>,    <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,        <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,   <span class="hljs-number">1</span>,       <span class="hljs-number">1</span>]`}}),pe=new T({props:{code:`tokenized_dataset = tokenizer(
    raw_datasets["train"]["sentence1"],
    raw_datasets["train"]["sentence2"],
    padding=True,
    truncation=True,
)`,highlighted:`tokenized_dataset = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>],
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>],
    padding=<span class="hljs-literal">True</span>,
    truncation=<span class="hljs-literal">True</span>,
)`}}),fe=new T({props:{code:`def tokenize_function(example):
    return tokenizer(example["sentence1"], example["sentence2"], truncation=True)`,highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)`}}),_e=new T({props:{code:`tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)
tokenized_datasets`,highlighted:`tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
tokenized_datasets`}}),me=new T({props:{code:`DatasetDict({
    train: Dataset({
        features: ['attention_mask', 'idx', 'input_ids', 'label', 'sentence1', 'sentence2', 'token_type_ids'],
        num_rows: 3668
    })
    validation: Dataset({
        features: ['attention_mask', 'idx', 'input_ids', 'label', 'sentence1', 'sentence2', 'token_type_ids'],
        num_rows: 408
    })
    test: Dataset({
        features: ['attention_mask', 'idx', 'input_ids', 'label', 'sentence1', 'sentence2', 'token_type_ids'],
        num_rows: 1725
    })
})`,highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`}}),de=new Fi({}),he=new $a({props:{id:"7q5NyFT8REg"}});function lp(s,r){return s[0]==="pt"?nc:ac}let wn=lp(v),ws=wn(v);const rp=[rc,lc],ge=[];function op(s,r){return s[0]==="pt"?0:1}rs=op(v),os=ge[rs]=rp[rs](v),be=new T({props:{code:`samples = tokenized_datasets["train"][:8]
samples = {k: v for k, v in samples.items() if k not in ["idx", "sentence1", "sentence2"]}
[len(x) for x in samples["input_ids"]]`,highlighted:`samples = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">8</span>]
samples = {k: v <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> samples.items() <span class="hljs-keyword">if</span> k <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> [<span class="hljs-string">&quot;idx&quot;</span>, <span class="hljs-string">&quot;sentence1&quot;</span>, <span class="hljs-string">&quot;sentence2&quot;</span>]}
[<span class="hljs-built_in">len</span>(x) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> samples[<span class="hljs-string">&quot;input_ids&quot;</span>]]`}}),$e=new T({props:{code:"[50, 59, 47, 67, 59, 50, 62, 32]",highlighted:'[<span class="hljs-number">50</span>, <span class="hljs-number">59</span>, <span class="hljs-number">47</span>, <span class="hljs-number">67</span>, <span class="hljs-number">59</span>, <span class="hljs-number">50</span>, <span class="hljs-number">62</span>, <span class="hljs-number">32</span>]'}}),ke=new T({props:{code:`batch = data_collator(samples)
{k: v.shape for k, v in batch.items()}`,highlighted:`batch = data_collator(samples)
{k: v.shape <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}`}});const pp=[pc,oc],we=[];function ip(s,r){return s[0]==="tf"?0:1}ps=ip(v),is=we[ps]=pp[ps](v),Rs=new Yo({props:{$$slots:{default:[ic]},$$scope:{ctx:v}}});let R=v[0]==="tf"&&Ri();return{c(){l=p("meta"),u=_(),g(o.$$.fragment),h=_(),j=p("h1"),d=a("\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u043D\u043D\u044B\u0445"),b=_(),E.c(),D=_(),C.c(),N=_(),B=p("p"),ss=a("\u041E\u0431\u0443\u0447\u0435\u043D\u0438\u0435 \u0432\u0441\u0435\u0433\u043E \u043B\u0438\u0448\u044C \u043D\u0430 \u0434\u0432\u0443\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445, \u043A\u043E\u043D\u0435\u0447\u043D\u043E, \u043D\u0435 \u0434\u0430\u0441\u0442 \u0445\u043E\u0440\u043E\u0448\u0435\u0433\u043E \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u0430. \u0427\u0442\u043E\u0431\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0431\u043E\u043B\u0435\u0435 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0435 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u044B, \u0432\u0430\u043C \u0441\u043B\u0435\u0434\u0443\u0435\u0442 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0431"),V=p("em"),ys=a("\u043E"),fs=a("\u043B\u044C\u0448\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442."),qs=_(),J=p("p"),S=a("\u0412 \u0434\u0430\u043D\u043D\u043E\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435 \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0432 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u0430 MRPC (Microsoft Research Paraphrase Corpus) dataset, \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u043D\u044B\u0439 \u0432 "),O=p("a"),De=a("\u0441\u0442\u0430\u0442\u044C\u0435"),Ce=a(" \u0430\u0432\u0442\u043E\u0440\u0430\u043C\u0438 William B. Dolan \u0438 Chris Brockett. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 5801 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0441 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u043C \u0438\u043C \u043B\u0435\u0439\u0431\u043B\u043E\u043C: \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043B\u0438 \u043F\u0430\u0440\u0430 \u043F\u0440\u0435\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u043F\u0430\u0440\u0430\u0444\u0440\u0430\u0437\u0430\u043C\u0438 \u0438\u043B\u0438 \u043D\u0435\u0442 (\u0442.\u0435. \u0438\u0434\u0435\u0442 \u043B\u0438 \u0440\u0435\u0447\u044C \u0432 \u043E\u0431\u043E\u0438\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445 \u043E\u0431 \u043E\u0434\u043D\u043E\u043C \u0438 \u0442\u043E\u043C \u0436\u0435). \u041C\u044B \u0432\u044B\u0431\u0440\u0430\u043B\u0438 \u0438\u043C\u0435\u043D\u043D\u043E \u044D\u0442\u043E\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043B\u044F \u044D\u0442\u043E\u0439 \u0433\u043B\u0430\u0432\u044B \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u043E\u043D \u043D\u0435\u0431\u043E\u043B\u044C\u0448\u043E\u0439: \u0441 \u043D\u0438\u043C \u043B\u0435\u0433\u043A\u043E \u044D\u043A\u0441\u043F\u0435\u0440\u0438\u043C\u0435\u043D\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0432 \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0435 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F."),Us=_(),K=p("h3"),es=p("a"),nt=p("span"),g(Gs.$$.fragment),An=_(),lt=p("span"),Nn=a("\u0417\u0430\u0433\u0440\u0443\u0437\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 Hub"),ka=_(),as.c(),ze=_(),Y=p("p"),Mn=a("Hub \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435 \u0442\u043E\u043B\u044C\u043A\u043E \u043C\u043E\u0434\u0435\u043B\u0438, \u0442\u0430\u043C \u0442\u0430\u043A\u0436\u0435 \u0440\u0430\u0441\u043F\u043E\u043B\u043E\u0436\u0435\u043D\u043E \u043C\u043D\u043E\u0436\u0435\u0441\u0442\u0432\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043E\u0432 \u043D\u0430 \u0440\u0430\u0437\u043B\u0438\u0447\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u0430\u0445. \u0412\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0435\u0442\u044C \u043D\u0430 \u043D\u0438\u0445 "),Is=p("a"),Fn=a("\u0442\u0443\u0442"),Rn=a(", \u0430 \u0442\u0430\u043A\u0436\u0435 \u043C\u044B \u0440\u0435\u043A\u043E\u043C\u0435\u043D\u0434\u0443\u0435\u043C \u043F\u043E\u043F\u0440\u043E\u0432\u0430\u0442\u044C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u043E\u0432\u044B\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043F\u043E\u0441\u043B\u0435 \u0442\u043E\u0433\u043E, \u043A\u0430\u043A \u0432\u044B \u0438\u0437\u0443\u0447\u0438\u0442\u0435 \u0442\u0435\u043A\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043B (\u0441\u043C. \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u044E "),Vs=p("a"),Ln=a("\u0437\u0434\u0435\u0441\u044C"),Hn=a("). \u041D\u043E \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u0435\u0440\u043D\u0435\u043C\u0441\u044F \u043A \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 MRPC! \u042D\u0442\u043E \u043E\u0434\u0438\u043D \u0438\u0437 10 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043E\u0432 \u0438\u0437 \u0441\u043E\u0441\u0442\u0430\u0432\u0430 "),Js=p("a"),Wn=a("GLUE"),Bn=a(", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u0442\u0435\u0441\u0442\u043E\u043C \u0434\u043B\u044F \u043F\u0440\u043E\u0438\u0437\u0432\u043E\u0434\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043C\u043E\u0434\u0435\u043B\u0435\u0439 \u043C\u0430\u0448\u0438\u043D\u043D\u043E\u0433\u043E \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0446\u0438\u0438 \u0442\u0435\u043A\u0441\u0442\u0430."),ja=_(),Pe=p("p"),Un=a("\u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043E\u0447\u0435\u043D\u044C \u043F\u0440\u043E\u0441\u0442\u0443\u044E \u043A\u043E\u043C\u0430\u043D\u0434\u0443 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0438 \u043A\u044D\u0448\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 Hub. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),Ea=_(),g(Ks.$$.fragment),xa=_(),g(Ys.$$.fragment),va=_(),L=p("p"),Gn=a("\u041A\u0430\u043A \u043C\u043E\u0436\u043D\u043E \u0437\u0430\u043C\u0435\u0442\u0438\u0442\u044C, \u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043B\u0438 \u043E\u0431\u044A\u0435\u043A\u0442 \u0442\u0438\u043F\u0430 "),rt=p("code"),In=a("DatasetDict"),Vn=a(", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443, \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443 \u0438 \u0442\u0435\u0441\u0442\u043E\u0432\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443. \u041A\u0430\u0436\u0434\u0430\u044F \u0438\u0437 \u043D\u0438\u0445 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043A\u043E\u043B\u043E\u043D\u043E\u043A ("),ot=p("code"),Jn=a("sentence1"),Kn=a(", "),pt=p("code"),Yn=a("sentence2"),Zn=a(", "),it=p("code"),Qn=a("label"),Xn=a(", \u0438 "),ct=p("code"),sl=a("idx"),el=a(") \u0438 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0443\u044E \u0441 \u0447\u0438\u0441\u043B\u043E\u043C \u0441\u0442\u0440\u043E\u043A (\u0447\u0438\u0441\u043B\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432 \u043A\u0430\u0436\u0434\u043E\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0435): 3668 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438, 408 \u0432 \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u043E\u0439 \u0438 1725 \u0432 \u0442\u0435\u0441\u0442\u043E\u0432\u043E\u0439 ."),ga=_(),us=p("p"),tl=a("\u042D\u0442\u0430 \u043A\u043E\u043C\u0430\u043D\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0438 \u043A\u044D\u0448\u0438\u0440\u0443\u0435\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 (\u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u0432 "),ft=p("em"),al=a("~/.cache/huggingface/dataset"),nl=a("). \u0412\u0441\u043F\u043E\u043C\u043D\u0438\u043C \u0438\u0437 \u0433\u043B\u0430\u0432\u044B 2, \u0447\u0442\u043E \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0437\u043C\u0435\u043D\u0438\u0442\u044C \u043F\u0443\u0442\u044C \u043A \u043A\u044D\u0448\u0443 \u0438\u0437\u043C\u0435\u043D\u0438\u0432 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0443\u044E \u043E\u043A\u0440\u0443\u0436\u0435\u043D\u0438\u044F "),ut=p("code"),ll=a("HF_HOME"),rl=a("."),wa=_(),Ds=p("p"),ol=a("\u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u043C\u0438 \u0432 \u043E\u0431\u044A\u0435\u043A\u0442\u0435 "),_t=p("code"),pl=a("raw_datasets"),il=a(" \u043F\u0443\u0442\u0435\u043C \u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F, \u043A\u0430\u043A \u0432 \u0441\u043B\u043E\u0432\u0430\u0440\u0435:"),ya=_(),g(Zs.$$.fragment),qa=_(),g(Qs.$$.fragment),Da=_(),_s=p("p"),cl=a("\u041C\u043E\u0436\u043D\u043E \u0443\u0432\u0438\u0434\u0435\u0442\u044C, \u0447\u0442\u043E \u043B\u0435\u0439\u0431\u043B\u044B \u0443\u0436\u0435 \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u0446\u0435\u043B\u044B\u043C\u0438 \u0447\u0438\u0441\u043B\u0430\u043C\u0438 (integer), \u0438\u0445 \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043D\u0435 \u043D\u0443\u0436\u043D\u043E. \u0427\u0442\u043E\u0431\u044B \u0441\u043E\u043F\u043E\u0441\u043E\u0442\u0430\u0432\u0438\u0442\u044C \u0438\u043D\u0434\u0435\u043A\u0441 \u043A\u043B\u0430\u0441\u0441\u0430 \u0441 \u0435\u0433\u043E \u043D\u0430\u0437\u0432\u0430\u043D\u0438\u0435\u043C, \u043C\u043E\u0436\u043D\u043E \u0440\u0430\u0441\u043F\u0435\u0447\u0430\u0442\u0430\u0442\u044C \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u0435 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u043E\u0439 "),mt=p("code"),fl=a("features"),ul=a(" \u0443 "),dt=p("code"),_l=a("raw_train_dataset"),ml=a(":"),Ca=_(),g(Xs.$$.fragment),za=_(),g(se.$$.fragment),Pa=_(),M=p("p"),dl=a("\u041F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0430\u044F "),ht=p("code"),hl=a("label"),bl=a(" \u0442\u0438\u043F\u0430 "),bt=p("code"),$l=a("ClassLabel"),kl=a(" \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u043C\u0435\u043D\u0430\u043C \u0432 "),$t=p("em"),jl=a("names"),El=a(". "),kt=p("code"),xl=a("0"),vl=a(" \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 "),jt=p("code"),gl=a("not_equivalent"),wl=a(", "),Et=p("code"),yl=a("1"),ql=a(" \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 "),xt=p("code"),Dl=a("equivalent"),Cl=a("."),Ta=_(),g(Cs.$$.fragment),Sa=_(),ee=p("h3"),zl=a("\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"),Oa=_(),ls.c(),Te=_(),zs=p("p"),Pl=a("\u0427\u0442\u043E\u0431\u044B \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043D\u0430\u043C \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E \u043A\u043E\u043D\u0432\u0435\u0440\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0442\u0435\u043A\u0441\u0442 \u0432 \u0447\u0438\u0441\u043B\u0430, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u043E\u0436\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043C\u043E\u0434\u0435\u043B\u044C. \u041A\u0430\u043A \u0432\u044B \u0432\u0438\u0434\u0435\u043B\u0438 \u0432 "),Se=p("a"),Tl=a("\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u0435"),Sl=a(", \u044D\u0442\u043E \u0434\u0435\u043B\u0430\u0435\u0442\u0441\u044F \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E \u0442\u043E\u043A\u0435\u043D\u0430\u0439\u0437\u0435\u0440\u0430. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u0434\u0430\u0442\u044C \u043D\u0430 \u0432\u0445\u043E\u0434 \u0442\u043E\u043A\u0435\u043D\u0430\u0439\u0437\u0435\u0440\u0443 \u043E\u0434\u043D\u043E \u0438\u043B\u0438 \u0441\u043F\u0438\u0441\u043E\u043A \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0442.\u0435. \u043C\u043E\u0436\u043D\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F \u043F\u043E\u043F\u0430\u0440\u043D\u043E \u0442\u0430\u043A\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),Aa=_(),g(te.$$.fragment),Na=_(),Oe=p("p"),Ol=a("\u041E\u0434\u043D\u0430\u043A\u043E \u043C\u044B \u043D\u0435 \u043C\u043E\u0436\u0435\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u0434\u0432\u0435 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u0432 \u043C\u043E\u0434\u0435\u043B\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u043F\u0440\u043E\u0433\u043D\u043E\u0437 \u0442\u043E\u0433\u043E, \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u043B\u0438 \u044D\u0442\u0438 \u0434\u0432\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F \u043F\u0430\u0440\u0430\u0444\u0440\u0430\u0437\u0430\u043C\u0438 \u0438\u043B\u0438 \u043D\u0435\u0442. \u041D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u0434\u0432\u0435 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043A\u0430\u043A \u043F\u0430\u0440\u0443 \u0438 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0443\u044E \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u0443\u044E \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443. \u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442 \u0432\u0437\u044F\u0442\u044C \u043F\u0430\u0440\u0443 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0435\u0439 \u0438 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0438\u0445 \u0442\u0430\u043A, \u043A\u0430\u043A \u043E\u0436\u0438\u0434\u0430\u0435\u0442 \u043D\u0430\u0448\u0430 \u043C\u043E\u0434\u0435\u043B\u044C BERT:"),Ma=_(),g(ae.$$.fragment),Fa=_(),g(ne.$$.fragment),Ra=_(),U=p("p"),Al=a("\u041C\u044B \u0443\u0436\u0435 \u043E\u0431\u0441\u0443\u0436\u0434\u0430\u043B\u0438 \u043A\u043B\u044E\u0447\u0438 "),vt=p("code"),Nl=a("input_ids"),Ml=a(" \u0438 "),gt=p("code"),Fl=a("attention_mask"),Rl=a(" \u0432 "),Ae=p("a"),Ll=a("\u0433\u043B\u0430\u0432\u0435 2"),Hl=a(", \u043D\u043E \u043D\u0435 \u0443\u043F\u043E\u043C\u0438\u043D\u0430\u043B\u0438 \u043E "),wt=p("code"),Wl=a("token_type_ids"),Bl=a(". \u0412 \u044D\u0442\u043E\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0435 \u043C\u044B \u0443\u043A\u0430\u0437\u044B\u0432\u0430\u0435\u043C \u043C\u043E\u0434\u0435\u043B\u0438 \u043A\u0430\u043A\u0430\u044F \u0447\u0430\u0441\u0442\u044C \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043F\u0435\u0440\u0432\u044B\u043C \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0435\u043C, \u0430 \u043A\u0430\u043A\u0430\u044F \u0432\u0442\u043E\u0440\u044B\u043C."),La=_(),g(Ps.$$.fragment),Ha=_(),Ts=p("p"),Ul=a("\u0415\u0441\u043B\u0438 \u043C\u044B \u0434\u0435\u043A\u043E\u0434\u0438\u0440\u0443\u0435\u043C ID \u0438\u0437 "),yt=p("code"),Gl=a("input_ids"),Il=a(" \u043E\u0431\u0440\u0430\u0442\u043D\u043E \u0432 \u0441\u043B\u043E\u0432\u0430:"),Wa=_(),g(le.$$.fragment),Ba=_(),Ne=p("p"),Vl=a("\u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043C"),Ua=_(),g(re.$$.fragment),Ga=_(),vs=p("p"),Jl=a("\u0412\u0438\u0434\u043D\u043E, \u0447\u0442\u043E \u043C\u043E\u0434\u0435\u043B\u044C \u043E\u0436\u0438\u0434\u0430\u0435\u0442 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435 \u0432 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u043C \u0444\u043E\u0440\u043C\u0430\u0442\u0435: "),qt=p("code"),Kl=a("[CLS] sentence1 [SEP] sentence2 [SEP]"),Yl=a(" \u0432 \u0441\u043B\u0443\u0447\u0430\u0435 \u0434\u0432\u0443\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u041F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0438 "),Dt=p("code"),Zl=a("token_type_ids"),Ia=_(),g(oe.$$.fragment),Va=_(),G=p("p"),Ql=a("\u041A\u0430\u043A \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0437\u0430\u043C\u0435\u0442\u0438\u0442\u044C, \u0447\u0430\u0441\u0442\u0438 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445, \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0445 "),Ct=p("code"),Xl=a("[CLS] sentence1 [SEP]"),sr=a(" \u0438\u043C\u0435\u044E\u0442 \u0442\u0438\u043F \u0442\u043E\u043A\u0435\u043D\u0430 "),zt=p("code"),er=a("0"),tr=a(", \u0432 \u0442\u043E \u0432\u0440\u0435\u043C\u044F \u043A\u0430\u043A \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u044B\u0435 \u0447\u0430\u0441\u0442\u0438, \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0435 \u0432\u0442\u043E\u0440\u043E\u043C\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044E "),Pt=p("code"),ar=a("sentence2 [SEP]"),nr=a(", \u0438\u043C\u0435\u044E\u0442 \u0442\u0438\u043F \u0442\u043E\u043A\u0435\u043D\u0430 "),Tt=p("code"),lr=a("1"),rr=a("."),Ja=_(),Ss=p("p"),or=a("\u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0432\u044B\u0431\u0435\u0440\u0435\u0442\u0435 \u0434\u0440\u0443\u0433\u043E\u0439 \u0447\u0435\u043A\u043F\u043E\u0438\u043D\u0442, "),St=p("code"),pr=a("token_type_ids"),ir=a(" \u043D\u0435\u043E\u0431\u044F\u0437\u0430\u0442\u0435\u043B\u044C\u043D\u043E \u0431\u0443\u0434\u0443\u0442 \u043F\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043E\u0432\u0430\u0442\u044C \u0432 \u0432\u0430\u0448\u0438\u0445 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 (\u043D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u043E\u043D\u0438 \u043D\u0435 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F, \u0435\u0441\u043B\u0438 \u0432\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442\u0435 \u043C\u043E\u0434\u0435\u043B\u044C DistilBERT). \u041E\u043D\u0438 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F \u0442\u043E\u043B\u044C\u043A\u043E \u0442\u043E\u0433\u0434\u0430, \u043A\u043E\u0433\u0434\u0430 \u043C\u043E\u0434\u0435\u043B\u044C \u0431\u0443\u0434\u0435\u0442 \u0437\u043D\u0430\u0442\u044C, \u0447\u0442\u043E \u0441 \u043D\u0438\u043C\u0438 \u0434\u0435\u043B\u0430\u0442\u044C, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u043E\u043D\u0430 \u0432\u0438\u0434\u0435\u043B\u0430 \u0438\u0445 \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u043F\u0440\u0435\u0434\u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F."),Ka=_(),ms=p("p"),cr=a("\u0412 \u0434\u0430\u043D\u043D\u043E\u043C \u0441\u043B\u0443\u0447\u0430\u0435 BERT \u0431\u044B\u043B \u043E\u0431\u0443\u0447\u0435\u043D \u0441 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0435\u0439 \u043E \u0438\u0434\u0435\u043D\u0442\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440\u0430\u0445 \u0442\u0438\u043F\u043E\u0432 \u0442\u043E\u043A\u0435\u043D\u043E\u0432, \u0438 \u043F\u043E\u043C\u0438\u043C\u043E \u0437\u0430\u0434\u0430\u0447\u0438 \u043C\u0430\u0441\u043A\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u043E\u0439 \u044F\u0437\u044B\u043A\u043E\u0432\u043E\u0439 \u043C\u043E\u0434\u0435\u043B\u0438, \u043E \u043A\u043E\u0442\u043E\u0440\u043E\u0439 \u043C\u044B \u0433\u043E\u0432\u043E\u0440\u0438\u043B\u0438 \u0432 "),Me=p("a"),fr=a("\u0433\u043B\u0430\u0432\u0435 1"),ur=a(", \u043E\u043D \u043C\u043E\u0436\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044C \u0435\u0449\u0435 \u043E\u0434\u043D\u0443 \u0437\u0430\u0434\u0430\u0447\u0443: \u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0430\u043D\u0438\u0435 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0433\u043E \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F ("),Ot=p("em"),_r=a("next sentence prediction"),mr=a("). \u0421\u0443\u0442\u044C \u044D\u0442\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 - \u0441\u043C\u043E\u0434\u0435\u043B\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0441\u0432\u044F\u0437\u044C \u043C\u0435\u0436\u0434\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u043C\u0438."),Ya=_(),Fe=p("p"),dr=a("\u0412 \u044D\u0442\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043C\u043E\u0434\u0435\u043B\u0438 \u043D\u0430 \u0432\u0445\u043E\u0434 \u043F\u043E\u0434\u0430\u044E\u0442\u0441\u044F \u043F\u0430\u0440\u044B \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 (\u0441\u043E \u0441\u043B\u0443\u0447\u0430\u0439\u043D\u043E \u0437\u0430\u043C\u0430\u0441\u043A\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u043C\u0438 \u0442\u043E\u043A\u0435\u043D\u0430\u043C\u0438), \u043E\u0442 \u043C\u043E\u0434\u0435\u043B\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0430\u0442\u044C, \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043B\u0438 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0435 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0435 \u043F\u0440\u043E\u0434\u043E\u043B\u0436\u0435\u043D\u0438\u0435\u043C \u0442\u0435\u043A\u0443\u0449\u0435\u0433\u043E. \u0427\u0442\u043E\u0431\u044B \u0437\u0430\u0434\u0430\u0447\u0430 \u043D\u0435 \u0431\u044B\u043B\u0430 \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0442\u0440\u0438\u0432\u0438\u0430\u043B\u044C\u043D\u043E\u0439, \u043F\u043E\u043B\u043E\u0432\u0438\u043D\u0430 \u0432\u0440\u0435\u043C\u0435\u043D\u0438 \u043C\u043E\u0434\u0435\u043B\u044C \u043E\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044F \u043D\u0430 \u0441\u043E\u0441\u0435\u0434\u043D\u0438\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445 \u0438\u0437 \u043E\u0434\u043D\u043E\u0433\u043E \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430, \u0434\u0440\u0443\u0433\u0443\u044E \u043F\u043E\u043B\u043E\u0432\u0438\u043D\u0443 \u043D\u0430 \u043F\u0430\u0440\u0430\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0432\u0437\u044F\u0442\u044B\u0445 \u0438\u0437 \u0440\u0430\u0437\u043D\u044B\u0445 \u0438\u0441\u0442\u043E\u0447\u043D\u0438\u043A\u043E\u0432."),Za=_(),Os=p("p"),hr=a("\u0412 \u043E\u0431\u0449\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u0432\u0430\u043C \u043D\u0435 \u043D\u0443\u0436\u043D\u043E \u0431\u0435\u0441\u043F\u043E\u043A\u043E\u0438\u0442\u044C\u0441\u044F \u043E \u043D\u0430\u043B\u0438\u0447\u0438\u0438 "),At=p("code"),br=a("token_type_ids"),$r=a(" \u0432 \u0432\u0430\u0448\u0438\u0445 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445: \u043F\u043E\u043A\u0430 \u0432\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442\u0435 \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u044B\u0439 \u0447\u0435\u043A\u043F\u043E\u0438\u043D\u0442 \u0438 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440\u0430, \u0438 \u0434\u043B\u044F \u043C\u043E\u0434\u0435\u043B\u0438 \u2013 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u0431\u0443\u0434\u0435\u0442 \u0437\u043D\u0430\u0442\u044C, \u043A\u0430\u043A \u043D\u0443\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435."),Qa=_(),ds=p("p"),kr=a("\u0422\u0435\u043F\u0435\u0440\u044C \u043C\u044B \u0437\u043D\u0430\u0435\u043C, \u0447\u0442\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u043C\u043E\u0436\u0435\u0442 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0441\u0440\u0430\u0437\u0443 \u043F\u0430\u0440\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0430 \u0437\u043D\u0430\u0447\u0438\u0442 \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0435\u0433\u043E \u0434\u043B\u044F \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430: \u0442\u0430\u043A \u0436\u0435 \u043A\u0430\u043A \u0438 \u0432 "),Re=p("a"),jr=a("\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u0435"),Er=a(" \u043C\u043E\u0436\u043D\u043E \u043F\u043E\u0434\u0430\u0442\u044C \u043D\u0430 \u0432\u0445\u043E\u0434 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440\u0443 \u0441\u043F\u0438\u0441\u043E\u043A \u043F\u0435\u0440\u0432\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0438 \u0441\u043F\u0438\u0441\u043E\u043A \u0432\u0442\u043E\u0440\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u042D\u0442\u043E \u0442\u0430\u043A\u0436\u0435 \u0441\u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0438 \u0434\u043B\u044F \u043C\u0435\u0445\u0430\u043D\u0438\u0437\u043C\u043E\u0432 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F (padding) \u0438 \u0443\u0441\u0435\u0447\u0435\u043D\u0438\u044F \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B (truncation) - \u043E\u0431 \u044D\u0442\u043E\u043C \u043C\u044B \u0433\u043E\u0432\u043E\u0440\u0438\u043B\u0438 \u0432 "),Le=p("a"),xr=a("\u0433\u043B\u0430\u0432\u0435 2"),vr=a(". \u0418\u0442\u0430\u043A, \u043E\u0434\u0438\u043D \u0438\u0437 \u0441\u043F\u043E\u0441\u043E\u0431\u043E\u0432 \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0442\u0430\u043A\u043E\u0439:"),Xa=_(),g(pe.$$.fragment),sn=_(),I=p("p"),gr=a("\u042D\u0442\u043E \u0445\u043E\u0440\u043E\u0448\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442, \u043E\u0434\u043D\u0430\u043A\u043E \u0435\u0441\u0442\u044C \u043D\u0435\u0434\u043E\u0441\u0442\u0430\u0442\u043E\u043A, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0444\u043E\u0440\u043C\u0438\u0440\u0443\u0435\u0442 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 (\u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438,  "),Nt=p("code"),wr=a("input_ids"),yr=a(", "),Mt=p("code"),qr=a("attention_mask"),Dr=a(", \u0438 "),Ft=p("code"),Cr=a("token_type_ids"),zr=a(", \u0438 \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u044F\u043C\u0438 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 \u0441\u043F\u0438\u0441\u043A\u0430 \u0441\u043F\u0438\u0441\u043A\u043E\u0432). \u042D\u0442\u043E \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0442\u043E\u043B\u044C\u043A\u043E \u0435\u0441\u043B\u0438 \u0443 \u043D\u0430\u0441 \u0434\u043E\u0441\u0442\u0430\u0442\u043E\u0447\u043D\u043E \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438 (RAM) \u0434\u043B\u044F \u0445\u0440\u0430\u043D\u0435\u043D\u0438\u044F \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 (\u0432 \u0442\u043E \u0432\u0440\u0435\u043C\u044F \u043A\u0430\u043A \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u0438\u0437 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 \u{1F917} Datasets \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F "),ie=p("a"),Pr=a("Apache Arrow"),Tr=a(" \u0444\u0430\u0439\u043B\u0430\u043C\u0438, \u0445\u0440\u0430\u043D\u044F\u0449\u0438\u043C\u0438\u0441\u044F \u043D\u0430 \u0434\u0438\u0441\u043A\u0435; \u043E\u043D\u0438 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043D\u044B \u0442\u043E\u043B\u044C\u043A\u043E \u0432 \u0442\u043E\u0442 \u043C\u043E\u043C\u0435\u043D\u0442, \u043A\u043E\u0433\u0434\u0430 \u0432\u044B \u0438\u0445 \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u0430\u043F\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044C)."),en=_(),hs=p("p"),Sr=a("\u0427\u0442\u043E\u0431\u044B \u0445\u0440\u0430\u043D\u0438\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043C\u0435\u0442\u043E\u0434\u044B "),ce=p("a"),Rt=p("code"),Or=a("Dataset.map()"),Ar=a(". \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u043D\u0430\u043C \u0441\u043E\u0445\u0440\u0430\u043D\u0438\u0442\u044C \u0432\u044B\u0441\u043E\u043A\u0443\u044E \u0433\u0438\u0431\u043A\u043E\u0441\u0442\u044C \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0447\u0442\u043E-\u0442\u043E \u0431\u043E\u043B\u044C\u0448\u0435\u0435, \u0447\u0435\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044F. \u041C\u0435\u0442\u043E\u0434 "),Lt=p("code"),Nr=a("map()"),Mr=a(" \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0442\u0430\u043A: \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u0442 \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u0443\u044E \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043A \u043A\u0430\u0436\u0434\u043E\u043C\u0443 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0438\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043D\u0430\u0448\u0438 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435:"),tn=_(),g(fe.$$.fragment),an=_(),A=p("p"),Fr=a("\u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0438\u043D\u0438\u043C\u0430\u0435\u0442 \u043D\u0430 \u0432\u0445\u043E\u0434 \u0441\u043B\u0432\u043E\u0430\u0440\u044C (\u043F\u043E\u0445\u043E\u0436\u0438\u0439 \u043D\u0430 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u043D\u0430\u0448\u0435\u0433\u043E \u0441\u043B\u043E\u0432\u0430\u0440\u044F) \u0438 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043D\u043E\u0432\u044B\u0439 \u0441\u043B\u043E\u0432\u0430\u0440\u044C \u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438 "),Ht=p("code"),Rr=a("input_ids"),Lr=a(", "),Wt=p("code"),Hr=a("attention_mask"),Wr=a(" \u0438 "),Bt=p("code"),Br=a("token_type_ids"),Ur=a(". \u0417\u0430\u043C\u0435\u0442\u044C\u0442\u0435, \u044D\u0442\u043E \u0442\u0430\u043A\u0436\u0435 \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0435\u0441\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u044C "),Ut=p("code"),Gr=a("example"),Ir=a(" \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 (\u043A\u0430\u0436\u0434\u044B\u0439 \u043A\u043B\u044E\u0447 \u0432 \u0432\u0438\u0434\u0435 \u0441\u043F\u0438\u0441\u043A\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439), \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 "),Gt=p("code"),Vr=a("tokenizer"),Jr=a(" \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0438 \u0441\u043E \u0441\u043F\u0438\u0441\u043A\u0430\u043C\u0438 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u043A\u0430\u043A \u043C\u044B \u0438 \u0432\u0438\u0434\u0435\u043B\u0438 \u0440\u0430\u043D\u0435\u0435. \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u043D\u0430\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),It=p("code"),Kr=a("batched=True"),Yr=a(" \u0432 \u0432\u044B\u0437\u043E\u0432\u0435 "),Vt=p("code"),Zr=a("map()"),Qr=a(", \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438. "),Jt=p("code"),Xr=a("tokenizer"),so=a(" \u0432\u043D\u0443\u0442\u0440\u0438 \u0440\u0435\u0430\u043B\u0438\u0437\u043E\u0432\u0430\u043D \u043D\u0430 \u044F\u0437\u044B\u043A\u0435 Rust \u0438\u0437 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 "),ue=p("a"),eo=a("\u{1F917} Tokenizers"),to=a(". \u042D\u0442\u043E\u0442 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u043C\u043E\u0436\u0435\u0442 \u0431\u044B\u0442\u044C \u043E\u0447\u0435\u043D\u044C \u0431\u044B\u0441\u0442\u0440\u044B\u043C, \u043D\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u0435\u0441\u043B\u0438 \u043C\u044B \u043F\u043E\u0434\u0430\u0434\u0438\u043C \u0431\u043E\u043B\u044C\u0448\u043E\u0439 \u043E\u0431\u044A\u0435\u043C \u0434\u0430\u043D\u043D\u044B\u0445 \u0437\u0430 \u0440\u0430\u0437."),nn=_(),As=p("p"),ao=a("\u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0432 \u044D\u0442\u043E\u0442 \u0440\u0430\u0437 \u043C\u044B \u043E\u0441\u0442\u0430\u0432\u0438\u043B\u0438 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Kt=p("code"),no=a("padding"),lo=a(" \u043F\u0443\u0441\u0442\u044B\u043C, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u043D\u0435\u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E: \u0433\u043E\u0440\u0430\u0437\u0434\u043E \u0431\u044B\u0441\u0442\u0440\u0435\u0435 \u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u0444\u043E\u0440\u043C\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u0431\u0430\u0442\u0447\u0430, \u0432 \u0442\u0430\u043A\u043E\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0442\u044C \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u0442\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0431\u0430\u0442\u0447\u0430, \u0430 \u043D\u0435 \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u042D\u0442\u043E \u043F\u043E\u043C\u043E\u0436\u0435\u0442 \u0441\u044D\u043A\u043E\u043D\u043E\u043C\u0438\u0442\u044C \u0432\u0440\u0435\u043C\u044F \u0432 \u0441\u043B\u0443\u0447\u0430\u0435 \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0435\u0439."),ln=_(),bs=p("p"),ro=a("\u041D\u0438\u0436\u0435 \u043F\u0440\u0438\u043C\u0435\u0440 \u0442\u043E\u0433\u043E, \u043A\u0430\u043A \u043C\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 \u043A \u0446\u0435\u043B\u043E\u043C\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041C\u044B \u0443\u043A\u0430\u0437\u044B\u0432\u0430\u0435\u043C "),Yt=p("code"),oo=a("batched=True"),po=a(" \u0432 \u043D\u0430\u0448\u0435\u043C \u0432\u044B\u0437\u043E\u0432\u0435 "),Zt=p("code"),io=a("map"),co=a(" \u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0431\u0443\u0434\u0435\u0442 \u043F\u0440\u0438\u043C\u0435\u043D\u0435\u043D\u0430 \u0441\u0440\u0430\u0437\u0443 \u043A \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u043C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043E\u0434\u043D\u043E\u0432\u0440\u0435\u043C\u0435\u043D\u043D\u043E, \u0430 \u043D\u0435 \u043A \u043A\u0430\u0436\u0434\u043E\u043C\u0443 \u043F\u043E \u043E\u0442\u0434\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438. \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044E \u0431\u043E\u043B\u0435\u0435 \u0431\u044B\u0441\u0442\u0440\u043E\u0439."),rn=_(),g(_e.$$.fragment),on=_(),He=p("p"),fo=a("\u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Datasets \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443, \u0434\u043E\u0431\u0430\u0432\u043B\u044F\u044F \u043D\u043E\u0432\u044B\u0435 \u043F\u043E\u043B\u044F \u0432 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u043F\u043E \u043E\u0434\u043D\u043E\u043C\u0443 \u0434\u043B\u044F \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u043A\u043B\u044E\u0447\u0430 \u0432 \u0441\u043B\u043E\u0432\u0430\u0440\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438:"),pn=_(),g(me.$$.fragment),cn=_(),$s=p("p"),uo=a("\u0412 \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),Qt=p("code"),_o=a("map()"),mo=a(" \u043C\u043E\u0436\u043D\u043E \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043C\u0443\u043B\u044C\u0442\u0438\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433: \u0437\u0430 \u044D\u0442\u043E \u043E\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Xt=p("code"),ho=a("num_proc"),bo=a(". \u041C\u044B \u0435\u0433\u043E \u043D\u0435 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u043B\u0438, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u0431\u0438\u0431\u043B\u0438\u043E\u0435\u0442\u0435\u043A\u0430 \u{1F917} Tokenizers \u0441\u0440\u0430\u0437\u0443 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043F\u043E\u0442\u043E\u043A\u043E\u0432 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438, \u043D\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0431\u0443\u0434\u0435\u0442\u0435 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043D\u0435 \u0438\u0437 \u{1F917} Tokenizers, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0443\u0441\u043A\u043E\u0440\u0438\u0442\u044C \u043F\u0440\u043E\u0446\u0435\u0441\u0441."),fn=_(),H=p("p"),$o=a("\u041D\u0430\u0448\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F "),sa=p("code"),ko=a("tokenize_function"),jo=a("  \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043B\u043E\u0432\u0430\u0440\u044C \u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438 "),ea=p("code"),Eo=a("input_ids"),xo=a(", "),ta=p("code"),vo=a("attention_mask"),go=a(" \u0438 "),aa=p("code"),wo=a("token_type_ids"),yo=a(", \u043E\u043D\u0438 \u0443\u0436\u0435 \u0434\u043E\u0431\u0430\u0432\u043B\u0435\u043D\u044B \u043A\u043E \u0432\u0441\u0435\u043C \u0440\u0430\u0437\u0431\u0438\u0435\u043D\u0438\u044F\u043C\u0438 \u043D\u0430\u0448\u0435\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u043C\u044B \u043C\u043E\u0433\u043B\u0438 \u0431\u044B \u0442\u0430\u043A\u0436\u0435 \u0438\u0437\u043C\u0435\u043D\u0438\u0442\u044C \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0435 \u043F\u043E\u043B\u044F, \u0435\u0441\u043B\u0438 \u0431\u044B \u043D\u0430\u0448\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0435\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433\u0430 \u0432\u0435\u0440\u043D\u0443\u043B\u0430 \u043D\u043E\u0432\u043E\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u0435 \u0434\u043B\u044F \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044E\u0449\u0435\u0433\u043E \u043A\u043B\u044E\u0447\u0430 \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445, \u043A \u043A\u043E\u0442\u043E\u0440\u043E\u043C\u0443 \u043C\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u0438\u043B\u0438 "),na=p("code"),qo=a("map()"),Do=a("."),un=_(),ks=p("p"),Co=a("\u041F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u0435, \u0447\u0442\u043E \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0441\u0434\u0435\u043B\u0430\u0442\u044C, \u044D\u0442\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u044C \u0432\u0441\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0434\u043E \u0434\u043B\u0438\u043D\u044B \u0441\u0430\u043C\u043E\u0433\u043E \u0434\u043B\u0438\u043D\u043D\u043E\u0433\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430, \u043A\u043E\u0433\u0434\u0430 \u043C\u044B \u0441\u043E\u0431\u0438\u0440\u0430\u0435\u043C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432\u043C\u0435\u0441\u0442\u0435 \u2014 \u043C\u0435\u0442\u043E\u0434, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u043C "),la=p("em"),zo=a("\u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438\u043C \u043F\u044D\u0434\u0434\u0438\u043D\u0433\u043E\u043C"),Po=a(" ("),ra=p("em"),To=a("dynamic padding"),So=a(")."),_n=_(),gs=p("h3"),Ns=p("a"),oa=p("span"),g(de.$$.fragment),Oo=_(),pa=p("span"),Ao=a("Dynamic padding"),mn=_(),g(he.$$.fragment),dn=_(),ws.c(),We=_(),Ms=p("p"),No=a("\u0414\u043B\u044F \u0442\u043E\u0433\u043E, \u0447\u0442\u043E\u0431\u044B \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u043D\u0430 \u043F\u0440\u0430\u043A\u0442\u0438\u043A\u0435, \u043C\u044B \u0434\u043E\u043B\u0436\u043D\u044B \u0437\u0430\u0434\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0431\u0443\u0434\u0435\u0442 \u043E\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043B\u044F\u0442\u044C \u043A\u043E\u0440\u0440\u0435\u043A\u0442\u043D\u044B\u0439 \u043F\u044D\u0434\u0434\u0438\u043D\u0433 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u044B\u0431\u043E\u0440\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u044B \u0445\u043E\u0442\u0438\u043C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0432 \u0431\u0430\u0442\u0447. \u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Transformers \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u044D\u0442\u0443 \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0447\u0435\u0440\u0435\u0437 \u043A\u043B\u0430\u0441\u0441 "),ia=p("code"),Mo=a("DataCollatorWithPadding"),Fo=a(". \u041F\u0440\u0438 \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u0438 \u044D\u043A\u0437\u0435\u043C\u043F\u043B\u044F\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0443\u043A\u0430\u0437\u0430\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 (\u0447\u0442\u043E\u0431\u044B \u0437\u043D\u0430\u0442\u044C, \u043A\u0430\u043A\u043E\u0439 \u0442\u043E\u043A\u0435\u043D \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0434\u043B\u044F \u043F\u044D\u0434\u0434\u0438\u043D\u0433\u0430 \u0438 \u0441\u043B\u0435\u0432\u0430 \u0438\u043B\u0438 \u0441\u043F\u0440\u0430\u0432\u0430 \u043D\u0443\u0436\u043D\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435), \u0430 \u0434\u0430\u043B\u044C\u0448\u0435 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u0434\u0435\u043B\u0430\u0435\u0442 \u0432\u0441\u0435, \u0447\u0442\u043E \u0432\u0430\u043C \u043D\u0443\u0436\u043D\u043E:"),hn=_(),os.c(),Be=_(),Z=p("p"),Ro=a("\u0427\u0442\u043E\u0431\u044B \u043F\u0440\u043E\u0442\u0435\u0441\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u044D\u0442\u043E, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043E\u0437\u044C\u043C\u0435\u043C \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u044B \u0445\u043E\u0442\u0438\u043C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0432 \u0431\u0430\u0442\u0447. \u041C\u044B \u0443\u0434\u0430\u043B\u0438\u043C \u043A\u043E\u043B\u043E\u043D\u043A\u0438 "),ca=p("code"),Lo=a("idx"),Ho=a(", "),fa=p("code"),Wo=a("sentence1"),Bo=a(" \u0438 "),ua=p("code"),Uo=a("sentence2"),Go=a(" \u0442.\u043A. \u043E\u043D\u0438 \u0441\u043E\u0434\u0435\u0440\u0436\u0430\u0442 \u0441\u0442\u0440\u043E\u043A\u0438 (\u0430 \u043C\u044B \u043D\u0435 \u043C\u043E\u0436\u0435\u043C \u043F\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044C \u0441\u0442\u0440\u043E\u043A\u0438 \u0432 \u0442\u0435\u043D\u0437\u043E\u0440\u044B) \u0438 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u0434\u043B\u0438\u043D\u0443 \u043A\u0430\u0436\u0434\u043E\u0439 \u0437\u0430\u043F\u0438\u0441\u0438 \u0432 \u0431\u0430\u0442\u0447\u0435:"),bn=_(),g(be.$$.fragment),$n=_(),g($e.$$.fragment),kn=_(),Ue=p("p"),Io=a("\u041D\u0435\u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043B\u044C\u043D\u043E: \u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043B\u0438 \u043E\u0431\u044A\u0435\u043A\u0442\u044B \u0440\u0430\u0437\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u043E\u0442 32 \u0434\u043E 67. \u0414\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438\u0439 \u043F\u044D\u0434\u0434\u0438\u043D\u0433 \u043F\u043E\u0434\u0440\u0430\u0437\u0443\u043C\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043E \u0432\u0441\u0435 \u043E\u0431\u044A\u0435\u043A\u0442\u044B \u0431\u0443\u0434\u0443\u0442 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u044B \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B, \u0434\u043E 67."),jn=_(),Fs=p("p"),Vo=a("No surprise, we get samples of varying length, from 32 to 67. Dynamic padding means the samples in this batch should all be padded to a length of 67, the maximum length inside the batch. \u0411\u0435\u0437 \u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u043E\u0433\u043E \u0437\u0430\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F \u0432\u0441\u0435 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u0434\u043E\u043B\u0436\u043D\u044B \u0431\u044B\u0442\u044C \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u044B \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u0432\u043E \u0432\u0441\u0435\u043C \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u043B\u0438 \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B, \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043C\u043E\u0436\u0435\u0442 \u043F\u0440\u0438\u043D\u044F\u0442\u044C \u043C\u043E\u0434\u0435\u043B\u044C. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u0432\u0430\u0436\u0434\u044B \u043F\u0440\u043E\u0432\u0435\u0440\u0438\u043C, \u0447\u0442\u043E \u043D\u0430\u0448 "),_a=p("code"),Jo=a("data_collator"),Ko=a(" \u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438 \u043F\u0440\u0430\u0432\u0438\u043B\u044C\u043D\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0435\u0442 \u0431\u0430\u0442\u0447:"),En=_(),g(ke.$$.fragment),xn=_(),is.c(),Ge=_(),g(Rs.$$.fragment),vn=_(),R&&R.c(),Ie=Mi(),this.h()},l(s){const r=Ui('[data-svelte="svelte-1phssyn"]',document.head);l=i(r,"META",{name:!0,content:!0}),r.forEach(t),u=m(s),w(o.$$.fragment,s),h=m(s),j=i(s,"H1",{id:!0});var ma=c(j);d=n(ma,"\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u043D\u043D\u044B\u0445"),ma.forEach(t),b=m(s),E.l(s),D=m(s),C.l(s),N=m(s),B=i(s,"P",{});var Ls=c(B);ss=n(Ls,"\u041E\u0431\u0443\u0447\u0435\u043D\u0438\u0435 \u0432\u0441\u0435\u0433\u043E \u043B\u0438\u0448\u044C \u043D\u0430 \u0434\u0432\u0443\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445, \u043A\u043E\u043D\u0435\u0447\u043D\u043E, \u043D\u0435 \u0434\u0430\u0441\u0442 \u0445\u043E\u0440\u043E\u0448\u0435\u0433\u043E \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u0430. \u0427\u0442\u043E\u0431\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0431\u043E\u043B\u0435\u0435 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0435 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442\u044B, \u0432\u0430\u043C \u0441\u043B\u0435\u0434\u0443\u0435\u0442 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0431"),V=i(Ls,"EM",{});var Ve=c(V);ys=n(Ve,"\u043E"),Ve.forEach(t),fs=n(Ls,"\u043B\u044C\u0448\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442."),Ls.forEach(t),qs=m(s),J=i(s,"P",{});var Hs=c(J);S=n(Hs,"\u0412 \u0434\u0430\u043D\u043D\u043E\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435 \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0432 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u0430 MRPC (Microsoft Research Paraphrase Corpus) dataset, \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u043D\u044B\u0439 \u0432 "),O=i(Hs,"A",{href:!0,rel:!0});var da=c(O);De=n(da,"\u0441\u0442\u0430\u0442\u044C\u0435"),da.forEach(t),Ce=n(Hs," \u0430\u0432\u0442\u043E\u0440\u0430\u043C\u0438 William B. Dolan \u0438 Chris Brockett. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 5801 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0441 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u043C \u0438\u043C \u043B\u0435\u0439\u0431\u043B\u043E\u043C: \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043B\u0438 \u043F\u0430\u0440\u0430 \u043F\u0440\u0435\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u043F\u0430\u0440\u0430\u0444\u0440\u0430\u0437\u0430\u043C\u0438 \u0438\u043B\u0438 \u043D\u0435\u0442 (\u0442.\u0435. \u0438\u0434\u0435\u0442 \u043B\u0438 \u0440\u0435\u0447\u044C \u0432 \u043E\u0431\u043E\u0438\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445 \u043E\u0431 \u043E\u0434\u043D\u043E\u043C \u0438 \u0442\u043E\u043C \u0436\u0435). \u041C\u044B \u0432\u044B\u0431\u0440\u0430\u043B\u0438 \u0438\u043C\u0435\u043D\u043D\u043E \u044D\u0442\u043E\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043B\u044F \u044D\u0442\u043E\u0439 \u0433\u043B\u0430\u0432\u044B \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u043E\u043D \u043D\u0435\u0431\u043E\u043B\u044C\u0448\u043E\u0439: \u0441 \u043D\u0438\u043C \u043B\u0435\u0433\u043A\u043E \u044D\u043A\u0441\u043F\u0435\u0440\u0438\u043C\u0435\u043D\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0432 \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0435 \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F."),Hs.forEach(t),Us=m(s),K=i(s,"H3",{class:!0});var Ws=c(K);es=i(Ws,"A",{id:!0,class:!0,href:!0});var ha=c(es);nt=i(ha,"SPAN",{});var Je=c(nt);w(Gs.$$.fragment,Je),Je.forEach(t),ha.forEach(t),An=m(Ws),lt=i(Ws,"SPAN",{});var Ke=c(lt);Nn=n(Ke,"\u0417\u0430\u0433\u0440\u0443\u0437\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 Hub"),Ke.forEach(t),Ws.forEach(t),ka=m(s),as.l(s),ze=m(s),Y=i(s,"P",{});var cs=c(Y);Mn=n(cs,"Hub \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435 \u0442\u043E\u043B\u044C\u043A\u043E \u043C\u043E\u0434\u0435\u043B\u0438, \u0442\u0430\u043C \u0442\u0430\u043A\u0436\u0435 \u0440\u0430\u0441\u043F\u043E\u043B\u043E\u0436\u0435\u043D\u043E \u043C\u043D\u043E\u0436\u0435\u0441\u0442\u0432\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043E\u0432 \u043D\u0430 \u0440\u0430\u0437\u043B\u0438\u0447\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u0430\u0445. \u0412\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0435\u0442\u044C \u043D\u0430 \u043D\u0438\u0445 "),Is=i(cs,"A",{href:!0,rel:!0});var cp=c(Is);Fn=n(cp,"\u0442\u0443\u0442"),cp.forEach(t),Rn=n(cs,", \u0430 \u0442\u0430\u043A\u0436\u0435 \u043C\u044B \u0440\u0435\u043A\u043E\u043C\u0435\u043D\u0434\u0443\u0435\u043C \u043F\u043E\u043F\u0440\u043E\u0432\u0430\u0442\u044C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u043E\u0432\u044B\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043F\u043E\u0441\u043B\u0435 \u0442\u043E\u0433\u043E, \u043A\u0430\u043A \u0432\u044B \u0438\u0437\u0443\u0447\u0438\u0442\u0435 \u0442\u0435\u043A\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043B (\u0441\u043C. \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u044E "),Vs=i(cs,"A",{href:!0,rel:!0});var fp=c(Vs);Ln=n(fp,"\u0437\u0434\u0435\u0441\u044C"),fp.forEach(t),Hn=n(cs,"). \u041D\u043E \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u0435\u0440\u043D\u0435\u043C\u0441\u044F \u043A \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 MRPC! \u042D\u0442\u043E \u043E\u0434\u0438\u043D \u0438\u0437 10 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043E\u0432 \u0438\u0437 \u0441\u043E\u0441\u0442\u0430\u0432\u0430 "),Js=i(cs,"A",{href:!0,rel:!0});var up=c(Js);Wn=n(up,"GLUE"),up.forEach(t),Bn=n(cs,", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u0442\u0435\u0441\u0442\u043E\u043C \u0434\u043B\u044F \u043F\u0440\u043E\u0438\u0437\u0432\u043E\u0434\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043C\u043E\u0434\u0435\u043B\u0435\u0439 \u043C\u0430\u0448\u0438\u043D\u043D\u043E\u0433\u043E \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043A\u043B\u0430\u0441\u0441\u0438\u0444\u0438\u043A\u0430\u0446\u0438\u0438 \u0442\u0435\u043A\u0441\u0442\u0430."),cs.forEach(t),ja=m(s),Pe=i(s,"P",{});var _p=c(Pe);Un=n(_p,"\u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043E\u0447\u0435\u043D\u044C \u043F\u0440\u043E\u0441\u0442\u0443\u044E \u043A\u043E\u043C\u0430\u043D\u0434\u0443 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0438 \u043A\u044D\u0448\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 Hub. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),_p.forEach(t),Ea=m(s),w(Ks.$$.fragment,s),xa=m(s),w(Ys.$$.fragment,s),va=m(s),L=i(s,"P",{});var Q=c(L);Gn=n(Q,"\u041A\u0430\u043A \u043C\u043E\u0436\u043D\u043E \u0437\u0430\u043C\u0435\u0442\u0438\u0442\u044C, \u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043B\u0438 \u043E\u0431\u044A\u0435\u043A\u0442 \u0442\u0438\u043F\u0430 "),rt=i(Q,"CODE",{});var mp=c(rt);In=n(mp,"DatasetDict"),mp.forEach(t),Vn=n(Q,", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443, \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443 \u0438 \u0442\u0435\u0441\u0442\u043E\u0432\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443. \u041A\u0430\u0436\u0434\u0430\u044F \u0438\u0437 \u043D\u0438\u0445 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043A\u043E\u043B\u043E\u043D\u043E\u043A ("),ot=i(Q,"CODE",{});var dp=c(ot);Jn=n(dp,"sentence1"),dp.forEach(t),Kn=n(Q,", "),pt=i(Q,"CODE",{});var hp=c(pt);Yn=n(hp,"sentence2"),hp.forEach(t),Zn=n(Q,", "),it=i(Q,"CODE",{});var bp=c(it);Qn=n(bp,"label"),bp.forEach(t),Xn=n(Q,", \u0438 "),ct=i(Q,"CODE",{});var $p=c(ct);sl=n($p,"idx"),$p.forEach(t),el=n(Q,") \u0438 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0443\u044E \u0441 \u0447\u0438\u0441\u043B\u043E\u043C \u0441\u0442\u0440\u043E\u043A (\u0447\u0438\u0441\u043B\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432 \u043A\u0430\u0436\u0434\u043E\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0435): 3668 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438, 408 \u0432 \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u043E\u0439 \u0438 1725 \u0432 \u0442\u0435\u0441\u0442\u043E\u0432\u043E\u0439 ."),Q.forEach(t),ga=m(s),us=i(s,"P",{});var Ye=c(us);tl=n(Ye,"\u042D\u0442\u0430 \u043A\u043E\u043C\u0430\u043D\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0438 \u043A\u044D\u0448\u0438\u0440\u0443\u0435\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 (\u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u0432 "),ft=i(Ye,"EM",{});var kp=c(ft);al=n(kp,"~/.cache/huggingface/dataset"),kp.forEach(t),nl=n(Ye,"). \u0412\u0441\u043F\u043E\u043C\u043D\u0438\u043C \u0438\u0437 \u0433\u043B\u0430\u0432\u044B 2, \u0447\u0442\u043E \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0437\u043C\u0435\u043D\u0438\u0442\u044C \u043F\u0443\u0442\u044C \u043A \u043A\u044D\u0448\u0443 \u0438\u0437\u043C\u0435\u043D\u0438\u0432 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0443\u044E \u043E\u043A\u0440\u0443\u0436\u0435\u043D\u0438\u044F "),ut=i(Ye,"CODE",{});var jp=c(ut);ll=n(jp,"HF_HOME"),jp.forEach(t),rl=n(Ye,"."),Ye.forEach(t),wa=m(s),Ds=i(s,"P",{});var yn=c(Ds);ol=n(yn,"\u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u043C\u0438 \u0432 \u043E\u0431\u044A\u0435\u043A\u0442\u0435 "),_t=i(yn,"CODE",{});var Ep=c(_t);pl=n(Ep,"raw_datasets"),Ep.forEach(t),il=n(yn," \u043F\u0443\u0442\u0435\u043C \u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F, \u043A\u0430\u043A \u0432 \u0441\u043B\u043E\u0432\u0430\u0440\u0435:"),yn.forEach(t),ya=m(s),w(Zs.$$.fragment,s),qa=m(s),w(Qs.$$.fragment,s),Da=m(s),_s=i(s,"P",{});var Ze=c(_s);cl=n(Ze,"\u041C\u043E\u0436\u043D\u043E \u0443\u0432\u0438\u0434\u0435\u0442\u044C, \u0447\u0442\u043E \u043B\u0435\u0439\u0431\u043B\u044B \u0443\u0436\u0435 \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u0446\u0435\u043B\u044B\u043C\u0438 \u0447\u0438\u0441\u043B\u0430\u043C\u0438 (integer), \u0438\u0445 \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043D\u0435 \u043D\u0443\u0436\u043D\u043E. \u0427\u0442\u043E\u0431\u044B \u0441\u043E\u043F\u043E\u0441\u043E\u0442\u0430\u0432\u0438\u0442\u044C \u0438\u043D\u0434\u0435\u043A\u0441 \u043A\u043B\u0430\u0441\u0441\u0430 \u0441 \u0435\u0433\u043E \u043D\u0430\u0437\u0432\u0430\u043D\u0438\u0435\u043C, \u043C\u043E\u0436\u043D\u043E \u0440\u0430\u0441\u043F\u0435\u0447\u0430\u0442\u0430\u0442\u044C \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u0435 \u043F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u043E\u0439 "),mt=i(Ze,"CODE",{});var xp=c(mt);fl=n(xp,"features"),xp.forEach(t),ul=n(Ze," \u0443 "),dt=i(Ze,"CODE",{});var vp=c(dt);_l=n(vp,"raw_train_dataset"),vp.forEach(t),ml=n(Ze,":"),Ze.forEach(t),Ca=m(s),w(Xs.$$.fragment,s),za=m(s),w(se.$$.fragment,s),Pa=m(s),M=i(s,"P",{});var W=c(M);dl=n(W,"\u041F\u0435\u0440\u0435\u043C\u0435\u043D\u043D\u0430\u044F "),ht=i(W,"CODE",{});var gp=c(ht);hl=n(gp,"label"),gp.forEach(t),bl=n(W," \u0442\u0438\u043F\u0430 "),bt=i(W,"CODE",{});var wp=c(bt);$l=n(wp,"ClassLabel"),wp.forEach(t),kl=n(W," \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u043C\u0435\u043D\u0430\u043C \u0432 "),$t=i(W,"EM",{});var yp=c($t);jl=n(yp,"names"),yp.forEach(t),El=n(W,". "),kt=i(W,"CODE",{});var qp=c(kt);xl=n(qp,"0"),qp.forEach(t),vl=n(W," \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 "),jt=i(W,"CODE",{});var Dp=c(jt);gl=n(Dp,"not_equivalent"),Dp.forEach(t),wl=n(W,", "),Et=i(W,"CODE",{});var Cp=c(Et);yl=n(Cp,"1"),Cp.forEach(t),ql=n(W," \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 "),xt=i(W,"CODE",{});var zp=c(xt);Dl=n(zp,"equivalent"),zp.forEach(t),Cl=n(W,"."),W.forEach(t),Ta=m(s),w(Cs.$$.fragment,s),Sa=m(s),ee=i(s,"H3",{id:!0});var Pp=c(ee);zl=n(Pp,"\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"),Pp.forEach(t),Oa=m(s),ls.l(s),Te=m(s),zs=i(s,"P",{});var qn=c(zs);Pl=n(qn,"\u0427\u0442\u043E\u0431\u044B \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043D\u0430\u043C \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E \u043A\u043E\u043D\u0432\u0435\u0440\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0442\u0435\u043A\u0441\u0442 \u0432 \u0447\u0438\u0441\u043B\u0430, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u043E\u0436\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043C\u043E\u0434\u0435\u043B\u044C. \u041A\u0430\u043A \u0432\u044B \u0432\u0438\u0434\u0435\u043B\u0438 \u0432 "),Se=i(qn,"A",{href:!0});var Tp=c(Se);Tl=n(Tp,"\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u0435"),Tp.forEach(t),Sl=n(qn,", \u044D\u0442\u043E \u0434\u0435\u043B\u0430\u0435\u0442\u0441\u044F \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E \u0442\u043E\u043A\u0435\u043D\u0430\u0439\u0437\u0435\u0440\u0430. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u0434\u0430\u0442\u044C \u043D\u0430 \u0432\u0445\u043E\u0434 \u0442\u043E\u043A\u0435\u043D\u0430\u0439\u0437\u0435\u0440\u0443 \u043E\u0434\u043D\u043E \u0438\u043B\u0438 \u0441\u043F\u0438\u0441\u043E\u043A \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0442.\u0435. \u043C\u043E\u0436\u043D\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F \u043F\u043E\u043F\u0430\u0440\u043D\u043E \u0442\u0430\u043A\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),qn.forEach(t),Aa=m(s),w(te.$$.fragment,s),Na=m(s),Oe=i(s,"P",{});var Sp=c(Oe);Ol=n(Sp,"\u041E\u0434\u043D\u0430\u043A\u043E \u043C\u044B \u043D\u0435 \u043C\u043E\u0436\u0435\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u0434\u0432\u0435 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u0432 \u043C\u043E\u0434\u0435\u043B\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u043F\u0440\u043E\u0433\u043D\u043E\u0437 \u0442\u043E\u0433\u043E, \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u043B\u0438 \u044D\u0442\u0438 \u0434\u0432\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F \u043F\u0430\u0440\u0430\u0444\u0440\u0430\u0437\u0430\u043C\u0438 \u0438\u043B\u0438 \u043D\u0435\u0442. \u041D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u0434\u0432\u0435 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u043A\u0430\u043A \u043F\u0430\u0440\u0443 \u0438 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0442\u044C \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0443\u044E \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u0443\u044E \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443. \u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442 \u0432\u0437\u044F\u0442\u044C \u043F\u0430\u0440\u0443 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0435\u0439 \u0438 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0438\u0445 \u0442\u0430\u043A, \u043A\u0430\u043A \u043E\u0436\u0438\u0434\u0430\u0435\u0442 \u043D\u0430\u0448\u0430 \u043C\u043E\u0434\u0435\u043B\u044C BERT:"),Sp.forEach(t),Ma=m(s),w(ae.$$.fragment,s),Fa=m(s),w(ne.$$.fragment,s),Ra=m(s),U=i(s,"P",{});var js=c(U);Al=n(js,"\u041C\u044B \u0443\u0436\u0435 \u043E\u0431\u0441\u0443\u0436\u0434\u0430\u043B\u0438 \u043A\u043B\u044E\u0447\u0438 "),vt=i(js,"CODE",{});var Op=c(vt);Nl=n(Op,"input_ids"),Op.forEach(t),Ml=n(js," \u0438 "),gt=i(js,"CODE",{});var Ap=c(gt);Fl=n(Ap,"attention_mask"),Ap.forEach(t),Rl=n(js," \u0432 "),Ae=i(js,"A",{href:!0});var Np=c(Ae);Ll=n(Np,"\u0433\u043B\u0430\u0432\u0435 2"),Np.forEach(t),Hl=n(js,", \u043D\u043E \u043D\u0435 \u0443\u043F\u043E\u043C\u0438\u043D\u0430\u043B\u0438 \u043E "),wt=i(js,"CODE",{});var Mp=c(wt);Wl=n(Mp,"token_type_ids"),Mp.forEach(t),Bl=n(js,". \u0412 \u044D\u0442\u043E\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0435 \u043C\u044B \u0443\u043A\u0430\u0437\u044B\u0432\u0430\u0435\u043C \u043C\u043E\u0434\u0435\u043B\u0438 \u043A\u0430\u043A\u0430\u044F \u0447\u0430\u0441\u0442\u044C \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043F\u0435\u0440\u0432\u044B\u043C \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0435\u043C, \u0430 \u043A\u0430\u043A\u0430\u044F \u0432\u0442\u043E\u0440\u044B\u043C."),js.forEach(t),La=m(s),w(Ps.$$.fragment,s),Ha=m(s),Ts=i(s,"P",{});var Dn=c(Ts);Ul=n(Dn,"\u0415\u0441\u043B\u0438 \u043C\u044B \u0434\u0435\u043A\u043E\u0434\u0438\u0440\u0443\u0435\u043C ID \u0438\u0437 "),yt=i(Dn,"CODE",{});var Fp=c(yt);Gl=n(Fp,"input_ids"),Fp.forEach(t),Il=n(Dn," \u043E\u0431\u0440\u0430\u0442\u043D\u043E \u0432 \u0441\u043B\u043E\u0432\u0430:"),Dn.forEach(t),Wa=m(s),w(le.$$.fragment,s),Ba=m(s),Ne=i(s,"P",{});var Rp=c(Ne);Vl=n(Rp,"\u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043C"),Rp.forEach(t),Ua=m(s),w(re.$$.fragment,s),Ga=m(s),vs=i(s,"P",{});var ba=c(vs);Jl=n(ba,"\u0412\u0438\u0434\u043D\u043E, \u0447\u0442\u043E \u043C\u043E\u0434\u0435\u043B\u044C \u043E\u0436\u0438\u0434\u0430\u0435\u0442 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435 \u0432 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u043C \u0444\u043E\u0440\u043C\u0430\u0442\u0435: "),qt=i(ba,"CODE",{});var Lp=c(qt);Kl=n(Lp,"[CLS] sentence1 [SEP] sentence2 [SEP]"),Lp.forEach(t),Yl=n(ba," \u0432 \u0441\u043B\u0443\u0447\u0430\u0435 \u0434\u0432\u0443\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u041F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0438 "),Dt=i(ba,"CODE",{});var Hp=c(Dt);Zl=n(Hp,"token_type_ids"),Hp.forEach(t),ba.forEach(t),Ia=m(s),w(oe.$$.fragment,s),Va=m(s),G=i(s,"P",{});var Es=c(G);Ql=n(Es,"\u041A\u0430\u043A \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0437\u0430\u043C\u0435\u0442\u0438\u0442\u044C, \u0447\u0430\u0441\u0442\u0438 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445, \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0445 "),Ct=i(Es,"CODE",{});var Wp=c(Ct);Xl=n(Wp,"[CLS] sentence1 [SEP]"),Wp.forEach(t),sr=n(Es," \u0438\u043C\u0435\u044E\u0442 \u0442\u0438\u043F \u0442\u043E\u043A\u0435\u043D\u0430 "),zt=i(Es,"CODE",{});var Bp=c(zt);er=n(Bp,"0"),Bp.forEach(t),tr=n(Es,", \u0432 \u0442\u043E \u0432\u0440\u0435\u043C\u044F \u043A\u0430\u043A \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u044B\u0435 \u0447\u0430\u0441\u0442\u0438, \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0435 \u0432\u0442\u043E\u0440\u043E\u043C\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044E "),Pt=i(Es,"CODE",{});var Up=c(Pt);ar=n(Up,"sentence2 [SEP]"),Up.forEach(t),nr=n(Es,", \u0438\u043C\u0435\u044E\u0442 \u0442\u0438\u043F \u0442\u043E\u043A\u0435\u043D\u0430 "),Tt=i(Es,"CODE",{});var Gp=c(Tt);lr=n(Gp,"1"),Gp.forEach(t),rr=n(Es,"."),Es.forEach(t),Ja=m(s),Ss=i(s,"P",{});var Cn=c(Ss);or=n(Cn,"\u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0432\u044B\u0431\u0435\u0440\u0435\u0442\u0435 \u0434\u0440\u0443\u0433\u043E\u0439 \u0447\u0435\u043A\u043F\u043E\u0438\u043D\u0442, "),St=i(Cn,"CODE",{});var Ip=c(St);pr=n(Ip,"token_type_ids"),Ip.forEach(t),ir=n(Cn," \u043D\u0435\u043E\u0431\u044F\u0437\u0430\u0442\u0435\u043B\u044C\u043D\u043E \u0431\u0443\u0434\u0443\u0442 \u043F\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043E\u0432\u0430\u0442\u044C \u0432 \u0432\u0430\u0448\u0438\u0445 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0445 \u0432\u0445\u043E\u0434\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 (\u043D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u043E\u043D\u0438 \u043D\u0435 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F, \u0435\u0441\u043B\u0438 \u0432\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442\u0435 \u043C\u043E\u0434\u0435\u043B\u044C DistilBERT). \u041E\u043D\u0438 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F \u0442\u043E\u043B\u044C\u043A\u043E \u0442\u043E\u0433\u0434\u0430, \u043A\u043E\u0433\u0434\u0430 \u043C\u043E\u0434\u0435\u043B\u044C \u0431\u0443\u0434\u0435\u0442 \u0437\u043D\u0430\u0442\u044C, \u0447\u0442\u043E \u0441 \u043D\u0438\u043C\u0438 \u0434\u0435\u043B\u0430\u0442\u044C, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u043E\u043D\u0430 \u0432\u0438\u0434\u0435\u043B\u0430 \u0438\u0445 \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u043F\u0440\u0435\u0434\u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F."),Cn.forEach(t),Ka=m(s),ms=i(s,"P",{});var Qe=c(ms);cr=n(Qe,"\u0412 \u0434\u0430\u043D\u043D\u043E\u043C \u0441\u043B\u0443\u0447\u0430\u0435 BERT \u0431\u044B\u043B \u043E\u0431\u0443\u0447\u0435\u043D \u0441 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0435\u0439 \u043E \u0438\u0434\u0435\u043D\u0442\u0438\u0444\u0438\u043A\u0430\u0442\u043E\u0440\u0430\u0445 \u0442\u0438\u043F\u043E\u0432 \u0442\u043E\u043A\u0435\u043D\u043E\u0432, \u0438 \u043F\u043E\u043C\u0438\u043C\u043E \u0437\u0430\u0434\u0430\u0447\u0438 \u043C\u0430\u0441\u043A\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u043E\u0439 \u044F\u0437\u044B\u043A\u043E\u0432\u043E\u0439 \u043C\u043E\u0434\u0435\u043B\u0438, \u043E \u043A\u043E\u0442\u043E\u0440\u043E\u0439 \u043C\u044B \u0433\u043E\u0432\u043E\u0440\u0438\u043B\u0438 \u0432 "),Me=i(Qe,"A",{href:!0});var Vp=c(Me);fr=n(Vp,"\u0433\u043B\u0430\u0432\u0435 1"),Vp.forEach(t),ur=n(Qe,", \u043E\u043D \u043C\u043E\u0436\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044C \u0435\u0449\u0435 \u043E\u0434\u043D\u0443 \u0437\u0430\u0434\u0430\u0447\u0443: \u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0430\u043D\u0438\u0435 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0433\u043E \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F ("),Ot=i(Qe,"EM",{});var Jp=c(Ot);_r=n(Jp,"next sentence prediction"),Jp.forEach(t),mr=n(Qe,"). \u0421\u0443\u0442\u044C \u044D\u0442\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 - \u0441\u043C\u043E\u0434\u0435\u043B\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0441\u0432\u044F\u0437\u044C \u043C\u0435\u0436\u0434\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u043C\u0438."),Qe.forEach(t),Ya=m(s),Fe=i(s,"P",{});var Kp=c(Fe);dr=n(Kp,"\u0412 \u044D\u0442\u043E\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043C\u043E\u0434\u0435\u043B\u0438 \u043D\u0430 \u0432\u0445\u043E\u0434 \u043F\u043E\u0434\u0430\u044E\u0442\u0441\u044F \u043F\u0430\u0440\u044B \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 (\u0441\u043E \u0441\u043B\u0443\u0447\u0430\u0439\u043D\u043E \u0437\u0430\u043C\u0430\u0441\u043A\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u043C\u0438 \u0442\u043E\u043A\u0435\u043D\u0430\u043C\u0438), \u043E\u0442 \u043C\u043E\u0434\u0435\u043B\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0430\u0442\u044C, \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043B\u0438 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0435 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0435 \u043F\u0440\u043E\u0434\u043E\u043B\u0436\u0435\u043D\u0438\u0435\u043C \u0442\u0435\u043A\u0443\u0449\u0435\u0433\u043E. \u0427\u0442\u043E\u0431\u044B \u0437\u0430\u0434\u0430\u0447\u0430 \u043D\u0435 \u0431\u044B\u043B\u0430 \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0442\u0440\u0438\u0432\u0438\u0430\u043B\u044C\u043D\u043E\u0439, \u043F\u043E\u043B\u043E\u0432\u0438\u043D\u0430 \u0432\u0440\u0435\u043C\u0435\u043D\u0438 \u043C\u043E\u0434\u0435\u043B\u044C \u043E\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044F \u043D\u0430 \u0441\u043E\u0441\u0435\u0434\u043D\u0438\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u044F\u0445 \u0438\u0437 \u043E\u0434\u043D\u043E\u0433\u043E \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430, \u0434\u0440\u0443\u0433\u0443\u044E \u043F\u043E\u043B\u043E\u0432\u0438\u043D\u0443 \u043D\u0430 \u043F\u0430\u0440\u0430\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0432\u0437\u044F\u0442\u044B\u0445 \u0438\u0437 \u0440\u0430\u0437\u043D\u044B\u0445 \u0438\u0441\u0442\u043E\u0447\u043D\u0438\u043A\u043E\u0432."),Kp.forEach(t),Za=m(s),Os=i(s,"P",{});var zn=c(Os);hr=n(zn,"\u0412 \u043E\u0431\u0449\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u0432\u0430\u043C \u043D\u0435 \u043D\u0443\u0436\u043D\u043E \u0431\u0435\u0441\u043F\u043E\u043A\u043E\u0438\u0442\u044C\u0441\u044F \u043E \u043D\u0430\u043B\u0438\u0447\u0438\u0438 "),At=i(zn,"CODE",{});var Yp=c(At);br=n(Yp,"token_type_ids"),Yp.forEach(t),$r=n(zn," \u0432 \u0432\u0430\u0448\u0438\u0445 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445: \u043F\u043E\u043A\u0430 \u0432\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442\u0435 \u043E\u0434\u0438\u043D\u0430\u043A\u043E\u0432\u044B\u0439 \u0447\u0435\u043A\u043F\u043E\u0438\u043D\u0442 \u0438 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440\u0430, \u0438 \u0434\u043B\u044F \u043C\u043E\u0434\u0435\u043B\u0438 \u2013 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u0431\u0443\u0434\u0435\u0442 \u0437\u043D\u0430\u0442\u044C, \u043A\u0430\u043A \u043D\u0443\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435."),zn.forEach(t),Qa=m(s),ds=i(s,"P",{});var Xe=c(ds);kr=n(Xe,"\u0422\u0435\u043F\u0435\u0440\u044C \u043C\u044B \u0437\u043D\u0430\u0435\u043C, \u0447\u0442\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u043C\u043E\u0436\u0435\u0442 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u0438\u0442\u044C \u0441\u0440\u0430\u0437\u0443 \u043F\u0430\u0440\u0443 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u0430 \u0437\u043D\u0430\u0447\u0438\u0442 \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0435\u0433\u043E \u0434\u043B\u044F \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430: \u0442\u0430\u043A \u0436\u0435 \u043A\u0430\u043A \u0438 \u0432 "),Re=i(Xe,"A",{href:!0});var Zp=c(Re);jr=n(Zp,"\u043F\u0440\u0435\u0434\u044B\u0434\u0443\u0449\u0435\u0439 \u0433\u043B\u0430\u0432\u0435"),Zp.forEach(t),Er=n(Xe," \u043C\u043E\u0436\u043D\u043E \u043F\u043E\u0434\u0430\u0442\u044C \u043D\u0430 \u0432\u0445\u043E\u0434 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440\u0443 \u0441\u043F\u0438\u0441\u043E\u043A \u043F\u0435\u0440\u0432\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439 \u0438 \u0441\u043F\u0438\u0441\u043E\u043A \u0432\u0442\u043E\u0440\u044B\u0445 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439. \u042D\u0442\u043E \u0442\u0430\u043A\u0436\u0435 \u0441\u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0438 \u0434\u043B\u044F \u043C\u0435\u0445\u0430\u043D\u0438\u0437\u043C\u043E\u0432 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F (padding) \u0438 \u0443\u0441\u0435\u0447\u0435\u043D\u0438\u044F \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B (truncation) - \u043E\u0431 \u044D\u0442\u043E\u043C \u043C\u044B \u0433\u043E\u0432\u043E\u0440\u0438\u043B\u0438 \u0432 "),Le=i(Xe,"A",{href:!0});var Qp=c(Le);xr=n(Qp,"\u0433\u043B\u0430\u0432\u0435 2"),Qp.forEach(t),vr=n(Xe,". \u0418\u0442\u0430\u043A, \u043E\u0434\u0438\u043D \u0438\u0437 \u0441\u043F\u043E\u0441\u043E\u0431\u043E\u0432 \u043F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0442\u0430\u043A\u043E\u0439:"),Xe.forEach(t),Xa=m(s),w(pe.$$.fragment,s),sn=m(s),I=i(s,"P",{});var xs=c(I);gr=n(xs,"\u042D\u0442\u043E \u0445\u043E\u0440\u043E\u0448\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442, \u043E\u0434\u043D\u0430\u043A\u043E \u0435\u0441\u0442\u044C \u043D\u0435\u0434\u043E\u0441\u0442\u0430\u0442\u043E\u043A, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0444\u043E\u0440\u043C\u0438\u0440\u0443\u0435\u0442 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 (\u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438,  "),Nt=i(xs,"CODE",{});var Xp=c(Nt);wr=n(Xp,"input_ids"),Xp.forEach(t),yr=n(xs,", "),Mt=i(xs,"CODE",{});var si=c(Mt);qr=n(si,"attention_mask"),si.forEach(t),Dr=n(xs,", \u0438 "),Ft=i(xs,"CODE",{});var ei=c(Ft);Cr=n(ei,"token_type_ids"),ei.forEach(t),zr=n(xs,", \u0438 \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u044F\u043C\u0438 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 \u0441\u043F\u0438\u0441\u043A\u0430 \u0441\u043F\u0438\u0441\u043A\u043E\u0432). \u042D\u0442\u043E \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0442\u043E\u043B\u044C\u043A\u043E \u0435\u0441\u043B\u0438 \u0443 \u043D\u0430\u0441 \u0434\u043E\u0441\u0442\u0430\u0442\u043E\u0447\u043D\u043E \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438 (RAM) \u0434\u043B\u044F \u0445\u0440\u0430\u043D\u0435\u043D\u0438\u044F \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 (\u0432 \u0442\u043E \u0432\u0440\u0435\u043C\u044F \u043A\u0430\u043A \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u0438\u0437 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 \u{1F917} Datasets \u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F "),ie=i(xs,"A",{href:!0,rel:!0});var ti=c(ie);Pr=n(ti,"Apache Arrow"),ti.forEach(t),Tr=n(xs," \u0444\u0430\u0439\u043B\u0430\u043C\u0438, \u0445\u0440\u0430\u043D\u044F\u0449\u0438\u043C\u0438\u0441\u044F \u043D\u0430 \u0434\u0438\u0441\u043A\u0435; \u043E\u043D\u0438 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043D\u044B \u0442\u043E\u043B\u044C\u043A\u043E \u0432 \u0442\u043E\u0442 \u043C\u043E\u043C\u0435\u043D\u0442, \u043A\u043E\u0433\u0434\u0430 \u0432\u044B \u0438\u0445 \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u0430\u043F\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044C)."),xs.forEach(t),en=m(s),hs=i(s,"P",{});var st=c(hs);Sr=n(st,"\u0427\u0442\u043E\u0431\u044B \u0445\u0440\u0430\u043D\u0438\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435 \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043C\u0435\u0442\u043E\u0434\u044B "),ce=i(st,"A",{href:!0,rel:!0});var ai=c(ce);Rt=i(ai,"CODE",{});var ni=c(Rt);Or=n(ni,"Dataset.map()"),ni.forEach(t),ai.forEach(t),Ar=n(st,". \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u043D\u0430\u043C \u0441\u043E\u0445\u0440\u0430\u043D\u0438\u0442\u044C \u0432\u044B\u0441\u043E\u043A\u0443\u044E \u0433\u0438\u0431\u043A\u043E\u0441\u0442\u044C \u0434\u0430\u0436\u0435 \u0435\u0441\u043B\u0438 \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0447\u0442\u043E-\u0442\u043E \u0431\u043E\u043B\u044C\u0448\u0435\u0435, \u0447\u0435\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044F. \u041C\u0435\u0442\u043E\u0434 "),Lt=i(st,"CODE",{});var li=c(Lt);Nr=n(li,"map()"),li.forEach(t),Mr=n(st," \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0442\u0430\u043A: \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u0442 \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u0443\u044E \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043A \u043A\u0430\u0436\u0434\u043E\u043C\u0443 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0438\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043D\u0430\u0448\u0438 \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435:"),st.forEach(t),tn=m(s),w(fe.$$.fragment,s),an=m(s),A=i(s,"P",{});var F=c(A);Fr=n(F,"\u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0438\u043D\u0438\u043C\u0430\u0435\u0442 \u043D\u0430 \u0432\u0445\u043E\u0434 \u0441\u043B\u0432\u043E\u0430\u0440\u044C (\u043F\u043E\u0445\u043E\u0436\u0438\u0439 \u043D\u0430 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u043D\u0430\u0448\u0435\u0433\u043E \u0441\u043B\u043E\u0432\u0430\u0440\u044F) \u0438 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043D\u043E\u0432\u044B\u0439 \u0441\u043B\u043E\u0432\u0430\u0440\u044C \u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438 "),Ht=i(F,"CODE",{});var ri=c(Ht);Rr=n(ri,"input_ids"),ri.forEach(t),Lr=n(F,", "),Wt=i(F,"CODE",{});var oi=c(Wt);Hr=n(oi,"attention_mask"),oi.forEach(t),Wr=n(F," \u0438 "),Bt=i(F,"CODE",{});var pi=c(Bt);Br=n(pi,"token_type_ids"),pi.forEach(t),Ur=n(F,". \u0417\u0430\u043C\u0435\u0442\u044C\u0442\u0435, \u044D\u0442\u043E \u0442\u0430\u043A\u0436\u0435 \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0435\u0441\u043B\u0438 \u0441\u043B\u043E\u0432\u0430\u0440\u044C "),Ut=i(F,"CODE",{});var ii=c(Ut);Gr=n(ii,"example"),ii.forEach(t),Ir=n(F," \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 (\u043A\u0430\u0436\u0434\u044B\u0439 \u043A\u043B\u044E\u0447 \u0432 \u0432\u0438\u0434\u0435 \u0441\u043F\u0438\u0441\u043A\u0430 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439), \u043F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 "),Gt=i(F,"CODE",{});var ci=c(Gt);Vr=n(ci,"tokenizer"),ci.forEach(t),Jr=n(F," \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0438 \u0441\u043E \u0441\u043F\u0438\u0441\u043A\u0430\u043C\u0438 \u043F\u0430\u0440 \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u043A\u0430\u043A \u043C\u044B \u0438 \u0432\u0438\u0434\u0435\u043B\u0438 \u0440\u0430\u043D\u0435\u0435. \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u043D\u0430\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),It=i(F,"CODE",{});var fi=c(It);Kr=n(fi,"batched=True"),fi.forEach(t),Yr=n(F," \u0432 \u0432\u044B\u0437\u043E\u0432\u0435 "),Vt=i(F,"CODE",{});var ui=c(Vt);Zr=n(ui,"map()"),ui.forEach(t),Qr=n(F,", \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0443\u0441\u043A\u043E\u0440\u0438\u0442 \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438. "),Jt=i(F,"CODE",{});var _i=c(Jt);Xr=n(_i,"tokenizer"),_i.forEach(t),so=n(F," \u0432\u043D\u0443\u0442\u0440\u0438 \u0440\u0435\u0430\u043B\u0438\u0437\u043E\u0432\u0430\u043D \u043D\u0430 \u044F\u0437\u044B\u043A\u0435 Rust \u0438\u0437 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 "),ue=i(F,"A",{href:!0,rel:!0});var mi=c(ue);eo=n(mi,"\u{1F917} Tokenizers"),mi.forEach(t),to=n(F,". \u042D\u0442\u043E\u0442 \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 \u043C\u043E\u0436\u0435\u0442 \u0431\u044B\u0442\u044C \u043E\u0447\u0435\u043D\u044C \u0431\u044B\u0441\u0442\u0440\u044B\u043C, \u043D\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u0435\u0441\u043B\u0438 \u043C\u044B \u043F\u043E\u0434\u0430\u0434\u0438\u043C \u0431\u043E\u043B\u044C\u0448\u043E\u0439 \u043E\u0431\u044A\u0435\u043C \u0434\u0430\u043D\u043D\u044B\u0445 \u0437\u0430 \u0440\u0430\u0437."),F.forEach(t),nn=m(s),As=i(s,"P",{});var Pn=c(As);ao=n(Pn,"\u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0432 \u044D\u0442\u043E\u0442 \u0440\u0430\u0437 \u043C\u044B \u043E\u0441\u0442\u0430\u0432\u0438\u043B\u0438 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Kt=i(Pn,"CODE",{});var di=c(Kt);no=n(di,"padding"),di.forEach(t),lo=n(Pn," \u043F\u0443\u0441\u0442\u044B\u043C, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u043D\u0435\u044D\u0444\u0444\u0435\u043A\u0442\u0438\u0432\u043D\u043E: \u0433\u043E\u0440\u0430\u0437\u0434\u043E \u0431\u044B\u0441\u0442\u0440\u0435\u0435 \u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u0444\u043E\u0440\u043C\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u0431\u0430\u0442\u0447\u0430, \u0432 \u0442\u0430\u043A\u043E\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u043C\u044B \u0431\u0443\u0434\u0435\u043C \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0442\u044C \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u0442\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0431\u0430\u0442\u0447\u0430, \u0430 \u043D\u0435 \u0446\u0435\u043B\u043E\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u042D\u0442\u043E \u043F\u043E\u043C\u043E\u0436\u0435\u0442 \u0441\u044D\u043A\u043E\u043D\u043E\u043C\u0438\u0442\u044C \u0432\u0440\u0435\u043C\u044F \u0432 \u0441\u043B\u0443\u0447\u0430\u0435 \u0434\u043B\u0438\u043D\u043D\u044B\u0445 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0435\u0439."),Pn.forEach(t),ln=m(s),bs=i(s,"P",{});var et=c(bs);ro=n(et,"\u041D\u0438\u0436\u0435 \u043F\u0440\u0438\u043C\u0435\u0440 \u0442\u043E\u0433\u043E, \u043A\u0430\u043A \u043C\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u043C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 \u043A \u0446\u0435\u043B\u043E\u043C\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443. \u041C\u044B \u0443\u043A\u0430\u0437\u044B\u0432\u0430\u0435\u043C "),Yt=i(et,"CODE",{});var hi=c(Yt);oo=n(hi,"batched=True"),hi.forEach(t),po=n(et," \u0432 \u043D\u0430\u0448\u0435\u043C \u0432\u044B\u0437\u043E\u0432\u0435 "),Zt=i(et,"CODE",{});var bi=c(Zt);io=n(bi,"map"),bi.forEach(t),co=n(et," \u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0431\u0443\u0434\u0435\u0442 \u043F\u0440\u0438\u043C\u0435\u043D\u0435\u043D\u0430 \u0441\u0440\u0430\u0437\u0443 \u043A \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u043C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043E\u0434\u043D\u043E\u0432\u0440\u0435\u043C\u0435\u043D\u043D\u043E, \u0430 \u043D\u0435 \u043A \u043A\u0430\u0436\u0434\u043E\u043C\u0443 \u043F\u043E \u043E\u0442\u0434\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438. \u042D\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044E \u0431\u043E\u043B\u0435\u0435 \u0431\u044B\u0441\u0442\u0440\u043E\u0439."),et.forEach(t),rn=m(s),w(_e.$$.fragment,s),on=m(s),He=i(s,"P",{});var $i=c(He);fo=n($i,"\u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Datasets \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443, \u0434\u043E\u0431\u0430\u0432\u043B\u044F\u044F \u043D\u043E\u0432\u044B\u0435 \u043F\u043E\u043B\u044F \u0432 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u043F\u043E \u043E\u0434\u043D\u043E\u043C\u0443 \u0434\u043B\u044F \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u043A\u043B\u044E\u0447\u0430 \u0432 \u0441\u043B\u043E\u0432\u0430\u0440\u0435, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E\u0439 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438:"),$i.forEach(t),pn=m(s),w(me.$$.fragment,s),cn=m(s),$s=i(s,"P",{});var tt=c($s);uo=n(tt,"\u0412 \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),Qt=i(tt,"CODE",{});var ki=c(Qt);_o=n(ki,"map()"),ki.forEach(t),mo=n(tt," \u043C\u043E\u0436\u043D\u043E \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u043C\u0443\u043B\u044C\u0442\u0438\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433: \u0437\u0430 \u044D\u0442\u043E \u043E\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Xt=i(tt,"CODE",{});var ji=c(Xt);ho=n(ji,"num_proc"),ji.forEach(t),bo=n(tt,". \u041C\u044B \u0435\u0433\u043E \u043D\u0435 \u043F\u0440\u0438\u043C\u0435\u043D\u044F\u043B\u0438, \u043F\u043E\u0442\u043E\u043C\u0443 \u0447\u0442\u043E \u0431\u0438\u0431\u043B\u0438\u043E\u0435\u0442\u0435\u043A\u0430 \u{1F917} Tokenizers \u0441\u0440\u0430\u0437\u0443 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043F\u043E\u0442\u043E\u043A\u043E\u0432 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438, \u043D\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u0431\u0443\u0434\u0435\u0442\u0435 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043D\u0435 \u0438\u0437 \u{1F917} Tokenizers, \u044D\u0442\u043E \u043C\u043E\u0436\u0435\u0442 \u0443\u0441\u043A\u043E\u0440\u0438\u0442\u044C \u043F\u0440\u043E\u0446\u0435\u0441\u0441."),tt.forEach(t),fn=m(s),H=i(s,"P",{});var X=c(H);$o=n(X,"\u041D\u0430\u0448\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F "),sa=i(X,"CODE",{});var Ei=c(sa);ko=n(Ei,"tokenize_function"),Ei.forEach(t),jo=n(X,"  \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043B\u043E\u0432\u0430\u0440\u044C \u0441 \u043A\u043B\u044E\u0447\u0430\u043C\u0438 "),ea=i(X,"CODE",{});var xi=c(ea);Eo=n(xi,"input_ids"),xi.forEach(t),xo=n(X,", "),ta=i(X,"CODE",{});var vi=c(ta);vo=n(vi,"attention_mask"),vi.forEach(t),go=n(X," \u0438 "),aa=i(X,"CODE",{});var gi=c(aa);wo=n(gi,"token_type_ids"),gi.forEach(t),yo=n(X,", \u043E\u043D\u0438 \u0443\u0436\u0435 \u0434\u043E\u0431\u0430\u0432\u043B\u0435\u043D\u044B \u043A\u043E \u0432\u0441\u0435\u043C \u0440\u0430\u0437\u0431\u0438\u0435\u043D\u0438\u044F\u043C\u0438 \u043D\u0430\u0448\u0435\u0433\u043E \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u043C\u044B \u043C\u043E\u0433\u043B\u0438 \u0431\u044B \u0442\u0430\u043A\u0436\u0435 \u0438\u0437\u043C\u0435\u043D\u0438\u0442\u044C \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044E\u0449\u0438\u0435 \u043F\u043E\u043B\u044F, \u0435\u0441\u043B\u0438 \u0431\u044B \u043D\u0430\u0448\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043F\u0440\u0435\u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0438\u043D\u0433\u0430 \u0432\u0435\u0440\u043D\u0443\u043B\u0430 \u043D\u043E\u0432\u043E\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u0438\u0435 \u0434\u043B\u044F \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044E\u0449\u0435\u0433\u043E \u043A\u043B\u044E\u0447\u0430 \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445, \u043A \u043A\u043E\u0442\u043E\u0440\u043E\u043C\u0443 \u043C\u044B \u043F\u0440\u0438\u043C\u0435\u043D\u0438\u043B\u0438 "),na=i(X,"CODE",{});var wi=c(na);qo=n(wi,"map()"),wi.forEach(t),Do=n(X,"."),X.forEach(t),un=m(s),ks=i(s,"P",{});var at=c(ks);Co=n(at,"\u041F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u0435, \u0447\u0442\u043E \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0441\u0434\u0435\u043B\u0430\u0442\u044C, \u044D\u0442\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u044C \u0432\u0441\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0434\u043E \u0434\u043B\u0438\u043D\u044B \u0441\u0430\u043C\u043E\u0433\u043E \u0434\u043B\u0438\u043D\u043D\u043E\u0433\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430, \u043A\u043E\u0433\u0434\u0430 \u043C\u044B \u0441\u043E\u0431\u0438\u0440\u0430\u0435\u043C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432\u043C\u0435\u0441\u0442\u0435 \u2014 \u043C\u0435\u0442\u043E\u0434, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u043C "),la=i(at,"EM",{});var yi=c(la);zo=n(yi,"\u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438\u043C \u043F\u044D\u0434\u0434\u0438\u043D\u0433\u043E\u043C"),yi.forEach(t),Po=n(at," ("),ra=i(at,"EM",{});var qi=c(ra);To=n(qi,"dynamic padding"),qi.forEach(t),So=n(at,")."),at.forEach(t),_n=m(s),gs=i(s,"H3",{class:!0});var Tn=c(gs);Ns=i(Tn,"A",{id:!0,class:!0,href:!0});var Di=c(Ns);oa=i(Di,"SPAN",{});var Ci=c(oa);w(de.$$.fragment,Ci),Ci.forEach(t),Di.forEach(t),Oo=m(Tn),pa=i(Tn,"SPAN",{});var zi=c(pa);Ao=n(zi,"Dynamic padding"),zi.forEach(t),Tn.forEach(t),mn=m(s),w(he.$$.fragment,s),dn=m(s),ws.l(s),We=m(s),Ms=i(s,"P",{});var Sn=c(Ms);No=n(Sn,"\u0414\u043B\u044F \u0442\u043E\u0433\u043E, \u0447\u0442\u043E\u0431\u044B \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u043D\u0430 \u043F\u0440\u0430\u043A\u0442\u0438\u043A\u0435, \u043C\u044B \u0434\u043E\u043B\u0436\u043D\u044B \u0437\u0430\u0434\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u044F, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u0431\u0443\u0434\u0435\u0442 \u043E\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043B\u044F\u0442\u044C \u043A\u043E\u0440\u0440\u0435\u043A\u0442\u043D\u044B\u0439 \u043F\u044D\u0434\u0434\u0438\u043D\u0433 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u0432\u044B\u0431\u043E\u0440\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u044B \u0445\u043E\u0442\u0438\u043C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0432 \u0431\u0430\u0442\u0447. \u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u{1F917} Transformers \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u044D\u0442\u0443 \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u0447\u0435\u0440\u0435\u0437 \u043A\u043B\u0430\u0441\u0441 "),ia=i(Sn,"CODE",{});var Pi=c(ia);Mo=n(Pi,"DataCollatorWithPadding"),Pi.forEach(t),Fo=n(Sn,". \u041F\u0440\u0438 \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u0438 \u044D\u043A\u0437\u0435\u043C\u043F\u043B\u044F\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0443\u043A\u0430\u0437\u0430\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0442\u043E\u0440 (\u0447\u0442\u043E\u0431\u044B \u0437\u043D\u0430\u0442\u044C, \u043A\u0430\u043A\u043E\u0439 \u0442\u043E\u043A\u0435\u043D \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0434\u043B\u044F \u043F\u044D\u0434\u0434\u0438\u043D\u0433\u0430 \u0438 \u0441\u043B\u0435\u0432\u0430 \u0438\u043B\u0438 \u0441\u043F\u0440\u0430\u0432\u0430 \u043D\u0443\u0436\u043D\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0442\u044C \u0434\u0430\u043D\u043D\u044B\u0435), \u0430 \u0434\u0430\u043B\u044C\u0448\u0435 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u0441\u0434\u0435\u043B\u0430\u0435\u0442 \u0432\u0441\u0435, \u0447\u0442\u043E \u0432\u0430\u043C \u043D\u0443\u0436\u043D\u043E:"),Sn.forEach(t),hn=m(s),os.l(s),Be=m(s),Z=i(s,"P",{});var Bs=c(Z);Ro=n(Bs,"\u0427\u0442\u043E\u0431\u044B \u043F\u0440\u043E\u0442\u0435\u0441\u0442\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u044D\u0442\u043E, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043E\u0437\u044C\u043C\u0435\u043C \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u043E\u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0435\u0439 \u0432\u044B\u0431\u043E\u0440\u043A\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043C\u044B \u0445\u043E\u0442\u0438\u043C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0432 \u0431\u0430\u0442\u0447. \u041C\u044B \u0443\u0434\u0430\u043B\u0438\u043C \u043A\u043E\u043B\u043E\u043D\u043A\u0438 "),ca=i(Bs,"CODE",{});var Ti=c(ca);Lo=n(Ti,"idx"),Ti.forEach(t),Ho=n(Bs,", "),fa=i(Bs,"CODE",{});var Si=c(fa);Wo=n(Si,"sentence1"),Si.forEach(t),Bo=n(Bs," \u0438 "),ua=i(Bs,"CODE",{});var Oi=c(ua);Uo=n(Oi,"sentence2"),Oi.forEach(t),Go=n(Bs," \u0442.\u043A. \u043E\u043D\u0438 \u0441\u043E\u0434\u0435\u0440\u0436\u0430\u0442 \u0441\u0442\u0440\u043E\u043A\u0438 (\u0430 \u043C\u044B \u043D\u0435 \u043C\u043E\u0436\u0435\u043C \u043F\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044C \u0441\u0442\u0440\u043E\u043A\u0438 \u0432 \u0442\u0435\u043D\u0437\u043E\u0440\u044B) \u0438 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u0434\u043B\u0438\u043D\u0443 \u043A\u0430\u0436\u0434\u043E\u0439 \u0437\u0430\u043F\u0438\u0441\u0438 \u0432 \u0431\u0430\u0442\u0447\u0435:"),Bs.forEach(t),bn=m(s),w(be.$$.fragment,s),$n=m(s),w($e.$$.fragment,s),kn=m(s),Ue=i(s,"P",{});var Ai=c(Ue);Io=n(Ai,"\u041D\u0435\u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043B\u044C\u043D\u043E: \u043C\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u043B\u0438 \u043E\u0431\u044A\u0435\u043A\u0442\u044B \u0440\u0430\u0437\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u043E\u0442 32 \u0434\u043E 67. \u0414\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438\u0439 \u043F\u044D\u0434\u0434\u0438\u043D\u0433 \u043F\u043E\u0434\u0440\u0430\u0437\u0443\u043C\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043E \u0432\u0441\u0435 \u043E\u0431\u044A\u0435\u043A\u0442\u044B \u0431\u0443\u0434\u0443\u0442 \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u044B \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B, \u0434\u043E 67."),Ai.forEach(t),jn=m(s),Fs=i(s,"P",{});var On=c(Fs);Vo=n(On,"No surprise, we get samples of varying length, from 32 to 67. Dynamic padding means the samples in this batch should all be padded to a length of 67, the maximum length inside the batch. \u0411\u0435\u0437 \u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u043E\u0433\u043E \u0437\u0430\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F \u0432\u0441\u0435 \u0432\u044B\u0431\u043E\u0440\u043A\u0438 \u0434\u043E\u043B\u0436\u043D\u044B \u0431\u044B\u0442\u044C \u0434\u043E\u043F\u043E\u043B\u043D\u0435\u043D\u044B \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B \u0432\u043E \u0432\u0441\u0435\u043C \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u043B\u0438 \u0434\u043E \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u043E\u0439 \u0434\u043B\u0438\u043D\u044B, \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043C\u043E\u0436\u0435\u0442 \u043F\u0440\u0438\u043D\u044F\u0442\u044C \u043C\u043E\u0434\u0435\u043B\u044C. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u0432\u0430\u0436\u0434\u044B \u043F\u0440\u043E\u0432\u0435\u0440\u0438\u043C, \u0447\u0442\u043E \u043D\u0430\u0448 "),_a=i(On,"CODE",{});var Ni=c(_a);Jo=n(Ni,"data_collator"),Ni.forEach(t),Ko=n(On," \u0434\u0438\u043D\u0430\u043C\u0438\u0447\u0435\u0441\u043A\u0438 \u043F\u0440\u0430\u0432\u0438\u043B\u044C\u043D\u043E \u0434\u043E\u043F\u043E\u043B\u043D\u044F\u0435\u0442 \u0431\u0430\u0442\u0447:"),On.forEach(t),En=m(s),w(ke.$$.fragment,s),xn=m(s),is.l(s),Ge=m(s),w(Rs.$$.fragment,s),vn=m(s),R&&R.l(s),Ie=Mi(),this.h()},h(){z(l,"name","hf:doc:metadata"),z(l,"content",JSON.stringify(fc)),z(j,"id",""),z(O,"href","https://www.aclweb.org/anthology/I05-5002.pdf"),z(O,"rel","nofollow"),z(es,"id","hub"),z(es,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(es,"href","#hub"),z(K,"class","relative group"),z(Is,"href","https://huggingface.co/datasets"),z(Is,"rel","nofollow"),z(Vs,"href","https://huggingface.co/docs/datasets/loading_datasets.html#from-the-huggingface-hub"),z(Vs,"rel","nofollow"),z(Js,"href","https://gluebenchmark.com/"),z(Js,"rel","nofollow"),z(ee,"id",""),z(Se,"href","/course/ru/chapter2"),z(Ae,"href","/course/ru/chapter2"),z(Me,"href","/course/ru/chapter1"),z(Re,"href","/course/ru/chapter2"),z(Le,"href","/course/chapter2"),z(ie,"href","https://arrow.apache.org/"),z(ie,"rel","nofollow"),z(ce,"href","https://huggingface.co/docs/datasets/package_reference/main_classes.html#datasets.Dataset.map"),z(ce,"rel","nofollow"),z(ue,"href","https://github.com/huggingface/tokenizers"),z(ue,"rel","nofollow"),z(Ns,"id","dynamic-padding"),z(Ns,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),z(Ns,"href","#dynamic-padding"),z(gs,"class","relative group")},m(s,r){e(document.head,l),f(s,u,r),y(o,s,r),f(s,h,r),f(s,j,r),e(j,d),f(s,b,r),je[x].m(s,r),f(s,D,r),Ee[P].m(s,r),f(s,N,r),f(s,B,r),e(B,ss),e(B,V),e(V,ys),e(B,fs),f(s,qs,r),f(s,J,r),e(J,S),e(J,O),e(O,De),e(J,Ce),f(s,Us,r),f(s,K,r),e(K,es),e(es,nt),y(Gs,nt,null),e(K,An),e(K,lt),e(lt,Nn),f(s,ka,r),xe[ts].m(s,r),f(s,ze,r),f(s,Y,r),e(Y,Mn),e(Y,Is),e(Is,Fn),e(Y,Rn),e(Y,Vs),e(Vs,Ln),e(Y,Hn),e(Y,Js),e(Js,Wn),e(Y,Bn),f(s,ja,r),f(s,Pe,r),e(Pe,Un),f(s,Ea,r),y(Ks,s,r),f(s,xa,r),y(Ys,s,r),f(s,va,r),f(s,L,r),e(L,Gn),e(L,rt),e(rt,In),e(L,Vn),e(L,ot),e(ot,Jn),e(L,Kn),e(L,pt),e(pt,Yn),e(L,Zn),e(L,it),e(it,Qn),e(L,Xn),e(L,ct),e(ct,sl),e(L,el),f(s,ga,r),f(s,us,r),e(us,tl),e(us,ft),e(ft,al),e(us,nl),e(us,ut),e(ut,ll),e(us,rl),f(s,wa,r),f(s,Ds,r),e(Ds,ol),e(Ds,_t),e(_t,pl),e(Ds,il),f(s,ya,r),y(Zs,s,r),f(s,qa,r),y(Qs,s,r),f(s,Da,r),f(s,_s,r),e(_s,cl),e(_s,mt),e(mt,fl),e(_s,ul),e(_s,dt),e(dt,_l),e(_s,ml),f(s,Ca,r),y(Xs,s,r),f(s,za,r),y(se,s,r),f(s,Pa,r),f(s,M,r),e(M,dl),e(M,ht),e(ht,hl),e(M,bl),e(M,bt),e(bt,$l),e(M,kl),e(M,$t),e($t,jl),e(M,El),e(M,kt),e(kt,xl),e(M,vl),e(M,jt),e(jt,gl),e(M,wl),e(M,Et),e(Et,yl),e(M,ql),e(M,xt),e(xt,Dl),e(M,Cl),f(s,Ta,r),y(Cs,s,r),f(s,Sa,r),f(s,ee,r),e(ee,zl),f(s,Oa,r),ve[ns].m(s,r),f(s,Te,r),f(s,zs,r),e(zs,Pl),e(zs,Se),e(Se,Tl),e(zs,Sl),f(s,Aa,r),y(te,s,r),f(s,Na,r),f(s,Oe,r),e(Oe,Ol),f(s,Ma,r),y(ae,s,r),f(s,Fa,r),y(ne,s,r),f(s,Ra,r),f(s,U,r),e(U,Al),e(U,vt),e(vt,Nl),e(U,Ml),e(U,gt),e(gt,Fl),e(U,Rl),e(U,Ae),e(Ae,Ll),e(U,Hl),e(U,wt),e(wt,Wl),e(U,Bl),f(s,La,r),y(Ps,s,r),f(s,Ha,r),f(s,Ts,r),e(Ts,Ul),e(Ts,yt),e(yt,Gl),e(Ts,Il),f(s,Wa,r),y(le,s,r),f(s,Ba,r),f(s,Ne,r),e(Ne,Vl),f(s,Ua,r),y(re,s,r),f(s,Ga,r),f(s,vs,r),e(vs,Jl),e(vs,qt),e(qt,Kl),e(vs,Yl),e(vs,Dt),e(Dt,Zl),f(s,Ia,r),y(oe,s,r),f(s,Va,r),f(s,G,r),e(G,Ql),e(G,Ct),e(Ct,Xl),e(G,sr),e(G,zt),e(zt,er),e(G,tr),e(G,Pt),e(Pt,ar),e(G,nr),e(G,Tt),e(Tt,lr),e(G,rr),f(s,Ja,r),f(s,Ss,r),e(Ss,or),e(Ss,St),e(St,pr),e(Ss,ir),f(s,Ka,r),f(s,ms,r),e(ms,cr),e(ms,Me),e(Me,fr),e(ms,ur),e(ms,Ot),e(Ot,_r),e(ms,mr),f(s,Ya,r),f(s,Fe,r),e(Fe,dr),f(s,Za,r),f(s,Os,r),e(Os,hr),e(Os,At),e(At,br),e(Os,$r),f(s,Qa,r),f(s,ds,r),e(ds,kr),e(ds,Re),e(Re,jr),e(ds,Er),e(ds,Le),e(Le,xr),e(ds,vr),f(s,Xa,r),y(pe,s,r),f(s,sn,r),f(s,I,r),e(I,gr),e(I,Nt),e(Nt,wr),e(I,yr),e(I,Mt),e(Mt,qr),e(I,Dr),e(I,Ft),e(Ft,Cr),e(I,zr),e(I,ie),e(ie,Pr),e(I,Tr),f(s,en,r),f(s,hs,r),e(hs,Sr),e(hs,ce),e(ce,Rt),e(Rt,Or),e(hs,Ar),e(hs,Lt),e(Lt,Nr),e(hs,Mr),f(s,tn,r),y(fe,s,r),f(s,an,r),f(s,A,r),e(A,Fr),e(A,Ht),e(Ht,Rr),e(A,Lr),e(A,Wt),e(Wt,Hr),e(A,Wr),e(A,Bt),e(Bt,Br),e(A,Ur),e(A,Ut),e(Ut,Gr),e(A,Ir),e(A,Gt),e(Gt,Vr),e(A,Jr),e(A,It),e(It,Kr),e(A,Yr),e(A,Vt),e(Vt,Zr),e(A,Qr),e(A,Jt),e(Jt,Xr),e(A,so),e(A,ue),e(ue,eo),e(A,to),f(s,nn,r),f(s,As,r),e(As,ao),e(As,Kt),e(Kt,no),e(As,lo),f(s,ln,r),f(s,bs,r),e(bs,ro),e(bs,Yt),e(Yt,oo),e(bs,po),e(bs,Zt),e(Zt,io),e(bs,co),f(s,rn,r),y(_e,s,r),f(s,on,r),f(s,He,r),e(He,fo),f(s,pn,r),y(me,s,r),f(s,cn,r),f(s,$s,r),e($s,uo),e($s,Qt),e(Qt,_o),e($s,mo),e($s,Xt),e(Xt,ho),e($s,bo),f(s,fn,r),f(s,H,r),e(H,$o),e(H,sa),e(sa,ko),e(H,jo),e(H,ea),e(ea,Eo),e(H,xo),e(H,ta),e(ta,vo),e(H,go),e(H,aa),e(aa,wo),e(H,yo),e(H,na),e(na,qo),e(H,Do),f(s,un,r),f(s,ks,r),e(ks,Co),e(ks,la),e(la,zo),e(ks,Po),e(ks,ra),e(ra,To),e(ks,So),f(s,_n,r),f(s,gs,r),e(gs,Ns),e(Ns,oa),y(de,oa,null),e(gs,Oo),e(gs,pa),e(pa,Ao),f(s,mn,r),y(he,s,r),f(s,dn,r),ws.m(s,r),f(s,We,r),f(s,Ms,r),e(Ms,No),e(Ms,ia),e(ia,Mo),e(Ms,Fo),f(s,hn,r),ge[rs].m(s,r),f(s,Be,r),f(s,Z,r),e(Z,Ro),e(Z,ca),e(ca,Lo),e(Z,Ho),e(Z,fa),e(fa,Wo),e(Z,Bo),e(Z,ua),e(ua,Uo),e(Z,Go),f(s,bn,r),y(be,s,r),f(s,$n,r),y($e,s,r),f(s,kn,r),f(s,Ue,r),e(Ue,Io),f(s,jn,r),f(s,Fs,r),e(Fs,Vo),e(Fs,_a),e(_a,Jo),e(Fs,Ko),f(s,En,r),y(ke,s,r),f(s,xn,r),we[ps].m(s,r),f(s,Ge,r),y(Rs,s,r),f(s,vn,r),R&&R.m(s,r),f(s,Ie,r),gn=!0},p(s,[r]){const ma={};r&1&&(ma.fw=s[0]),o.$set(ma);let Ls=x;x=Qo(s),x!==Ls&&(qe(),k(je[Ls],1,1,()=>{je[Ls]=null}),ye(),E=je[x],E||(E=je[x]=Zo[x](s),E.c()),$(E,1),E.m(D.parentNode,D));let Ve=P;P=sp(s),P!==Ve&&(qe(),k(Ee[Ve],1,1,()=>{Ee[Ve]=null}),ye(),C=Ee[P],C||(C=Ee[P]=Xo[P](s),C.c()),$(C,1),C.m(N.parentNode,N));let Hs=ts;ts=tp(s),ts!==Hs&&(qe(),k(xe[Hs],1,1,()=>{xe[Hs]=null}),ye(),as=xe[ts],as||(as=xe[ts]=ep[ts](s),as.c()),$(as,1),as.m(ze.parentNode,ze));const da={};r&2&&(da.$$scope={dirty:r,ctx:s}),Cs.$set(da);let Ws=ns;ns=np(s),ns!==Ws&&(qe(),k(ve[Ws],1,1,()=>{ve[Ws]=null}),ye(),ls=ve[ns],ls||(ls=ve[ns]=ap[ns](s),ls.c()),$(ls,1),ls.m(Te.parentNode,Te));const ha={};r&2&&(ha.$$scope={dirty:r,ctx:s}),Ps.$set(ha),wn!==(wn=lp(s))&&(ws.d(1),ws=wn(s),ws&&(ws.c(),ws.m(We.parentNode,We)));let Je=rs;rs=op(s),rs!==Je&&(qe(),k(ge[Je],1,1,()=>{ge[Je]=null}),ye(),os=ge[rs],os||(os=ge[rs]=rp[rs](s),os.c()),$(os,1),os.m(Be.parentNode,Be));let Ke=ps;ps=ip(s),ps!==Ke&&(qe(),k(we[Ke],1,1,()=>{we[Ke]=null}),ye(),is=we[ps],is||(is=we[ps]=pp[ps](s),is.c()),$(is,1),is.m(Ge.parentNode,Ge));const cs={};r&2&&(cs.$$scope={dirty:r,ctx:s}),Rs.$set(cs),s[0]==="tf"?R?r&1&&$(R,1):(R=Ri(),R.c(),$(R,1),R.m(Ie.parentNode,Ie)):R&&(qe(),k(R,1,1,()=>{R=null}),ye())},i(s){gn||($(o.$$.fragment,s),$(E),$(C),$(Gs.$$.fragment,s),$(as),$(Ks.$$.fragment,s),$(Ys.$$.fragment,s),$(Zs.$$.fragment,s),$(Qs.$$.fragment,s),$(Xs.$$.fragment,s),$(se.$$.fragment,s),$(Cs.$$.fragment,s),$(ls),$(te.$$.fragment,s),$(ae.$$.fragment,s),$(ne.$$.fragment,s),$(Ps.$$.fragment,s),$(le.$$.fragment,s),$(re.$$.fragment,s),$(oe.$$.fragment,s),$(pe.$$.fragment,s),$(fe.$$.fragment,s),$(_e.$$.fragment,s),$(me.$$.fragment,s),$(de.$$.fragment,s),$(he.$$.fragment,s),$(os),$(be.$$.fragment,s),$($e.$$.fragment,s),$(ke.$$.fragment,s),$(is),$(Rs.$$.fragment,s),$(R),gn=!0)},o(s){k(o.$$.fragment,s),k(E),k(C),k(Gs.$$.fragment,s),k(as),k(Ks.$$.fragment,s),k(Ys.$$.fragment,s),k(Zs.$$.fragment,s),k(Qs.$$.fragment,s),k(Xs.$$.fragment,s),k(se.$$.fragment,s),k(Cs.$$.fragment,s),k(ls),k(te.$$.fragment,s),k(ae.$$.fragment,s),k(ne.$$.fragment,s),k(Ps.$$.fragment,s),k(le.$$.fragment,s),k(re.$$.fragment,s),k(oe.$$.fragment,s),k(pe.$$.fragment,s),k(fe.$$.fragment,s),k(_e.$$.fragment,s),k(me.$$.fragment,s),k(de.$$.fragment,s),k(he.$$.fragment,s),k(os),k(be.$$.fragment,s),k($e.$$.fragment,s),k(ke.$$.fragment,s),k(is),k(Rs.$$.fragment,s),k(R),gn=!1},d(s){t(l),s&&t(u),q(o,s),s&&t(h),s&&t(j),s&&t(b),je[x].d(s),s&&t(D),Ee[P].d(s),s&&t(N),s&&t(B),s&&t(qs),s&&t(J),s&&t(Us),s&&t(K),q(Gs),s&&t(ka),xe[ts].d(s),s&&t(ze),s&&t(Y),s&&t(ja),s&&t(Pe),s&&t(Ea),q(Ks,s),s&&t(xa),q(Ys,s),s&&t(va),s&&t(L),s&&t(ga),s&&t(us),s&&t(wa),s&&t(Ds),s&&t(ya),q(Zs,s),s&&t(qa),q(Qs,s),s&&t(Da),s&&t(_s),s&&t(Ca),q(Xs,s),s&&t(za),q(se,s),s&&t(Pa),s&&t(M),s&&t(Ta),q(Cs,s),s&&t(Sa),s&&t(ee),s&&t(Oa),ve[ns].d(s),s&&t(Te),s&&t(zs),s&&t(Aa),q(te,s),s&&t(Na),s&&t(Oe),s&&t(Ma),q(ae,s),s&&t(Fa),q(ne,s),s&&t(Ra),s&&t(U),s&&t(La),q(Ps,s),s&&t(Ha),s&&t(Ts),s&&t(Wa),q(le,s),s&&t(Ba),s&&t(Ne),s&&t(Ua),q(re,s),s&&t(Ga),s&&t(vs),s&&t(Ia),q(oe,s),s&&t(Va),s&&t(G),s&&t(Ja),s&&t(Ss),s&&t(Ka),s&&t(ms),s&&t(Ya),s&&t(Fe),s&&t(Za),s&&t(Os),s&&t(Qa),s&&t(ds),s&&t(Xa),q(pe,s),s&&t(sn),s&&t(I),s&&t(en),s&&t(hs),s&&t(tn),q(fe,s),s&&t(an),s&&t(A),s&&t(nn),s&&t(As),s&&t(ln),s&&t(bs),s&&t(rn),q(_e,s),s&&t(on),s&&t(He),s&&t(pn),q(me,s),s&&t(cn),s&&t($s),s&&t(fn),s&&t(H),s&&t(un),s&&t(ks),s&&t(_n),s&&t(gs),q(de),s&&t(mn),q(he,s),s&&t(dn),ws.d(s),s&&t(We),s&&t(Ms),s&&t(hn),ge[rs].d(s),s&&t(Be),s&&t(Z),s&&t(bn),q(be,s),s&&t($n),q($e,s),s&&t(kn),s&&t(Ue),s&&t(jn),s&&t(Fs),s&&t(En),q(ke,s),s&&t(xn),we[ps].d(s),s&&t(Ge),q(Rs,s),s&&t(vn),R&&R.d(s),s&&t(Ie)}}}const fc={local:"",sections:[{local:"hub",title:"\u0417\u0430\u0433\u0440\u0443\u0437\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 Hub"},{local:"",title:"\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"},{local:"dynamic-padding",title:"Dynamic padding"}],title:"\u041F\u0440\u0435\u0434\u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0430 \u0434\u0430\u043D\u043D\u044B\u0445"};function uc(v,l,u){let o="pt";return Gi(()=>{const h=new URLSearchParams(window.location.search);u(0,o=h.get("fw")||"pt")}),[o]}class Ec extends Hi{constructor(l){super();Wi(this,l,uc,cc,Bi,{})}}export{Ec as default,fc as metadata};
