import{S as Cr,i as Or,s as zr,e as r,k as m,w as _,t as a,M as qr,c as i,d as t,m as d,a as p,x as $,h as l,b as c,G as s,g as o,y as b,q as g,o as x,B as j,v as Mr}from"../../chunks/vendor-hf-doc-builder.js";import{T as rt}from"../../chunks/Tip-hf-doc-builder.js";import{Y as Rr}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Ir}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as A}from"../../chunks/CodeBlock-hf-doc-builder.js";import{C as Nr}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import"../../chunks/DocNotebookDropdown-hf-doc-builder.js";function Sr(H){let f,O,h,v,P,u,k,D,w,y,T,I,E,N;return{c(){f=r("p"),O=a("\u270E \u041F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u{1F917} Datasets \u0440\u0430\u0441\u043F\u0430\u043A\u043E\u0432\u044B\u0432\u0430\u0435\u0442 \u0444\u0430\u0439\u043B\u044B, \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u044B\u0435 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445. \u0415\u0441\u043B\u0438 \u0432\u044B \u0445\u043E\u0442\u0438\u0442\u0435 \u0441\u043E\u0445\u0440\u0430\u043D\u0438\u0442\u044C \u043C\u0435\u0441\u0442\u043E \u043D\u0430 \u0436\u0435\u0441\u0442\u043A\u043E\u043C \u0434\u0438\u0441\u043A\u0435, \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C "),h=r("code"),v=a("DownloadConfig(delete_extracted=True)"),P=a(" \u0432 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),u=r("code"),k=a("download_config"),D=a(" \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),w=r("code"),y=a("load_dataset()"),T=a(". \u0414\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u044B\u0435 \u0441\u0432\u0435\u0434\u0435\u043D\u0438\u044F \u0441\u043C. \u0432 "),I=r("a"),E=a("\u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u0438"),N=a("."),this.h()},l(q){f=i(q,"P",{});var C=p(f);O=l(C,"\u270E \u041F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u{1F917} Datasets \u0440\u0430\u0441\u043F\u0430\u043A\u043E\u0432\u044B\u0432\u0430\u0435\u0442 \u0444\u0430\u0439\u043B\u044B, \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u044B\u0435 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445. \u0415\u0441\u043B\u0438 \u0432\u044B \u0445\u043E\u0442\u0438\u0442\u0435 \u0441\u043E\u0445\u0440\u0430\u043D\u0438\u0442\u044C \u043C\u0435\u0441\u0442\u043E \u043D\u0430 \u0436\u0435\u0441\u0442\u043A\u043E\u043C \u0434\u0438\u0441\u043A\u0435, \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C "),h=i(C,"CODE",{});var z=p(h);v=l(z,"DownloadConfig(delete_extracted=True)"),z.forEach(t),P=l(C," \u0432 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),u=i(C,"CODE",{});var K=p(u);k=l(K,"download_config"),K.forEach(t),D=l(C," \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),w=i(C,"CODE",{});var S=p(w);y=l(S,"load_dataset()"),S.forEach(t),T=l(C,". \u0414\u043E\u043F\u043E\u043B\u043D\u0438\u0442\u0435\u043B\u044C\u043D\u044B\u0435 \u0441\u0432\u0435\u0434\u0435\u043D\u0438\u044F \u0441\u043C. \u0432 "),I=i(C,"A",{href:!0,rel:!0});var te=p(I);E=l(te,"\u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u0438"),te.forEach(t),N=l(C,"."),C.forEach(t),this.h()},h(){c(I,"href","https://huggingface.co/docs/datasets/package_reference/builder_classes.html?#datasets.utils.DownloadConfig"),c(I,"rel","nofollow")},m(q,C){o(q,f,C),s(f,O),s(f,h),s(h,v),s(f,P),s(f,u),s(u,k),s(f,D),s(f,w),s(w,y),s(f,T),s(f,I),s(I,E),s(f,N)},d(q){q&&t(f)}}}function Lr(H){let f,O,h,v,P,u,k,D,w,y,T;return{c(){f=r("p"),O=a("\u270F\uFE0F "),h=r("strong"),v=a("\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),P=a(" \u0412\u044B\u0431\u0435\u0440\u0438\u0442\u0435 \u043E\u0434\u0438\u043D \u0438\u0437 "),u=r("a"),k=a("\u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u043E\u0432"),D=a(" \u0438\u0437 Pile, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0431\u043E\u043B\u044C\u0448\u0435, \u0447\u0435\u043C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0430\u044F \u043F\u0430\u043C\u044F\u0442\u044C \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430 \u0438\u043B\u0438 \u043D\u0430\u0441\u0442\u043E\u043B\u044C\u043D\u043E\u0433\u043E \u043A\u043E\u043C\u043F\u044C\u044E\u0442\u0435\u0440\u0430, \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0435 \u0435\u0433\u043E \u0441 \u{1F917} Datasets \u0438 \u0438\u0437\u043C\u0435\u0440\u044C\u0442\u0435 \u043E\u0431\u044A\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u043E\u0439 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438. \u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u0434\u043B\u044F \u043F\u043E\u043B\u0443\u0447\u0435\u043D\u0438\u044F \u0442\u043E\u0447\u043D\u044B\u0445 \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u0439 \u0432\u0430\u043C \u043F\u043E\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u0432 \u043D\u043E\u0432\u043E\u043C \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0435. \u0412\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043D\u0430\u0439\u0442\u0438 \u0440\u0430\u0441\u043F\u0430\u043A\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0440\u0430\u0437\u043C\u0435\u0440\u044B \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u0430 \u0432 \u0422\u0430\u0431\u043B\u0438\u0446\u0435 1 [\u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u0438 Pile] ("),w=r("a"),y=a("https://arxiv.org/abs/2101.00027"),T=a(")."),this.h()},l(I){f=i(I,"P",{});var E=p(f);O=l(E,"\u270F\uFE0F "),h=i(E,"STRONG",{});var N=p(h);v=l(N,"\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),N.forEach(t),P=l(E," \u0412\u044B\u0431\u0435\u0440\u0438\u0442\u0435 \u043E\u0434\u0438\u043D \u0438\u0437 "),u=i(E,"A",{href:!0,rel:!0});var q=p(u);k=l(q,"\u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u043E\u0432"),q.forEach(t),D=l(E," \u0438\u0437 Pile, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0431\u043E\u043B\u044C\u0448\u0435, \u0447\u0435\u043C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0430\u044F \u043F\u0430\u043C\u044F\u0442\u044C \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430 \u0438\u043B\u0438 \u043D\u0430\u0441\u0442\u043E\u043B\u044C\u043D\u043E\u0433\u043E \u043A\u043E\u043C\u043F\u044C\u044E\u0442\u0435\u0440\u0430, \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0435 \u0435\u0433\u043E \u0441 \u{1F917} Datasets \u0438 \u0438\u0437\u043C\u0435\u0440\u044C\u0442\u0435 \u043E\u0431\u044A\u0435\u043C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u043E\u0439 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438. \u041E\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043D\u0438\u043C\u0430\u043D\u0438\u0435, \u0447\u0442\u043E \u0434\u043B\u044F \u043F\u043E\u043B\u0443\u0447\u0435\u043D\u0438\u044F \u0442\u043E\u0447\u043D\u044B\u0445 \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u0439 \u0432\u0430\u043C \u043F\u043E\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u044D\u0442\u043E \u0432 \u043D\u043E\u0432\u043E\u043C \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0435. \u0412\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043D\u0430\u0439\u0442\u0438 \u0440\u0430\u0441\u043F\u0430\u043A\u043E\u0432\u0430\u043D\u043D\u044B\u0435 \u0440\u0430\u0437\u043C\u0435\u0440\u044B \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u0430 \u0432 \u0422\u0430\u0431\u043B\u0438\u0446\u0435 1 [\u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430\u0446\u0438\u0438 Pile] ("),w=i(E,"A",{href:!0,rel:!0});var C=p(w);y=l(C,"https://arxiv.org/abs/2101.00027"),C.forEach(t),T=l(E,")."),E.forEach(t),this.h()},h(){c(u,"href","https://mystic.the-eye.eu/public/AI/pile_preliminary_components/"),c(u,"rel","nofollow"),c(w,"href","https://arxiv.org/abs/2101.00027"),c(w,"rel","nofollow")},m(I,E){o(I,f,E),s(f,O),s(f,h),s(h,v),s(f,P),s(f,u),s(u,k),s(f,D),s(f,w),s(w,y),s(f,T)},d(I){I&&t(f)}}}function Gr(H){let f,O,h,v,P,u,k;return{c(){f=r("p"),O=a("\u{1F4A1} \u0412 Jupyter notebooks \u0432\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0437\u043C\u0435\u0440\u0438\u0442\u044C \u0432\u0440\u0435\u043C\u044F \u0438\u0441\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F \u044F\u0447\u0435\u0439\u043A\u0438 \u0441 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435\u043C  "),h=r("a"),v=r("code"),P=a("%%timeit"),u=a(" magic function"),k=a("."),this.h()},l(D){f=i(D,"P",{});var w=p(f);O=l(w,"\u{1F4A1} \u0412 Jupyter notebooks \u0432\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0437\u043C\u0435\u0440\u0438\u0442\u044C \u0432\u0440\u0435\u043C\u044F \u0438\u0441\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F \u044F\u0447\u0435\u0439\u043A\u0438 \u0441 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435\u043C  "),h=i(w,"A",{href:!0,rel:!0});var y=p(h);v=i(y,"CODE",{});var T=p(v);P=l(T,"%%timeit"),T.forEach(t),u=l(y," magic function"),y.forEach(t),k=l(w,"."),w.forEach(t),this.h()},h(){c(h,"href","https://ipython.readthedocs.io/en/stable/interactive/magics.html#magic-timeit"),c(h,"rel","nofollow")},m(D,w){o(D,f,w),s(f,O),s(f,h),s(h,v),s(v,P),s(h,u),s(f,k)},d(D){D&&t(f)}}}function Hr(H){let f,O,h,v,P,u,k,D;return{c(){f=r("p"),O=a("\u{1F4A1} \u0427\u0442\u043E\u0431\u044B \u0443\u0441\u043A\u043E\u0440\u0438\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044E \u0441 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0435\u0439, \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C "),h=r("code"),v=a("batched=True"),P=a(", \u043A\u0430\u043A \u043C\u044B \u0434\u0435\u043B\u0430\u043B\u0438 \u0432 \u043F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435. \u041E\u043D \u0431\u0443\u0434\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0431\u0430\u0442\u0447\u0430\u043C\u0438; \u0440\u0430\u0437\u043C\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u0441\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 1000 \u0438 \u043C\u043E\u0436\u0435\u0442 \u0431\u044B\u0442\u044C \u0443\u043A\u0430\u0437\u0430\u043D \u0432 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442\u0435 "),u=r("code"),k=a("batch_size"),D=a(".")},l(w){f=i(w,"P",{});var y=p(f);O=l(y,"\u{1F4A1} \u0427\u0442\u043E\u0431\u044B \u0443\u0441\u043A\u043E\u0440\u0438\u0442\u044C \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u044E \u0441 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0435\u0439, \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C "),h=i(y,"CODE",{});var T=p(h);v=l(T,"batched=True"),T.forEach(t),P=l(y,", \u043A\u0430\u043A \u043C\u044B \u0434\u0435\u043B\u0430\u043B\u0438 \u0432 \u043F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435. \u041E\u043D \u0431\u0443\u0434\u0435\u0442 \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0431\u0430\u0442\u0447\u0430\u043C\u0438; \u0440\u0430\u0437\u043C\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043F\u043E \u0443\u043C\u043E\u043B\u0447\u0430\u043D\u0438\u044E \u0441\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 1000 \u0438 \u043C\u043E\u0436\u0435\u0442 \u0431\u044B\u0442\u044C \u0443\u043A\u0430\u0437\u0430\u043D \u0432 \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442\u0435 "),u=i(y,"CODE",{});var I=p(u);k=l(I,"batch_size"),I.forEach(t),D=l(y,"."),y.forEach(t)},m(w,y){o(w,f,y),s(f,O),s(f,h),s(h,v),s(f,P),s(f,u),s(u,k),s(f,D)},d(w){w&&t(f)}}}function Br(H){let f,O,h,v,P,u,k,D,w,y,T,I,E,N,q;return{c(){f=r("p"),O=a("\u270F\uFE0F "),h=r("strong"),v=a("\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),P=a(" \u0418\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0439\u0442\u0435 \u043E\u0434\u0438\u043D \u0438\u0437 \u0431\u043E\u043B\u044C\u0448\u0438\u0445 \u043A\u043E\u0440\u043F\u0443\u0441\u043E\u0432 Common Crawl, \u043D\u0430\u043F\u0440\u0438\u043C\u0435\u0440 "),u=r("a"),k=r("code"),D=a("mc4"),w=a(" \u0438\u043B\u0438 ["),y=r("code"),T=a("oscar"),I=a("]("),E=r("a"),N=a("https://huggingface.co/"),q=a(" datasets/oscar) \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043C\u043D\u043E\u0433\u043E\u044F\u0437\u044B\u0447\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043F\u0440\u043E\u043F\u043E\u0440\u0446\u0438\u0438 \u0440\u0430\u0437\u0433\u043E\u0432\u043E\u0440\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u043E\u0432 \u0432 \u0441\u0442\u0440\u0430\u043D\u0435 \u043F\u043E \u0432\u0430\u0448\u0435\u043C\u0443 \u0432\u044B\u0431\u043E\u0440\u0443. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0432 \u0428\u0432\u0435\u0439\u0446\u0430\u0440\u0438\u0438 \u0435\u0441\u0442\u044C \u0447\u0435\u0442\u044B\u0440\u0435 \u043D\u0430\u0446\u0438\u043E\u043D\u0430\u043B\u044C\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u0430: \u043D\u0435\u043C\u0435\u0446\u043A\u0438\u0439, \u0444\u0440\u0430\u043D\u0446\u0443\u0437\u0441\u043A\u0438\u0439, \u0438\u0442\u0430\u043B\u044C\u044F\u043D\u0441\u043A\u0438\u0439 \u0438 \u0440\u0435\u0442\u043E-\u0440\u043E\u043C\u0430\u043D\u0441\u043A\u0438\u0439, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u043F\u0440\u043E\u0431\u043E\u0432\u0430\u0442\u044C \u0441\u043E\u0437\u0434\u0430\u0442\u044C \u0448\u0432\u0435\u0439\u0446\u0430\u0440\u0441\u043A\u0438\u0439 \u043A\u043E\u0440\u043F\u0443\u0441, \u0432\u044B\u0431\u0440\u0430\u0432 \u043F\u043E\u0434\u043C\u043D\u043E\u0436\u0435\u0441\u0442\u0432\u0430 \u041E\u0441\u043A\u0430\u0440\u043E\u0432 \u0432 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0438\u0445 \u0440\u0430\u0437\u0433\u043E\u0432\u043E\u0440\u043D\u043E\u0439 \u043F\u0440\u043E\u043F\u043E\u0440\u0446\u0438\u0435\u0439."),this.h()},l(C){f=i(C,"P",{});var z=p(f);O=l(z,"\u270F\uFE0F "),h=i(z,"STRONG",{});var K=p(h);v=l(K,"\u041F\u043E\u043F\u0440\u043E\u0431\u0443\u0439\u0442\u0435!"),K.forEach(t),P=l(z," \u0418\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0439\u0442\u0435 \u043E\u0434\u0438\u043D \u0438\u0437 \u0431\u043E\u043B\u044C\u0448\u0438\u0445 \u043A\u043E\u0440\u043F\u0443\u0441\u043E\u0432 Common Crawl, \u043D\u0430\u043F\u0440\u0438\u043C\u0435\u0440 "),u=i(z,"A",{href:!0,rel:!0});var S=p(u);k=i(S,"CODE",{});var te=p(k);D=l(te,"mc4"),te.forEach(t),S.forEach(t),w=l(z," \u0438\u043B\u0438 ["),y=i(z,"CODE",{});var Y=p(y);T=l(Y,"oscar"),Y.forEach(t),I=l(z,"]("),E=i(z,"A",{href:!0,rel:!0});var fs=p(E);N=l(fs,"https://huggingface.co/"),fs.forEach(t),q=l(z," datasets/oscar) \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043C\u043D\u043E\u0433\u043E\u044F\u0437\u044B\u0447\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043F\u0440\u043E\u043F\u043E\u0440\u0446\u0438\u0438 \u0440\u0430\u0437\u0433\u043E\u0432\u043E\u0440\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u043E\u0432 \u0432 \u0441\u0442\u0440\u0430\u043D\u0435 \u043F\u043E \u0432\u0430\u0448\u0435\u043C\u0443 \u0432\u044B\u0431\u043E\u0440\u0443. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0432 \u0428\u0432\u0435\u0439\u0446\u0430\u0440\u0438\u0438 \u0435\u0441\u0442\u044C \u0447\u0435\u0442\u044B\u0440\u0435 \u043D\u0430\u0446\u0438\u043E\u043D\u0430\u043B\u044C\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u0430: \u043D\u0435\u043C\u0435\u0446\u043A\u0438\u0439, \u0444\u0440\u0430\u043D\u0446\u0443\u0437\u0441\u043A\u0438\u0439, \u0438\u0442\u0430\u043B\u044C\u044F\u043D\u0441\u043A\u0438\u0439 \u0438 \u0440\u0435\u0442\u043E-\u0440\u043E\u043C\u0430\u043D\u0441\u043A\u0438\u0439, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u043F\u0440\u043E\u0431\u043E\u0432\u0430\u0442\u044C \u0441\u043E\u0437\u0434\u0430\u0442\u044C \u0448\u0432\u0435\u0439\u0446\u0430\u0440\u0441\u043A\u0438\u0439 \u043A\u043E\u0440\u043F\u0443\u0441, \u0432\u044B\u0431\u0440\u0430\u0432 \u043F\u043E\u0434\u043C\u043D\u043E\u0436\u0435\u0441\u0442\u0432\u0430 \u041E\u0441\u043A\u0430\u0440\u043E\u0432 \u0432 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0438\u0445 \u0440\u0430\u0437\u0433\u043E\u0432\u043E\u0440\u043D\u043E\u0439 \u043F\u0440\u043E\u043F\u043E\u0440\u0446\u0438\u0435\u0439."),z.forEach(t),this.h()},h(){c(u,"href","https://huggingface.co/datasets/mc4"),c(u,"rel","nofollow"),c(E,"href","https://huggingface.co/"),c(E,"rel","nofollow")},m(C,z){o(C,f,z),s(f,O),s(f,h),s(h,v),s(f,P),s(f,u),s(u,k),s(k,D),s(f,w),s(f,y),s(y,T),s(f,I),s(f,E),s(E,N),s(f,q)},d(C){C&&t(f)}}}function Ur(H){let f,O,h,v,P,u,k,D,w,y,T,I,E,N,q,C,z,K,S,te,Y,fs,wa,it,ge,pt,le,ya,xe,Ea,va,ot,ae,ne,Es,je,Aa,vs,Da,ft,M,Pa,we,ka,Ta,ye,Ia,Ca,Ee,Oa,za,ve,qa,Ma,As,Ra,Na,Ds,Sa,La,mt,Ae,dt,re,Ga,ms,Ha,Ba,ct,De,ht,Pe,ut,ds,Ua,_t,ie,$t,cs,Fa,bt,ke,gt,Te,xt,hs,Ja,jt,Ie,Wa,wt,Z,Ka,Ce,Ps,Ya,Za,ks,Qa,Va,yt,Oe,Et,us,Xa,vt,ze,At,qe,Dt,B,el,Ts,sl,tl,Is,al,ll,Cs,nl,rl,Pt,Me,kt,Re,Tt,_s,il,It,pe,Ct,Q,pl,Ne,ol,fl,Se,ml,dl,Ot,R,cl,Os,hl,ul,Le,_l,$l,zs,bl,gl,Ge,xl,jl,He,wl,yl,zt,Be,qt,Ue,Mt,V,El,qs,vl,Al,Ms,Dl,Pl,Rt,oe,Nt,Fe,kl,St,X,Tl,Rs,Il,Cl,Ns,Ol,zl,Lt,Je,Gt,L,ql,Ss,Ml,Rl,Ls,Nl,Sl,Gs,Ll,Gl,Hs,Hl,Bl,Ht,We,Bt,Ke,Ut,fe,Ul,Bs,Fl,Jl,Ft,Ye,Jt,Ze,Wt,me,Kt,U,Wl,Us,Kl,Yl,Fs,Zl,Ql,Js,Vl,Xl,Yt,Qe,Zt,Ve,Qt,F,en,Ws,sn,tn,Ks,an,ln,Ys,nn,rn,Vt,Xe,Xt,es,ea,de,pn,Zs,on,fn,sa,ss,ta,J,mn,Qs,dn,cn,Vs,hn,un,Xs,_n,$n,aa,ts,la,as,na,ce,bn,et,gn,xn,ra,ls,ia,ns,pa,ee,jn,st,wn,yn,tt,En,vn,oa,$s,An,fa,rs,ma,is,da,he,ca,bs,Dn,ha;return u=new Ir({}),T=new Nr({props:{chapter:5,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section4.ipynb"}]}}),ge=new Rr({props:{id:"JwISwTCPPWo"}}),je=new Ir({}),Ae=new A({props:{code:"!pip install zstandard",highlighted:"!pip install zstandard"}}),De=new A({props:{code:`from datasets import load_dataset

# \u042D\u0442\u043E\u0439 \u0437\u0430\u0439\u043C\u0435\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043C\u0438\u043D\u0443\u0442, \u043F\u043E\u043A\u0430 \u043E\u0436\u0438\u0434\u0430\u0435\u0442\u0435 \u2013 \u0441\u0434\u0435\u043B\u0430\u0439\u0442\u0435 \u043A\u043E\u0444\u0435 \u0438\u043B\u0438 \u0447\u0430\u0439 :)
data_files = "https://mystic.the-eye.eu/public/AI/pile_preliminary_components/PUBMED_title_abstracts_2019_baseline.jsonl.zst"
pubmed_dataset = load_dataset("json", data_files=data_files, split="train")
pubmed_dataset`,highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

<span class="hljs-comment"># \u042D\u0442\u043E\u0439 \u0437\u0430\u0439\u043C\u0435\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u043C\u0438\u043D\u0443\u0442, \u043F\u043E\u043A\u0430 \u043E\u0436\u0438\u0434\u0430\u0435\u0442\u0435 \u2013 \u0441\u0434\u0435\u043B\u0430\u0439\u0442\u0435 \u043A\u043E\u0444\u0435 \u0438\u043B\u0438 \u0447\u0430\u0439 :)</span>
data_files = <span class="hljs-string">&quot;https://mystic.the-eye.eu/public/AI/pile_preliminary_components/PUBMED_title_abstracts_2019_baseline.jsonl.zst&quot;</span>
pubmed_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, split=<span class="hljs-string">&quot;train&quot;</span>)
pubmed_dataset`}}),Pe=new A({props:{code:`Dataset({
    features: ['meta', 'text'],
    num_rows: 15518009
})`,highlighted:`Dataset({
    features: [<span class="hljs-string">&#x27;meta&#x27;</span>, <span class="hljs-string">&#x27;text&#x27;</span>],
    num_rows: <span class="hljs-number">15518009</span>
})`}}),ie=new rt({props:{$$slots:{default:[Sr]},$$scope:{ctx:H}}}),ke=new A({props:{code:"pubmed_dataset[0]",highlighted:'pubmed_dataset[<span class="hljs-number">0</span>]'}}),Te=new A({props:{code:`{'meta': {'pmid': 11409574, 'language': 'eng'},
 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'}`,highlighted:`{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409574</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Epidemiology of hypoxaemia in children with acute lower respiratory infection.\\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...&#x27;</span>}`}}),Oe=new A({props:{code:"!pip install psutil",highlighted:"!pip install psutil"}}),ze=new A({props:{code:`import psutil

# Process.memory_info \u0432\u043E\u0432\u0437\u0440\u0430\u0449\u0430\u0435\u0442 \u043E\u0431\u044A\u0435\u043C \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043C\u044B \u043F\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0435\u043C \u0432 \u043C\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u044B
print(f"RAM used: {psutil.Process().memory_info().rss / (1024 * 1024):.2f} MB")`,highlighted:`<span class="hljs-keyword">import</span> psutil

<span class="hljs-comment"># Process.memory_info \u0432\u043E\u0432\u0437\u0440\u0430\u0449\u0430\u0435\u0442 \u043E\u0431\u044A\u0435\u043C \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043C\u044B \u043F\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u0430\u0435\u043C \u0432 \u043C\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u044B</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;RAM used: <span class="hljs-subst">{psutil.Process().memory_info().rss / (<span class="hljs-number">1024</span> * <span class="hljs-number">1024</span>):<span class="hljs-number">.2</span>f}</span> MB&quot;</span>)`}}),qe=new A({props:{code:"RAM used: 5678.33 MB",highlighted:'RAM used: <span class="hljs-number">5678.33</span> MB'}}),Me=new A({props:{code:`print(f"Number of files in dataset : {pubmed_dataset.dataset_size}")
size_gb = pubmed_dataset.dataset_size / (1024**3)
print(f"Dataset size (cache file) : {size_gb:.2f} GB")`,highlighted:`<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Number of files in dataset : <span class="hljs-subst">{pubmed_dataset.dataset_size}</span>&quot;</span>)
size_gb = pubmed_dataset.dataset_size / (<span class="hljs-number">1024</span>**<span class="hljs-number">3</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Dataset size (cache file) : <span class="hljs-subst">{size_gb:<span class="hljs-number">.2</span>f}</span> GB&quot;</span>)`}}),Re=new A({props:{code:`Number of files in dataset : 20979437051
Dataset size (cache file) : 19.54 GB`,highlighted:`Number of files <span class="hljs-keyword">in</span> dataset : <span class="hljs-number">20979437051</span>
Dataset size (cache file) : <span class="hljs-number">19.54</span> GB`}}),pe=new rt({props:{$$slots:{default:[Lr]},$$scope:{ctx:H}}}),Be=new A({props:{code:`import timeit

code_snippet = """batch_size = 1000

for idx in range(0, len(pubmed_dataset), batch_size):
    _ = pubmed_dataset[idx:idx + batch_size]
"""

time = timeit.timeit(stmt=code_snippet, number=1, globals=globals())
print(
    f"Iterated over {len(pubmed_dataset)} examples (about {size_gb:.1f} GB) in "
    f"{time:.1f}s, i.e. {size_gb/time:.3f} GB/s"
)`,highlighted:`<span class="hljs-keyword">import</span> timeit

code_snippet = <span class="hljs-string">&quot;&quot;&quot;batch_size = 1000

for idx in range(0, len(pubmed_dataset), batch_size):
    _ = pubmed_dataset[idx:idx + batch_size]
&quot;&quot;&quot;</span>

time = timeit.timeit(stmt=code_snippet, number=<span class="hljs-number">1</span>, <span class="hljs-built_in">globals</span>=<span class="hljs-built_in">globals</span>())
<span class="hljs-built_in">print</span>(
    <span class="hljs-string">f&quot;Iterated over <span class="hljs-subst">{<span class="hljs-built_in">len</span>(pubmed_dataset)}</span> examples (about <span class="hljs-subst">{size_gb:<span class="hljs-number">.1</span>f}</span> GB) in &quot;</span>
    <span class="hljs-string">f&quot;<span class="hljs-subst">{time:<span class="hljs-number">.1</span>f}</span>s, i.e. <span class="hljs-subst">{size_gb/time:<span class="hljs-number">.3</span>f}</span> GB/s&quot;</span>
)`}}),Ue=new A({props:{code:"'Iterated over 15518009 examples (about 19.5 GB) in 64.2s, i.e. 0.304 GB/s'",highlighted:'<span class="hljs-string">&#x27;Iterated over 15518009 examples (about 19.5 GB) in 64.2s, i.e. 0.304 GB/s&#x27;</span>'}}),oe=new rt({props:{$$slots:{default:[Gr]},$$scope:{ctx:H}}}),Je=new A({props:{code:`pubmed_dataset_streamed = load_dataset(
    "json", data_files=data_files, split="train", streaming=True
)`,highlighted:`pubmed_dataset_streamed = load_dataset(
    <span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, split=<span class="hljs-string">&quot;train&quot;</span>, streaming=<span class="hljs-literal">True</span>
)`}}),We=new A({props:{code:"next(iter(pubmed_dataset_streamed))",highlighted:'<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(pubmed_dataset_streamed))'}}),Ke=new A({props:{code:`{'meta': {'pmid': 11409574, 'language': 'eng'},
 'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection.\\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...'}`,highlighted:`{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409574</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Epidemiology of hypoxaemia in children with acute lower respiratory infection.\\nTo determine the prevalence of hypoxaemia in children aged under 5 years suffering acute lower respiratory infections (ALRI), the risk factors for hypoxaemia in children under 5 years of age with ALRI, and the association of hypoxaemia with an increased risk of dying in children of the same age ...&#x27;</span>}`}}),Ye=new A({props:{code:`from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
tokenized_dataset = pubmed_dataset_streamed.map(lambda x: tokenizer(x["text"]))
next(iter(tokenized_dataset))`,highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;distilbert-base-uncased&quot;</span>)
tokenized_dataset = pubmed_dataset_streamed.<span class="hljs-built_in">map</span>(<span class="hljs-keyword">lambda</span> x: tokenizer(x[<span class="hljs-string">&quot;text&quot;</span>]))
<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(tokenized_dataset))`}}),Ze=new A({props:{code:"{'input_ids': [101, 4958, 5178, 4328, 6779, ...], 'attention_mask': [1, 1, 1, 1, 1, ...]}",highlighted:'{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">4958</span>, <span class="hljs-number">5178</span>, <span class="hljs-number">4328</span>, <span class="hljs-number">6779</span>, ...], <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, ...]}'}}),me=new rt({props:{$$slots:{default:[Hr]},$$scope:{ctx:H}}}),Qe=new A({props:{code:`shuffled_dataset = pubmed_dataset_streamed.shuffle(buffer_size=10_000, seed=42)
next(iter(shuffled_dataset))`,highlighted:`shuffled_dataset = pubmed_dataset_streamed.shuffle(buffer_size=<span class="hljs-number">10_000</span>, seed=<span class="hljs-number">42</span>)
<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(shuffled_dataset))`}}),Ve=new A({props:{code:`{'meta': {'pmid': 11410799, 'language': 'eng'},
 'text': 'Randomized study of dose or schedule modification of granulocyte colony-stimulating factor in platinum-based chemotherapy for elderly patients with lung cancer ...'}`,highlighted:`{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11410799</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Randomized study of dose or schedule modification of granulocyte colony-stimulating factor in platinum-based chemotherapy for elderly patients with lung cancer ...&#x27;</span>}`}}),Xe=new A({props:{code:`dataset_head = pubmed_dataset_streamed.take(5)
list(dataset_head)`,highlighted:`dataset_head = pubmed_dataset_streamed.take(<span class="hljs-number">5</span>)
<span class="hljs-built_in">list</span>(dataset_head)`}}),es=new A({props:{code:`[{'meta': {'pmid': 11409574, 'language': 'eng'},
  'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'},
 {'meta': {'pmid': 11409575, 'language': 'eng'},
  'text': 'Clinical signs of hypoxaemia in children with acute lower respiratory infection: indicators of oxygen therapy ...'},
 {'meta': {'pmid': 11409576, 'language': 'eng'},
  'text': "Hypoxaemia in children with severe pneumonia in Papua New Guinea ..."},
 {'meta': {'pmid': 11409577, 'language': 'eng'},
  'text': 'Oxygen concentrators and cylinders ...'},
 {'meta': {'pmid': 11409578, 'language': 'eng'},
  'text': 'Oxygen supply in rural africa: a personal experience ...'}]`,highlighted:`[{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409574</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Epidemiology of hypoxaemia in children with acute lower respiratory infection ...&#x27;</span>},
 {<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409575</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Clinical signs of hypoxaemia in children with acute lower respiratory infection: indicators of oxygen therapy ...&#x27;</span>},
 {<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409576</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&quot;Hypoxaemia in children with severe pneumonia in Papua New Guinea ...&quot;</span>},
 {<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409577</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Oxygen concentrators and cylinders ...&#x27;</span>},
 {<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409578</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Oxygen supply in rural africa: a personal experience ...&#x27;</span>}]`}}),ss=new A({props:{code:`# \u041F\u0440\u043E\u043F\u0443\u0441\u0442\u0438\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 1000 \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 \u0438 \u0432\u043A\u043B\u044E\u0447\u0438\u0442\u044C \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u044B\u0435 \u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443
train_dataset = shuffled_dataset.skip(1000)
# \u0412\u0437\u044F\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 1000 \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 \u0432 \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443
validation_dataset = shuffled_dataset.take(1000)`,highlighted:`<span class="hljs-comment"># \u041F\u0440\u043E\u043F\u0443\u0441\u0442\u0438\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 1000 \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 \u0438 \u0432\u043A\u043B\u044E\u0447\u0438\u0442\u044C \u043E\u0441\u0442\u0430\u043B\u044C\u043D\u044B\u0435 \u0432 \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443</span>
train_dataset = shuffled_dataset.skip(<span class="hljs-number">1000</span>)
<span class="hljs-comment"># \u0412\u0437\u044F\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 1000 \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 \u0432 \u0432\u0430\u043B\u0438\u0434\u0430\u0446\u0438\u043E\u043D\u043D\u0443\u044E \u0432\u044B\u0431\u043E\u0440\u043A\u0443</span>
validation_dataset = shuffled_dataset.take(<span class="hljs-number">1000</span>)`}}),ts=new A({props:{code:`law_dataset_streamed = load_dataset(
    "json",
    data_files="https://mystic.the-eye.eu/public/AI/pile_preliminary_components/FreeLaw_Opinions.jsonl.zst",
    split="train",
    streaming=True,
)
next(iter(law_dataset_streamed))`,highlighted:`law_dataset_streamed = load_dataset(
    <span class="hljs-string">&quot;json&quot;</span>,
    data_files=<span class="hljs-string">&quot;https://mystic.the-eye.eu/public/AI/pile_preliminary_components/FreeLaw_Opinions.jsonl.zst&quot;</span>,
    split=<span class="hljs-string">&quot;train&quot;</span>,
    streaming=<span class="hljs-literal">True</span>,
)
<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(law_dataset_streamed))`}}),as=new A({props:{code:`{'meta': {'case_ID': '110921.json',
  'case_jurisdiction': 'scotus.tar.gz',
  'date_created': '2010-04-28T17:12:49Z'},
 'text': '\\n461 U.S. 238 (1983)\\nOLIM ET AL.\\nv.\\nWAKINEKONA\\nNo. 81-1581.\\nSupreme Court of United States.\\nArgued January 19, 1983.\\nDecided April 26, 1983.\\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'}`,highlighted:`{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;case_ID&#x27;</span>: <span class="hljs-string">&#x27;110921.json&#x27;</span>,
  <span class="hljs-string">&#x27;case_jurisdiction&#x27;</span>: <span class="hljs-string">&#x27;scotus.tar.gz&#x27;</span>,
  <span class="hljs-string">&#x27;date_created&#x27;</span>: <span class="hljs-string">&#x27;2010-04-28T17:12:49Z&#x27;</span>},
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;\\n461 U.S. 238 (1983)\\nOLIM ET AL.\\nv.\\nWAKINEKONA\\nNo. 81-1581.\\nSupreme Court of United States.\\nArgued January 19, 1983.\\nDecided April 26, 1983.\\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...&#x27;</span>}`}}),ls=new A({props:{code:`from itertools import islice
from datasets import interleave_datasets

combined_dataset = interleave_datasets([pubmed_dataset_streamed, law_dataset_streamed])
list(islice(combined_dataset, 2))`,highlighted:`<span class="hljs-keyword">from</span> itertools <span class="hljs-keyword">import</span> islice
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> interleave_datasets

combined_dataset = interleave_datasets([pubmed_dataset_streamed, law_dataset_streamed])
<span class="hljs-built_in">list</span>(islice(combined_dataset, <span class="hljs-number">2</span>))`}}),ns=new A({props:{code:`[{'meta': {'pmid': 11409574, 'language': 'eng'},
  'text': 'Epidemiology of hypoxaemia in children with acute lower respiratory infection ...'},
 {'meta': {'case_ID': '110921.json',
   'case_jurisdiction': 'scotus.tar.gz',
   'date_created': '2010-04-28T17:12:49Z'},
  'text': '\\n461 U.S. 238 (1983)\\nOLIM ET AL.\\nv.\\nWAKINEKONA\\nNo. 81-1581.\\nSupreme Court of United States.\\nArgued January 19, 1983.\\nDecided April 26, 1983.\\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...'}]`,highlighted:`[{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pmid&#x27;</span>: <span class="hljs-number">11409574</span>, <span class="hljs-string">&#x27;language&#x27;</span>: <span class="hljs-string">&#x27;eng&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;Epidemiology of hypoxaemia in children with acute lower respiratory infection ...&#x27;</span>},
 {<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;case_ID&#x27;</span>: <span class="hljs-string">&#x27;110921.json&#x27;</span>,
   <span class="hljs-string">&#x27;case_jurisdiction&#x27;</span>: <span class="hljs-string">&#x27;scotus.tar.gz&#x27;</span>,
   <span class="hljs-string">&#x27;date_created&#x27;</span>: <span class="hljs-string">&#x27;2010-04-28T17:12:49Z&#x27;</span>},
  <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;\\n461 U.S. 238 (1983)\\nOLIM ET AL.\\nv.\\nWAKINEKONA\\nNo. 81-1581.\\nSupreme Court of United States.\\nArgued January 19, 1983.\\nDecided April 26, 1983.\\nCERTIORARI TO THE UNITED STATES COURT OF APPEALS FOR THE NINTH CIRCUIT\\n*239 Michael A. Lilly, First Deputy Attorney General of Hawaii, argued the cause for petitioners. With him on the brief was James H. Dannenberg, Deputy Attorney General...&#x27;</span>}]`}}),rs=new A({props:{code:`base_url = "https://mystic.the-eye.eu/public/AI/pile/"
data_files = {
    "train": [base_url + "train/" + f"{idx:02d}.jsonl.zst" for idx in range(30)],
    "validation": base_url + "val.jsonl.zst",
    "test": base_url + "test.jsonl.zst",
}
pile_dataset = load_dataset("json", data_files=data_files, streaming=True)
next(iter(pile_dataset["train"]))`,highlighted:`base_url = <span class="hljs-string">&quot;https://mystic.the-eye.eu/public/AI/pile/&quot;</span>
data_files = {
    <span class="hljs-string">&quot;train&quot;</span>: [base_url + <span class="hljs-string">&quot;train/&quot;</span> + <span class="hljs-string">f&quot;<span class="hljs-subst">{idx:02d}</span>.jsonl.zst&quot;</span> <span class="hljs-keyword">for</span> idx <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">30</span>)],
    <span class="hljs-string">&quot;validation&quot;</span>: base_url + <span class="hljs-string">&quot;val.jsonl.zst&quot;</span>,
    <span class="hljs-string">&quot;test&quot;</span>: base_url + <span class="hljs-string">&quot;test.jsonl.zst&quot;</span>,
}
pile_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, streaming=<span class="hljs-literal">True</span>)
<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(pile_dataset[<span class="hljs-string">&quot;train&quot;</span>]))`}}),is=new A({props:{code:`{'meta': {'pile_set_name': 'Pile-CC'},
 'text': 'It is done, and submitted. You can play \u201CSurvival of the Tastiest\u201D on Android, and on the web...'}`,highlighted:`{<span class="hljs-string">&#x27;meta&#x27;</span>: {<span class="hljs-string">&#x27;pile_set_name&#x27;</span>: <span class="hljs-string">&#x27;Pile-CC&#x27;</span>},
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;It is done, and submitted. You can play \u201CSurvival of the Tastiest\u201D on Android, and on the web...&#x27;</span>}`}}),he=new rt({props:{$$slots:{default:[Br]},$$scope:{ctx:H}}}),{c(){f=r("meta"),O=m(),h=r("h1"),v=r("a"),P=r("span"),_(u.$$.fragment),k=m(),D=r("span"),w=a("Big data? \u{1F917} Datasets \u0441\u043F\u0435\u0448\u0430\u0442 \u043D\u0430 \u043F\u043E\u043C\u043E\u0449\u044C!"),y=m(),_(T.$$.fragment),I=m(),E=r("p"),N=a("\u0412 \u043D\u0430\u0441\u0442\u043E\u044F\u0449\u0435\u0435 \u0432\u0440\u0435\u043C\u044F \u043D\u0435\u0440\u0435\u0434\u043A\u043E \u043F\u0440\u0438\u0445\u043E\u0434\u0438\u0442\u0441\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043C\u043D\u043E\u0433\u043E\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043D\u044B\u043C\u0438 \u043D\u0430\u0431\u043E\u0440\u0430\u043C\u0438 \u0434\u0430\u043D\u043D\u044B\u0445, \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u043F\u043B\u0430\u043D\u0438\u0440\u0443\u0435\u0442\u0435 \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E \u043E\u0431\u0443\u0447\u0438\u0442\u044C \u0442\u0440\u0430\u043D\u0441\u0444\u043E\u0440\u043C\u0435\u0440, \u0442\u0430\u043A\u043E\u0439 \u043A\u0430\u043A BERT \u0438\u043B\u0438 GPT-2, \u0441 \u043D\u0443\u043B\u044F. \u0412 \u044D\u0442\u0438\u0445 \u0441\u043B\u0443\u0447\u0430\u044F\u0445 \u0434\u0430\u0436\u0435 "),q=r("em"),C=a("\u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0430"),z=a(" \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u043E\u0439. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u043A\u043E\u0440\u043F\u0443\u0441 WebText, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u044B\u0439 \u0434\u043B\u044F \u043F\u0440\u0435\u0434\u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F GPT-2, \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 \u0431\u043E\u043B\u0435\u0435 \u0447\u0435\u043C 8 \u043C\u0438\u043B\u043B\u0438\u043E\u043D\u043E\u0432 \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u043E\u0432 \u0438 40 \u0413\u0411 \u0442\u0435\u043A\u0441\u0442\u0430 \u2014 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0430 \u044D\u0442\u043E\u0433\u043E \u0432 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0443\u044E \u043F\u0430\u043C\u044F\u0442\u044C \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430 \u043C\u043E\u0436\u0435\u0442 \u043F\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043A \u0441\u0435\u0440\u0434\u0435\u0447\u043D\u043E\u043C\u0443 \u043F\u0440\u0438\u0441\u0442\u0443\u043F\u0443!"),K=m(),S=r("p"),te=a("\u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u{1F917} Datasets \u0441\u043F\u0440\u043E\u0435\u043A\u0442\u0438\u0440\u043E\u0432\u0430\u043D\u0430 \u0442\u0430\u043A, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044C \u0442\u0430\u043A\u0438\u0445 \u043E\u0433\u0440\u0430\u043D\u0438\u0447\u0435\u043D\u0438\u0439. \u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u0438\u0437\u0431\u0430\u0432\u043B\u044F\u0435\u0442 \u0432\u0430\u0441 \u043E\u0442 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0443\u043F\u0440\u0430\u0432\u043B\u044F\u0442\u044C \u043F\u0430\u043C\u044F\u0442\u044C\u044E \u0438 \u0440\u0430\u0441\u0441\u043C\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u043A\u0430\u043A "),Y=r("a"),fs=a("\u0444\u0430\u0439\u043B\u044B, \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0430\u0435\u043C\u044B\u0435 \u0432 \u043F\u0430\u043C\u044F\u0442\u044C"),wa=a(" (memory-mapped files, MMF), \u0442\u0430\u043A\u0436\u0435 \u043E\u0431\u0445\u043E\u0434\u0438\u0442 \u043E\u0433\u0440\u0430\u043D\u0438\u0447\u0435\u043D\u0438\u044F \u0436\u0435\u0441\u0442\u043A\u0438\u0445 \u0434\u0438\u0441\u043A\u043E\u0432 \u043F\u0443\u0442\u0435\u043C \u0444\u043E\u0440\u043C\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u043F\u043E\u0442\u043E\u043A\u043E\u0432 \u0437\u0430\u043F\u0438\u0441\u0435\u0439 \u0438\u0437 \u043A\u043E\u0440\u043F\u0443\u0441\u0430 \u0442\u0435\u043A\u0441\u0442\u043E\u0432."),it=m(),_(ge.$$.fragment),pt=m(),le=r("p"),ya=a("\u0412 \u044D\u0442\u043E\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435 \u043C\u044B \u0440\u0430\u0441\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u044D\u0442\u0438 \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E\u0441\u0442\u0438 \u{1F917} Datasets \u0441 \u043E\u0433\u0440\u043E\u043C\u043D\u044B\u043C \u043A\u043E\u0440\u043F\u0443\u0441\u043E\u043C \u043E\u0431\u044A\u0435\u043C\u043E\u043C 825 \u0413\u0411, \u0438\u0437\u0432\u0435\u0441\u0442\u043D\u044B\u043C \u043A\u0430\u043A [Pile] ("),xe=r("a"),Ea=a("https://pile.eleuther.ai"),va=a("). \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043D\u0430\u0447\u043D\u0435\u043C!"),ot=m(),ae=r("h2"),ne=r("a"),Es=r("span"),_(je.$$.fragment),Aa=m(),vs=r("span"),Da=a("\u0427\u0442\u043E \u0442\u0430\u043A\u043E\u0435 the Pile?"),ft=m(),M=r("p"),Pa=a("The Pile \u2014 \u044D\u0442\u043E \u043A\u043E\u0440\u043F\u0443\u0441 \u0442\u0435\u043A\u0441\u0442\u043E\u0432 \u043D\u0430 \u0430\u043D\u0433\u043B\u0438\u0439\u0441\u043A\u043E\u043C \u044F\u0437\u044B\u043A\u0435, \u0441\u043E\u0437\u0434\u0430\u043D\u043D\u044B\u0439 [EleutherAI] ("),we=r("a"),ka=a("https://www.eleuther.ai"),Ta=a(") \u0434\u043B\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u043A\u0440\u0443\u043F\u043D\u043E\u043C\u0430\u0441\u0448\u0442\u0430\u0431\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u043E\u0432\u044B\u0445 \u043C\u043E\u0434\u0435\u043B\u0435\u0439. \u041E\u043D \u0432\u043A\u043B\u044E\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044F \u0448\u0438\u0440\u043E\u043A\u0438\u0439 \u0441\u043F\u0435\u043A\u0442\u0440 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445, \u0432\u043A\u043B\u044E\u0447\u0430\u044F \u043D\u0430\u0443\u0447\u043D\u044B\u0435 \u0441\u0442\u0430\u0442\u044C\u0438, \u0440\u0435\u043F\u043E\u0437\u0438\u0442\u043E\u0440\u0438\u0438 \u043A\u043E\u0434\u0430 GitHub \u0438 \u043E\u0442\u0444\u0438\u043B\u044C\u0442\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0439 \u0432\u0435\u0431-\u0442\u0435\u043A\u0441\u0442. \u0423\u0447\u0435\u0431\u043D\u044B\u0439 \u043A\u043E\u0440\u043F\u0443\u0441 \u0434\u043E\u0441\u0442\u0443\u043F\u0435\u043D \u0432 \u0432\u0438\u0434\u0435 [\u0444\u0440\u0430\u0433\u043C\u0435\u043D\u0442\u043E\u0432 \u043F\u043E 14 \u0413\u0411] ("),ye=r("a"),Ia=a("https://mystic.the-eye.eu/public/AI/pile/"),Ca=a("), \u0438 \u0432\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E [\u043E\u0442\u0434\u0435\u043B\u044C\u043D\u044B\u0445 \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u043E\u0432] (https://mystic .the-eye.eu/public/AI/pile_preliminary_components/). \u041D\u0430\u0447\u043D\u0435\u043C \u0441 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u0441\u0432\u043E\u0434 \u0430\u043D\u043D\u043E\u0442\u0430\u0446\u0438\u0439 \u0438\u0437 15 \u043C\u0438\u043B\u043B\u0438\u043E\u043D\u043E\u0432 \u0431\u0438\u043E\u043C\u0435\u0434\u0438\u0446\u0438\u043D\u0441\u043A\u0438\u0445 \u043F\u0443\u0431\u043B\u0438\u043A\u0430\u0446\u0438\u0439 \u0432 [PubMed] ("),Ee=r("a"),Oa=a("https://pubmed.ncbi.nlm.nih.gov/"),za=a("). \u041D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043D\u0430\u0445\u043E\u0434\u0438\u0442\u0441\u044F \u0432 [\u0444\u043E\u0440\u043C\u0430\u0442\u0435 JSON Lines] ("),ve=r("a"),qa=a("https://jsonlines.org"),Ma=a(") \u0438 \u0441\u0436\u0430\u0442 \u0441 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435\u043C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 "),As=r("code"),Ra=a("zstandard"),Na=a(", \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0441\u043D\u0430\u0447\u0430\u043B\u0430 \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0443\u0441\u0442\u0430\u043D\u043E\u0432\u0438\u0442\u044C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0443 "),Ds=r("code"),Sa=a("zstandart"),La=a(":"),mt=m(),_(Ae.$$.fragment),dt=m(),re=r("p"),Ga=a("\u0417\u0430\u0442\u0435\u043C \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u043C\u0435\u0442\u043E\u0434 \u0434\u043B\u044F \u043F\u043E\u0434\u0433\u0440\u0443\u0437\u043A\u0438 \u0444\u0430\u0439\u043B\u043E\u0432, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0437\u0443\u0447\u0438\u043B\u0438 \u0432 "),ms=r("a"),Ha=a("\u0440\u0430\u0437\u0434\u0435\u043B\u0435 2"),Ba=a(":"),ct=m(),_(De.$$.fragment),ht=m(),_(Pe.$$.fragment),ut=m(),ds=r("p"),Ua=a("\u041C\u044B \u0432\u0438\u0434\u0438\u043C, \u0447\u0442\u043E \u0432 \u043D\u0430\u0448\u0435\u043C \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 15\xA0518\xA0009 \u0441\u0442\u0440\u043E\u043A \u0438 2 \u0441\u0442\u043E\u043B\u0431\u0446\u0430 \u2014 \u044D\u0442\u043E \u043E\u0447\u0435\u043D\u044C \u043C\u043D\u043E\u0433\u043E!"),_t=m(),_(ie.$$.fragment),$t=m(),cs=r("p"),Fa=a("\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u043C\u043E\u0435 \u043F\u0435\u0440\u0432\u043E\u0433\u043E \u044D\u043A\u0437\u0435\u043C\u043F\u043B\u044F\u0440\u0430:"),bt=m(),_(ke.$$.fragment),gt=m(),_(Te.$$.fragment),xt=m(),hs=r("p"),Ja=a("\u041E\u0442\u043B\u0438\u0447\u043D\u043E, \u0432\u044B\u0433\u043B\u044F\u0434\u0438\u0442 \u043A\u0430\u043A \u0430\u043D\u043D\u043E\u0442\u0430\u0446\u0438\u044F \u043C\u0435\u0434\u0438\u0446\u0438\u043D\u0441\u043A\u043E\u0439 \u0441\u0442\u0430\u0442\u044C\u0438. \u0422\u0435\u043F\u0435\u0440\u044C \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043E\u0431\u044A\u0435\u043C \u043F\u0430\u043C\u044F\u0442\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u043F\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0435 \u0434\u0430\u043D\u043D\u044B\u0445:"),jt=m(),Ie=r("h2"),Wa=a("\u041C\u0430\u0433\u0438\u044F \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0435\u043D\u0438\u044F \u0432 \u043F\u0430\u043C\u044F\u0442\u044C"),wt=m(),Z=r("p"),Ka=a("\u041F\u0440\u043E\u0441\u0442\u043E\u0439 \u0441\u043F\u043E\u0441\u043E\u0431 \u0438\u0437\u043C\u0435\u0440\u0438\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u0430\u043C\u044F\u0442\u0438 \u0432 Python \u2014 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0443 "),Ce=r("a"),Ps=r("code"),Ya=a("psutil"),Za=a(", \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043C\u043E\u0436\u043D\u043E \u0443\u0441\u0442\u0430\u043D\u043E\u0432\u0438\u0442\u044C \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E "),ks=r("code"),Qa=a("pip"),Va=a(" \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),yt=m(),_(Oe.$$.fragment),Et=m(),us=r("p"),Xa=a("\u041E\u043D\u0430 \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043A\u043B\u0430\u0441\u0441 Process, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u043F\u0440\u043E\u0432\u0435\u0440\u0438\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u0430\u043C\u044F\u0442\u0438 \u0442\u0435\u043A\u0443\u0449\u0438\u043C \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u043E\u043C \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),vt=m(),_(ze.$$.fragment),At=m(),_(qe.$$.fragment),Dt=m(),B=r("p"),el=a("\u0417\u0434\u0435\u0441\u044C \u0430\u0442\u0440\u0438\u0431\u0443\u0442 "),Ts=r("code"),sl=a("rss"),tl=a(" \u043E\u0442\u043D\u043E\u0441\u0438\u0442\u0441\u044F \u043A "),Is=r("em"),al=a("\u0440\u0435\u0437\u0438\u0434\u0435\u043D\u0442\u043D\u043E\u043C\u0443 \u0440\u0430\u0437\u043C\u0435\u0440\u0443 \u043D\u0430\u0431\u043E\u0440\u0430"),ll=a(", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u0434\u043E\u043B\u044E \u043F\u0430\u043C\u044F\u0442\u0438, \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u0437\u0430\u043D\u0438\u043C\u0430\u0435\u0442 \u0432 \u041E\u0417\u0423. \u042D\u0442\u043E \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u0435 \u0442\u0430\u043A\u0436\u0435 \u0432\u043A\u043B\u044E\u0447\u0430\u0435\u0442 \u043F\u0430\u043C\u044F\u0442\u044C, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u0443\u044E \u0438\u043D\u0442\u0435\u0440\u043F\u0440\u0435\u0442\u0430\u0442\u043E\u0440\u043E\u043C Python \u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043D\u043D\u044B\u043C\u0438 \u043D\u0430\u043C\u0438 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430\u043C\u0438, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0444\u0430\u043A\u0442\u0438\u0447\u0435\u0441\u043A\u0438\u0439 \u043E\u0431\u044A\u0435\u043C \u043F\u0430\u043C\u044F\u0442\u0438, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u044B\u0439 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u043C\u0435\u043D\u044C\u0448\u0435. \u0414\u043B\u044F \u0441\u0440\u0430\u0432\u043D\u0435\u043D\u0438\u044F \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C, \u043D\u0430\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u0432\u0435\u043B\u0438\u043A \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043D\u0430 \u0434\u0438\u0441\u043A\u0435, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u0430\u0442\u0440\u0438\u0431\u0443\u0442 "),Cs=r("code"),nl=a("dataset_size"),rl=a(". \u041F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442, \u043A\u0430\u043A \u0438 \u0440\u0430\u043D\u044C\u0448\u0435, \u0432\u044B\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044F \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0432\u0440\u0443\u0447\u043D\u0443\u044E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u043E\u0432\u0430\u0442\u044C \u0435\u0433\u043E \u0432 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044B:"),Pt=m(),_(Me.$$.fragment),kt=m(),_(Re.$$.fragment),Tt=m(),_s=r("p"),il=a("\u041F\u0440\u0438\u044F\u0442\u043D\u043E \u2014 \u043D\u0435\u0441\u043C\u043E\u0442\u0440\u044F \u043D\u0430 \u0442\u043E, \u0447\u0442\u043E \u043E\u043D \u0432\u0435\u0441\u0438\u0442 \u043F\u043E\u0447\u0442\u0438 20 \u0413\u0411, \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043D\u0430\u0431\u043E\u0440\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0433\u043E\u0440\u0430\u0437\u0434\u043E \u043C\u0435\u043D\u044C\u0448\u0438\u043C \u043E\u0431\u044A\u0435\u043C\u043E\u043C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438!"),It=m(),_(pe.$$.fragment),Ct=m(),Q=r("p"),pl=a("\u0415\u0441\u043B\u0438 \u0432\u044B \u0437\u043D\u0430\u043A\u043E\u043C\u044B \u0441 Pandas, \u044D\u0442\u043E\u0442 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442 \u043C\u043E\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044C \u043D\u0435\u043E\u0436\u0438\u0434\u0430\u043D\u043D\u043E\u0441\u0442\u044C\u044E \u0438\u0437-\u0437\u0430 \u0437\u043D\u0430\u043C\u0435\u043D\u0438\u0442\u043E\u0433\u043E [\u044D\u043C\u043F\u0438\u0440\u0438\u0447\u0435\u0441\u043A\u043E\u0433\u043E \u043F\u0440\u0430\u0432\u0438\u043B\u0430] \u0423\u044D\u0441\u0430 \u041A\u0438\u043D\u043D\u0438 ("),Ne=r("a"),ol=a("https://wesmckinney.com/blog/apache-arrow-pandas-internals/"),fl=a("), \u0441\u043E\u0433\u043B\u0430\u0441\u043D\u043E \u043A\u043E\u0442\u043E\u0440\u043E\u043C\u0443 \u0432\u0430\u043C \u043E\u0431\u044B\u0447\u043D\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F 5 \u0434\u043E 10 \u0440\u0430\u0437 \u0431\u043E\u043B\u044C\u0448\u0435 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438, \u0447\u0435\u043C \u0440\u0430\u0437\u043C\u0435\u0440 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445. \u0422\u0430\u043A \u043A\u0430\u043A \u0436\u0435 \u{1F917} Datasets \u0440\u0435\u0448\u0430\u044E\u0442 \u044D\u0442\u0443 \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u0443 \u0443\u043F\u0440\u0430\u0432\u043B\u0435\u043D\u0438\u044F \u043F\u0430\u043C\u044F\u0442\u044C\u044E? \u{1F917} Datasets \u0440\u0430\u0441\u0441\u043C\u0430\u0442\u0440\u0438\u0432\u0430\u044E\u0442 \u043A\u0430\u0436\u0434\u044B\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043A\u0430\u043A [\u0444\u0430\u0439\u043B \u0441 \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0435\u043D\u0438\u0435\u043C \u0432 \u043F\u0430\u043C\u044F\u0442\u044C] ("),Se=r("a"),ml=a("https://en.wikipedia.org/wiki/Memory-mapped_file"),dl=a("), \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043E\u0431\u0435\u0441\u043F\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u0435 \u043C\u0435\u0436\u0434\u0443 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u044C\u044E \u0438 \u0445\u0440\u0430\u043D\u0438\u043B\u0438\u0449\u0435\u043C \u0444\u0430\u0439\u043B\u043E\u0432\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0435 \u043F\u043E\u043B\u0443\u0447\u0430\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u0438 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043D\u0438\u043C\u0438 \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u043F\u043E\u043B\u043D\u043E\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0435\u0433\u043E \u0432 \u043F\u0430\u043C\u044F\u0442\u044C."),Ot=m(),R=r("p"),cl=a("Memory-mapped \u0444\u0430\u0439\u043B\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0433\u0443\u0442 \u0441\u043E\u0432\u043C\u0435\u0441\u0442\u043D\u043E \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C\u0441\u044F \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u043C\u0438 \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0430\u043C\u0438, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0440\u0430\u0441\u043F\u0430\u0440\u0430\u043B\u043B\u0435\u043B\u0438\u0432\u0430\u0442\u044C \u0442\u0430\u043A\u0438\u0435 \u043C\u0435\u0442\u043E\u0434\u044B, \u043A\u0430\u043A "),Os=r("code"),hl=a("Dataset.map()"),ul=a(", \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u043F\u0435\u0440\u0435\u043C\u0435\u0449\u0430\u0442\u044C \u0438\u043B\u0438 \u043A\u043E\u043F\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445. \u041F\u043E\u0434 \u043A\u0430\u043F\u043E\u0442\u043E\u043C \u0432\u0441\u0435 \u044D\u0442\u0438 \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u0438 \u0440\u0435\u0430\u043B\u0438\u0437\u043E\u0432\u0430\u043D\u044B \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 "),Le=r("a"),_l=a("Apache Arrow"),$l=a(" \u0438 ["),zs=r("code"),bl=a("pyarrow"),gl=a("]("),Ge=r("a"),xl=a("https://arrow.apache.org/docs/python/index"),jl=a(". .html), \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0434\u0435\u043B\u0430\u044E\u0442 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0443 \u0438 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u043B\u043D\u0438\u0435\u043D\u043E\u0441\u043D\u043E\u0439. (\u0414\u043B\u044F \u043F\u043E\u043B\u0443\u0447\u0435\u043D\u0438\u044F \u0431\u043E\u043B\u0435\u0435 \u043F\u043E\u0434\u0440\u043E\u0431\u043D\u043E\u0439 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043E\u0431 Apache Arrow \u0438 \u0441\u0440\u0430\u0432\u043D\u0435\u043D\u0438\u0438 \u0441 Pandas \u043E\u0437\u043D\u0430\u043A\u043E\u043C\u044C\u0442\u0435\u0441\u044C \u0441 [\u043F\u0443\u0431\u043B\u0438\u043A\u0430\u0446\u0438\u0435\u0439 \u0432 \u0431\u043B\u043E\u0433\u0435 \u0414\u0435\u044F\u043D\u0430 \u0421\u0438\u043C\u0438\u043A\u0430] ("),He=r("a"),wl=a("https://towardsdatascience.com/apache-arrow-read-dataframe-with-zero-memory-69634092b1a"),yl=a("). \u0427\u0442\u043E\u0431\u044B \u0443\u0432\u0438\u0434\u0435\u0442\u044C \u044D\u0442\u043E \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u0440\u043E\u0432\u0435\u0434\u0435\u043C \u043D\u0435\u0431\u043E\u043B\u044C\u0448\u043E\u0439 \u0442\u0435\u0441\u0442 \u0441\u043A\u043E\u0440\u043E\u0441\u0442\u0438, \u043F\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044F \u0432\u0441\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts:"),zt=m(),_(Be.$$.fragment),qt=m(),_(Ue.$$.fragment),Mt=m(),V=r("p"),El=a("\u0417\u0434\u0435\u0441\u044C \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u043C\u043E\u0434\u0443\u043B\u044C "),qs=r("code"),vl=a("timeit"),Al=a(" Python \u0434\u043B\u044F \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u044F \u0432\u0440\u0435\u043C\u0435\u043D\u0438 \u0432\u044B\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F "),Ms=r("code"),Dl=a("code_snippet"),Pl=a(". \u041E\u0431\u044B\u0447\u043D\u043E \u0432\u044B \u0441\u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043E \u0441\u043A\u043E\u0440\u043E\u0441\u0442\u044C\u044E \u043E\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u0434\u0435\u0441\u044F\u0442\u044B\u0445 \u0434\u043E\u043B\u0435\u0439 \u0413\u0411/\u0441 \u0434\u043E \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u0413\u0411/\u0441. \u042D\u0442\u043E \u043F\u0440\u0435\u043A\u0440\u0430\u0441\u043D\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0434\u043B\u044F \u043F\u043E\u0434\u0430\u0432\u043B\u044F\u044E\u0449\u0435\u0433\u043E \u0431\u043E\u043B\u044C\u0448\u0438\u043D\u0441\u0442\u0432\u0430 \u043F\u0440\u0438\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u043D\u043E \u0438\u043D\u043E\u0433\u0434\u0430 \u0432\u0430\u043C \u043F\u0440\u0438\u0434\u0435\u0442\u0441\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043D\u0430\u0431\u043E\u0440\u043E\u043C \u0434\u0430\u043D\u043D\u044B\u0445, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0432\u0435\u043B\u0438\u043A \u0434\u0430\u0436\u0435 \u0434\u043B\u044F \u0445\u0440\u0430\u043D\u0435\u043D\u0438\u044F \u043D\u0430 \u0436\u0435\u0441\u0442\u043A\u043E\u043C \u0434\u0438\u0441\u043A\u0435 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0435\u0441\u043B\u0438 \u0431\u044B \u043C\u044B \u043F\u043E\u043F\u044B\u0442\u0430\u043B\u0438\u0441\u044C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0432\u0435\u0441\u044C Pile, \u043D\u0430\u043C \u043F\u043E\u0442\u0440\u0435\u0431\u043E\u0432\u0430\u043B\u043E\u0441\u044C \u0431\u044B 825 \u0413\u0411 \u0441\u0432\u043E\u0431\u043E\u0434\u043D\u043E\u0433\u043E \u043C\u0435\u0441\u0442\u0430 \u043D\u0430 \u0434\u0438\u0441\u043A\u0435! \u0427\u0442\u043E\u0431\u044B \u0441\u043F\u0440\u0430\u0432\u0438\u0442\u044C\u0441\u044F \u0441 \u0442\u0430\u043A\u0438\u043C\u0438 \u0441\u043B\u0443\u0447\u0430\u044F\u043C\u0438 \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0438, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0430\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u043D\u0430 \u043B\u0435\u0442\u0443, \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u0432\u0435\u0441\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C, \u043A\u0430\u043A \u044D\u0442\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442."),Rt=m(),_(oe.$$.fragment),Nt=m(),Fe=r("h2"),kl=a("\u041F\u043E\u0442\u043E\u043A\u043E\u0432\u0430\u044F \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"),St=m(),X=r("p"),Tl=a("\u0427\u0442\u043E\u0431\u044B \u0432\u043A\u043B\u044E\u0447\u0438\u0442\u044C \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u0443\u044E \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0432\u0430\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u043D\u0443\u0436\u043D\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Rs=r("code"),Il=a("streaming=True"),Cl=a(" \u0432 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Ns=r("code"),Ol=a("load_dataset()"),zl=a(". \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043D\u043E\u0432\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043D\u043E \u0432 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u043C \u0440\u0435\u0436\u0438\u043C\u0435:"),Lt=m(),_(Je.$$.fragment),Gt=m(),L=r("p"),ql=a("\u0412\u043C\u0435\u0441\u0442\u043E \u0437\u043D\u0430\u043A\u043E\u043C\u043E\u0433\u043E "),Ss=r("code"),Ml=a("Dataset"),Rl=a(", \u0441 \u043A\u043E\u0442\u043E\u0440\u044B\u043C \u043C\u044B \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043B\u0438\u0441\u044C \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043C\u0435\u0441\u0442\u0430\u0445 \u044D\u0442\u043E\u0439 \u0433\u043B\u0430\u0432\u044B, \u043E\u0431\u044A\u0435\u043A\u0442, \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043C\u044B\u0439 \u0441 "),Ls=r("code"),Nl=a("streaming=True"),Sl=a(", \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F "),Gs=r("code"),Ll=a("IterableDataset"),Gl=a(". \u041A\u0430\u043A \u0441\u043B\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u043D\u0430\u0437\u0432\u0430\u043D\u0438\u044F, \u0447\u0442\u043E\u0431\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C "),Hs=r("code"),Hl=a("IterableDataset"),Bl=a(", \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0432\u044B\u043F\u043E\u043B\u043D\u0438\u0442\u044C \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044E \u043F\u043E \u043D\u0435\u043C\u0443. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043F\u0435\u0440\u0432\u043E\u043C\u0443 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0443 \u043D\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),Ht=m(),_(We.$$.fragment),Bt=m(),_(Ke.$$.fragment),Ut=m(),fe=r("p"),Ul=a("\u042D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0438\u0437 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043D\u0430 \u043B\u0435\u0442\u0443 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E "),Bs=r("code"),Fl=a("IterableDataset.map()"),Jl=a(", \u0447\u0442\u043E \u043F\u043E\u043B\u0435\u0437\u043D\u043E \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F, \u0435\u0441\u043B\u0438 \u0432\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435. \u041F\u0440\u043E\u0446\u0435\u0441\u0441 \u0442\u043E\u0447\u043D\u043E \u0442\u0430\u043A\u043E\u0439 \u0436\u0435, \u043A\u0430\u043A \u0442\u043E\u0442, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 \u043D\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432 [\u0413\u043B\u0430\u0432\u0435 3] (/course/ru/chapter3), \u0441 \u0442\u043E\u0439 \u043B\u0438\u0448\u044C \u0440\u0430\u0437\u043D\u0438\u0446\u0435\u0439, \u0447\u0442\u043E \u0432\u044B\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F \u043E\u0434\u0438\u043D \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u043C:"),Ft=m(),_(Ye.$$.fragment),Jt=m(),_(Ze.$$.fragment),Wt=m(),_(me.$$.fragment),Kt=m(),U=r("p"),Wl=a("\u0412\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0430\u0442\u044C \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u044B\u0435 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F "),Us=r("code"),Kl=a("IterableDataset.shuffle()"),Yl=a(", \u043D\u043E \u0432 \u043E\u0442\u043B\u0438\u0447\u0438\u0435 \u043E\u0442 "),Fs=r("code"),Zl=a("Dataset.shuffle()"),Ql=a(", \u044D\u0442\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432 \u043F\u0440\u0435\u0434\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0435\u043D\u043D\u043E\u043C "),Js=r("code"),Vl=a("buffer_size"),Xl=a(":"),Yt=m(),_(Qe.$$.fragment),Zt=m(),_(Ve.$$.fragment),Qt=m(),F=r("p"),en=a("\u0412 \u044D\u0442\u043E\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0435 \u043C\u044B \u0432\u044B\u0431\u0440\u0430\u043B\u0438 \u0441\u043B\u0443\u0447\u0430\u0439\u043D\u044B\u0439 \u043F\u0440\u0438\u043C\u0435\u0440 \u0438\u0437 \u043F\u0435\u0440\u0432\u044B\u0445 10 000 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432 \u0432 \u0431\u0443\u0444\u0435\u0440\u0435. \u041F\u043E\u0441\u043B\u0435 \u043E\u0431\u0440\u0430\u0449\u0435\u043D\u0438\u044F \u043A \u043F\u0440\u0438\u043C\u0435\u0440\u0443 \u0435\u0433\u043E \u043C\u0435\u0441\u0442\u043E \u0432 \u0431\u0443\u0444\u0435\u0440\u0435 \u0437\u0430\u043F\u043E\u043B\u043D\u044F\u0435\u0442\u0441\u044F \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0432 \u043A\u043E\u0440\u043F\u0443\u0441\u0435 (\u0442. \u0435. 10\xA0001-\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0432 \u043F\u0440\u0438\u0432\u0435\u0434\u0435\u043D\u043D\u043E\u043C \u0432\u044B\u0448\u0435 \u0441\u043B\u0443\u0447\u0430\u0435). \u0412\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0432\u044B\u0431\u0438\u0440\u0430\u0442\u044C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0438\u0437 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),Ws=r("code"),sn=a("IterableDataset.take()"),tn=a(" \u0438 "),Ks=r("code"),an=a("IterableDataset.skip()"),ln=a(", \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044E\u0442 \u0430\u043D\u0430\u043B\u043E\u0433\u0438\u0447\u043D\u043E "),Ys=r("code"),nn=a("Dataset.select()"),rn=a(". \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0447\u0442\u043E\u0431\u044B \u0432\u044B\u0431\u0440\u0430\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 5 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432 \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0435:"),Vt=m(),_(Xe.$$.fragment),Xt=m(),_(es.$$.fragment),ea=m(),de=r("p"),pn=a("\u0422\u043E\u0447\u043D\u043E \u0442\u0430\u043A \u0436\u0435 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Zs=r("code"),on=a("IterableDataset.skip()"),fn=a(" \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0438\u0445 \u0438 \u043F\u0440\u043E\u0432\u0435\u0440\u043E\u0447\u043D\u044B\u0445 \u0441\u043F\u043B\u0438\u0442\u043E\u0432 \u0438\u0437 \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0430\u043D\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),sa=m(),_(ss.$$.fragment),ta=m(),J=r("p"),mn=a("\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043C \u043D\u0430\u0448\u0435 \u0438\u0441\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u043E\u0431\u0449\u0438\u043C \u043F\u0440\u0438\u043B\u043E\u0436\u0435\u043D\u0438\u0435\u043C: \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432\u043C\u0435\u0441\u0442\u0435 \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u0435\u0434\u0438\u043D\u043E\u0433\u043E \u043A\u043E\u0440\u043F\u0443\u0441\u0430. \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Qs=r("code"),dn=a("interleave_datasets()"),cn=a(", \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0441\u043F\u0438\u0441\u043E\u043A \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 "),Vs=r("code"),hn=a("IterableDataset"),un=a(" \u0432 \u043E\u0434\u0438\u043D "),Xs=r("code"),_n=a("IterableDataset"),$n=a(", \u0433\u0434\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u043D\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u043F\u043E\u043B\u0443\u0447\u0430\u044E\u0442\u0441\u044F \u043F\u0443\u0442\u0435\u043C \u0447\u0435\u0440\u0435\u0434\u043E\u0432\u0430\u043D\u0438\u044F \u0438\u0441\u0445\u043E\u0434\u043D\u044B\u0445 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432. \u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E \u043F\u043E\u043B\u0435\u0437\u043D\u0430, \u043A\u043E\u0433\u0434\u0430 \u0432\u044B \u043F\u044B\u0442\u0430\u0435\u0442\u0435\u0441\u044C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0431\u043E\u043B\u044C\u0448\u0438\u0435 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0432 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043E\u0441\u043F\u0440\u043E\u0438\u0437\u0432\u0435\u0434\u0435\u043C \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442 FreeLaw \u0438\u0437 Pile, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u044E\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043A\u0438\u0445 \u0437\u0430\u043A\u043B\u044E\u0447\u0435\u043D\u0438\u0439 \u0441\u0443\u0434\u043E\u0432 \u0421\u0428\u0410 \u043E\u0431\u044A\u0435\u043C\u043E\u043C 51 \u0413\u0411:"),aa=m(),_(ts.$$.fragment),la=m(),_(as.$$.fragment),na=m(),ce=r("p"),bn=a("\u042D\u0442\u043E\u0442 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043E\u0441\u0442\u0430\u0442\u043E\u0447\u043D\u043E \u0432\u0435\u043B\u0438\u043A, \u0447\u0442\u043E\u0431\u044B \u043D\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0443\u044E \u043F\u0430\u043C\u044F\u0442\u044C \u0431\u043E\u043B\u044C\u0448\u0438\u043D\u0441\u0442\u0432\u0430 \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u043E\u0432, \u043D\u043E \u043C\u044B \u0441\u043C\u043E\u0433\u043B\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0435\u0433\u043E \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u043A \u043D\u0435\u043C\u0443 \u0434\u043E\u0441\u0442\u0443\u043F! \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043F\u0435\u0440\u044C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0438\u0437 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 FreeLaw \u0438 PubMed Abstracts \u0441 \u0444\u0443\u043D\u043A\u0446\u0438\u0435\u0439 "),et=r("code"),gn=a("interleave_datasets()"),xn=a(":"),ra=m(),_(ls.$$.fragment),ia=m(),_(ns.$$.fragment),pa=m(),ee=r("p"),jn=a("\u0417\u0434\u0435\u0441\u044C \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),st=r("code"),wn=a("islice()"),yn=a(" \u0438\u0437 \u043C\u043E\u0434\u0443\u043B\u044F "),tt=r("code"),En=a("itertools"),vn=a(" Python, \u0447\u0442\u043E\u0431\u044B \u0432\u044B\u0431\u0440\u0430\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 \u0434\u0432\u0430 \u043E\u0431\u044A\u0435\u043A\u0442\u0430 \u0438\u0437 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438 \u043C\u044B \u0432\u0438\u0434\u0438\u043C, \u0447\u0442\u043E \u043E\u043D\u0438 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0442 \u043F\u0435\u0440\u0432\u044B\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0430\u043C \u0438\u0437 \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u0438\u0437 \u0434\u0432\u0443\u0445 \u0438\u0441\u0445\u043E\u0434\u043D\u044B\u0445 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445."),oa=m(),$s=r("p"),An=a("\u041D\u0430\u043A\u043E\u043D\u0435\u0446, \u0435\u0441\u043B\u0438 \u0432\u044B \u0445\u043E\u0442\u0438\u0442\u0435 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0432 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u043C \u0440\u0435\u0436\u0438\u043C\u0435 \u0432\u0435\u0441\u044C Pile \u0446\u0435\u043B\u0438\u043A\u043E\u043C (825 \u0413\u0411), \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0432\u0441\u0435 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u043B\u0435\u043D\u043D\u044B\u0435 \u0444\u0430\u0439\u043B\u044B \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),fa=m(),_(rs.$$.fragment),ma=m(),_(is.$$.fragment),da=m(),_(he.$$.fragment),ca=m(),bs=r("p"),Dn=a("\u0422\u0435\u043F\u0435\u0440\u044C \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044C \u0432\u0441\u0435 \u0438\u043D\u0441\u0442\u0440\u0443\u043C\u0435\u043D\u0442\u044B, \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u044B\u0435 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0438 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432\u0441\u0435\u0445 \u0444\u043E\u0440\u043C \u0438 \u0440\u0430\u0437\u043C\u0435\u0440\u043E\u0432, \u043D\u043E, \u0435\u0441\u043B\u0438 \u0442\u043E\u043B\u044C\u043A\u043E \u0432\u0430\u043C \u043D\u0435 \u043F\u043E\u0432\u0435\u0437\u0435\u0442, \u0432 \u0432\u0430\u0448\u0435\u043C \u043F\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u043F\u043E \u041D\u041B\u041F \u043D\u0430\u0441\u0442\u0443\u043F\u0438\u0442 \u043C\u043E\u043C\u0435\u043D\u0442, \u043A\u043E\u0433\u0434\u0430 \u0432\u0430\u043C \u043F\u0440\u0438\u0434\u0435\u0442\u0441\u044F \u0444\u0430\u043A\u0442\u0438\u0447\u0435\u0441\u043A\u0438 \u0441\u043E\u0437\u0434\u0430\u0442\u044C \u0441\u043E\u0431\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043B\u044F \u0440\u0435\u0448\u0435\u043D\u0438\u044F \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B. \u042D\u0442\u043E \u0442\u0435\u043C\u0430 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0433\u043E \u0440\u0430\u0437\u0434\u0435\u043B\u0430!"),this.h()},l(e){const n=qr('[data-svelte="svelte-1phssyn"]',document.head);f=i(n,"META",{name:!0,content:!0}),n.forEach(t),O=d(e),h=i(e,"H1",{class:!0});var ps=p(h);v=i(ps,"A",{id:!0,class:!0,href:!0});var at=p(v);P=i(at,"SPAN",{});var lt=p(P);$(u.$$.fragment,lt),lt.forEach(t),at.forEach(t),k=d(ps),D=i(ps,"SPAN",{});var nt=p(D);w=l(nt,"Big data? \u{1F917} Datasets \u0441\u043F\u0435\u0448\u0430\u0442 \u043D\u0430 \u043F\u043E\u043C\u043E\u0449\u044C!"),nt.forEach(t),ps.forEach(t),y=d(e),$(T.$$.fragment,e),I=d(e),E=i(e,"P",{});var os=p(E);N=l(os,"\u0412 \u043D\u0430\u0441\u0442\u043E\u044F\u0449\u0435\u0435 \u0432\u0440\u0435\u043C\u044F \u043D\u0435\u0440\u0435\u0434\u043A\u043E \u043F\u0440\u0438\u0445\u043E\u0434\u0438\u0442\u0441\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043C\u043D\u043E\u0433\u043E\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043D\u044B\u043C\u0438 \u043D\u0430\u0431\u043E\u0440\u0430\u043C\u0438 \u0434\u0430\u043D\u043D\u044B\u0445, \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E \u0435\u0441\u043B\u0438 \u0432\u044B \u043F\u043B\u0430\u043D\u0438\u0440\u0443\u0435\u0442\u0435 \u043F\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043B\u044C\u043D\u043E \u043E\u0431\u0443\u0447\u0438\u0442\u044C \u0442\u0440\u0430\u043D\u0441\u0444\u043E\u0440\u043C\u0435\u0440, \u0442\u0430\u043A\u043E\u0439 \u043A\u0430\u043A BERT \u0438\u043B\u0438 GPT-2, \u0441 \u043D\u0443\u043B\u044F. \u0412 \u044D\u0442\u0438\u0445 \u0441\u043B\u0443\u0447\u0430\u044F\u0445 \u0434\u0430\u0436\u0435 "),q=i(os,"EM",{});var Pn=p(q);C=l(Pn,"\u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0430"),Pn.forEach(t),z=l(os," \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044C \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u043E\u0439. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u043A\u043E\u0440\u043F\u0443\u0441 WebText, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u044B\u0439 \u0434\u043B\u044F \u043F\u0440\u0435\u0434\u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F GPT-2, \u0441\u043E\u0441\u0442\u043E\u0438\u0442 \u0438\u0437 \u0431\u043E\u043B\u0435\u0435 \u0447\u0435\u043C 8 \u043C\u0438\u043B\u043B\u0438\u043E\u043D\u043E\u0432 \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u043E\u0432 \u0438 40 \u0413\u0411 \u0442\u0435\u043A\u0441\u0442\u0430 \u2014 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0430 \u044D\u0442\u043E\u0433\u043E \u0432 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0443\u044E \u043F\u0430\u043C\u044F\u0442\u044C \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430 \u043C\u043E\u0436\u0435\u0442 \u043F\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043A \u0441\u0435\u0440\u0434\u0435\u0447\u043D\u043E\u043C\u0443 \u043F\u0440\u0438\u0441\u0442\u0443\u043F\u0443!"),os.forEach(t),K=d(e),S=i(e,"P",{});var ua=p(S);te=l(ua,"\u041A \u0441\u0447\u0430\u0441\u0442\u044C\u044E, \u{1F917} Datasets \u0441\u043F\u0440\u043E\u0435\u043A\u0442\u0438\u0440\u043E\u0432\u0430\u043D\u0430 \u0442\u0430\u043A, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u0438\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044C \u0442\u0430\u043A\u0438\u0445 \u043E\u0433\u0440\u0430\u043D\u0438\u0447\u0435\u043D\u0438\u0439. \u0411\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430 \u0438\u0437\u0431\u0430\u0432\u043B\u044F\u0435\u0442 \u0432\u0430\u0441 \u043E\u0442 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0443\u043F\u0440\u0430\u0432\u043B\u044F\u0442\u044C \u043F\u0430\u043C\u044F\u0442\u044C\u044E \u0438 \u0440\u0430\u0441\u0441\u043C\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044B \u043A\u0430\u043A "),Y=i(ua,"A",{href:!0,rel:!0});var kn=p(Y);fs=l(kn,"\u0444\u0430\u0439\u043B\u044B, \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0430\u0435\u043C\u044B\u0435 \u0432 \u043F\u0430\u043C\u044F\u0442\u044C"),kn.forEach(t),wa=l(ua," (memory-mapped files, MMF), \u0442\u0430\u043A\u0436\u0435 \u043E\u0431\u0445\u043E\u0434\u0438\u0442 \u043E\u0433\u0440\u0430\u043D\u0438\u0447\u0435\u043D\u0438\u044F \u0436\u0435\u0441\u0442\u043A\u0438\u0445 \u0434\u0438\u0441\u043A\u043E\u0432 \u043F\u0443\u0442\u0435\u043C \u0444\u043E\u0440\u043C\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F \u043F\u043E\u0442\u043E\u043A\u043E\u0432 \u0437\u0430\u043F\u0438\u0441\u0435\u0439 \u0438\u0437 \u043A\u043E\u0440\u043F\u0443\u0441\u0430 \u0442\u0435\u043A\u0441\u0442\u043E\u0432."),ua.forEach(t),it=d(e),$(ge.$$.fragment,e),pt=d(e),le=i(e,"P",{});var _a=p(le);ya=l(_a,"\u0412 \u044D\u0442\u043E\u043C \u0440\u0430\u0437\u0434\u0435\u043B\u0435 \u043C\u044B \u0440\u0430\u0441\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u044D\u0442\u0438 \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E\u0441\u0442\u0438 \u{1F917} Datasets \u0441 \u043E\u0433\u0440\u043E\u043C\u043D\u044B\u043C \u043A\u043E\u0440\u043F\u0443\u0441\u043E\u043C \u043E\u0431\u044A\u0435\u043C\u043E\u043C 825 \u0413\u0411, \u0438\u0437\u0432\u0435\u0441\u0442\u043D\u044B\u043C \u043A\u0430\u043A [Pile] ("),xe=i(_a,"A",{href:!0,rel:!0});var Tn=p(xe);Ea=l(Tn,"https://pile.eleuther.ai"),Tn.forEach(t),va=l(_a,"). \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043D\u0430\u0447\u043D\u0435\u043C!"),_a.forEach(t),ot=d(e),ae=i(e,"H2",{class:!0});var $a=p(ae);ne=i($a,"A",{id:!0,class:!0,href:!0});var In=p(ne);Es=i(In,"SPAN",{});var Cn=p(Es);$(je.$$.fragment,Cn),Cn.forEach(t),In.forEach(t),Aa=d($a),vs=i($a,"SPAN",{});var On=p(vs);Da=l(On,"\u0427\u0442\u043E \u0442\u0430\u043A\u043E\u0435 the Pile?"),On.forEach(t),$a.forEach(t),ft=d(e),M=i(e,"P",{});var G=p(M);Pa=l(G,"The Pile \u2014 \u044D\u0442\u043E \u043A\u043E\u0440\u043F\u0443\u0441 \u0442\u0435\u043A\u0441\u0442\u043E\u0432 \u043D\u0430 \u0430\u043D\u0433\u043B\u0438\u0439\u0441\u043A\u043E\u043C \u044F\u0437\u044B\u043A\u0435, \u0441\u043E\u0437\u0434\u0430\u043D\u043D\u044B\u0439 [EleutherAI] ("),we=i(G,"A",{href:!0,rel:!0});var zn=p(we);ka=l(zn,"https://www.eleuther.ai"),zn.forEach(t),Ta=l(G,") \u0434\u043B\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F \u043A\u0440\u0443\u043F\u043D\u043E\u043C\u0430\u0441\u0448\u0442\u0430\u0431\u043D\u044B\u0445 \u044F\u0437\u044B\u043A\u043E\u0432\u044B\u0445 \u043C\u043E\u0434\u0435\u043B\u0435\u0439. \u041E\u043D \u0432\u043A\u043B\u044E\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044F \u0448\u0438\u0440\u043E\u043A\u0438\u0439 \u0441\u043F\u0435\u043A\u0442\u0440 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445, \u0432\u043A\u043B\u044E\u0447\u0430\u044F \u043D\u0430\u0443\u0447\u043D\u044B\u0435 \u0441\u0442\u0430\u0442\u044C\u0438, \u0440\u0435\u043F\u043E\u0437\u0438\u0442\u043E\u0440\u0438\u0438 \u043A\u043E\u0434\u0430 GitHub \u0438 \u043E\u0442\u0444\u0438\u043B\u044C\u0442\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0439 \u0432\u0435\u0431-\u0442\u0435\u043A\u0441\u0442. \u0423\u0447\u0435\u0431\u043D\u044B\u0439 \u043A\u043E\u0440\u043F\u0443\u0441 \u0434\u043E\u0441\u0442\u0443\u043F\u0435\u043D \u0432 \u0432\u0438\u0434\u0435 [\u0444\u0440\u0430\u0433\u043C\u0435\u043D\u0442\u043E\u0432 \u043F\u043E 14 \u0413\u0411] ("),ye=i(G,"A",{href:!0,rel:!0});var qn=p(ye);Ia=l(qn,"https://mystic.the-eye.eu/public/AI/pile/"),qn.forEach(t),Ca=l(G,"), \u0438 \u0432\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u043E [\u043E\u0442\u0434\u0435\u043B\u044C\u043D\u044B\u0445 \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442\u043E\u0432] (https://mystic .the-eye.eu/public/AI/pile_preliminary_components/). \u041D\u0430\u0447\u043D\u0435\u043C \u0441 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u0441\u0432\u043E\u0434 \u0430\u043D\u043D\u043E\u0442\u0430\u0446\u0438\u0439 \u0438\u0437 15 \u043C\u0438\u043B\u043B\u0438\u043E\u043D\u043E\u0432 \u0431\u0438\u043E\u043C\u0435\u0434\u0438\u0446\u0438\u043D\u0441\u043A\u0438\u0445 \u043F\u0443\u0431\u043B\u0438\u043A\u0430\u0446\u0438\u0439 \u0432 [PubMed] ("),Ee=i(G,"A",{href:!0,rel:!0});var Mn=p(Ee);Oa=l(Mn,"https://pubmed.ncbi.nlm.nih.gov/"),Mn.forEach(t),za=l(G,"). \u041D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043D\u0430\u0445\u043E\u0434\u0438\u0442\u0441\u044F \u0432 [\u0444\u043E\u0440\u043C\u0430\u0442\u0435 JSON Lines] ("),ve=i(G,"A",{href:!0,rel:!0});var Rn=p(ve);qa=l(Rn,"https://jsonlines.org"),Rn.forEach(t),Ma=l(G,") \u0438 \u0441\u0436\u0430\u0442 \u0441 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435\u043C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0438 "),As=i(G,"CODE",{});var Nn=p(As);Ra=l(Nn,"zstandard"),Nn.forEach(t),Na=l(G,", \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0441\u043D\u0430\u0447\u0430\u043B\u0430 \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0443\u0441\u0442\u0430\u043D\u043E\u0432\u0438\u0442\u044C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0443 "),Ds=i(G,"CODE",{});var Sn=p(Ds);Sa=l(Sn,"zstandart"),Sn.forEach(t),La=l(G,":"),G.forEach(t),mt=d(e),$(Ae.$$.fragment,e),dt=d(e),re=i(e,"P",{});var ba=p(re);Ga=l(ba,"\u0417\u0430\u0442\u0435\u043C \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u043C\u0435\u0442\u043E\u0434 \u0434\u043B\u044F \u043F\u043E\u0434\u0433\u0440\u0443\u0437\u043A\u0438 \u0444\u0430\u0439\u043B\u043E\u0432, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0437\u0443\u0447\u0438\u043B\u0438 \u0432 "),ms=i(ba,"A",{href:!0});var Ln=p(ms);Ha=l(Ln,"\u0440\u0430\u0437\u0434\u0435\u043B\u0435 2"),Ln.forEach(t),Ba=l(ba,":"),ba.forEach(t),ct=d(e),$(De.$$.fragment,e),ht=d(e),$(Pe.$$.fragment,e),ut=d(e),ds=i(e,"P",{});var Gn=p(ds);Ua=l(Gn,"\u041C\u044B \u0432\u0438\u0434\u0438\u043C, \u0447\u0442\u043E \u0432 \u043D\u0430\u0448\u0435\u043C \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 15\xA0518\xA0009 \u0441\u0442\u0440\u043E\u043A \u0438 2 \u0441\u0442\u043E\u043B\u0431\u0446\u0430 \u2014 \u044D\u0442\u043E \u043E\u0447\u0435\u043D\u044C \u043C\u043D\u043E\u0433\u043E!"),Gn.forEach(t),_t=d(e),$(ie.$$.fragment,e),$t=d(e),cs=i(e,"P",{});var Hn=p(cs);Fa=l(Hn,"\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043D\u0430 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u043C\u043E\u0435 \u043F\u0435\u0440\u0432\u043E\u0433\u043E \u044D\u043A\u0437\u0435\u043C\u043F\u043B\u044F\u0440\u0430:"),Hn.forEach(t),bt=d(e),$(ke.$$.fragment,e),gt=d(e),$(Te.$$.fragment,e),xt=d(e),hs=i(e,"P",{});var Bn=p(hs);Ja=l(Bn,"\u041E\u0442\u043B\u0438\u0447\u043D\u043E, \u0432\u044B\u0433\u043B\u044F\u0434\u0438\u0442 \u043A\u0430\u043A \u0430\u043D\u043D\u043E\u0442\u0430\u0446\u0438\u044F \u043C\u0435\u0434\u0438\u0446\u0438\u043D\u0441\u043A\u043E\u0439 \u0441\u0442\u0430\u0442\u044C\u0438. \u0422\u0435\u043F\u0435\u0440\u044C \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C \u043E\u0431\u044A\u0435\u043C \u043F\u0430\u043C\u044F\u0442\u0438, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u043F\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0435 \u0434\u0430\u043D\u043D\u044B\u0445:"),Bn.forEach(t),jt=d(e),Ie=i(e,"H2",{id:!0});var Un=p(Ie);Wa=l(Un,"\u041C\u0430\u0433\u0438\u044F \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0435\u043D\u0438\u044F \u0432 \u043F\u0430\u043C\u044F\u0442\u044C"),Un.forEach(t),wt=d(e),Z=i(e,"P",{});var gs=p(Z);Ka=l(gs,"\u041F\u0440\u043E\u0441\u0442\u043E\u0439 \u0441\u043F\u043E\u0441\u043E\u0431 \u0438\u0437\u043C\u0435\u0440\u0438\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u0430\u043C\u044F\u0442\u0438 \u0432 Python \u2014 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0443 "),Ce=i(gs,"A",{href:!0,rel:!0});var Fn=p(Ce);Ps=i(Fn,"CODE",{});var Jn=p(Ps);Ya=l(Jn,"psutil"),Jn.forEach(t),Fn.forEach(t),Za=l(gs,", \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043C\u043E\u0436\u043D\u043E \u0443\u0441\u0442\u0430\u043D\u043E\u0432\u0438\u0442\u044C \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E "),ks=i(gs,"CODE",{});var Wn=p(ks);Qa=l(Wn,"pip"),Wn.forEach(t),Va=l(gs," \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),gs.forEach(t),yt=d(e),$(Oe.$$.fragment,e),Et=d(e),us=i(e,"P",{});var Kn=p(us);Xa=l(Kn,"\u041E\u043D\u0430 \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u043A\u043B\u0430\u0441\u0441 Process, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u043F\u0440\u043E\u0432\u0435\u0440\u0438\u0442\u044C \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u0430\u043C\u044F\u0442\u0438 \u0442\u0435\u043A\u0443\u0449\u0438\u043C \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u043E\u043C \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),Kn.forEach(t),vt=d(e),$(ze.$$.fragment,e),At=d(e),$(qe.$$.fragment,e),Dt=d(e),B=i(e,"P",{});var ue=p(B);el=l(ue,"\u0417\u0434\u0435\u0441\u044C \u0430\u0442\u0440\u0438\u0431\u0443\u0442 "),Ts=i(ue,"CODE",{});var Yn=p(Ts);sl=l(Yn,"rss"),Yn.forEach(t),tl=l(ue," \u043E\u0442\u043D\u043E\u0441\u0438\u0442\u0441\u044F \u043A "),Is=i(ue,"EM",{});var Zn=p(Is);al=l(Zn,"\u0440\u0435\u0437\u0438\u0434\u0435\u043D\u0442\u043D\u043E\u043C\u0443 \u0440\u0430\u0437\u043C\u0435\u0440\u0443 \u043D\u0430\u0431\u043E\u0440\u0430"),Zn.forEach(t),ll=l(ue,", \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u0434\u043E\u043B\u044E \u043F\u0430\u043C\u044F\u0442\u0438, \u043A\u043E\u0442\u043E\u0440\u0443\u044E \u043F\u0440\u043E\u0446\u0435\u0441\u0441 \u0437\u0430\u043D\u0438\u043C\u0430\u0435\u0442 \u0432 \u041E\u0417\u0423. \u042D\u0442\u043E \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u0435 \u0442\u0430\u043A\u0436\u0435 \u0432\u043A\u043B\u044E\u0447\u0430\u0435\u0442 \u043F\u0430\u043C\u044F\u0442\u044C, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u0443\u044E \u0438\u043D\u0442\u0435\u0440\u043F\u0440\u0435\u0442\u0430\u0442\u043E\u0440\u043E\u043C Python \u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043D\u043D\u044B\u043C\u0438 \u043D\u0430\u043C\u0438 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0430\u043C\u0438, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0444\u0430\u043A\u0442\u0438\u0447\u0435\u0441\u043A\u0438\u0439 \u043E\u0431\u044A\u0435\u043C \u043F\u0430\u043C\u044F\u0442\u0438, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u0435\u043C\u044B\u0439 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u043D\u0435\u043C\u043D\u043E\u0433\u043E \u043C\u0435\u043D\u044C\u0448\u0435. \u0414\u043B\u044F \u0441\u0440\u0430\u0432\u043D\u0435\u043D\u0438\u044F \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C, \u043D\u0430\u0441\u043A\u043E\u043B\u044C\u043A\u043E \u0432\u0435\u043B\u0438\u043A \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043D\u0430 \u0434\u0438\u0441\u043A\u0435, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u0430\u0442\u0440\u0438\u0431\u0443\u0442 "),Cs=i(ue,"CODE",{});var Qn=p(Cs);nl=l(Qn,"dataset_size"),Qn.forEach(t),rl=l(ue,". \u041F\u043E\u0441\u043A\u043E\u043B\u044C\u043A\u0443 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442, \u043A\u0430\u043A \u0438 \u0440\u0430\u043D\u044C\u0448\u0435, \u0432\u044B\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044F \u0432 \u0431\u0430\u0439\u0442\u0430\u0445, \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0432\u0440\u0443\u0447\u043D\u0443\u044E \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u043E\u0432\u0430\u0442\u044C \u0435\u0433\u043E \u0432 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044B:"),ue.forEach(t),Pt=d(e),$(Me.$$.fragment,e),kt=d(e),$(Re.$$.fragment,e),Tt=d(e),_s=i(e,"P",{});var Vn=p(_s);il=l(Vn,"\u041F\u0440\u0438\u044F\u0442\u043D\u043E \u2014 \u043D\u0435\u0441\u043C\u043E\u0442\u0440\u044F \u043D\u0430 \u0442\u043E, \u0447\u0442\u043E \u043E\u043D \u0432\u0435\u0441\u0438\u0442 \u043F\u043E\u0447\u0442\u0438 20 \u0413\u0411, \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043D\u0430\u0431\u043E\u0440\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441 \u0433\u043E\u0440\u0430\u0437\u0434\u043E \u043C\u0435\u043D\u044C\u0448\u0438\u043C \u043E\u0431\u044A\u0435\u043C\u043E\u043C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438!"),Vn.forEach(t),It=d(e),$(pe.$$.fragment,e),Ct=d(e),Q=i(e,"P",{});var xs=p(Q);pl=l(xs,"\u0415\u0441\u043B\u0438 \u0432\u044B \u0437\u043D\u0430\u043A\u043E\u043C\u044B \u0441 Pandas, \u044D\u0442\u043E\u0442 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442 \u043C\u043E\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044C \u043D\u0435\u043E\u0436\u0438\u0434\u0430\u043D\u043D\u043E\u0441\u0442\u044C\u044E \u0438\u0437-\u0437\u0430 \u0437\u043D\u0430\u043C\u0435\u043D\u0438\u0442\u043E\u0433\u043E [\u044D\u043C\u043F\u0438\u0440\u0438\u0447\u0435\u0441\u043A\u043E\u0433\u043E \u043F\u0440\u0430\u0432\u0438\u043B\u0430] \u0423\u044D\u0441\u0430 \u041A\u0438\u043D\u043D\u0438 ("),Ne=i(xs,"A",{href:!0,rel:!0});var Xn=p(Ne);ol=l(Xn,"https://wesmckinney.com/blog/apache-arrow-pandas-internals/"),Xn.forEach(t),fl=l(xs,"), \u0441\u043E\u0433\u043B\u0430\u0441\u043D\u043E \u043A\u043E\u0442\u043E\u0440\u043E\u043C\u0443 \u0432\u0430\u043C \u043E\u0431\u044B\u0447\u043D\u043E \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044F 5 \u0434\u043E 10 \u0440\u0430\u0437 \u0431\u043E\u043B\u044C\u0448\u0435 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u0438, \u0447\u0435\u043C \u0440\u0430\u0437\u043C\u0435\u0440 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445. \u0422\u0430\u043A \u043A\u0430\u043A \u0436\u0435 \u{1F917} Datasets \u0440\u0435\u0448\u0430\u044E\u0442 \u044D\u0442\u0443 \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u0443 \u0443\u043F\u0440\u0430\u0432\u043B\u0435\u043D\u0438\u044F \u043F\u0430\u043C\u044F\u0442\u044C\u044E? \u{1F917} Datasets \u0440\u0430\u0441\u0441\u043C\u0430\u0442\u0440\u0438\u0432\u0430\u044E\u0442 \u043A\u0430\u0436\u0434\u044B\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u043A\u0430\u043A [\u0444\u0430\u0439\u043B \u0441 \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0435\u043D\u0438\u0435\u043C \u0432 \u043F\u0430\u043C\u044F\u0442\u044C] ("),Se=i(xs,"A",{href:!0,rel:!0});var er=p(Se);ml=l(er,"https://en.wikipedia.org/wiki/Memory-mapped_file"),er.forEach(t),dl=l(xs,"), \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043E\u0431\u0435\u0441\u043F\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043E\u043F\u043E\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u0438\u0435 \u043C\u0435\u0436\u0434\u0443 \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u043E\u0439 \u043F\u0430\u043C\u044F\u0442\u044C\u044E \u0438 \u0445\u0440\u0430\u043D\u0438\u043B\u0438\u0449\u0435\u043C \u0444\u0430\u0439\u043B\u043E\u0432\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0431\u0438\u0431\u043B\u0438\u043E\u0442\u0435\u043A\u0435 \u043F\u043E\u043B\u0443\u0447\u0430\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u0438 \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043D\u0438\u043C\u0438 \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u043F\u043E\u043B\u043D\u043E\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0435\u0433\u043E \u0432 \u043F\u0430\u043C\u044F\u0442\u044C."),xs.forEach(t),Ot=d(e),R=i(e,"P",{});var W=p(R);cl=l(W,"Memory-mapped \u0444\u0430\u0439\u043B\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0433\u0443\u0442 \u0441\u043E\u0432\u043C\u0435\u0441\u0442\u043D\u043E \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C\u0441\u044F \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u043C\u0438 \u043F\u0440\u043E\u0446\u0435\u0441\u0441\u0430\u043C\u0438, \u0447\u0442\u043E \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u0440\u0430\u0441\u043F\u0430\u0440\u0430\u043B\u043B\u0435\u043B\u0438\u0432\u0430\u0442\u044C \u0442\u0430\u043A\u0438\u0435 \u043C\u0435\u0442\u043E\u0434\u044B, \u043A\u0430\u043A "),Os=i(W,"CODE",{});var sr=p(Os);hl=l(sr,"Dataset.map()"),sr.forEach(t),ul=l(W,", \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u043F\u0435\u0440\u0435\u043C\u0435\u0449\u0430\u0442\u044C \u0438\u043B\u0438 \u043A\u043E\u043F\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445. \u041F\u043E\u0434 \u043A\u0430\u043F\u043E\u0442\u043E\u043C \u0432\u0441\u0435 \u044D\u0442\u0438 \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u0438 \u0440\u0435\u0430\u043B\u0438\u0437\u043E\u0432\u0430\u043D\u044B \u0432 \u0444\u043E\u0440\u043C\u0430\u0442\u0435 "),Le=i(W,"A",{href:!0,rel:!0});var tr=p(Le);_l=l(tr,"Apache Arrow"),tr.forEach(t),$l=l(W," \u0438 ["),zs=i(W,"CODE",{});var ar=p(zs);bl=l(ar,"pyarrow"),ar.forEach(t),gl=l(W,"]("),Ge=i(W,"A",{href:!0,rel:!0});var lr=p(Ge);xl=l(lr,"https://arrow.apache.org/docs/python/index"),lr.forEach(t),jl=l(W,". .html), \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0434\u0435\u043B\u0430\u044E\u0442 \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0443 \u0438 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u043B\u043D\u0438\u0435\u043D\u043E\u0441\u043D\u043E\u0439. (\u0414\u043B\u044F \u043F\u043E\u043B\u0443\u0447\u0435\u043D\u0438\u044F \u0431\u043E\u043B\u0435\u0435 \u043F\u043E\u0434\u0440\u043E\u0431\u043D\u043E\u0439 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043E\u0431 Apache Arrow \u0438 \u0441\u0440\u0430\u0432\u043D\u0435\u043D\u0438\u0438 \u0441 Pandas \u043E\u0437\u043D\u0430\u043A\u043E\u043C\u044C\u0442\u0435\u0441\u044C \u0441 [\u043F\u0443\u0431\u043B\u0438\u043A\u0430\u0446\u0438\u0435\u0439 \u0432 \u0431\u043B\u043E\u0433\u0435 \u0414\u0435\u044F\u043D\u0430 \u0421\u0438\u043C\u0438\u043A\u0430] ("),He=i(W,"A",{href:!0,rel:!0});var nr=p(He);wl=l(nr,"https://towardsdatascience.com/apache-arrow-read-dataframe-with-zero-memory-69634092b1a"),nr.forEach(t),yl=l(W,"). \u0427\u0442\u043E\u0431\u044B \u0443\u0432\u0438\u0434\u0435\u0442\u044C \u044D\u0442\u043E \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u0440\u043E\u0432\u0435\u0434\u0435\u043C \u043D\u0435\u0431\u043E\u043B\u044C\u0448\u043E\u0439 \u0442\u0435\u0441\u0442 \u0441\u043A\u043E\u0440\u043E\u0441\u0442\u0438, \u043F\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u044F \u0432\u0441\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts:"),W.forEach(t),zt=d(e),$(Be.$$.fragment,e),qt=d(e),$(Ue.$$.fragment,e),Mt=d(e),V=i(e,"P",{});var js=p(V);El=l(js,"\u0417\u0434\u0435\u0441\u044C \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u043C\u043E\u0434\u0443\u043B\u044C "),qs=i(js,"CODE",{});var rr=p(qs);vl=l(rr,"timeit"),rr.forEach(t),Al=l(js," Python \u0434\u043B\u044F \u0438\u0437\u043C\u0435\u0440\u0435\u043D\u0438\u044F \u0432\u0440\u0435\u043C\u0435\u043D\u0438 \u0432\u044B\u043F\u043E\u043B\u043D\u0435\u043D\u0438\u044F "),Ms=i(js,"CODE",{});var ir=p(Ms);Dl=l(ir,"code_snippet"),ir.forEach(t),Pl=l(js,". \u041E\u0431\u044B\u0447\u043D\u043E \u0432\u044B \u0441\u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043E \u0441\u043A\u043E\u0440\u043E\u0441\u0442\u044C\u044E \u043E\u0442 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u0434\u0435\u0441\u044F\u0442\u044B\u0445 \u0434\u043E\u043B\u0435\u0439 \u0413\u0411/\u0441 \u0434\u043E \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u0413\u0411/\u0441. \u042D\u0442\u043E \u043F\u0440\u0435\u043A\u0440\u0430\u0441\u043D\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442 \u0434\u043B\u044F \u043F\u043E\u0434\u0430\u0432\u043B\u044F\u044E\u0449\u0435\u0433\u043E \u0431\u043E\u043B\u044C\u0448\u0438\u043D\u0441\u0442\u0432\u0430 \u043F\u0440\u0438\u043B\u043E\u0436\u0435\u043D\u0438\u0439, \u043D\u043E \u0438\u043D\u043E\u0433\u0434\u0430 \u0432\u0430\u043C \u043F\u0440\u0438\u0434\u0435\u0442\u0441\u044F \u0440\u0430\u0431\u043E\u0442\u0430\u0442\u044C \u0441 \u043D\u0430\u0431\u043E\u0440\u043E\u043C \u0434\u0430\u043D\u043D\u044B\u0445, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u0441\u043B\u0438\u0448\u043A\u043E\u043C \u0432\u0435\u043B\u0438\u043A \u0434\u0430\u0436\u0435 \u0434\u043B\u044F \u0445\u0440\u0430\u043D\u0435\u043D\u0438\u044F \u043D\u0430 \u0436\u0435\u0441\u0442\u043A\u043E\u043C \u0434\u0438\u0441\u043A\u0435 \u0432\u0430\u0448\u0435\u0433\u043E \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u0430. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0435\u0441\u043B\u0438 \u0431\u044B \u043C\u044B \u043F\u043E\u043F\u044B\u0442\u0430\u043B\u0438\u0441\u044C \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0432\u0435\u0441\u044C Pile, \u043D\u0430\u043C \u043F\u043E\u0442\u0440\u0435\u0431\u043E\u0432\u0430\u043B\u043E\u0441\u044C \u0431\u044B 825 \u0413\u0411 \u0441\u0432\u043E\u0431\u043E\u0434\u043D\u043E\u0433\u043E \u043C\u0435\u0441\u0442\u0430 \u043D\u0430 \u0434\u0438\u0441\u043A\u0435! \u0427\u0442\u043E\u0431\u044B \u0441\u043F\u0440\u0430\u0432\u0438\u0442\u044C\u0441\u044F \u0441 \u0442\u0430\u043A\u0438\u043C\u0438 \u0441\u043B\u0443\u0447\u0430\u044F\u043C\u0438 \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044E \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0438, \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u043E\u0437\u0432\u043E\u043B\u044F\u0435\u0442 \u043D\u0430\u043C \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u0438 \u043F\u043E\u043B\u0443\u0447\u0430\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C \u043D\u0430 \u043B\u0435\u0442\u0443, \u0431\u0435\u0437 \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u043E\u0441\u0442\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u0432\u0435\u0441\u044C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043F\u043E\u0441\u043C\u043E\u0442\u0440\u0438\u043C, \u043A\u0430\u043A \u044D\u0442\u043E \u0440\u0430\u0431\u043E\u0442\u0430\u0435\u0442."),js.forEach(t),Rt=d(e),$(oe.$$.fragment,e),Nt=d(e),Fe=i(e,"H2",{id:!0});var pr=p(Fe);kl=l(pr,"\u041F\u043E\u0442\u043E\u043A\u043E\u0432\u0430\u044F \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"),pr.forEach(t),St=d(e),X=i(e,"P",{});var ws=p(X);Tl=l(ws,"\u0427\u0442\u043E\u0431\u044B \u0432\u043A\u043B\u044E\u0447\u0438\u0442\u044C \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u0443\u044E \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0432\u0430\u043C \u043F\u0440\u043E\u0441\u0442\u043E \u043D\u0443\u0436\u043D\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0442\u044C \u0430\u0440\u0433\u0443\u043C\u0435\u043D\u0442 "),Rs=i(ws,"CODE",{});var or=p(Rs);Il=l(or,"streaming=True"),or.forEach(t),Cl=l(ws," \u0432 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Ns=i(ws,"CODE",{});var fr=p(Ns);Ol=l(fr,"load_dataset()"),fr.forEach(t),zl=l(ws,". \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043D\u043E\u0432\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043C \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043D\u043E \u0432 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u043C \u0440\u0435\u0436\u0438\u043C\u0435:"),ws.forEach(t),Lt=d(e),$(Je.$$.fragment,e),Gt=d(e),L=i(e,"P",{});var se=p(L);ql=l(se,"\u0412\u043C\u0435\u0441\u0442\u043E \u0437\u043D\u0430\u043A\u043E\u043C\u043E\u0433\u043E "),Ss=i(se,"CODE",{});var mr=p(Ss);Ml=l(mr,"Dataset"),mr.forEach(t),Rl=l(se,", \u0441 \u043A\u043E\u0442\u043E\u0440\u044B\u043C \u043C\u044B \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043B\u0438\u0441\u044C \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043C\u0435\u0441\u0442\u0430\u0445 \u044D\u0442\u043E\u0439 \u0433\u043B\u0430\u0432\u044B, \u043E\u0431\u044A\u0435\u043A\u0442, \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043C\u044B\u0439 \u0441 "),Ls=i(se,"CODE",{});var dr=p(Ls);Nl=l(dr,"streaming=True"),dr.forEach(t),Sl=l(se,", \u044F\u0432\u043B\u044F\u0435\u0442\u0441\u044F "),Gs=i(se,"CODE",{});var cr=p(Gs);Ll=l(cr,"IterableDataset"),cr.forEach(t),Gl=l(se,". \u041A\u0430\u043A \u0441\u043B\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u043D\u0430\u0437\u0432\u0430\u043D\u0438\u044F, \u0447\u0442\u043E\u0431\u044B \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0430\u043C "),Hs=i(se,"CODE",{});var hr=p(Hs);Hl=l(hr,"IterableDataset"),hr.forEach(t),Bl=l(se,", \u043D\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0432\u044B\u043F\u043E\u043B\u043D\u0438\u0442\u044C \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044E \u043F\u043E \u043D\u0435\u043C\u0443. \u041C\u044B \u043C\u043E\u0436\u0435\u043C \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u043F\u0435\u0440\u0432\u043E\u043C\u0443 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u0443 \u043D\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u044B\u0445 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),se.forEach(t),Ht=d(e),$(We.$$.fragment,e),Bt=d(e),$(Ke.$$.fragment,e),Ut=d(e),fe=i(e,"P",{});var ga=p(fe);Ul=l(ga,"\u042D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0438\u0437 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u043C\u043E\u0436\u043D\u043E \u043E\u0431\u0440\u0430\u0431\u0430\u0442\u044B\u0432\u0430\u0442\u044C \u043D\u0430 \u043B\u0435\u0442\u0443 \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E "),Bs=i(ga,"CODE",{});var ur=p(Bs);Fl=l(ur,"IterableDataset.map()"),ur.forEach(t),Jl=l(ga,", \u0447\u0442\u043E \u043F\u043E\u043B\u0435\u0437\u043D\u043E \u0432\u043E \u0432\u0440\u0435\u043C\u044F \u043E\u0431\u0443\u0447\u0435\u043D\u0438\u044F, \u0435\u0441\u043B\u0438 \u0432\u0430\u043C \u043D\u0443\u0436\u043D\u043E \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u0432\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435. \u041F\u0440\u043E\u0446\u0435\u0441\u0441 \u0442\u043E\u0447\u043D\u043E \u0442\u0430\u043A\u043E\u0439 \u0436\u0435, \u043A\u0430\u043A \u0442\u043E\u0442, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u0434\u043B\u044F \u0442\u043E\u043A\u0435\u043D\u0438\u0437\u0430\u0446\u0438\u0438 \u043D\u0430\u0448\u0435\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432 [\u0413\u043B\u0430\u0432\u0435 3] (/course/ru/chapter3), \u0441 \u0442\u043E\u0439 \u043B\u0438\u0448\u044C \u0440\u0430\u0437\u043D\u0438\u0446\u0435\u0439, \u0447\u0442\u043E \u0432\u044B\u0445\u043E\u0434\u043D\u044B\u0435 \u0434\u0430\u043D\u043D\u044B\u0435 \u0432\u043E\u0437\u0432\u0440\u0430\u0449\u0430\u044E\u0442\u0441\u044F \u043E\u0434\u0438\u043D \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u043C:"),ga.forEach(t),Ft=d(e),$(Ye.$$.fragment,e),Jt=d(e),$(Ze.$$.fragment,e),Wt=d(e),$(me.$$.fragment,e),Kt=d(e),U=i(e,"P",{});var _e=p(U);Wl=l(_e,"\u0412\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0430\u0442\u044C \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u044B\u0435 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F "),Us=i(_e,"CODE",{});var _r=p(Us);Kl=l(_r,"IterableDataset.shuffle()"),_r.forEach(t),Yl=l(_e,", \u043D\u043E \u0432 \u043E\u0442\u043B\u0438\u0447\u0438\u0435 \u043E\u0442 "),Fs=i(_e,"CODE",{});var $r=p(Fs);Zl=l($r,"Dataset.shuffle()"),$r.forEach(t),Ql=l(_e,", \u044D\u0442\u043E \u0442\u043E\u043B\u044C\u043A\u043E \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0432 \u043F\u0440\u0435\u0434\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0435\u043D\u043D\u043E\u043C "),Js=i(_e,"CODE",{});var br=p(Js);Vl=l(br,"buffer_size"),br.forEach(t),Xl=l(_e,":"),_e.forEach(t),Yt=d(e),$(Qe.$$.fragment,e),Zt=d(e),$(Ve.$$.fragment,e),Qt=d(e),F=i(e,"P",{});var $e=p(F);en=l($e,"\u0412 \u044D\u0442\u043E\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0435 \u043C\u044B \u0432\u044B\u0431\u0440\u0430\u043B\u0438 \u0441\u043B\u0443\u0447\u0430\u0439\u043D\u044B\u0439 \u043F\u0440\u0438\u043C\u0435\u0440 \u0438\u0437 \u043F\u0435\u0440\u0432\u044B\u0445 10 000 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432 \u0432 \u0431\u0443\u0444\u0435\u0440\u0435. \u041F\u043E\u0441\u043B\u0435 \u043E\u0431\u0440\u0430\u0449\u0435\u043D\u0438\u044F \u043A \u043F\u0440\u0438\u043C\u0435\u0440\u0443 \u0435\u0433\u043E \u043C\u0435\u0441\u0442\u043E \u0432 \u0431\u0443\u0444\u0435\u0440\u0435 \u0437\u0430\u043F\u043E\u043B\u043D\u044F\u0435\u0442\u0441\u044F \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0432 \u043A\u043E\u0440\u043F\u0443\u0441\u0435 (\u0442. \u0435. 10\xA0001-\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u043C \u0432 \u043F\u0440\u0438\u0432\u0435\u0434\u0435\u043D\u043D\u043E\u043C \u0432\u044B\u0448\u0435 \u0441\u043B\u0443\u0447\u0430\u0435). \u0412\u044B \u0442\u0430\u043A\u0436\u0435 \u043C\u043E\u0436\u0435\u0442\u0435 \u0432\u044B\u0431\u0438\u0440\u0430\u0442\u044C \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u0438\u0437 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u0443\u044F \u0444\u0443\u043D\u043A\u0446\u0438\u0438 "),Ws=i($e,"CODE",{});var gr=p(Ws);sn=l(gr,"IterableDataset.take()"),gr.forEach(t),tn=l($e," \u0438 "),Ks=i($e,"CODE",{});var xr=p(Ks);an=l(xr,"IterableDataset.skip()"),xr.forEach(t),ln=l($e,", \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044E\u0442 \u0430\u043D\u0430\u043B\u043E\u0433\u0438\u0447\u043D\u043E "),Ys=i($e,"CODE",{});var jr=p(Ys);nn=l(jr,"Dataset.select()"),jr.forEach(t),rn=l($e,". \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0447\u0442\u043E\u0431\u044B \u0432\u044B\u0431\u0440\u0430\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 5 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432 \u0432 \u043D\u0430\u0431\u043E\u0440\u0435 \u0434\u0430\u043D\u043D\u044B\u0445 PubMed Abstracts, \u043C\u044B \u043C\u043E\u0436\u0435\u043C \u0441\u0434\u0435\u043B\u0430\u0442\u044C \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0435:"),$e.forEach(t),Vt=d(e),$(Xe.$$.fragment,e),Xt=d(e),$(es.$$.fragment,e),ea=d(e),de=i(e,"P",{});var xa=p(de);pn=l(xa,"\u0422\u043E\u0447\u043D\u043E \u0442\u0430\u043A \u0436\u0435 \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u044C \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Zs=i(xa,"CODE",{});var wr=p(Zs);on=l(wr,"IterableDataset.skip()"),wr.forEach(t),fn=l(xa," \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u043E\u0431\u0443\u0447\u0430\u044E\u0449\u0438\u0445 \u0438 \u043F\u0440\u043E\u0432\u0435\u0440\u043E\u0447\u043D\u044B\u0445 \u0441\u043F\u043B\u0438\u0442\u043E\u0432 \u0438\u0437 \u043F\u0435\u0440\u0435\u043C\u0435\u0448\u0430\u043D\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),xa.forEach(t),sa=d(e),$(ss.$$.fragment,e),ta=d(e),J=i(e,"P",{});var be=p(J);mn=l(be,"\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043C \u043D\u0430\u0448\u0435 \u0438\u0441\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u043D\u0438\u0435 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u0439 \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u043E\u0431\u0449\u0438\u043C \u043F\u0440\u0438\u043B\u043E\u0436\u0435\u043D\u0438\u0435\u043C: \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u0438\u0435 \u043D\u0435\u0441\u043A\u043E\u043B\u044C\u043A\u0438\u0445 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432\u043C\u0435\u0441\u0442\u0435 \u0434\u043B\u044F \u0441\u043E\u0437\u0434\u0430\u043D\u0438\u044F \u0435\u0434\u0438\u043D\u043E\u0433\u043E \u043A\u043E\u0440\u043F\u0443\u0441\u0430. \u{1F917} Datasets \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0442 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),Qs=i(be,"CODE",{});var yr=p(Qs);dn=l(yr,"interleave_datasets()"),yr.forEach(t),cn=l(be,", \u043A\u043E\u0442\u043E\u0440\u0430\u044F \u043F\u0440\u0435\u043E\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0441\u043F\u0438\u0441\u043E\u043A \u043E\u0431\u044A\u0435\u043A\u0442\u043E\u0432 "),Vs=i(be,"CODE",{});var Er=p(Vs);hn=l(Er,"IterableDataset"),Er.forEach(t),un=l(be," \u0432 \u043E\u0434\u0438\u043D "),Xs=i(be,"CODE",{});var vr=p(Xs);_n=l(vr,"IterableDataset"),vr.forEach(t),$n=l(be,", \u0433\u0434\u0435 \u044D\u043B\u0435\u043C\u0435\u043D\u0442\u044B \u043D\u043E\u0432\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445 \u043F\u043E\u043B\u0443\u0447\u0430\u044E\u0442\u0441\u044F \u043F\u0443\u0442\u0435\u043C \u0447\u0435\u0440\u0435\u0434\u043E\u0432\u0430\u043D\u0438\u044F \u0438\u0441\u0445\u043E\u0434\u043D\u044B\u0445 \u043F\u0440\u0438\u043C\u0435\u0440\u043E\u0432. \u042D\u0442\u0430 \u0444\u0443\u043D\u043A\u0446\u0438\u044F \u043E\u0441\u043E\u0431\u0435\u043D\u043D\u043E \u043F\u043E\u043B\u0435\u0437\u043D\u0430, \u043A\u043E\u0433\u0434\u0430 \u0432\u044B \u043F\u044B\u0442\u0430\u0435\u0442\u0435\u0441\u044C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u0442\u044C \u0431\u043E\u043B\u044C\u0448\u0438\u0435 \u043D\u0430\u0431\u043E\u0440\u044B \u0434\u0430\u043D\u043D\u044B\u0445, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0432 \u043A\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043F\u0440\u0438\u043C\u0435\u0440\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043E\u0441\u043F\u0440\u043E\u0438\u0437\u0432\u0435\u0434\u0435\u043C \u043A\u043E\u043C\u043F\u043E\u043D\u0435\u043D\u0442 FreeLaw \u0438\u0437 Pile, \u043A\u043E\u0442\u043E\u0440\u044B\u0439 \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u044F\u0435\u0442 \u0441\u043E\u0431\u043E\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u044E\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043A\u0438\u0445 \u0437\u0430\u043A\u043B\u044E\u0447\u0435\u043D\u0438\u0439 \u0441\u0443\u0434\u043E\u0432 \u0421\u0428\u0410 \u043E\u0431\u044A\u0435\u043C\u043E\u043C 51 \u0413\u0411:"),be.forEach(t),aa=d(e),$(ts.$$.fragment,e),la=d(e),$(as.$$.fragment,e),na=d(e),ce=i(e,"P",{});var ja=p(ce);bn=l(ja,"\u042D\u0442\u043E\u0442 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043E\u0441\u0442\u0430\u0442\u043E\u0447\u043D\u043E \u0432\u0435\u043B\u0438\u043A, \u0447\u0442\u043E\u0431\u044B \u043D\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044C \u043E\u043F\u0435\u0440\u0430\u0442\u0438\u0432\u043D\u0443\u044E \u043F\u0430\u043C\u044F\u0442\u044C \u0431\u043E\u043B\u044C\u0448\u0438\u043D\u0441\u0442\u0432\u0430 \u043D\u043E\u0443\u0442\u0431\u0443\u043A\u043E\u0432, \u043D\u043E \u043C\u044B \u0441\u043C\u043E\u0433\u043B\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044C \u0435\u0433\u043E \u0438 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u043A \u043D\u0435\u043C\u0443 \u0434\u043E\u0441\u0442\u0443\u043F! \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043F\u0435\u0440\u044C \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0438\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u044B \u0438\u0437 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 FreeLaw \u0438 PubMed Abstracts \u0441 \u0444\u0443\u043D\u043A\u0446\u0438\u0435\u0439 "),et=i(ja,"CODE",{});var Ar=p(et);gn=l(Ar,"interleave_datasets()"),Ar.forEach(t),xn=l(ja,":"),ja.forEach(t),ra=d(e),$(ls.$$.fragment,e),ia=d(e),$(ns.$$.fragment,e),pa=d(e),ee=i(e,"P",{});var ys=p(ee);jn=l(ys,"\u0417\u0434\u0435\u0441\u044C \u043C\u044B \u0438\u0441\u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u043B\u0438 \u0444\u0443\u043D\u043A\u0446\u0438\u044E "),st=i(ys,"CODE",{});var Dr=p(st);wn=l(Dr,"islice()"),Dr.forEach(t),yn=l(ys," \u0438\u0437 \u043C\u043E\u0434\u0443\u043B\u044F "),tt=i(ys,"CODE",{});var Pr=p(tt);En=l(Pr,"itertools"),Pr.forEach(t),vn=l(ys," Python, \u0447\u0442\u043E\u0431\u044B \u0432\u044B\u0431\u0440\u0430\u0442\u044C \u043F\u0435\u0440\u0432\u044B\u0435 \u0434\u0432\u0430 \u043E\u0431\u044A\u0435\u043A\u0442\u0430 \u0438\u0437 \u043E\u0431\u044A\u0435\u0434\u0438\u043D\u0435\u043D\u043D\u043E\u0433\u043E \u043D\u0430\u0431\u043E\u0440\u0430 \u0434\u0430\u043D\u043D\u044B\u0445, \u0438 \u043C\u044B \u0432\u0438\u0434\u0438\u043C, \u0447\u0442\u043E \u043E\u043D\u0438 \u0441\u043E\u043E\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044E\u0442 \u043F\u0435\u0440\u0432\u044B\u043C \u043F\u0440\u0438\u043C\u0435\u0440\u0430\u043C \u0438\u0437 \u043A\u0430\u0436\u0434\u043E\u0433\u043E \u0438\u0437 \u0434\u0432\u0443\u0445 \u0438\u0441\u0445\u043E\u0434\u043D\u044B\u0445 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445."),ys.forEach(t),oa=d(e),$s=i(e,"P",{});var kr=p($s);An=l(kr,"\u041D\u0430\u043A\u043E\u043D\u0435\u0446, \u0435\u0441\u043B\u0438 \u0432\u044B \u0445\u043E\u0442\u0438\u0442\u0435 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0432 \u043F\u043E\u0442\u043E\u043A\u043E\u0432\u043E\u043C \u0440\u0435\u0436\u0438\u043C\u0435 \u0432\u0435\u0441\u044C Pile \u0446\u0435\u043B\u0438\u043A\u043E\u043C (825 \u0413\u0411), \u0432\u044B \u043C\u043E\u0436\u0435\u0442\u0435 \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0432\u0441\u0435 \u043F\u043E\u0434\u0433\u043E\u0442\u043E\u0432\u043B\u0435\u043D\u043D\u044B\u0435 \u0444\u0430\u0439\u043B\u044B \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u043C \u043E\u0431\u0440\u0430\u0437\u043E\u043C:"),kr.forEach(t),fa=d(e),$(rs.$$.fragment,e),ma=d(e),$(is.$$.fragment,e),da=d(e),$(he.$$.fragment,e),ca=d(e),bs=i(e,"P",{});var Tr=p(bs);Dn=l(Tr,"\u0422\u0435\u043F\u0435\u0440\u044C \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044C \u0432\u0441\u0435 \u0438\u043D\u0441\u0442\u0440\u0443\u043C\u0435\u043D\u0442\u044B, \u043D\u0435\u043E\u0431\u0445\u043E\u0434\u0438\u043C\u044B\u0435 \u0434\u043B\u044F \u0437\u0430\u0433\u0440\u0443\u0437\u043A\u0438 \u0438 \u043E\u0431\u0440\u0430\u0431\u043E\u0442\u043A\u0438 \u043D\u0430\u0431\u043E\u0440\u043E\u0432 \u0434\u0430\u043D\u043D\u044B\u0445 \u0432\u0441\u0435\u0445 \u0444\u043E\u0440\u043C \u0438 \u0440\u0430\u0437\u043C\u0435\u0440\u043E\u0432, \u043D\u043E, \u0435\u0441\u043B\u0438 \u0442\u043E\u043B\u044C\u043A\u043E \u0432\u0430\u043C \u043D\u0435 \u043F\u043E\u0432\u0435\u0437\u0435\u0442, \u0432 \u0432\u0430\u0448\u0435\u043C \u043F\u0443\u0442\u0435\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u043F\u043E \u041D\u041B\u041F \u043D\u0430\u0441\u0442\u0443\u043F\u0438\u0442 \u043C\u043E\u043C\u0435\u043D\u0442, \u043A\u043E\u0433\u0434\u0430 \u0432\u0430\u043C \u043F\u0440\u0438\u0434\u0435\u0442\u0441\u044F \u0444\u0430\u043A\u0442\u0438\u0447\u0435\u0441\u043A\u0438 \u0441\u043E\u0437\u0434\u0430\u0442\u044C \u0441\u043E\u0431\u0441\u0442\u0432\u0435\u043D\u043D\u044B\u0439 \u043D\u0430\u0431\u043E\u0440 \u0434\u0430\u043D\u043D\u044B\u0445 \u0434\u043B\u044F \u0440\u0435\u0448\u0435\u043D\u0438\u044F \u043F\u0440\u043E\u0431\u043B\u0435\u043C\u044B. \u042D\u0442\u043E \u0442\u0435\u043C\u0430 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0435\u0433\u043E \u0440\u0430\u0437\u0434\u0435\u043B\u0430!"),Tr.forEach(t),this.h()},h(){c(f,"name","hf:doc:metadata"),c(f,"content",JSON.stringify(Fr)),c(v,"id","big-data-datasets"),c(v,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),c(v,"href","#big-data-datasets"),c(h,"class","relative group"),c(Y,"href","https://habr.com/ru/post/55716/"),c(Y,"rel","nofollow"),c(xe,"href","https://pile.eleuther.ai"),c(xe,"rel","nofollow"),c(ne,"id","the-pile"),c(ne,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),c(ne,"href","#the-pile"),c(ae,"class","relative group"),c(we,"href","https://www.eleuther.ai"),c(we,"rel","nofollow"),c(ye,"href","https://mystic.the-eye.eu/public/AI/pile/"),c(ye,"rel","nofollow"),c(Ee,"href","https://pubmed.ncbi.nlm.nih.gov/"),c(Ee,"rel","nofollow"),c(ve,"href","https://jsonlines.org"),c(ve,"rel","nofollow"),c(ms,"href","/course/ru/chapter5/2"),c(Ie,"id",""),c(Ce,"href","https://psutil.readthedocs.io/en/latest/"),c(Ce,"rel","nofollow"),c(Ne,"href","https://wesmckinney.com/blog/apache-arrow-pandas-internals/"),c(Ne,"rel","nofollow"),c(Se,"href","https://en.wikipedia.org/wiki/Memory-mapped_file"),c(Se,"rel","nofollow"),c(Le,"href","https://arrow.apache.org"),c(Le,"rel","nofollow"),c(Ge,"href","https://arrow.apache.org/docs/python/index"),c(Ge,"rel","nofollow"),c(He,"href","https://towardsdatascience.com/apache-arrow-read-dataframe-with-zero-memory-69634092b1a"),c(He,"rel","nofollow"),c(Fe,"id","")},m(e,n){s(document.head,f),o(e,O,n),o(e,h,n),s(h,v),s(v,P),b(u,P,null),s(h,k),s(h,D),s(D,w),o(e,y,n),b(T,e,n),o(e,I,n),o(e,E,n),s(E,N),s(E,q),s(q,C),s(E,z),o(e,K,n),o(e,S,n),s(S,te),s(S,Y),s(Y,fs),s(S,wa),o(e,it,n),b(ge,e,n),o(e,pt,n),o(e,le,n),s(le,ya),s(le,xe),s(xe,Ea),s(le,va),o(e,ot,n),o(e,ae,n),s(ae,ne),s(ne,Es),b(je,Es,null),s(ae,Aa),s(ae,vs),s(vs,Da),o(e,ft,n),o(e,M,n),s(M,Pa),s(M,we),s(we,ka),s(M,Ta),s(M,ye),s(ye,Ia),s(M,Ca),s(M,Ee),s(Ee,Oa),s(M,za),s(M,ve),s(ve,qa),s(M,Ma),s(M,As),s(As,Ra),s(M,Na),s(M,Ds),s(Ds,Sa),s(M,La),o(e,mt,n),b(Ae,e,n),o(e,dt,n),o(e,re,n),s(re,Ga),s(re,ms),s(ms,Ha),s(re,Ba),o(e,ct,n),b(De,e,n),o(e,ht,n),b(Pe,e,n),o(e,ut,n),o(e,ds,n),s(ds,Ua),o(e,_t,n),b(ie,e,n),o(e,$t,n),o(e,cs,n),s(cs,Fa),o(e,bt,n),b(ke,e,n),o(e,gt,n),b(Te,e,n),o(e,xt,n),o(e,hs,n),s(hs,Ja),o(e,jt,n),o(e,Ie,n),s(Ie,Wa),o(e,wt,n),o(e,Z,n),s(Z,Ka),s(Z,Ce),s(Ce,Ps),s(Ps,Ya),s(Z,Za),s(Z,ks),s(ks,Qa),s(Z,Va),o(e,yt,n),b(Oe,e,n),o(e,Et,n),o(e,us,n),s(us,Xa),o(e,vt,n),b(ze,e,n),o(e,At,n),b(qe,e,n),o(e,Dt,n),o(e,B,n),s(B,el),s(B,Ts),s(Ts,sl),s(B,tl),s(B,Is),s(Is,al),s(B,ll),s(B,Cs),s(Cs,nl),s(B,rl),o(e,Pt,n),b(Me,e,n),o(e,kt,n),b(Re,e,n),o(e,Tt,n),o(e,_s,n),s(_s,il),o(e,It,n),b(pe,e,n),o(e,Ct,n),o(e,Q,n),s(Q,pl),s(Q,Ne),s(Ne,ol),s(Q,fl),s(Q,Se),s(Se,ml),s(Q,dl),o(e,Ot,n),o(e,R,n),s(R,cl),s(R,Os),s(Os,hl),s(R,ul),s(R,Le),s(Le,_l),s(R,$l),s(R,zs),s(zs,bl),s(R,gl),s(R,Ge),s(Ge,xl),s(R,jl),s(R,He),s(He,wl),s(R,yl),o(e,zt,n),b(Be,e,n),o(e,qt,n),b(Ue,e,n),o(e,Mt,n),o(e,V,n),s(V,El),s(V,qs),s(qs,vl),s(V,Al),s(V,Ms),s(Ms,Dl),s(V,Pl),o(e,Rt,n),b(oe,e,n),o(e,Nt,n),o(e,Fe,n),s(Fe,kl),o(e,St,n),o(e,X,n),s(X,Tl),s(X,Rs),s(Rs,Il),s(X,Cl),s(X,Ns),s(Ns,Ol),s(X,zl),o(e,Lt,n),b(Je,e,n),o(e,Gt,n),o(e,L,n),s(L,ql),s(L,Ss),s(Ss,Ml),s(L,Rl),s(L,Ls),s(Ls,Nl),s(L,Sl),s(L,Gs),s(Gs,Ll),s(L,Gl),s(L,Hs),s(Hs,Hl),s(L,Bl),o(e,Ht,n),b(We,e,n),o(e,Bt,n),b(Ke,e,n),o(e,Ut,n),o(e,fe,n),s(fe,Ul),s(fe,Bs),s(Bs,Fl),s(fe,Jl),o(e,Ft,n),b(Ye,e,n),o(e,Jt,n),b(Ze,e,n),o(e,Wt,n),b(me,e,n),o(e,Kt,n),o(e,U,n),s(U,Wl),s(U,Us),s(Us,Kl),s(U,Yl),s(U,Fs),s(Fs,Zl),s(U,Ql),s(U,Js),s(Js,Vl),s(U,Xl),o(e,Yt,n),b(Qe,e,n),o(e,Zt,n),b(Ve,e,n),o(e,Qt,n),o(e,F,n),s(F,en),s(F,Ws),s(Ws,sn),s(F,tn),s(F,Ks),s(Ks,an),s(F,ln),s(F,Ys),s(Ys,nn),s(F,rn),o(e,Vt,n),b(Xe,e,n),o(e,Xt,n),b(es,e,n),o(e,ea,n),o(e,de,n),s(de,pn),s(de,Zs),s(Zs,on),s(de,fn),o(e,sa,n),b(ss,e,n),o(e,ta,n),o(e,J,n),s(J,mn),s(J,Qs),s(Qs,dn),s(J,cn),s(J,Vs),s(Vs,hn),s(J,un),s(J,Xs),s(Xs,_n),s(J,$n),o(e,aa,n),b(ts,e,n),o(e,la,n),b(as,e,n),o(e,na,n),o(e,ce,n),s(ce,bn),s(ce,et),s(et,gn),s(ce,xn),o(e,ra,n),b(ls,e,n),o(e,ia,n),b(ns,e,n),o(e,pa,n),o(e,ee,n),s(ee,jn),s(ee,st),s(st,wn),s(ee,yn),s(ee,tt),s(tt,En),s(ee,vn),o(e,oa,n),o(e,$s,n),s($s,An),o(e,fa,n),b(rs,e,n),o(e,ma,n),b(is,e,n),o(e,da,n),b(he,e,n),o(e,ca,n),o(e,bs,n),s(bs,Dn),ha=!0},p(e,[n]){const ps={};n&2&&(ps.$$scope={dirty:n,ctx:e}),ie.$set(ps);const at={};n&2&&(at.$$scope={dirty:n,ctx:e}),pe.$set(at);const lt={};n&2&&(lt.$$scope={dirty:n,ctx:e}),oe.$set(lt);const nt={};n&2&&(nt.$$scope={dirty:n,ctx:e}),me.$set(nt);const os={};n&2&&(os.$$scope={dirty:n,ctx:e}),he.$set(os)},i(e){ha||(g(u.$$.fragment,e),g(T.$$.fragment,e),g(ge.$$.fragment,e),g(je.$$.fragment,e),g(Ae.$$.fragment,e),g(De.$$.fragment,e),g(Pe.$$.fragment,e),g(ie.$$.fragment,e),g(ke.$$.fragment,e),g(Te.$$.fragment,e),g(Oe.$$.fragment,e),g(ze.$$.fragment,e),g(qe.$$.fragment,e),g(Me.$$.fragment,e),g(Re.$$.fragment,e),g(pe.$$.fragment,e),g(Be.$$.fragment,e),g(Ue.$$.fragment,e),g(oe.$$.fragment,e),g(Je.$$.fragment,e),g(We.$$.fragment,e),g(Ke.$$.fragment,e),g(Ye.$$.fragment,e),g(Ze.$$.fragment,e),g(me.$$.fragment,e),g(Qe.$$.fragment,e),g(Ve.$$.fragment,e),g(Xe.$$.fragment,e),g(es.$$.fragment,e),g(ss.$$.fragment,e),g(ts.$$.fragment,e),g(as.$$.fragment,e),g(ls.$$.fragment,e),g(ns.$$.fragment,e),g(rs.$$.fragment,e),g(is.$$.fragment,e),g(he.$$.fragment,e),ha=!0)},o(e){x(u.$$.fragment,e),x(T.$$.fragment,e),x(ge.$$.fragment,e),x(je.$$.fragment,e),x(Ae.$$.fragment,e),x(De.$$.fragment,e),x(Pe.$$.fragment,e),x(ie.$$.fragment,e),x(ke.$$.fragment,e),x(Te.$$.fragment,e),x(Oe.$$.fragment,e),x(ze.$$.fragment,e),x(qe.$$.fragment,e),x(Me.$$.fragment,e),x(Re.$$.fragment,e),x(pe.$$.fragment,e),x(Be.$$.fragment,e),x(Ue.$$.fragment,e),x(oe.$$.fragment,e),x(Je.$$.fragment,e),x(We.$$.fragment,e),x(Ke.$$.fragment,e),x(Ye.$$.fragment,e),x(Ze.$$.fragment,e),x(me.$$.fragment,e),x(Qe.$$.fragment,e),x(Ve.$$.fragment,e),x(Xe.$$.fragment,e),x(es.$$.fragment,e),x(ss.$$.fragment,e),x(ts.$$.fragment,e),x(as.$$.fragment,e),x(ls.$$.fragment,e),x(ns.$$.fragment,e),x(rs.$$.fragment,e),x(is.$$.fragment,e),x(he.$$.fragment,e),ha=!1},d(e){t(f),e&&t(O),e&&t(h),j(u),e&&t(y),j(T,e),e&&t(I),e&&t(E),e&&t(K),e&&t(S),e&&t(it),j(ge,e),e&&t(pt),e&&t(le),e&&t(ot),e&&t(ae),j(je),e&&t(ft),e&&t(M),e&&t(mt),j(Ae,e),e&&t(dt),e&&t(re),e&&t(ct),j(De,e),e&&t(ht),j(Pe,e),e&&t(ut),e&&t(ds),e&&t(_t),j(ie,e),e&&t($t),e&&t(cs),e&&t(bt),j(ke,e),e&&t(gt),j(Te,e),e&&t(xt),e&&t(hs),e&&t(jt),e&&t(Ie),e&&t(wt),e&&t(Z),e&&t(yt),j(Oe,e),e&&t(Et),e&&t(us),e&&t(vt),j(ze,e),e&&t(At),j(qe,e),e&&t(Dt),e&&t(B),e&&t(Pt),j(Me,e),e&&t(kt),j(Re,e),e&&t(Tt),e&&t(_s),e&&t(It),j(pe,e),e&&t(Ct),e&&t(Q),e&&t(Ot),e&&t(R),e&&t(zt),j(Be,e),e&&t(qt),j(Ue,e),e&&t(Mt),e&&t(V),e&&t(Rt),j(oe,e),e&&t(Nt),e&&t(Fe),e&&t(St),e&&t(X),e&&t(Lt),j(Je,e),e&&t(Gt),e&&t(L),e&&t(Ht),j(We,e),e&&t(Bt),j(Ke,e),e&&t(Ut),e&&t(fe),e&&t(Ft),j(Ye,e),e&&t(Jt),j(Ze,e),e&&t(Wt),j(me,e),e&&t(Kt),e&&t(U),e&&t(Yt),j(Qe,e),e&&t(Zt),j(Ve,e),e&&t(Qt),e&&t(F),e&&t(Vt),j(Xe,e),e&&t(Xt),j(es,e),e&&t(ea),e&&t(de),e&&t(sa),j(ss,e),e&&t(ta),e&&t(J),e&&t(aa),j(ts,e),e&&t(la),j(as,e),e&&t(na),e&&t(ce),e&&t(ra),j(ls,e),e&&t(ia),j(ns,e),e&&t(pa),e&&t(ee),e&&t(oa),e&&t($s),e&&t(fa),j(rs,e),e&&t(ma),j(is,e),e&&t(da),j(he,e),e&&t(ca),e&&t(bs)}}}const Fr={local:"big-data-datasets",sections:[{local:"the-pile",title:"\u0427\u0442\u043E \u0442\u0430\u043A\u043E\u0435 the Pile?"},{local:"",title:"\u041C\u0430\u0433\u0438\u044F \u043E\u0442\u043E\u0431\u0440\u0430\u0436\u0435\u043D\u0438\u044F \u0432 \u043F\u0430\u043C\u044F\u0442\u044C"},{local:"",title:"\u041F\u043E\u0442\u043E\u043A\u043E\u0432\u0430\u044F \u043F\u0435\u0440\u0435\u0434\u0430\u0447\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430"}],title:"Big data? \u{1F917} Datasets \u0441\u043F\u0435\u0448\u0430\u0442 \u043D\u0430 \u043F\u043E\u043C\u043E\u0449\u044C!"};function Jr(H){return Mr(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ei extends Cr{constructor(f){super();Or(this,f,Jr,Ur,zr,{})}}export{ei as default,Fr as metadata};
