import{S as Me,i as Ne,s as qe,e as a,k as c,w as me,t as p,M as Ue,c as o,d as t,m,a as l,x as pe,h as u,b as s,G as r,g as f,y as ue,L as De,q as he,o as de,B as _e,v as Je}from"../../chunks/vendor-hf-doc-builder.js";import{Y as Ye}from"../../chunks/Youtube-hf-doc-builder.js";import{I as je}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as ze}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function Fe(Ee){let d,U,_,E,x,v,Q,I,K,D,$,J,w,Y,y,V,C,W,j,g,X,z,B,Z,F,P,ee,G,i,S,b,te,re,k,A,ae,oe,M,L,le,ne,N,R,se,ie,q,T,fe,H;return v=new je({}),$=new ze({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),w=new Ye({props:{id:"MUqNwgPjJvQ"}}),{c(){d=a("meta"),U=c(),_=a("h1"),E=a("a"),x=a("span"),me(v.$$.fragment),Q=c(),I=a("span"),K=p("\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"),D=c(),me($.$$.fragment),J=c(),me(w.$$.fragment),Y=c(),y=a("p"),V=p("\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2A\u0E48\u0E27\u0E19 encoder \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25 Transformer \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E0A\u0E31\u0E49\u0E19 attention layer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E02\u0E49\u0E32\u0E16\u0E36\u0E07\u0E04\u0E33\u0E17\u0E38\u0E01\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 attention \u0E41\u0E1A\u0E1A\u0E2A\u0E2D\u0E07\u0E17\u0E32\u0E07 (\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 bi-directional attention) \u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),C=a("em"),W=p("\u0E42\u0E21\u0E40\u0E14\u0E25 auto-encoding"),j=c(),g=a("p"),X=p("\u0E42\u0E21\u0E40\u0E14\u0E25 pretrain \u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E27\u0E34\u0E1A\u0E31\u0E15\u0E34(\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E27\u0E49\u0E19\u0E27\u0E48\u0E32\u0E07\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04) \u0E41\u0E25\u0E30\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E37\u0E2D\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E14\u0E35\u0E14\u0E31\u0E07\u0E40\u0E14\u0E34\u0E21"),z=c(),B=a("p"),Z=p("\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E40\u0E2B\u0E21\u0E32\u0E30\u0E01\u0E31\u0E1A\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E07\u0E32\u0E19\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E31\u0E49\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E0A\u0E48\u0E19 \u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04, \u0E01\u0E32\u0E23\u0E23\u0E30\u0E1A\u0E38\u0E04\u0E33\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E04\u0E33), \u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E2A\u0E01\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A"),F=c(),P=a("p"),ee=p("\u0E15\u0E31\u0E27\u0E41\u0E17\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E41\u0E01\u0E48:"),G=c(),i=a("ul"),S=a("li"),b=a("a"),te=p("ALBERT"),re=c(),k=a("li"),A=a("a"),ae=p("BERT"),oe=c(),M=a("li"),L=a("a"),le=p("DistilBERT"),ne=c(),N=a("li"),R=a("a"),se=p("ELECTRA"),ie=c(),q=a("li"),T=a("a"),fe=p("RoBERTa"),this.h()},l(e){const n=Ue('[data-svelte="svelte-1phssyn"]',document.head);d=o(n,"META",{name:!0,content:!0}),n.forEach(t),U=m(e),_=o(e,"H1",{class:!0});var O=l(_);E=o(O,"A",{id:!0,class:!0,href:!0});var ve=l(E);x=o(ve,"SPAN",{});var $e=l(x);pe(v.$$.fragment,$e),$e.forEach(t),ve.forEach(t),Q=m(O),I=o(O,"SPAN",{});var we=l(I);K=u(we,"\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"),we.forEach(t),O.forEach(t),D=m(e),pe($.$$.fragment,e),J=m(e),pe(w.$$.fragment,e),Y=m(e),y=o(e,"P",{});var ce=l(y);V=u(ce,"\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2A\u0E48\u0E27\u0E19 encoder \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25 Transformer \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E0A\u0E31\u0E49\u0E19 attention layer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E02\u0E49\u0E32\u0E16\u0E36\u0E07\u0E04\u0E33\u0E17\u0E38\u0E01\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 attention \u0E41\u0E1A\u0E1A\u0E2A\u0E2D\u0E07\u0E17\u0E32\u0E07 (\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 bi-directional attention) \u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),C=o(ce,"EM",{});var ye=l(C);W=u(ye,"\u0E42\u0E21\u0E40\u0E14\u0E25 auto-encoding"),ye.forEach(t),ce.forEach(t),j=m(e),g=o(e,"P",{});var be=l(g);X=u(be,"\u0E42\u0E21\u0E40\u0E14\u0E25 pretrain \u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E27\u0E34\u0E1A\u0E31\u0E15\u0E34(\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E27\u0E49\u0E19\u0E27\u0E48\u0E32\u0E07\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04) \u0E41\u0E25\u0E30\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E37\u0E2D\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E14\u0E35\u0E14\u0E31\u0E07\u0E40\u0E14\u0E34\u0E21"),be.forEach(t),z=m(e),B=o(e,"P",{});var Ae=l(B);Z=u(Ae,"\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E40\u0E2B\u0E21\u0E32\u0E30\u0E01\u0E31\u0E1A\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E07\u0E32\u0E19\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E31\u0E49\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E0A\u0E48\u0E19 \u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04, \u0E01\u0E32\u0E23\u0E23\u0E30\u0E1A\u0E38\u0E04\u0E33\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E04\u0E33), \u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E2A\u0E01\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A"),Ae.forEach(t),F=m(e),P=o(e,"P",{});var Le=l(P);ee=u(Le,"\u0E15\u0E31\u0E27\u0E41\u0E17\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E41\u0E01\u0E48:"),Le.forEach(t),G=m(e),i=o(e,"UL",{});var h=l(i);S=o(h,"LI",{});var Re=l(S);b=o(Re,"A",{href:!0,rel:!0});var Te=l(b);te=u(Te,"ALBERT"),Te.forEach(t),Re.forEach(t),re=m(h),k=o(h,"LI",{});var ge=l(k);A=o(ge,"A",{href:!0,rel:!0});var Be=l(A);ae=u(Be,"BERT"),Be.forEach(t),ge.forEach(t),oe=m(h),M=o(h,"LI",{});var Pe=l(M);L=o(Pe,"A",{href:!0,rel:!0});var xe=l(L);le=u(xe,"DistilBERT"),xe.forEach(t),Pe.forEach(t),ne=m(h),N=o(h,"LI",{});var Ie=l(N);R=o(Ie,"A",{href:!0,rel:!0});var Ce=l(R);se=u(Ce,"ELECTRA"),Ce.forEach(t),Ie.forEach(t),ie=m(h),q=o(h,"LI",{});var Se=l(q);T=o(Se,"A",{href:!0,rel:!0});var ke=l(T);fe=u(ke,"RoBERTa"),ke.forEach(t),Se.forEach(t),h.forEach(t),this.h()},h(){s(d,"name","hf:doc:metadata"),s(d,"content",JSON.stringify(Ge)),s(E,"id","encoder"),s(E,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),s(E,"href","#encoder"),s(_,"class","relative group"),s(b,"href","https://huggingface.co/transformers/model_doc/albert.html"),s(b,"rel","nofollow"),s(A,"href","https://huggingface.co/transformers/model_doc/bert.html"),s(A,"rel","nofollow"),s(L,"href","https://huggingface.co/transformers/model_doc/distilbert.html"),s(L,"rel","nofollow"),s(R,"href","https://huggingface.co/transformers/model_doc/electra.html"),s(R,"rel","nofollow"),s(T,"href","https://huggingface.co/transformers/model_doc/roberta.html"),s(T,"rel","nofollow")},m(e,n){r(document.head,d),f(e,U,n),f(e,_,n),r(_,E),r(E,x),ue(v,x,null),r(_,Q),r(_,I),r(I,K),f(e,D,n),ue($,e,n),f(e,J,n),ue(w,e,n),f(e,Y,n),f(e,y,n),r(y,V),r(y,C),r(C,W),f(e,j,n),f(e,g,n),r(g,X),f(e,z,n),f(e,B,n),r(B,Z),f(e,F,n),f(e,P,n),r(P,ee),f(e,G,n),f(e,i,n),r(i,S),r(S,b),r(b,te),r(i,re),r(i,k),r(k,A),r(A,ae),r(i,oe),r(i,M),r(M,L),r(L,le),r(i,ne),r(i,N),r(N,R),r(R,se),r(i,ie),r(i,q),r(q,T),r(T,fe),H=!0},p:De,i(e){H||(he(v.$$.fragment,e),he($.$$.fragment,e),he(w.$$.fragment,e),H=!0)},o(e){de(v.$$.fragment,e),de($.$$.fragment,e),de(w.$$.fragment,e),H=!1},d(e){t(d),e&&t(U),e&&t(_),_e(v),e&&t(D),_e($,e),e&&t(J),_e(w,e),e&&t(Y),e&&t(y),e&&t(j),e&&t(g),e&&t(z),e&&t(B),e&&t(F),e&&t(P),e&&t(G),e&&t(i)}}}const Ge={local:"encoder",title:"\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"};function He(Ee){return Je(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class We extends Me{constructor(d){super();Ne(this,d,He,Fe,qe,{})}}export{We as default,Ge as metadata};
