import{S as ke,i as Me,s as qe,e as a,k as c,w as Pe,t as h,M as Ce,c as o,d as t,m,a as l,x as Be,h as u,b as s,G as r,g as f,y as ge,L as Ne,q as xe,o as Ie,B as Se,v as Ue}from"../../chunks/vendor-hf-doc-builder.js";import{Y as De}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Je}from"../../chunks/IconCopyLink-hf-doc-builder.js";function Ye(fe){let d,N,_,E,g,v,Q,x,z,U,w,D,$,F,I,K,J,b,V,Y,P,W,j,B,X,G,i,S,y,Z,ee,k,A,te,re,M,L,ae,oe,q,R,le,ne,C,T,se,H;return v=new Je({}),w=new De({props:{id:"MUqNwgPjJvQ"}}),{c(){d=a("meta"),N=c(),_=a("h1"),E=a("a"),g=a("span"),Pe(v.$$.fragment),Q=c(),x=a("span"),z=h("\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"),U=c(),Pe(w.$$.fragment),D=c(),$=a("p"),F=h("\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2A\u0E48\u0E27\u0E19 encoder \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25 Transformer \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E0A\u0E31\u0E49\u0E19 attention layer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E02\u0E49\u0E32\u0E16\u0E36\u0E07\u0E04\u0E33\u0E17\u0E38\u0E01\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 attention \u0E41\u0E1A\u0E1A\u0E2A\u0E2D\u0E07\u0E17\u0E32\u0E07 (\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 bi-directional attention) \u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),I=a("em"),K=h("\u0E42\u0E21\u0E40\u0E14\u0E25 auto-encoding"),J=c(),b=a("p"),V=h("\u0E42\u0E21\u0E40\u0E14\u0E25 pretrain \u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E27\u0E34\u0E1A\u0E31\u0E15\u0E34(\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E27\u0E49\u0E19\u0E27\u0E48\u0E32\u0E07\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04) \u0E41\u0E25\u0E30\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E37\u0E2D\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E14\u0E35\u0E14\u0E31\u0E07\u0E40\u0E14\u0E34\u0E21"),Y=c(),P=a("p"),W=h("\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E40\u0E2B\u0E21\u0E32\u0E30\u0E01\u0E31\u0E1A\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E07\u0E32\u0E19\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E31\u0E49\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E0A\u0E48\u0E19 \u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04, \u0E01\u0E32\u0E23\u0E23\u0E30\u0E1A\u0E38\u0E04\u0E33\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E04\u0E33), \u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E2A\u0E01\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A"),j=c(),B=a("p"),X=h("\u0E15\u0E31\u0E27\u0E41\u0E17\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E41\u0E01\u0E48:"),G=c(),i=a("ul"),S=a("li"),y=a("a"),Z=h("ALBERT"),ee=c(),k=a("li"),A=a("a"),te=h("BERT"),re=c(),M=a("li"),L=a("a"),ae=h("DistilBERT"),oe=c(),q=a("li"),R=a("a"),le=h("ELECTRA"),ne=c(),C=a("li"),T=a("a"),se=h("RoBERTa"),this.h()},l(e){const n=Ce('[data-svelte="svelte-1phssyn"]',document.head);d=o(n,"META",{name:!0,content:!0}),n.forEach(t),N=m(e),_=o(e,"H1",{class:!0});var O=l(_);E=o(O,"A",{id:!0,class:!0,href:!0});var ce=l(E);g=o(ce,"SPAN",{});var me=l(g);Be(v.$$.fragment,me),me.forEach(t),ce.forEach(t),Q=m(O),x=o(O,"SPAN",{});var he=l(x);z=u(he,"\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"),he.forEach(t),O.forEach(t),U=m(e),Be(w.$$.fragment,e),D=m(e),$=o(e,"P",{});var ie=l($);F=u(ie,"\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E43\u0E0A\u0E49\u0E40\u0E1E\u0E35\u0E22\u0E07\u0E2A\u0E48\u0E27\u0E19 encoder \u0E08\u0E32\u0E01\u0E42\u0E21\u0E40\u0E14\u0E25 Transformer \u0E40\u0E17\u0E48\u0E32\u0E19\u0E31\u0E49\u0E19 \u0E43\u0E19\u0E41\u0E15\u0E48\u0E25\u0E30\u0E0A\u0E31\u0E49\u0E19 attention layer \u0E2A\u0E32\u0E21\u0E32\u0E23\u0E16\u0E40\u0E02\u0E49\u0E32\u0E16\u0E36\u0E07\u0E04\u0E33\u0E17\u0E38\u0E01\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E44\u0E14\u0E49 \u0E42\u0E21\u0E40\u0E14\u0E25\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E2A\u0E48\u0E27\u0E19\u0E43\u0E2B\u0E0D\u0E48\u0E08\u0E30\u0E43\u0E0A\u0E49 attention \u0E41\u0E1A\u0E1A\u0E2A\u0E2D\u0E07\u0E17\u0E32\u0E07 (\u0E2B\u0E23\u0E37\u0E2D\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 bi-directional attention) \u0E41\u0E25\u0E30\u0E16\u0E39\u0E01\u0E40\u0E23\u0E35\u0E22\u0E01\u0E27\u0E48\u0E32 "),I=o(ie,"EM",{});var ue=l(I);K=u(ue,"\u0E42\u0E21\u0E40\u0E14\u0E25 auto-encoding"),ue.forEach(t),ie.forEach(t),J=m(e),b=o(e,"P",{});var pe=l(b);V=u(pe,"\u0E42\u0E21\u0E40\u0E14\u0E25 pretrain \u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E08\u0E30\u0E40\u0E17\u0E23\u0E19\u0E42\u0E14\u0E22\u0E01\u0E32\u0E23\u0E43\u0E2B\u0E49\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E41\u0E25\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E27\u0E34\u0E1A\u0E31\u0E15\u0E34(\u0E40\u0E0A\u0E48\u0E19 \u0E40\u0E27\u0E49\u0E19\u0E27\u0E48\u0E32\u0E07\u0E04\u0E33\u0E1A\u0E32\u0E07\u0E04\u0E33\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04) \u0E41\u0E25\u0E30\u0E40\u0E1B\u0E49\u0E32\u0E2B\u0E21\u0E32\u0E22\u0E02\u0E2D\u0E07\u0E42\u0E21\u0E40\u0E14\u0E25\u0E04\u0E37\u0E2D\u0E2B\u0E32\u0E27\u0E34\u0E18\u0E35\u0E2A\u0E23\u0E49\u0E32\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E40\u0E23\u0E34\u0E48\u0E21\u0E15\u0E49\u0E19\u0E43\u0E2B\u0E49\u0E14\u0E35\u0E14\u0E31\u0E07\u0E40\u0E14\u0E34\u0E21"),pe.forEach(t),Y=m(e),P=o(e,"P",{});var de=l(P);W=u(de,"\u0E42\u0E21\u0E40\u0E14\u0E25 encoder \u0E40\u0E2B\u0E21\u0E32\u0E30\u0E01\u0E31\u0E1A\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E17\u0E35\u0E48\u0E2A\u0E38\u0E14 \u0E40\u0E1E\u0E23\u0E32\u0E30\u0E07\u0E32\u0E19\u0E40\u0E2B\u0E25\u0E48\u0E32\u0E19\u0E35\u0E49\u0E15\u0E49\u0E2D\u0E07\u0E01\u0E32\u0E23\u0E04\u0E27\u0E32\u0E21\u0E40\u0E02\u0E49\u0E32\u0E43\u0E08\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04\u0E17\u0E31\u0E49\u0E07\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 \u0E15\u0E31\u0E27\u0E2D\u0E22\u0E48\u0E32\u0E07\u0E07\u0E32\u0E19\u0E41\u0E1A\u0E1A\u0E19\u0E35\u0E49\u0E40\u0E0A\u0E48\u0E19 \u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04, \u0E01\u0E32\u0E23\u0E23\u0E30\u0E1A\u0E38\u0E04\u0E33\u0E40\u0E09\u0E1E\u0E32\u0E30\u0E43\u0E19\u0E1B\u0E23\u0E30\u0E42\u0E22\u0E04 (\u0E23\u0E27\u0E21\u0E16\u0E36\u0E07\u0E01\u0E32\u0E23\u0E41\u0E22\u0E01\u0E41\u0E22\u0E30\u0E1B\u0E23\u0E30\u0E40\u0E20\u0E17\u0E04\u0E33), \u0E41\u0E25\u0E30\u0E01\u0E32\u0E23\u0E2A\u0E01\u0E31\u0E14\u0E04\u0E33\u0E16\u0E32\u0E21\u0E04\u0E33\u0E15\u0E2D\u0E1A"),de.forEach(t),j=m(e),B=o(e,"P",{});var _e=l(B);X=u(_e,"\u0E15\u0E31\u0E27\u0E41\u0E17\u0E19\u0E42\u0E21\u0E40\u0E14\u0E25\u0E43\u0E19\u0E01\u0E25\u0E38\u0E48\u0E21\u0E19\u0E35\u0E49\u0E44\u0E14\u0E49\u0E41\u0E01\u0E48:"),_e.forEach(t),G=m(e),i=o(e,"UL",{});var p=l(i);S=o(p,"LI",{});var Ee=l(S);y=o(Ee,"A",{href:!0,rel:!0});var ve=l(y);Z=u(ve,"ALBERT"),ve.forEach(t),Ee.forEach(t),ee=m(p),k=o(p,"LI",{});var we=l(k);A=o(we,"A",{href:!0,rel:!0});var $e=l(A);te=u($e,"BERT"),$e.forEach(t),we.forEach(t),re=m(p),M=o(p,"LI",{});var ye=l(M);L=o(ye,"A",{href:!0,rel:!0});var Ae=l(L);ae=u(Ae,"DistilBERT"),Ae.forEach(t),ye.forEach(t),oe=m(p),q=o(p,"LI",{});var Le=l(q);R=o(Le,"A",{href:!0,rel:!0});var Re=l(R);le=u(Re,"ELECTRA"),Re.forEach(t),Le.forEach(t),ne=m(p),C=o(p,"LI",{});var Te=l(C);T=o(Te,"A",{href:!0,rel:!0});var be=l(T);se=u(be,"RoBERTa"),be.forEach(t),Te.forEach(t),p.forEach(t),this.h()},h(){s(d,"name","hf:doc:metadata"),s(d,"content",JSON.stringify(je)),s(E,"id","encoder"),s(E,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),s(E,"href","#encoder"),s(_,"class","relative group"),s(y,"href","https://huggingface.co/transformers/model_doc/albert.html"),s(y,"rel","nofollow"),s(A,"href","https://huggingface.co/transformers/model_doc/bert.html"),s(A,"rel","nofollow"),s(L,"href","https://huggingface.co/transformers/model_doc/distilbert.html"),s(L,"rel","nofollow"),s(R,"href","https://huggingface.co/transformers/model_doc/electra.html"),s(R,"rel","nofollow"),s(T,"href","https://huggingface.co/transformers/model_doc/roberta.html"),s(T,"rel","nofollow")},m(e,n){r(document.head,d),f(e,N,n),f(e,_,n),r(_,E),r(E,g),ge(v,g,null),r(_,Q),r(_,x),r(x,z),f(e,U,n),ge(w,e,n),f(e,D,n),f(e,$,n),r($,F),r($,I),r(I,K),f(e,J,n),f(e,b,n),r(b,V),f(e,Y,n),f(e,P,n),r(P,W),f(e,j,n),f(e,B,n),r(B,X),f(e,G,n),f(e,i,n),r(i,S),r(S,y),r(y,Z),r(i,ee),r(i,k),r(k,A),r(A,te),r(i,re),r(i,M),r(M,L),r(L,ae),r(i,oe),r(i,q),r(q,R),r(R,le),r(i,ne),r(i,C),r(C,T),r(T,se),H=!0},p:Ne,i(e){H||(xe(v.$$.fragment,e),xe(w.$$.fragment,e),H=!0)},o(e){Ie(v.$$.fragment,e),Ie(w.$$.fragment,e),H=!1},d(e){t(d),e&&t(N),e&&t(_),Se(v),e&&t(U),Se(w,e),e&&t(D),e&&t($),e&&t(J),e&&t(b),e&&t(Y),e&&t(P),e&&t(j),e&&t(B),e&&t(G),e&&t(i)}}}const je={local:"encoder",title:"\u0E42\u0E21\u0E40\u0E14\u0E25 Encoder"};function Ge(fe){return Ue(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ze extends ke{constructor(d){super();Me(this,d,Ge,Ye,qe,{})}}export{ze as default,je as metadata};
