import{S as Ce,i as ke,s as Ne,e as a,k as m,w as fe,t as f,M as Qe,c as r,d as t,m as d,a as l,x as pe,h as p,b as n,G as o,g as c,y as ue,L as Ue,q as he,o as _e,B as ve,v as De}from"../../chunks/vendor-hf-doc-builder.js";import{Y as Je}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Ye}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as je}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";import"../../chunks/DocNotebookDropdown-hf-doc-builder.js";function Fe(Ee){let h,N,_,v,q,$,K,B,V,Q,z,U,w,D,E,W,P,X,Z,J,L,ee,Y,R,te,j,T,oe,F,s,M,g,ae,re,S,A,le,ie,x,y,ne,se,C,b,ce,me,k,I,de,G;return $=new Ye({}),z=new je({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),w=new Je({props:{id:"MUqNwgPjJvQ"}}),{c(){h=a("meta"),N=m(),_=a("h1"),v=a("a"),q=a("span"),fe($.$$.fragment),K=m(),B=a("span"),V=f("Modelli encoder"),Q=m(),fe(z.$$.fragment),U=m(),fe(w.$$.fragment),D=m(),E=a("p"),W=f("I modelli encoder utilizzano solo l\u2019encoder di un modello Transformer. In ogni fase, gli attention layer hanno accesso a tutte le parole della frase di partenza. Questi modelli sono spesso caratterizzati come aventi attenzione \u201Cbi-direzionale\u201D e chiamati "),P=a("em"),X=f("auto-encoding models"),Z=f("."),J=m(),L=a("p"),ee=f("Solitamente, il pre-addestramento di questi modelli consiste nel corrompere una determinata frase (ad esempio, nascondendone casualmente alcune parole) e incaricare il modello di ritrovare o ricostruire la frase di partenza."),Y=m(),R=a("p"),te=f("I modelli encoder sono particolarmente appropriati per compiti che richiedono la comprensione di frasi intere, quali la classificazione di frasi, riconoscimento delle entit\xE0 nominate (e in senso pi\xF9 ampio, la classificazione di parole), e l\u2019estrazione di risposte da un contesto."),j=m(),T=a("p"),oe=f("Alcuni esempi di modelli di questo tipo includono:"),F=m(),s=a("ul"),M=a("li"),g=a("a"),ae=f("ALBERT"),re=m(),S=a("li"),A=a("a"),le=f("BERT"),ie=m(),x=a("li"),y=a("a"),ne=f("DistilBERT"),se=m(),C=a("li"),b=a("a"),ce=f("ELECTRA"),me=m(),k=a("li"),I=a("a"),de=f("RoBERTa"),this.h()},l(e){const i=Qe('[data-svelte="svelte-1phssyn"]',document.head);h=r(i,"META",{name:!0,content:!0}),i.forEach(t),N=d(e),_=r(e,"H1",{class:!0});var H=l(_);v=r(H,"A",{id:!0,class:!0,href:!0});var $e=l(v);q=r($e,"SPAN",{});var ze=l(q);pe($.$$.fragment,ze),ze.forEach(t),$e.forEach(t),K=d(H),B=r(H,"SPAN",{});var we=l(B);V=p(we,"Modelli encoder"),we.forEach(t),H.forEach(t),Q=d(e),pe(z.$$.fragment,e),U=d(e),pe(w.$$.fragment,e),D=d(e),E=r(e,"P",{});var O=l(E);W=p(O,"I modelli encoder utilizzano solo l\u2019encoder di un modello Transformer. In ogni fase, gli attention layer hanno accesso a tutte le parole della frase di partenza. Questi modelli sono spesso caratterizzati come aventi attenzione \u201Cbi-direzionale\u201D e chiamati "),P=r(O,"EM",{});var ge=l(P);X=p(ge,"auto-encoding models"),ge.forEach(t),Z=p(O,"."),O.forEach(t),J=d(e),L=r(e,"P",{});var Ae=l(L);ee=p(Ae,"Solitamente, il pre-addestramento di questi modelli consiste nel corrompere una determinata frase (ad esempio, nascondendone casualmente alcune parole) e incaricare il modello di ritrovare o ricostruire la frase di partenza."),Ae.forEach(t),Y=d(e),R=r(e,"P",{});var ye=l(R);te=p(ye,"I modelli encoder sono particolarmente appropriati per compiti che richiedono la comprensione di frasi intere, quali la classificazione di frasi, riconoscimento delle entit\xE0 nominate (e in senso pi\xF9 ampio, la classificazione di parole), e l\u2019estrazione di risposte da un contesto."),ye.forEach(t),j=d(e),T=r(e,"P",{});var be=l(T);oe=p(be,"Alcuni esempi di modelli di questo tipo includono:"),be.forEach(t),F=d(e),s=r(e,"UL",{});var u=l(s);M=r(u,"LI",{});var Ie=l(M);g=r(Ie,"A",{href:!0,rel:!0});var Le=l(g);ae=p(Le,"ALBERT"),Le.forEach(t),Ie.forEach(t),re=d(u),S=r(u,"LI",{});var Re=l(S);A=r(Re,"A",{href:!0,rel:!0});var Te=l(A);le=p(Te,"BERT"),Te.forEach(t),Re.forEach(t),ie=d(u),x=r(u,"LI",{});var qe=l(x);y=r(qe,"A",{href:!0,rel:!0});var Be=l(y);ne=p(Be,"DistilBERT"),Be.forEach(t),qe.forEach(t),se=d(u),C=r(u,"LI",{});var Pe=l(C);b=r(Pe,"A",{href:!0,rel:!0});var Me=l(b);ce=p(Me,"ELECTRA"),Me.forEach(t),Pe.forEach(t),me=d(u),k=r(u,"LI",{});var Se=l(k);I=r(Se,"A",{href:!0,rel:!0});var xe=l(I);de=p(xe,"RoBERTa"),xe.forEach(t),Se.forEach(t),u.forEach(t),this.h()},h(){n(h,"name","hf:doc:metadata"),n(h,"content",JSON.stringify(Ge)),n(v,"id","modelli-encoder"),n(v,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),n(v,"href","#modelli-encoder"),n(_,"class","relative group"),n(g,"href","https://huggingface.co/transformers/model_doc/albert.html"),n(g,"rel","nofollow"),n(A,"href","https://huggingface.co/transformers/model_doc/bert.html"),n(A,"rel","nofollow"),n(y,"href","https://huggingface.co/transformers/model_doc/distilbert.html"),n(y,"rel","nofollow"),n(b,"href","https://huggingface.co/transformers/model_doc/electra.html"),n(b,"rel","nofollow"),n(I,"href","https://huggingface.co/transformers/model_doc/roberta.html"),n(I,"rel","nofollow")},m(e,i){o(document.head,h),c(e,N,i),c(e,_,i),o(_,v),o(v,q),ue($,q,null),o(_,K),o(_,B),o(B,V),c(e,Q,i),ue(z,e,i),c(e,U,i),ue(w,e,i),c(e,D,i),c(e,E,i),o(E,W),o(E,P),o(P,X),o(E,Z),c(e,J,i),c(e,L,i),o(L,ee),c(e,Y,i),c(e,R,i),o(R,te),c(e,j,i),c(e,T,i),o(T,oe),c(e,F,i),c(e,s,i),o(s,M),o(M,g),o(g,ae),o(s,re),o(s,S),o(S,A),o(A,le),o(s,ie),o(s,x),o(x,y),o(y,ne),o(s,se),o(s,C),o(C,b),o(b,ce),o(s,me),o(s,k),o(k,I),o(I,de),G=!0},p:Ue,i(e){G||(he($.$$.fragment,e),he(z.$$.fragment,e),he(w.$$.fragment,e),G=!0)},o(e){_e($.$$.fragment,e),_e(z.$$.fragment,e),_e(w.$$.fragment,e),G=!1},d(e){t(h),e&&t(N),e&&t(_),ve($),e&&t(Q),ve(z,e),e&&t(U),ve(w,e),e&&t(D),e&&t(E),e&&t(J),e&&t(L),e&&t(Y),e&&t(R),e&&t(j),e&&t(T),e&&t(F),e&&t(s)}}}const Ge={local:"modelli-encoder",title:"Modelli encoder"};function He(Ee){return De(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ze extends Ce{constructor(h){super();ke(this,h,He,Fe,Ne,{})}}export{Ze as default,Ge as metadata};
