import{S as Se,i as ke,s as Ne,e as t,k as m,w as fe,t as f,M as ze,c as r,d as a,m as c,a as s,x as pe,h as p,b as n,G as o,g as d,y as ue,L as Ue,q as he,o as _e,B as ve,v as De}from"../../chunks/vendor-hf-doc-builder.js";import{Y as Je}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Ye}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as je}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function Fe(Ee){let h,N,_,v,B,g,K,P,V,z,$,U,w,D,E,W,O,X,Z,J,T,ee,Y,y,ae,j,q,oe,F,i,M,b,te,re,I,x,se,le,C,A,ne,ie,S,L,de,me,k,R,ce,G;return g=new Ye({}),$=new je({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),w=new Je({props:{id:"MUqNwgPjJvQ"}}),{c(){h=t("meta"),N=m(),_=t("h1"),v=t("a"),B=t("span"),fe(g.$$.fragment),K=m(),P=t("span"),V=f("Modelos decodificadores"),z=m(),fe($.$$.fragment),U=m(),fe(w.$$.fragment),D=m(),E=t("p"),W=f("Os modelos de encoder (decodificadores) usam apenas o encoder de um modelo Transformer. Em cada est\xE1gio, as camadas de aten\xE7\xE3o podem acessar todas as palavras da frase inicial. Esses modelos geralmente s\xE3o caracterizados como tendo aten\xE7\xE3o \u201Cbidirecional\u201D e s\xE3o frequentemente chamados de "),O=t("em"),X=f("modelos de codifica\xE7\xE3o autom\xE1tica"),Z=f("."),J=m(),T=t("p"),ee=f("O pr\xE9-treinamento desses modelos geralmente gira em torno de corromper de alguma forma uma determinada frase (por exemplo, mascarando palavras aleat\xF3rias nela) e encarregando o modelo de encontrar ou reconstruir a frase inicial."),Y=m(),y=t("p"),ae=f("Os modelos de codificador s\xE3o mais adequados para tarefas que exigem uma compreens\xE3o da senten\xE7a completa, como classifica\xE7\xE3o de senten\xE7a, reconhecimento de entidade nomeada (e, mais geralmente, classifica\xE7\xE3o de palavras) e resposta extrativa de perguntas."),j=m(),q=t("p"),oe=f("Os representantes desta fam\xEDlia de modelos incluem:"),F=m(),i=t("ul"),M=t("li"),b=t("a"),te=f("ALBERT"),re=m(),I=t("li"),x=t("a"),se=f("BERT"),le=m(),C=t("li"),A=t("a"),ne=f("DistilBERT"),ie=m(),S=t("li"),L=t("a"),de=f("ELECTRA"),me=m(),k=t("li"),R=t("a"),ce=f("RoBERTa"),this.h()},l(e){const l=ze('[data-svelte="svelte-1phssyn"]',document.head);h=r(l,"META",{name:!0,content:!0}),l.forEach(a),N=c(e),_=r(e,"H1",{class:!0});var H=s(_);v=r(H,"A",{id:!0,class:!0,href:!0});var ge=s(v);B=r(ge,"SPAN",{});var $e=s(B);pe(g.$$.fragment,$e),$e.forEach(a),ge.forEach(a),K=c(H),P=r(H,"SPAN",{});var we=s(P);V=p(we,"Modelos decodificadores"),we.forEach(a),H.forEach(a),z=c(e),pe($.$$.fragment,e),U=c(e),pe(w.$$.fragment,e),D=c(e),E=r(e,"P",{});var Q=s(E);W=p(Q,"Os modelos de encoder (decodificadores) usam apenas o encoder de um modelo Transformer. Em cada est\xE1gio, as camadas de aten\xE7\xE3o podem acessar todas as palavras da frase inicial. Esses modelos geralmente s\xE3o caracterizados como tendo aten\xE7\xE3o \u201Cbidirecional\u201D e s\xE3o frequentemente chamados de "),O=r(Q,"EM",{});var be=s(O);X=p(be,"modelos de codifica\xE7\xE3o autom\xE1tica"),be.forEach(a),Z=p(Q,"."),Q.forEach(a),J=c(e),T=r(e,"P",{});var xe=s(T);ee=p(xe,"O pr\xE9-treinamento desses modelos geralmente gira em torno de corromper de alguma forma uma determinada frase (por exemplo, mascarando palavras aleat\xF3rias nela) e encarregando o modelo de encontrar ou reconstruir a frase inicial."),xe.forEach(a),Y=c(e),y=r(e,"P",{});var Ae=s(y);ae=p(Ae,"Os modelos de codificador s\xE3o mais adequados para tarefas que exigem uma compreens\xE3o da senten\xE7a completa, como classifica\xE7\xE3o de senten\xE7a, reconhecimento de entidade nomeada (e, mais geralmente, classifica\xE7\xE3o de palavras) e resposta extrativa de perguntas."),Ae.forEach(a),j=c(e),q=r(e,"P",{});var Le=s(q);oe=p(Le,"Os representantes desta fam\xEDlia de modelos incluem:"),Le.forEach(a),F=c(e),i=r(e,"UL",{});var u=s(i);M=r(u,"LI",{});var Re=s(M);b=r(Re,"A",{href:!0,rel:!0});var Te=s(b);te=p(Te,"ALBERT"),Te.forEach(a),Re.forEach(a),re=c(u),I=r(u,"LI",{});var ye=s(I);x=r(ye,"A",{href:!0,rel:!0});var qe=s(x);se=p(qe,"BERT"),qe.forEach(a),ye.forEach(a),le=c(u),C=r(u,"LI",{});var Be=s(C);A=r(Be,"A",{href:!0,rel:!0});var Pe=s(A);ne=p(Pe,"DistilBERT"),Pe.forEach(a),Be.forEach(a),ie=c(u),S=r(u,"LI",{});var Oe=s(S);L=r(Oe,"A",{href:!0,rel:!0});var Me=s(L);de=p(Me,"ELECTRA"),Me.forEach(a),Oe.forEach(a),me=c(u),k=r(u,"LI",{});var Ie=s(k);R=r(Ie,"A",{href:!0,rel:!0});var Ce=s(R);ce=p(Ce,"RoBERTa"),Ce.forEach(a),Ie.forEach(a),u.forEach(a),this.h()},h(){n(h,"name","hf:doc:metadata"),n(h,"content",JSON.stringify(Ge)),n(v,"id","modelos-decodificadores"),n(v,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),n(v,"href","#modelos-decodificadores"),n(_,"class","relative group"),n(b,"href","https://huggingface.co/transformers/model_doc/albert.html"),n(b,"rel","nofollow"),n(x,"href","https://huggingface.co/transformers/model_doc/bert.html"),n(x,"rel","nofollow"),n(A,"href","https://huggingface.co/transformers/model_doc/distilbert.html"),n(A,"rel","nofollow"),n(L,"href","https://huggingface.co/transformers/model_doc/electra.html"),n(L,"rel","nofollow"),n(R,"href","https://huggingface.co/transformers/model_doc/roberta.html"),n(R,"rel","nofollow")},m(e,l){o(document.head,h),d(e,N,l),d(e,_,l),o(_,v),o(v,B),ue(g,B,null),o(_,K),o(_,P),o(P,V),d(e,z,l),ue($,e,l),d(e,U,l),ue(w,e,l),d(e,D,l),d(e,E,l),o(E,W),o(E,O),o(O,X),o(E,Z),d(e,J,l),d(e,T,l),o(T,ee),d(e,Y,l),d(e,y,l),o(y,ae),d(e,j,l),d(e,q,l),o(q,oe),d(e,F,l),d(e,i,l),o(i,M),o(M,b),o(b,te),o(i,re),o(i,I),o(I,x),o(x,se),o(i,le),o(i,C),o(C,A),o(A,ne),o(i,ie),o(i,S),o(S,L),o(L,de),o(i,me),o(i,k),o(k,R),o(R,ce),G=!0},p:Ue,i(e){G||(he(g.$$.fragment,e),he($.$$.fragment,e),he(w.$$.fragment,e),G=!0)},o(e){_e(g.$$.fragment,e),_e($.$$.fragment,e),_e(w.$$.fragment,e),G=!1},d(e){a(h),e&&a(N),e&&a(_),ve(g),e&&a(z),ve($,e),e&&a(U),ve(w,e),e&&a(D),e&&a(E),e&&a(J),e&&a(T),e&&a(Y),e&&a(y),e&&a(j),e&&a(q),e&&a(F),e&&a(i)}}}const Ge={local:"modelos-decodificadores",title:"Modelos decodificadores"};function He(Ee){return De(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Xe extends Se{constructor(h){super();ke(this,h,He,Fe,Ne,{})}}export{Xe as default,Ge as metadata};
