import{S as ke,i as Re,s as je,e as l,k as m,w as me,t as i,M as Ce,c as a,d as t,m as p,a as n,x as pe,h as c,b as r,G as s,g as u,y as fe,L as Ne,q as he,o as qe,B as _e,v as ze}from"../../chunks/vendor-hf-doc-builder.js";import{Y as Ue}from"../../chunks/Youtube-hf-doc-builder.js";import{I as Ye}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as Fe}from"../../chunks/CourseFloatingBanner-hf-doc-builder.js";function Ge(ve){let f,C,h,q,B,$,Q,I,V,N,x,z,b,U,_,W,M,X,Z,Y,v,ee,L,te,se,F,P,le,G,T,ae,H,d,S,w,oe,ne,k,g,re,ue,R,A,ie,ce,j,y,de,J;return $=new Ye({}),x=new Fe({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),b=new Ue({props:{id:"0_4KEb08xrE"}}),{c(){f=l("meta"),C=m(),h=l("h1"),q=l("a"),B=l("span"),me($.$$.fragment),Q=m(),I=l("span"),V=i("Les mod\xE8les de s\xE9quence-\xE0-s\xE9quence"),N=m(),me(x.$$.fragment),z=m(),me(b.$$.fragment),U=m(),_=l("p"),W=i("Les mod\xE8les encodeur-d\xE9codeur (\xE9galement appel\xE9s mod\xE8les de s\xE9quence-\xE0-s\xE9quence) utilisent les deux parties du "),M=l("em"),X=i("transformer"),Z=i(". \xC0 chaque \xE9tape, les couches d\u2019attention de l\u2019encodeur peuvent acc\xE9der \xE0 tous les mots de la phrase initiale, tandis que les couches d\u2019attention du d\xE9codeur n\u2019ont acc\xE8s qu\u2019aux mots positionn\xE9s avant un mot donn\xE9 en entr\xE9e de ces couches d\u2019attention."),Y=m(),v=l("p"),ee=i("Le pr\xE9-entra\xEEnement de ces mod\xE8les peut \xEAtre r\xE9alis\xE9 en utilisant les objectifs des mod\xE8les bas\xE9s sur l\u2019encodeur ou des mod\xE8les bas\xE9s sur le d\xE9codeur. En g\xE9n\xE9ral cela implique quelque chose de plus complexe. Par exemple, le mod\xE8le "),L=l("a"),te=i("T5"),se=i(" est pr\xE9-entra\xEEn\xE9 en rempla\xE7ant des zones al\xE9atoires de texte (qui peuvent contenir plusieurs mots) par un masque sp\xE9cial et l\u2019objectif est alors de pr\xE9dire le texte que ce masque cache."),F=m(),P=l("p"),le=i("Les mod\xE8les de s\xE9quence-\xE0-s\xE9quence sont les plus adapt\xE9s pour les t\xE2ches li\xE9es \xE0 la g\xE9n\xE9ration de nouvelles phrases en fonction d\u2019une entr\xE9e donn\xE9e, comme le r\xE9sum\xE9 de texte, la traduction ou la g\xE9n\xE9ration de questions-r\xE9ponses."),G=m(),T=l("p"),ae=i("Les mod\xE8les qui repr\xE9sentent le mieux cette famille sont :"),H=m(),d=l("ul"),S=l("li"),w=l("a"),oe=i("BART"),ne=m(),k=l("li"),g=l("a"),re=i("mBART"),ue=m(),R=l("li"),A=l("a"),ie=i("Marian"),ce=m(),j=l("li"),y=l("a"),de=i("T5"),this.h()},l(e){const o=Ce('[data-svelte="svelte-1phssyn"]',document.head);f=a(o,"META",{name:!0,content:!0}),o.forEach(t),C=p(e),h=a(e,"H1",{class:!0});var K=n(h);q=a(K,"A",{id:!0,class:!0,href:!0});var Ee=n(q);B=a(Ee,"SPAN",{});var $e=n(B);pe($.$$.fragment,$e),$e.forEach(t),Ee.forEach(t),Q=p(K),I=a(K,"SPAN",{});var xe=n(I);V=c(xe,"Les mod\xE8les de s\xE9quence-\xE0-s\xE9quence"),xe.forEach(t),K.forEach(t),N=p(e),pe(x.$$.fragment,e),z=p(e),pe(b.$$.fragment,e),U=p(e),_=a(e,"P",{});var O=n(_);W=c(O,"Les mod\xE8les encodeur-d\xE9codeur (\xE9galement appel\xE9s mod\xE8les de s\xE9quence-\xE0-s\xE9quence) utilisent les deux parties du "),M=a(O,"EM",{});var be=n(M);X=c(be,"transformer"),be.forEach(t),Z=c(O,". \xC0 chaque \xE9tape, les couches d\u2019attention de l\u2019encodeur peuvent acc\xE9der \xE0 tous les mots de la phrase initiale, tandis que les couches d\u2019attention du d\xE9codeur n\u2019ont acc\xE8s qu\u2019aux mots positionn\xE9s avant un mot donn\xE9 en entr\xE9e de ces couches d\u2019attention."),O.forEach(t),Y=p(e),v=a(e,"P",{});var D=n(v);ee=c(D,"Le pr\xE9-entra\xEEnement de ces mod\xE8les peut \xEAtre r\xE9alis\xE9 en utilisant les objectifs des mod\xE8les bas\xE9s sur l\u2019encodeur ou des mod\xE8les bas\xE9s sur le d\xE9codeur. En g\xE9n\xE9ral cela implique quelque chose de plus complexe. Par exemple, le mod\xE8le "),L=a(D,"A",{href:!0,rel:!0});var Le=n(L);te=c(Le,"T5"),Le.forEach(t),se=c(D," est pr\xE9-entra\xEEn\xE9 en rempla\xE7ant des zones al\xE9atoires de texte (qui peuvent contenir plusieurs mots) par un masque sp\xE9cial et l\u2019objectif est alors de pr\xE9dire le texte que ce masque cache."),D.forEach(t),F=p(e),P=a(e,"P",{});var we=n(P);le=c(we,"Les mod\xE8les de s\xE9quence-\xE0-s\xE9quence sont les plus adapt\xE9s pour les t\xE2ches li\xE9es \xE0 la g\xE9n\xE9ration de nouvelles phrases en fonction d\u2019une entr\xE9e donn\xE9e, comme le r\xE9sum\xE9 de texte, la traduction ou la g\xE9n\xE9ration de questions-r\xE9ponses."),we.forEach(t),G=p(e),T=a(e,"P",{});var ge=n(T);ae=c(ge,"Les mod\xE8les qui repr\xE9sentent le mieux cette famille sont :"),ge.forEach(t),H=p(e),d=a(e,"UL",{});var E=n(d);S=a(E,"LI",{});var Ae=n(S);w=a(Ae,"A",{href:!0,rel:!0});var ye=n(w);oe=c(ye,"BART"),ye.forEach(t),Ae.forEach(t),ne=p(E),k=a(E,"LI",{});var Pe=n(k);g=a(Pe,"A",{href:!0,rel:!0});var Te=n(g);re=c(Te,"mBART"),Te.forEach(t),Pe.forEach(t),ue=p(E),R=a(E,"LI",{});var Be=n(R);A=a(Be,"A",{href:!0,rel:!0});var Ie=n(A);ie=c(Ie,"Marian"),Ie.forEach(t),Be.forEach(t),ce=p(E),j=a(E,"LI",{});var Me=n(j);y=a(Me,"A",{href:!0,rel:!0});var Se=n(y);de=c(Se,"T5"),Se.forEach(t),Me.forEach(t),E.forEach(t),this.h()},h(){r(f,"name","hf:doc:metadata"),r(f,"content",JSON.stringify(He)),r(q,"id","les-modles-de-squencesquence"),r(q,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),r(q,"href","#les-modles-de-squencesquence"),r(h,"class","relative group"),r(L,"href","https://huggingface.co/t5-base"),r(L,"rel","nofollow"),r(w,"href","https://huggingface.co/transformers/model_doc/bart.html"),r(w,"rel","nofollow"),r(g,"href","https://huggingface.co/transformers/model_doc/mbart.html"),r(g,"rel","nofollow"),r(A,"href","https://huggingface.co/transformers/model_doc/marian.html"),r(A,"rel","nofollow"),r(y,"href","https://huggingface.co/transformers/model_doc/t5.html"),r(y,"rel","nofollow")},m(e,o){s(document.head,f),u(e,C,o),u(e,h,o),s(h,q),s(q,B),fe($,B,null),s(h,Q),s(h,I),s(I,V),u(e,N,o),fe(x,e,o),u(e,z,o),fe(b,e,o),u(e,U,o),u(e,_,o),s(_,W),s(_,M),s(M,X),s(_,Z),u(e,Y,o),u(e,v,o),s(v,ee),s(v,L),s(L,te),s(v,se),u(e,F,o),u(e,P,o),s(P,le),u(e,G,o),u(e,T,o),s(T,ae),u(e,H,o),u(e,d,o),s(d,S),s(S,w),s(w,oe),s(d,ne),s(d,k),s(k,g),s(g,re),s(d,ue),s(d,R),s(R,A),s(A,ie),s(d,ce),s(d,j),s(j,y),s(y,de),J=!0},p:Ne,i(e){J||(he($.$$.fragment,e),he(x.$$.fragment,e),he(b.$$.fragment,e),J=!0)},o(e){qe($.$$.fragment,e),qe(x.$$.fragment,e),qe(b.$$.fragment,e),J=!1},d(e){t(f),e&&t(C),e&&t(h),_e($),e&&t(N),_e(x,e),e&&t(z),_e(b,e),e&&t(U),e&&t(_),e&&t(Y),e&&t(v),e&&t(F),e&&t(P),e&&t(G),e&&t(T),e&&t(H),e&&t(d)}}}const He={local:"les-modles-de-squencesquence",title:"Les mod\xE8les de s\xE9quence-\xE0-s\xE9quence"};function Je(ve){return ze(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ve extends ke{constructor(f){super();Re(this,f,Je,Ge,je,{})}}export{Ve as default,He as metadata};
