<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;seq2seq&quot;,&quot;title&quot;:&quot;Модели вида \\&quot;seq2seq\\&quot;&quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/assets/pages/__layout.svelte-048423b6.css">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/start-e2011cff.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/vendor-aeea7ff3.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/paths-4b3c6e7e.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/pages/__layout.svelte-441d2ca6.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/pages/chapter1/7.mdx-1bc7c6fa.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/Youtube-4c0fcb79.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/IconCopyLink-9b178df0.js"> 





<h1 class="relative group"><a id="seq2seq" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#seq2seq"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>Модели вида &quot;seq2seq&quot;
	</span></h1>

<iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/0_4KEb08xrE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
<p>Энкодер-декодер модели (также называемые <em>sequence-to-sequence models</em>) используют обе части трансформера. На каждом этапе слой внимания энкодера получает доступ ко всем словам в исходной последовательности, тогда как слой внимания декодера получает доступ только к тем словам, которые позиционированы до текущего слова. </p>
<p>Предобучение таких моделей может быть проведено по аналогии с процессом предобучения энкодера или декодера, но обычно это происходит сложнее. Например, модель <a href="https://huggingface.co/t5-base" rel="nofollow">T5</a> была предобучена путем замены случайных фрагментов текста (фрагменты могут содержать несколько слов) на специальную маску, цель модели - предсказать текст, который заменила маска. </p>
<p>Модели seq2seq лучше всего подходят для задач генерации новых предложений, зависящих от входного массива данных, например: саммаризация текста, перевод или генерация ответов на вопросы. </p>
<p>Представителями этого семейства являются: </p>
<ul><li><a href="https://huggingface.co/transformers/model_doc/bart.html" rel="nofollow">BART</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/mbart.html" rel="nofollow">mBART</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/marian.html" rel="nofollow">Marian</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/t5.html" rel="nofollow">T5</a></li></ul>


		<script type="module" data-hydrate="1jvh9fn">
		import { start } from "/docs/course/pr_92/ru/_app/start-e2011cff.js";
		start({
			target: document.querySelector('[data-hydrate="1jvh9fn"]').parentNode,
			paths: {"base":"/docs/course/pr_92/ru","assets":"/docs/course/pr_92/ru"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_92/ru/_app/pages/__layout.svelte-441d2ca6.js"),
						import("/docs/course/pr_92/ru/_app/pages/chapter1/7.mdx-1bc7c6fa.js")
				],
				params: {}
			}
		});
	</script>
