<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;&quot;,&quot;title&quot;:&quot;序列到序列模型&quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/assets/pages/__layout.svelte-hf-doc-builder.css">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/start-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/chunks/vendor-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/chunks/paths-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/pages/__layout.svelte-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/pages/chapter1/7.mdx-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/zh-CN/_app/chunks/Youtube-hf-doc-builder.js"> 





<h1 id="">序列到序列模型</h1>
<iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/0_4KEb08xrE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
<p>编码器-解码器模型（也称为序列到序列模型)同时使用Transformer架构的编码器和解码器两个部分。在每个阶段，编码器的注意力层可以访问初始句子中的所有单词，而解码器的注意力层只能访问位于输入中将要预测单词前面的单词。</p>
<p>这些模型的预训练可以使用训练编码器或解码器模型的方式来完成，但通常涉及更复杂的内容。例如，<a href="https://huggingface.co/t5-base" rel="nofollow">T5</a>通过将文本的随机跨度（可以包含多个单词）替换为单个特殊单词来进行预训练，然后目标是预测该掩码单词替换的文本。</p>
<p>序列到序列模型最适合于围绕根据给定输入生成新句子的任务，如摘要、翻译或生成性问答。</p>
<p>该系列模型的典型代表有：</p>
<ul><li><a href="https://huggingface.co/transformers/model_doc/bart.html" rel="nofollow">BART</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/mbart.html" rel="nofollow">mBART</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/marian.html" rel="nofollow">Marian</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/t5.html" rel="nofollow">T5</a></li></ul>


		<script type="module" data-hydrate="s9a1hg">
		import { start } from "/docs/course/pr_212/zh-CN/_app/start-hf-doc-builder.js";
		start({
			target: document.querySelector('[data-hydrate="s9a1hg"]').parentNode,
			paths: {"base":"/docs/course/pr_212/zh-CN","assets":"/docs/course/pr_212/zh-CN"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_212/zh-CN/_app/pages/__layout.svelte-hf-doc-builder.js"),
						import("/docs/course/pr_212/zh-CN/_app/pages/chapter1/7.mdx-hf-doc-builder.js")
				],
				params: {}
			}
		});
	</script>
