<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;&quot;,&quot;title&quot;:&quot;디코더 모델&quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/assets/pages/__layout.svelte-hf-doc-builder.css">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/start-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/chunks/vendor-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/chunks/paths-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/pages/__layout.svelte-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/pages/chapter1/6.mdx-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/ko/_app/chunks/Youtube-hf-doc-builder.js"> 





<h1 id="">디코더 모델</h1>
<iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/d_ixlCubqQw" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
<p>디코더 모델(Decoder models)은 트랜스포머 모델의 디코더만 사용합니다. 각각의 단계마다, 어텐션 레이어는 주어진 단어에 대해 문장 내에서 해당 단어 앞에 위치한 단어들에 대해서만 액세스 할 수 있습니다. 이러한 모델을 <em>자동 회귀(auto-regressive) 모델</em>이라고 부릅니다.</p>
<p>디코더 모델의 사전 학습은 보통 문장 내 다음 단어 예측을 반복하는 방식으로 이루어집니다.</p>
<p>이러한 모델은 텍스트 생성에 특화되어 있습니다.</p>
<p>디코더 모델 계열의 대표 주자들은 다음과 같습니다:</p>
<ul><li><a href="https://huggingface.co/transformers/model_doc/ctrl.html" rel="nofollow">CTRL</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/gpt.html" rel="nofollow">GPT</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/gpt2.html" rel="nofollow">GPT-2</a></li>
<li><a href="https://huggingface.co/transformers/model_doc/transformerxl.html" rel="nofollow">Transformer XL</a></li></ul>


		<script type="module" data-hydrate="18kg84y">
		import { start } from "/docs/course/pr_212/ko/_app/start-hf-doc-builder.js";
		start({
			target: document.querySelector('[data-hydrate="18kg84y"]').parentNode,
			paths: {"base":"/docs/course/pr_212/ko","assets":"/docs/course/pr_212/ko"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_212/ko/_app/pages/__layout.svelte-hf-doc-builder.js"),
						import("/docs/course/pr_212/ko/_app/pages/chapter1/6.mdx-hf-doc-builder.js")
				],
				params: {}
			}
		});
	</script>
