<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;&quot;,&quot;sections&quot;:[{&quot;local&quot;:&quot;nlp&quot;,&quot;title&quot;:&quot;Что такое NLP?&quot;},{&quot;local&quot;:&quot;&quot;,&quot;title&quot;:&quot;Почему это сложно? &quot;}],&quot;title&quot;:&quot;Обработка естесственного языка &quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/assets/pages/__layout.svelte-048423b6.css">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/start-e2011cff.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/vendor-aeea7ff3.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/paths-4b3c6e7e.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/pages/__layout.svelte-441d2ca6.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/pages/chapter1/2.mdx-4a2ba87e.js">
	<link rel="modulepreload" href="/docs/course/pr_92/ru/_app/chunks/IconCopyLink-9b178df0.js"> 





<h1 id="">Обработка естесственного языка </h1>
<p>Прежде, чем перейти к трансформерам, сделаем быстрый обзор того, что такое обработка естесственного языка (NLP) и почему мы заинтересованы в этой сфере. </p>
<h2 class="relative group"><a id="nlp" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#nlp"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>Что такое NLP?
	</span></h2>

<p>NLP - область лингвистики и машинного обучения, сосредоточенная на изучении всего, что связано с человеческим языком. Главная цель NLP не просто понимать отдельные слова, но и иметь возможность понимать конекст, в котором эти слова находятся. </p>
<p>Список общих NLP-задач с некоторыми примерами: </p>
<ul><li><strong>Классификация предложений</strong>: определить эмоциональную окраску отзыва, детектировать среди входящий писем спам, определить грамматическую корректность предложения или даже проверить, являются ли два предложения связанными между собой логически</li>
<li><strong>Классификация каждого слова в предложении</strong>: вычленить грамматические составляющие предложения (существительное, глагол, прилагательное) или определить именованные сущности (персона, локация, организация)</li>
<li><strong>Генерация текста</strong>: закончить предложение на основе некоторого вводного фрагмента, заполнить пропуски в тексте, содержащем замаскированные слова</li>
<li><strong>Сформулировать ответ на вопрос</strong>: получить ответ на заданный по тексту вопрос</li>
<li><strong>Сгенерировать новое предложение исходя из предложенного</strong>: перевести текст с одного языка на другой, аннотировать/саммаризовать текст</li></ul>
<p>NLP не ограничивается только письменным текстом. Есть множество сложных задач, связанных с распознаванием речи, компьютерным зрением, таких как расшифровка аудио-сигнала или описания изображений. </p>
<h2 id="">Почему это сложно? </h2>
<p>Компьютеры не обрабатывают информацию так же, как люди. Например, когда мы читаем предложение «Я голоден», мы можем легко понять его значение. Точно так же, имея два предложения, такие как «Я голоден» и «Мне грустно», мы можем легко определить, насколько они похожи. Для моделей машинного обучения (ML) такие задачи сложнее. Текст должен быть обработан так, чтобы модель могла учиться на нем. А поскольку язык сложен, нам нужно тщательно продумать, как должна выполняться эта обработка. Было проведено много исследований того, как представлять текст, и мы рассмотрим некоторые методы в следующей главе.</p>


		<script type="module" data-hydrate="uscdmk">
		import { start } from "/docs/course/pr_92/ru/_app/start-e2011cff.js";
		start({
			target: document.querySelector('[data-hydrate="uscdmk"]').parentNode,
			paths: {"base":"/docs/course/pr_92/ru","assets":"/docs/course/pr_92/ru"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_92/ru/_app/pages/__layout.svelte-441d2ca6.js"),
						import("/docs/course/pr_92/ru/_app/pages/chapter1/2.mdx-4a2ba87e.js")
				],
				params: {}
			}
		});
	</script>
