<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;&quot;,&quot;title&quot;:&quot;Введение&quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/assets/pages/__layout.svelte-hf-doc-builder.css">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/start-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/chunks/vendor-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/chunks/paths-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/pages/__layout.svelte-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_362/ru/_app/pages/chapter5/1.mdx-hf-doc-builder.js"> 





<h1 id="">Введение</h1>
<p>В <a href="/course/ru/chapter3">главе 3</a> вы поверхностно ознакомились с библиотекой 🤗 Datasets и увидели три главных шага для использования ее в процессе fine-tuning: </p>
<ol><li>Загрузить датасет из Hugging Face Hub.</li>
<li>Произвести препроцессинг с помощью <code>Dataset.map()</code>.</li>
<li>Загрузить и вычислить метрики. </li></ol>
<p>Но это лишь малая часть того, на что способна 🤗 Datasets! В этой главе мы углубимся в библиотеку и попутно мы найдем ответы на следующие вопросы:</p>
<ul><li>Что делать, когда нужного набора данных нет в Hub?</li>
<li>Как вы можете разделиить датасет? (Что если вам <em>действительно</em> нужно использовать Pandas?)</li>
<li>Что делать, когда ваш набор данных огромен и «расплавит» оперативную память вашего ноутбука?</li>
<li>Что, черт возьми, такое «отображение памяти» (memory mapping) и Apache Arrow?</li>
<li>Как вы можете создать свой собственный датасет и отправить его в Hub?</li></ul>
<p>Принципы, которые вы изучите в этой главе, подготовят вас к более глубокому использованию токенизации и fine-tuning’а моделей в <a href="/course/ru/chapter6">главе 6</a> и <a href="/course/ru/chapter7">главе 7</a> – заваривайте кофе и мы начинаем!</p>


		<script type="module" data-hydrate="13upf65">
		import { start } from "/docs/course/pr_362/ru/_app/start-hf-doc-builder.js";
		start({
			target: document.querySelector('[data-hydrate="13upf65"]').parentNode,
			paths: {"base":"/docs/course/pr_362/ru","assets":"/docs/course/pr_362/ru"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_362/ru/_app/pages/__layout.svelte-hf-doc-builder.js"),
						import("/docs/course/pr_362/ru/_app/pages/chapter5/1.mdx-hf-doc-builder.js")
				],
				params: {}
			}
		});
	</script>
