<meta charset="utf-8" /><meta http-equiv="content-security-policy" content=""><meta name="hf:doc:metadata" content="{&quot;local&quot;:&quot;quiz-de-fin-de-chapitre&quot;,&quot;title&quot;:&quot;Quiz de fin de chapitre&quot;}" data-svelte="svelte-1phssyn">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/assets/pages/__layout.svelte-hf-doc-builder.css">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/start-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/chunks/vendor-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/chunks/paths-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/pages/__layout.svelte-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/pages/chapter6/10.mdx-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/chunks/IconCopyLink-hf-doc-builder.js">
	<link rel="modulepreload" href="/docs/course/pr_212/fr/_app/chunks/Question-hf-doc-builder.js"> 






<h1 class="relative group"><a id="quiz-de-fin-de-chapitre" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#quiz-de-fin-de-chapitre"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>Quiz de fin de chapitre
	</span></h1>

<p>Testons ce que vous avez appris dans ce chapitre !</p>
<h3 class="relative group"><a id="1.-quand-devez-vous-entraîner-un-nouveau-<i>tokenizer</i>-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#1.-quand-devez-vous-entraîner-un-nouveau-<i>tokenizer</i>-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>1. Quand devez-vous entraîner un nouveau <i>tokenizer</i> ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->Lorsque votre jeu de données est similaire à celui utilisé par un modèle pré-entraîné existant et que vous voulez pré-entraîner un nouveau modèle<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Lorsque votre jeu de données est similaire à celui utilisé par un modèle pré-entraîné existant et que vous souhaitez <i>finetuner</i> un nouveau modèle en utilisant ce modèle pré-entraîné.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Lorsque votre jeu de données est différent de celui utilisé par un modèle pré-entraîné existant et que vous souhaitez pré-entraîner un nouveau modèle.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Lorsque votre jeu de données est différent de celui utilisé par un modèle pré-entraîné existant mais que vous souhaitez <i>finetuner</i> un nouveau modèle en utilisant ce modèle pré-entraîné.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="2.-quel-est-l’avantage-d’utiliser-un-générateur-de-listes-par-rapport-à-une-liste-de-listes-lors-de-l’utilisation-de-<code>train_new_from_iterator()</code>-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#2.-quel-est-l’avantage-d’utiliser-un-générateur-de-listes-par-rapport-à-une-liste-de-listes-lors-de-l’utilisation-de-<code>train_new_from_iterator()</code>-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>2. Quel est l’avantage d’utiliser un générateur de listes par rapport à une liste de listes lors de l’utilisation de <code>train_new_from_iterator()</code> ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->C'est le seul type que la méthode <code>train_new_from_iterator()</code> accepte.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Vous éviterez de charger l'ensemble des données en mémoire en une seule fois.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Cela permettra à la bibliothèque 🤗 <i>Tokenizers</i> d'utiliser le multitraitement.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Le <i>tokenizer</i> que vous entraînez générera de meilleurs textes.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="3.-quels-sont-les-avantages-d’utiliser-un-<i>tokenizer</i>-«-rapide-»-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#3.-quels-sont-les-avantages-d’utiliser-un-<i>tokenizer</i>-«-rapide-»-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>3. Quels sont les avantages d’utiliser un <i>tokenizer</i> « rapide » ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->Il peut traiter les entrées plus rapidement qu'un <i>tokenizer</i> lent lorsque vous faites des batchs d'entrées.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Les <i>tokenizers</i> rapides sont toujours plus rapides que leurs homologues lents.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Il peut appliquer le <i>padding</i> et la troncature.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Il possède des fonctionnalités supplémentaires qui vous permettent d'associer les <i>tokens</i> à l'extrait de texte qui les a créés.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="4.-comment-le-pipeline-<code>token-classification</code>-gère-t-il-les-entités-qui-s’étendent-sur-plusieurs-<i>tokens</i>-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#4.-comment-le-pipeline-<code>token-classification</code>-gère-t-il-les-entités-qui-s’étendent-sur-plusieurs-<i>tokens</i>-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>4. Comment le pipeline <code>token-classification</code> gère-t-il les entités qui s’étendent sur plusieurs <i>tokens</i> ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->Les entités ayant la même étiquette sont fusionnées en une seule entité.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Il existe une étiquette pour le début d'une entité et une étiquette pour la suite d'une entité.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Dans un mot donné, tant que le premier <i>token</i> porte l'étiquette de l'entité, le mot entier est considéré comme étiqueté avec cette entité.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Lorsqu'un <i>token</i> a l'étiquette d'une entité donnée, tout autre <i>token</i> suivant ayant la même étiquette est considéré comme faisant partie de la même entité, à moins qu'il ne soit étiqueté comme le début d'une nouvelle entité.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="5.-comment-le-pipeline-<code>question-answering</code>-gère-t-il-les-contextes-longs-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#5.-comment-le-pipeline-<code>question-answering</code>-gère-t-il-les-contextes-longs-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>5. Comment le pipeline <code>question-answering</code> gère-t-il les contextes longs ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->Ce n'est pas vraiment le cas car il tronque le long contexte à la longueur maximale acceptée par le modèle.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Il divise le contexte en plusieurs parties et fait la moyenne des résultats obtenus.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Il divise le contexte en plusieurs parties (avec chevauchement) et trouve le score maximum pour une réponse dans chaque partie.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Il divise le contexte en plusieurs parties (sans chevauchemen par souci d'efficacité) et trouve le score maximum pour une réponse dans chaque partie.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="6.-qu’est-ce-que-la-normalisation-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#6.-qu’est-ce-que-la-normalisation-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>6. Qu’est-ce que la normalisation ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->C'est le nettoyage que le <i>tokenizer</i> effectue sur les textes lors des étapes initiales.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Il s'agit d'une technique d'augmentation de données qui consiste à rendre le texte plus normal en supprimant les mots rares.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->C'est l'étape finale du post-traitement où le <i>tokenizer</i> ajoute les <i>tokens</i> spéciaux.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->C'est lorsque les enchâssements sont faits avec une moyenne nulle et un écart-type de 1, en soustrayant la moyenne et en divisant par l'écart-type.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="7.-qu’est-ce-que-la-pré-tokénisation-pour-un-<i>tokenizer</i>-en-sous-mots-?" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#7.-qu’est-ce-que-la-pré-tokénisation-pour-un-<i>tokenizer</i>-en-sous-mots-?"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>7. Qu’est-ce que la pré-tokénisation pour un <i>tokenizer</i> en sous-mots ?
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->C'est l'étape qui précède la tokénisation, où l'augmentation des données (comme le masquage aléatoire) est appliquée.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->C'est l'étape avant la tokénisation, où les opérations de nettoyage souhaitées sont appliquées au texte.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->C'est l'étape qui précède l'application du modèle <i>tokenizer</i>, pour diviser l'entrée en mots.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Il s'agit de l'étape précédant l'application du modèle <i>tokenizer</i>, qui divise l'entrée en <i>tokens</i>.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="8.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-bpe." class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#8.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-bpe."><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>8. Sélectionnez les phrases qui s’appliquent au <i>tokenizer</i> BPE.
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->BPE est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->BPE est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les <i>tokens</i>.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Un <i>tokenizer</i> BPE apprend les règles de fusion en fusionnant la paire de <i>tokens</i> la plus fréquente.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Un <i>tokenizer</i> BPE apprend une règle de fusion en fusionnant la paire de <i>tokens</i> qui maximise un score qui privilégie les paires fréquentes avec des parties individuelles moins fréquentes.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4">
				<!-- HTML_TAG_START -->BPE tokenise les mots en sous-mots en les divisant en caractères, puis en appliquant les règles de fusion.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5">
				<!-- HTML_TAG_START -->BPE tokenise les mots en sous-mots en trouvant le plus long sous-mot du vocabulaire en commençant par le début, puis en répétant le processus pour le reste du texte.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="9.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-wordpiece." class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#9.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-wordpiece."><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>9. Sélectionnez les phrases qui s’appliquent au <i>tokenizer</i> WordPiece.
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->WordPiece est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->WordPiece est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les <i>tokens</i>.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->WordPiece Les <i>tokenizer</i> apprennent les règles de fusion en fusionnant la paire de <i>tokens</i> la plus fréquente.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Un <i>tokenizer</i> WordPiece apprend une règle de fusion en fusionnant la paire de <i>tokens</i> qui maximise un score qui privilégie les paires fréquentes avec des parties individuelles moins fréquentes.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4">
				<!-- HTML_TAG_START -->WordPiece tokenise les mots en sous-mots en trouvant la segmentation en <i>tokens</i> la plus probable, selon le modèle.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5">
				<!-- HTML_TAG_START -->WordPiece tokenise les mots en sous-mots en trouvant le plus long sous-mot du vocabulaire en commençant par le début, puis en répétant le processus pour le reste du texte.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>
<h3 class="relative group"><a id="10.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-unigram." class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#10.-sélectionnez-les-phrases-qui-s’appliquent-au-<i>tokenizer</i>-unigram."><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a>
	<span>10. Sélectionnez les phrases qui s’appliquent au <i>tokenizer</i> Unigram.
	</span></h3>

<div><form><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0">
				<!-- HTML_TAG_START -->Unigram est un algorithme de tokénisation en sous-mots qui part d'un petit vocabulaire et apprend des règles de fusion.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1">
				<!-- HTML_TAG_START -->Unigram est un algorithme de tokénisation en sous-mots qui part d'un grand vocabulaire et en retire progressivement les <i>tokens</i>.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2">
				<!-- HTML_TAG_START -->Unigram adapte son vocabulaire en minimisant une perte calculée sur l'ensemble du corpus.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3">
				<!-- HTML_TAG_START -->Unigram adapte son vocabulaire en conservant les sous-mots les plus fréquents.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4">
				<!-- HTML_TAG_START -->Unigram segmente les mots en sous-mots en trouvant la segmentation la plus probable en <i>tokens</i>, selon le modèle.<!-- HTML_TAG_END --></label>
			<label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5">
				<!-- HTML_TAG_START -->Unigram décompose les mots en sous-mots en les divisant en caractères puis en appliquant les règles de fusion.<!-- HTML_TAG_END --></label>
			
		<div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled>Submit </button>

			</div></form></div>


		<script type="module" data-hydrate="leu3ln">
		import { start } from "/docs/course/pr_212/fr/_app/start-hf-doc-builder.js";
		start({
			target: document.querySelector('[data-hydrate="leu3ln"]').parentNode,
			paths: {"base":"/docs/course/pr_212/fr","assets":"/docs/course/pr_212/fr"},
			session: {},
			route: false,
			spa: false,
			trailing_slash: "never",
			hydrate: {
				status: 200,
				error: null,
				nodes: [
					import("/docs/course/pr_212/fr/_app/pages/__layout.svelte-hf-doc-builder.js"),
						import("/docs/course/pr_212/fr/_app/pages/chapter6/10.mdx-hf-doc-builder.js")
				],
				params: {}
			}
		});
	</script>
