<bos><start_of_turn>system
You are a helpful AI assistant.
lista de codigos linguisticos disponibles: ["fr", "fr"].<end_of_turn>
<start_of_turn>user
LSTM et unités récurrentes fermées<end_of_turn>
<start_of_turn>model
LSTM (Schmidhuber, 1997) et Gated Recurrent Units (GRU) (Cho, 2014) sont nouveaux
variantes des RNN, ont résolu des problèmes de dépendance à long terme et ont attiré de grands
attention. Les LSTM ont été particulièrement développés pour faire face à la dépendance à long terme
problème. L'avantage d'un modèle LSTM est qu'il utilise l'état de cellule supplémentaire, qui
est une ligne de séquence horizontale sur le dessus de l'unité LSTM. Cet état de cellule est contrôlé
par des portes spéciales pour les opérations d'oubli, d'insertion ou de mise à jour. Il est capable de décider ce qui suit :
• Quel type d'informations nous stockerons dans l'état de la cellule
• Quelles informations seront oubliées ou supprimées
Dans le RNN original, afin d'apprendre l'état des jetons I, il traite de manière récurrente
l'état complet des jetons précédents entre timestep0
 et timestepi-1. Transportant tout
les informations provenant d'intervalles de temps antérieurs conduisent à la disparition des problèmes de gradient, ce qui rend
le modèle impossible à entraîner. Le mécanisme de porte dans LSTM permet à l'architecture d'ignorer certains
jetons sans rapport à un certain pas de temps ou mémoriser les états à longue portée afin d'apprendre le
état actuel du jeton.
Un GRU est similaire à un LSTM à bien des égards, la principale différence étant qu'un GRU ne
n'utilisez pas l'état de la cellule. L'architecture est plutôt simplifiée en transférant les fonctionnalités
de l'état de la cellule à l'état caché, et il ne comprend que deux portes : une porte de mise à jour et une
réinitialiser la porte. La porte de mise à jour détermine la quantité d'informations des versions précédente et précédente.
les pas de temps actuels seront avancés. Cette fonctionnalité aide le modèle à rester pertinent
informations du passé, ce qui minimise le risque de disparition d'un problème de gradient car
Bien. La porte de réinitialisation détecte les données non pertinentes et les fait oublier au modèle.<end_of_turn><eos>