<bos><start_of_turn>system
You are a helpful AI assistant.
lista de codigos linguisticos disponibles: ["es", "es"].<end_of_turn>
<start_of_turn>user
LSTM y unidades recurrentes cerradas<end_of_turn>
<start_of_turn>model
LSTM (Schmidhuber, 1997) y Gated Recurrent Units (GRU) (Cho, 2014) son nuevas
variantes de RNN, han resuelto problemas de dependencia a largo plazo y han atraído grandes
atención. Los LSTM se desarrollaron particularmente para hacer frente a la dependencia a largo plazo.
problema. La ventaja de un modelo LSTM es que utiliza el estado de celda adicional, que
Es una línea de secuencia horizontal en la parte superior de la unidad LSTM. Este estado celular está controlado
mediante puertas de propósito especial para operaciones de olvido, inserción o actualización. Puede decidir lo siguiente:
• ¿Qué tipo de información almacenaremos en el estado de la celda?
• Qué información se olvidará o eliminará
En el RNN original, para conocer el estado de los tokens I, procesa recurrentemente
el estado completo de los tokens anteriores entre el paso de tiempo 0
 y timestepi-1. Llevando todo
La información de pasos de tiempo anteriores conduce a problemas de gradiente que desaparecen, lo que hace que
el modelo no entrenable. El mecanismo de puerta en LSTM permite que la arquitectura omita algunos
tokens no relacionados en un determinado paso de tiempo o recordar estados de largo alcance para aprender el
estado actual del token.
Un GRU es similar a un LSTM en muchos aspectos, la principal diferencia es que un GRU no
no utilizar el estado de la celda. Más bien, la arquitectura se simplifica transfiriendo la funcionalidad.
del estado de la celda al estado oculto, y solo incluye dos puertas: una puerta de actualización y una
restablecer la puerta. La puerta de actualización determina cuánta información de la versión anterior y
Los plazos actuales se adelantarán. Esta característica ayuda al modelo a mantenerse relevante.
información del pasado, lo que minimiza el riesgo de un problema de gradiente evanescente a medida que
Bueno. La puerta de reinicio detecta los datos irrelevantes y hace que el modelo los olvide.<end_of_turn><eos>