<bos><start_of_turn>system
You are a helpful AI assistant.
lista de codigos linguisticos disponibles: ["es", "de"].<end_of_turn>
<start_of_turn>user
LSTM y unidades recurrentes cerradas<end_of_turn>
<start_of_turn>model
Neu sind LSTM (Schmidhuber, 1997) und Gated Recurrent Units (GRUs) (Cho, 2014).
Varianten von RNNs haben langfristige Abhängigkeitsprobleme gelöst und große Aufmerksamkeit erregt
Aufmerksamkeit. LSTMs wurden speziell entwickelt, um der langfristigen Abhängigkeit gerecht zu werden
Problem. Der Vorteil eines LSTM-Modells besteht darin, dass es den zusätzlichen Zellzustand nutzt
ist eine horizontale Sequenzlinie oben auf der LSTM-Einheit. Dieser Zellzustand wird kontrolliert
durch spezielle Gatter für Vergessens-, Einfüge- oder Aktualisierungsvorgänge. Es kann Folgendes entscheiden:
• Welche Art von Informationen werden wir im Zellzustand speichern?
• Welche Informationen werden vergessen oder gelöscht?
Im ursprünglichen RNN werden wiederholt Prozesse durchgeführt, um den Status von I-Tokens zu erfahren
der gesamte Zustand der vorherigen Token zwischen timestep0
 und timestepi-1. Ganzheitlich tragen
Informationen aus früheren Zeitschritten führen zu verschwindenden Gradientenproblemen, was zu Problemen führt
Das Modell ist nicht trainierbar. Der Gate-Mechanismus in LSTM ermöglicht es der Architektur, einige zu überspringen
nicht verwandte Token zu einem bestimmten Zeitpunkt oder erinnern Sie sich an weitreichende Zustände, um das zu lernen
aktueller Token-Status.
Eine GRU ähnelt in vielerlei Hinsicht einem LSTM. Der Hauptunterschied besteht darin, dass dies bei einer GRU der Fall ist
Verwenden Sie den Zellstatus nicht. Vielmehr wird die Architektur durch die Übertragung der Funktionalität vereinfacht
vom Zellzustand in den verborgenen Zustand und enthält nur zwei Tore: ein Aktualisierungstor und ein
Tor zurücksetzen. Das Update-Gate bestimmt, wie viele Informationen aus dem vorherigen und
Aktuelle Zeitschritte werden nach vorne verschoben. Diese Funktion trägt dazu bei, dass das Modell relevant bleibt
Informationen aus der Vergangenheit, wodurch das Risiko eines verschwindenden Gradientenproblems minimiert wird
Also. Das Reset-Gate erkennt die irrelevanten Daten und lässt das Modell sie vergessen.<end_of_turn><eos>