Long-term dependency
[GRU](https://texonom.com/gru-280a4b083b0b49989e3cc36ef493410c) [LSTM](https://texonom.com/lstm-7946d20b7c394827b02e7b6b297bbadf) 


RNN Problem
문장이 길어질 경우 앞 단어의 정보를 잃어버리게





> [[딥러닝] 언어모델, RNN, GRU, LSTM, Attention, Transformer, GPT, BERT 개념 정리](https://velog.io/@rsj9987/딥러닝-용어정리)





