RNN
[Sequential Data](https://texonom.com/sequential-data-784908b963384da3b3b603ebf1068e4d) [Tanh Function](https://texonom.com/tanh-function-679abf35c4eb4fb0bb0e56140cac3d23) [Vanishing Gradient](https://texonom.com/vanishing-gradient-6dc21442840841b3879d6502c5efd98a) 


## Recurrent Neural Networ
sequential 하거나 time series data 에 적합한 모델
RNN기반 모델인 LSTM과 GRU는 구조적으로 고정 길이의 hidden state 벡터에 모든 단어의 의미를 담아야 하기 때문에 문장이 길어지면 모든 단어 정보를 고정 길이 벡터에 담기 어렵다는 문제
Input Seq’s information lost so 보정하기 위해 [Attention Mechanism](https://texonom.com/attention-mechanism-762711860abb45f59904f1ac4e4af285)  사용
어텐션을 RNN의 보정을 위한 용도로서 사용하는 것이 아니라 인코더 디코더에도 사용하게
### RNN Notion
|Title|
|:-:|
|[Recurrent Neurons](https://texonom.com/recurrent-neurons-341ce79b6a0648bb8c57fafc806573cc)|
|[Long-term dependency](https://texonom.com/long-term-dependency-0b4e9db8d0cd4fc4889b83e32408e5f8)|
|[RWKV](https://texonom.com/rwkv-639fb6fcbaba43e398a6e2fe5495373a)|
|[Hidden State](https://texonom.com/hidden-state-7b65c9b953ce4a9b843d2a0b381a5453)|


### RNNs
|Title|
|:-:|
|[LSTM](https://texonom.com/lstm-7946d20b7c394827b02e7b6b297bbadf)|
|[GRU](https://texonom.com/gru-280a4b083b0b49989e3cc36ef493410c)|
|[Bidirectional RNN](https://texonom.com/bidirectional-rnn-4f44262a3cc3417e8b31f24040cef871)|
|[Vanilla RNN](https://texonom.com/vanilla-rnn-f4032d5ead424efaaf6e1fb210b546cf)|




> [07-1.순환 신경망(RNN, Recurrent Neural Network) - (1)](https://excelsior-cjh.tistory.com/183)




