Vanishing Gradient


Layer를 많이 쌓을수록 데이터 표현력이 증가하기 때문에 학습이 잘 될 것 같지만
Layer가 많아질수록 학습이 잘 되지 않는다
출력층에서 멀어질수록 Gradient 값이 매우 작아지는 현상
[Activation Function](https://texonom.com/activation-function-8e52ee5f83a244d88abeeee3fb9497a8) 의 Gradient는 Activation의 실제 값보다 훨씬 작을 때 생김 (Sigmoid도 그럼)
[Tanh Function](https://texonom.com/tanh-function-679abf35c4eb4fb0bb0e56140cac3d23) 로 완화후 [ReLU](https://texonom.com/relu-e582549804da48b893758895e446ffb9) 로 완전 해결



> [[딥러닝] 기울기 소실(Vanishing Gradient)의 의미와 해결방법](https://heytech.tistory.com/388)





