Momentum Method


### Like Potential energy rollercoaster
GD 단점은 기울기 0인 점을 잘 탈출하지 못한다는 것 외에도 너무 훈련이 느리다는 점
가속도 붙으면 [Saddle point problem](https://texonom.com/saddle-point-problem-8ba441ca3bad46d6b0b6785305352a50) 도 일부 해결
### Momentum Methods
|Title|
|:-:|
|[Nesterov Momentum](https://texonom.com/nesterov-momentum-f5cfe69c4fdc4ca09a689f6bad2a770e)|
### momentum rate
새로운 속도는 이전 속도와의 지수평균(exponential average)를 통해 계산 α  
모멘텀 상수는 0.5 정도로 시작해서 어느 정도 감소 추세가 안정화되면 0.9로 늘려 사용



> [0021 Gradient Descent & Momentum - Deepest Documentation](https://deepestdocs.readthedocs.io/en/latest/002_deep_learning_part_1/0021/)






