_:nd8a55261a20342f896a3b0294a962b84xb2
<http://schema.org/text>
"안녕하세요.\r\n미니 배치 사이즈를 키우면 한번에 빠르게 학습될 것 같지만 항상 그렇지는 않습니다. 말씀하신 &quot;학습 속도&quot;가 정확히 어떤 것인지 알 수는 없지만 \r\n(1) 배치 사이즈가 너무 크면 기본적으로 메모리에 올리는 과정에서 발생하는 오버헤드로 인해 매 iteration의 동작 속도 자체가 느려질 수 있습니다. \r\n(2) 또, learning curve 상에서 볼 수 있는 전체적인 학습 속도도 감소할 수 있는데 그 이유는 배치 사이즈가 커지면 iteration 수가 감소하게 되며 가중치 업데이트 빈도가 감소하는 결과를 낳습니다. 따라서, learning rate이 적절히 조절되지 않은 상태에서 가중치가 드물게 업데이트 되면 전체적인 학습 속도도 느려질 수 있습니다. \r\n위 두 상황에 대해 아주 극단적으로 생각해서 전체 데이터를 한번에 학습하는 경우를 생각해보십시오. 더 쉽게 이해하실 수 있으시리라 생각합니다.\r\n뉴럴넷 학습 속도를 향상시키기 위한 전반적인 가이드라인을 아래와 같이 제공하고 있사오니 확인하여 주십시오.\r\nSpeed Up Deep Neural Network Training - MATLAB &amp; Simulink - MathWorks 한국\r\n\r\n또, 적절한 하이퍼파라미터를 알아내기 위해 보통 실험 설계를 많이 수행합니다. 아래 그림에서 alpha, beta 등으로로 표현되는 파라미터들을 바꿔가면서 (parameter sweeping 혹은 Bayesian optimization 을 지원합니다.) 최적의 결과를 내는 하이퍼 파라미터를 알아내는 방법입니다. 아래의 앱은 MATLAB의 Experiment Manager라는 앱이며 MATLAB 제품에 포함되어 있습니다.\r\n\r\n실험 설계 앱에 관한 설명은 아래 문서에서 확인하실 수 있습니다.\r\nDesign and run experiments by using your MATLAB code - MATLAB - MathWorks 한국\r\n실험 설계 앱에 관한 비디오 자료는 아래에서 확인할 수 있습니다.\r\nHow to Set Up and Manage Experiments in MATLAB - MATLAB (mathworks.com)\r\n\r\n마지막으로 trainingOptions가 잘 만들어진게 맞다면 현재 GPU의 점유율이 낮은 것은 모델이 너무 단순하기 때문으로 생각됩니다. "
<https://www.mathworks.com/matlabcentral/answers/2148096-deep-learning-gpu-mini-batch>