정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
딥 러닝
여기서, formula_2 는 학습률(learning rate)을 의미하며, formula_3는 비용함수(cost function)를 의미한다.
비용함수의 선택은 학습의 형태(지도 학습, 자율 학습 (기계 학습), 강화 학습 등)와 활성화함수(activation function)같은 요인들에 의해서 결정된다.
예를 들면, 다종 분류 문제(multiclass classification problem)에 지도 학습을 수행할 때, 일반적으로 활성화함수와 비용함수는 각각 softmax 함수와 교차 엔트로피 함수(cross entropy function)로 결정된다.
softmax 함수는 formula_4 로 정의된다, 이때, formula_5 는 클래스 확률(class probability)을 나타내며, formula_6 와 formula_7 는 각각 유닛 formula_8 로의 전체 입력(total input)과 유닛 formula_9 로의 전체 입력을 나타낸다.
교차 엔트로피는 formula_10 로 정의된다, 이때, formula_11 는 출력 유닛 formula_8 에 대한 목표 확률(target probability)을 나타내며, formula_5 는 해당 활성화함수를 적용한 이후의 formula_8 에 대한 확률 출력(probability output)이다.