정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
과학철학
한가지 방법은 귀납법이 불확실하다는 사실을 인정하는 것이지만, 최소한, 사례가 늘면 일반 진술의 가능성도 높아진다. 따라서 닭은 아침에 다음과 같이 결론을 내릴 수 있다. 확실치는 않지만, 농부가 내일 아침에 다시 음식을 제공 할 가능성이 있다고. 그러나 주어진 증거가 일반론을 얼마나 정확한 확률로 정당화하는지는 알기 어렵다. 이러한 난관에서 벗어나는 한 가지 방법은 과학이론에 대한 모든 믿음이 주관적이거나 개인적이라고, 올바른 추론이라 함은 단지 시간이 지남에 따라 증거가 주관적인 믿음을 변화시키는 것이라고 하는 것이다.