정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
야코프 베르누이
이 책의 가장 핵심적인 부분은 제4부다. 여기서 베르누이는 비로소 확률을 처음으로 정의하는데 그 정의에 따르면, 확률이란 ‘확실성이 어느 정도인가’를 말하는 것이다. 확률과 함께 제4부에서 중심이 되는 내용은 나중에 ‘약대수의 법칙(weak law of large numbers)’이라고 불리게 되는 중요한 정리와 그 증명이다. 이 정리는 확률 이론의 역사에서 최초로 등장한 극한 정리일 뿐 아니라 수학사 전체를 통틀어 보더라도 가장 먼저 등장한 극한 이론이었다. 이 정리를 베르누이가 어떻게 제시하고 증명했는지 베르누이 자신의 글을 통해 살펴보면 그가 생각한 정리는 여러 세부적인 면에서 오늘날 교과서에서 볼 수 있는 정리와 차이가 나며, 증명 또한 오늘날의 밋밋하고 단순한 증명과는 매우 다름을 확인할 수 있을 것이다.