Mekanika statistika
Perumusan modern mekanika statistik didasarkan pada deskripsi dari sistem fisik oleh sebuah ensemble yang mewakili semua konfigurasi yang mungkin dari sistem dan probabilitas untuk mewujudkan konfigurasi masing-masing.
Mekanika statistika
Postulat dasar ini dibenarkan sebagian, untuk sistem klasik, Teorema Liouville (Hamilton) menyatakan bahwa jika distribusi sistem poin melalui ruang fase diakses adalah seragam pada beberapa waktu, tetap begitu pada waktu setelahnya. Pembenaran yang serupa untuk sistem diskrit dijelaskan dalam mekanisme keseimbangan rinci.
Hal ini memungkinkan untuk mendefinisikan "fungsi informasi" (dalam konteks teori informasi):
Jika semua probabilitas (formula_9)adalah sama, I adalah maksimal, dan kita memiliki informasi yang minimal tentang sistem tersebut. Ketika informasi yang kita miliki maksimal (yaitu, satu rho sama dengan satu dan sisanya ke nol, sehingga kita mengetahui keadaan yang ada di dalam sistem), fungsi ini merupakan fungsi minimal.