Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Modelo probabilístico
Las asunciones o hipótesis de un modelo estadístico describen un conjunto de distribuciones de probabilidad, que son capaces de aproximar de manera adecuada un conjunto de datos. Las distribuciones de probabilidad inherentes de los modelos estadísticos son lo que distinguen a los modelos de otros modelos matemáticos deterministas.