Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Contraste de hipótesis
Mediante esta teoría, se aborda el problema estadístico considerando una hipótesis determinada formula_1 y una hipótesis alternativa formula_2, y se intenta dirimir cuál de las dos hipótesis se escogerá, tras aplicar el problema estadístico a un cierto número de experimentos.