Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Estadística robusta
Las estadísticas robustas intentan proporcionar métodos que emulan a los métodos clásicos, pero que no son afectados indebidamente por valores atípicos u otras pequeñas discrepancias respecto de las asunciones del modelo. En Estadística, los métodos clásicos confían en hipótesis que no se resuelven o no se verifican a menudo en la práctica. Por ejemplo, se asume a menudo que los residuales de los datos están distribuidos normalmente, por lo menos aproximadamente, o que se puede confiar en el Teorema del límite central para producir estimaciones normalmente distribuidas. Desafortunadamente, cuando hay valores atípicos en los datos, los resultados producidos por los métodos clásicos son a menudo de baja calidad.