Historia de la estadística
El término "estadística matemática" designa las teorías matemáticas de la probabilidad e inferencia estadística, las cuales son usadas en la estadística aplicada. La relación entre estadística y probabilidades se fue desarrollando con el tiempo. En el siglo XIX, las estadísticas usaron de forma gradual la teoría de probabilidades, cuyos resultados iniciales fueron encontrados en los siglos XVII y XXI, particularmente en el análisis de los juegos de azar (apuestas). Para 1600, la astronomía usaba modelos probabilísticos y teorías estadísticas, particularmente el método de los mínimos cuadrados, el cual fue inventado por Legendre y Gauss. La incipiente teoría de las probabilidades y estadísticas fue sistematizada y extendida por Laplace; después de este, las probabilidades y estadísticas han experimentado un continuo desarrollo. En el siglo XIX, el razonamiento estadístico y los modelos probabilísticos fueron usados por las ciencias sociales para el avance las nuevas ciencias de psicología experimental y sociología, y por las ciencias físicas en termodinámica y mecánica estadística. El desarrollo del razonamiento estadístico estuvo fuertemente relacionado con el desarrollo de la lógica inductiva y el método científico.
Estadística robusta
Las estadísticas robustas intentan proporcionar métodos que emulan a los métodos clásicos, pero que no son afectados indebidamente por valores atípicos u otras pequeñas discrepancias respecto de las asunciones del modelo. En Estadística, los métodos clásicos confían en hipótesis que no se resuelven o no se verifican a menudo en la práctica. Por ejemplo, se asume a menudo que los residuales de los datos están distribuidos normalmente, por lo menos aproximadamente, o que se puede confiar en el Teorema del límite central para producir estimaciones normalmente distribuidas. Desafortunadamente, cuando hay valores atípicos en los datos, los resultados producidos por los métodos clásicos son a menudo de baja calidad.