Historia de la estadística
El término "estadística matemática" designa las teorías matemáticas de la probabilidad e inferencia estadística, las cuales son usadas en la estadística aplicada. La relación entre estadística y probabilidades se fue desarrollando con el tiempo. En el siglo XIX, las estadísticas usaron de forma gradual la teoría de probabilidades, cuyos resultados iniciales fueron encontrados en los siglos XVII y XXI, particularmente en el análisis de los juegos de azar (apuestas). Para 1600, la astronomía usaba modelos probabilísticos y teorías estadísticas, particularmente el método de los mínimos cuadrados, el cual fue inventado por Legendre y Gauss. La incipiente teoría de las probabilidades y estadísticas fue sistematizada y extendida por Laplace; después de este, las probabilidades y estadísticas han experimentado un continuo desarrollo. En el siglo XIX, el razonamiento estadístico y los modelos probabilísticos fueron usados por las ciencias sociales para el avance las nuevas ciencias de psicología experimental y sociología, y por las ciencias físicas en termodinámica y mecánica estadística. El desarrollo del razonamiento estadístico estuvo fuertemente relacionado con el desarrollo de la lógica inductiva y el método científico.
Teoría de campo medio
Las ideas detrás de este tipo de aproximaciones aparecieron por primera vez en trabajos de Pierre Curie y Pierre Weiss para describir transiciones de fase. Este tipo de aproximaciones se han usado en multitud de problemas más allá de la física estadística, como modelos epidémicos, teoría de colas, teoría de juegos, neurociencia o inteligencia artificial.