Historia de la estadística
El término "estadística matemática" designa las teorías matemáticas de la probabilidad e inferencia estadística, las cuales son usadas en la estadística aplicada. La relación entre estadística y probabilidades se fue desarrollando con el tiempo. En el siglo XIX, las estadísticas usaron de forma gradual la teoría de probabilidades, cuyos resultados iniciales fueron encontrados en los siglos XVII y XXI, particularmente en el análisis de los juegos de azar (apuestas). Para 1600, la astronomía usaba modelos probabilísticos y teorías estadísticas, particularmente el método de los mínimos cuadrados, el cual fue inventado por Legendre y Gauss. La incipiente teoría de las probabilidades y estadísticas fue sistematizada y extendida por Laplace; después de este, las probabilidades y estadísticas han experimentado un continuo desarrollo. En el siglo XIX, el razonamiento estadístico y los modelos probabilísticos fueron usados por las ciencias sociales para el avance las nuevas ciencias de psicología experimental y sociología, y por las ciencias físicas en termodinámica y mecánica estadística. El desarrollo del razonamiento estadístico estuvo fuertemente relacionado con el desarrollo de la lógica inductiva y el método científico.
Teoría de la probabilidad
Muchos fenómenos naturales son aleatorios, pero existen algunos como el lanzamiento de un dado, donde el fenómeno no se repite en las mismas condiciones, debido a que las características del material hace que no exista una simetría del mismo, así las repeticiones no garantizan una probabilidad definida. En los procesos reales que se modelizan mediante distribuciones de probabilidad corresponden a modelos complejos donde no se conocen "a priori" todos los parámetros que intervienen; ésta es una de las razones por las cuales la estadística, que busca determinar estos parámetros, no se reduce inmediatamente a la teoría de la probabilidad en sí.