Historia de la estadística
El término "estadística matemática" designa las teorías matemáticas de la probabilidad e inferencia estadística, las cuales son usadas en la estadística aplicada. La relación entre estadística y probabilidades se fue desarrollando con el tiempo. En el siglo XIX, las estadísticas usaron de forma gradual la teoría de probabilidades, cuyos resultados iniciales fueron encontrados en los siglos XVII y XXI, particularmente en el análisis de los juegos de azar (apuestas). Para 1600, la astronomía usaba modelos probabilísticos y teorías estadísticas, particularmente el método de los mínimos cuadrados, el cual fue inventado por Legendre y Gauss. La incipiente teoría de las probabilidades y estadísticas fue sistematizada y extendida por Laplace; después de este, las probabilidades y estadísticas han experimentado un continuo desarrollo. En el siglo XIX, el razonamiento estadístico y los modelos probabilísticos fueron usados por las ciencias sociales para el avance las nuevas ciencias de psicología experimental y sociología, y por las ciencias físicas en termodinámica y mecánica estadística. El desarrollo del razonamiento estadístico estuvo fuertemente relacionado con el desarrollo de la lógica inductiva y el método científico.
Análisis factorial
Supóngase que un psicólogo propone una teoría según la cual hay dos tipos de inteligencia, “inteligencia verbal” e “inteligencia matemática”. Nótese que estas son inherentemente inobservables. Se busca evidencia para la teoría en las notas de los exámenes, en 10 temas académicos, a 1000 estudiantes. Si cada estudiante es seleccionado al azar de una población grande, luego, las 10 notas de cada estudiante son variables aleatorias. La teoría de los psicólogos diría que por cada una de las diez materias el promedio de todos los estudiantes que comparten un par de valores para la inteligencias verbal y matemática es constante multiplicada por el nivel de inteligencia verbal más otra constante multiplicada por el nivel de inteligencia matemática, es decir, que hay una combinación lineal de estos dos factores. Los números, para este caso particular, mediante el cual los dos tipos de inteligencia se multiplican para obtener una nota determinada, se postulan teóricamente que son similares para todos los pares obtenidos, lo mismo que el peso de los factores para este tema. Por ejemplo, la teoría podría sostener que la aptitud promedio del estudiante en la materia de anfibología es: