Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Estadística
Un objetivo común para un proyecto de investigación es investigar la causalidad, y en particular extraer una conclusión en el efecto que algunos cambios en los valores de predictores o variables independientes tienen sobre una respuesta o variables dependientes. Hay dos grandes tipos de estudios para estudiar causalidad: estudios experimentales y observacionales. En ambos tipos de estudios se observa el efecto de una o varias variables independientes en el comportamiento de una variable dependiente. La diferencia entre los dos tipos es la forma en la que el estudio es conducido. Cada uno de ellos puede ser muy efectivo y la estadística juega un papel muy importante en el análisis de la información.