Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Probabilidad
La mayoría de las investigaciones biomédicas utilizan muestras de probabilidad, es decir, aquellas que el investigador pueda especificar la probabilidad de cualquier elemento en la población que investiga. Las muestras de probabilidad permiten usar estadísticas inferenciales, aquellas que permiten hacer inferencias a partir de datos. Por otra parte, las muestras no probabilísticas solo permiten usarse estadísticas descriptivas, aquellas que solo permiten describir, organizar y resumir datos. Se utilizan cuatro tipos de muestras probabilísticas: muestras aleatorias simples, muestras aleatorias estratificadas, muestra por conglomerados y muestras sistemáticas.