Interpretaciones de las probabilidades
Hay dos categorías amplias de interpretaciones de las probabilidades las cuales pueden ser llamadas probabilidades "físicas" y "evidenciales".  Algunas interpretaciones de probabilidad son asociadas con enfoques a inferencia estadística, incluyendo las teorías de estimación y pruebas de hipótesis. La interpretación física, por ejemplo, es adoptada por seguidores de los métodos estadísticos "frecuentistas", como Ronald Fisher [dubious] , Jerzy Neyman y Egon Pearson. Los estadísticos de la escuela opuesta (bayesiana) típicamente aceptan la existencia e importancia de las probabilidades físicas, así como también consideran el cálculo de probabilidades evidenciales; de acuerdo a esta escuela, ambas son válidas y necesarias en estadísticas. Este artículo, sin embargo, se enfoca en las interpretaciones de probabilidad más que en las teorías de inferencia estadística.
Teoría de la información
Existen varios tipos de fuente. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia; una fuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente. Este tipo de fuente emite mensajes que no se pueden comprimir; un mensaje, para poder ser comprimido, debe poseer un cierto grado de redundancia; la información pura no puede ser comprimida sin que haya una pérdida de conocimiento sobre el mensaje.