Estadística matemática
La estadística matemática es la escala previa en el estudio de la estadística desde un punto de vista puramente formal, usando la teoría de la probabilidad y otras ramas de la matemática tales como álgebra lineal y análisis matemático. La estadística matemática trata de la obtención de información a partir de los datos. En la práctica tales datos contienen cierta aleatoriedad o incertidumbre. La estadística trabaja con estos datos usando los métodos de la teoría de la probabilidad.
Teoría de la información
Existen varios tipos de fuente. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia; una fuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente. Este tipo de fuente emite mensajes que no se pueden comprimir; un mensaje, para poder ser comprimido, debe poseer un cierto grado de redundancia; la información pura no puede ser comprimida sin que haya una pérdida de conocimiento sobre el mensaje.