Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Teoría de la información
Existen varios tipos de fuente. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia; una fuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente. Este tipo de fuente emite mensajes que no se pueden comprimir; un mensaje, para poder ser comprimido, debe poseer un cierto grado de redundancia; la información pura no puede ser comprimida sin que haya una pérdida de conocimiento sobre el mensaje.