Física estadística
Un enfoque estadístico puede funcionar bien en sistemas clásicos cuando el número de grados de libertad (y, por lo tanto, el número de variables) es tan grande que la solución exacta no es posible o no es realmente útil. La mecánica estadística también puede describir el trabajo en dinámica no lineal, teoría del caos, física térmica, dinámica de fluidos (particularmente en números altos de Knudsen) o física de plasma.
Teoría de la información
Existen varios tipos de fuente. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia; una fuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente. Este tipo de fuente emite mensajes que no se pueden comprimir; un mensaje, para poder ser comprimido, debe poseer un cierto grado de redundancia; la información pura no puede ser comprimida sin que haya una pérdida de conocimiento sobre el mensaje.