Historia de la estadística
En el siglo XX, las ideas de Laplace fueron desarrolladas posteriormente en dos direcciones, dando origen a las corrientes "objetivas" y "subjetivas" en la páctica bayesiana. En la corriente objetiva, el análisis estadístico depende solo del modelo asumido y el dato analizado. No hay necesidad de involucrar decisiones subjetivas. En contraste, los estadísticos “subjetivos” niegan la posibilidad de un análisis completamente objetivo en el caso general.
Teoría de la información
Existen varios tipos de fuente. Para la teoría de la información interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cuál es el próximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia; una fuente no estructurada o de información pura es aquella en que todos los mensajes son absolutamente aleatorios sin relación alguna ni sentido aparente. Este tipo de fuente emite mensajes que no se pueden comprimir; un mensaje, para poder ser comprimido, debe poseer un cierto grado de redundancia; la información pura no puede ser comprimida sin que haya una pérdida de conocimiento sobre el mensaje.