Física matemática
La mecánica estadística constituye un campo distinto, fuertemente relacionado con la teoría ergódica y algunos aspectos de la teoría de probabilidades. La noción de entropía estadística usada en teoría de la información procede de la noción de entropía física, relacionada con las probabilidades por Ludwig Boltzmann.
Teoría
Hay dos categorías de ideas que pueden desembocar en teorías: si una suposición no es respaldada por observaciones se conoce como una conjetura, en cambio, si es así respaldada, es una hipótesis. Una hipótesis puede resultar ser falsa. Cuando esto ocurre, la hipótesis debe ser modificada para adaptarse a la observación, o ser descartada.