Was ist Entropie in der Mathematik?
Es gibt viele verschiedene Definitionen der Entropie in der Mathematik die alle ähnliche Grundgedanken haben. Bei ein paar von denen kenne ich keine "kanonischen" Übersetzungen aus dem Englischen.
Die wichtigsten beiden Entropien sind die maßtheoretische Entropie und die topologische Entropie. Zudem unterscheidet man noch zwischen statischer und dynamischer Entropie.
Für die maßtheoretische Entropie fängt man an mit einer maßtheoretischen Partition eines Wahrscheinlichkeitsraumes
ξ
an, dann definiert man
H
μ
(ξ):=−
∑
A∈ξ
μ(A)log(μ(A))
Da es ein Wahrscheinlichkeitsraum ist, sind die Logarithmen hier negativ. Also insgesamt ist H positiv.
Diese Definition kann man über abstrakte Eigenschaften motivieren, welche die Entropie bis auf einen konstanten Faktor eindeutig bestimmen.
Das ist die maßtheoretische statische Entropie einer Partition
ξ
mit Bezug auf das W-Maß
μ
.
Die dynamische Entropie hingegen ist für ein maßerhaltendes System
(X,A,μ,T)
definiert. Man nimmt die Idee der statischen Entropie und betrachtet die elementweisen Schnitte der Partitionen
ξ,
T
−1
ξ,...,
T
−n
ξ
.
Das erzeugt eine immer feinere Sigma-Algebra. Dann lässt sich der Grenzwert bilden und das Supremum über alle Partitionen.
Zum Ausgleich der immer größer werdenden Summe wird noch mit 1/n skaliert.
Insgesamt ergibt sich damit:
H
μ
(T)=sup{
lim
n→∞
1
n
H
μ
(
⋁
n
j=0
T
−j
ξ):ξ∈Part(X)}
Die Intuition dahinter ist der durchschnittliche Informationsgewinn von T pro Zeitschritt.
Die Idee hinter der statischen topologischen Entropie ist die Selbe. Man verfeinert den Raum immer weiter durch offene Überdeckungen und nimmt wieder eine Konstruktion mit dem Logarithmus.
Die topologische dynamische Entropie folgt dann mit der selben Konstruktion.
Es gibt einen wichtigen Satz der für kompakte metrische Räume besagt, dass die topologische Entropie gerade das Supremum über die maßtheoretischen Entropien aller T-invarianten Maße ist. Die Sigma-Algebra darauf ist natürlich die Borel-Algebra.
Es gibt auch noch Hilfsentropien wie die aufspannde-Mengen Entropie oder die separierende-Mengen Entropie. Die Grundgedanken hier sind wieder die selben und erlauben für kompakte metrische Räume starke Aussagen. In nicht-kompakten metrischen Räumen gelten viele Aussagen über Entropie nicht mehr.