Differentielle Entropie
# Differentielle Entropie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.

## Definition

Eine kontinuierliche Zufallsvariable $X$ kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit $P(\cdot )$ für einen bestimmten Wert $x_{0}$ gleich Null:

    $P(X=x_{0})=\lim _{\varepsilon \to 0}\varepsilon f_{X}(x_{0})=0$

Und somit der Informationsgehalt eines jeden Werts unendlich:

    $\lim _{p_{x}\to 0}I(p_{x})=-\lim _{p_{x}\to 0}\log _{2}(p_{x})=\infty$

Sei $X$ eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion $f_{X}$, dann ist ihre differentielle Entropie definiert als

    $h(X)=-\int _{-\infty }^{+\infty }f_{X}(x)\log f_{X}(x)\,{\text{d}}x=E[-\log f_{X}(x)]$

Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.

Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.

## Eigenschaften

* Die differentielle Entropie ist verschiebungsinvariant, d. h. $h(X+c)=h(X)$ für konstante $c$. Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
* Für die Skalierung gilt: $h(A{\textbf {X}})=h({\textbf {X}})+\log _{2}(|A|)$ mit dem Zufallsvektor ${\textbf {X}}\in \mathbb {R} ^{n}$ und dem Betrag der Determinante $|A|$.

## Differentielle Entropie für verschiedene Verteilungen

Für eine gegebene Varianz $\sigma _{x}^{2}$ besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).

Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.

Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie :

| Verteilung | Wahrscheinlichkeitsdichtefunktion | Differentielle Entropie (in Bit) | Träger |
| - | - | - | - |
| Gleichverteilung | $f(x)={\frac {1}{2a}}$ | $\log _{2}(2a)$ | $[-a,+a]$ |
| Normalverteilung | $f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$ | ${\frac {1}{2}}\log _{2}(2\pi e\sigma _{x}^{2})$ | $(-\infty ,\infty )$ |
| Laplace-Verteilung | $f(x)={\frac {1}{{\sqrt {2}}\sigma _{x}}}\exp \left(-{\frac {{\sqrt {2}}|x-\mu |}{\sigma _{x}}}\right)$ | ${\frac {1}{2}}\log _{2}(2e^{2}\sigma _{x}^{2})$ | $(-\infty ,\infty )$ |
| Symmetrische Dreiecksverteilung | $f(x)={\begin{cases}{\frac {1}{a}}\left(1-{\frac {|x|}{a}}\right)&\forall \;|x|\leq a\\0&\forall \;|x|>a\end{cases}}$ | ${\frac {1}{2}}\log _{2}(6e\sigma _{x}^{2})$ | $[0,1]$ |
