Quadratische Formen von Zufallsvariablen
# Quadratische Formen von Zufallsvariablen

Eine quadratische Form von $n$ reellen Zufallsvariablen $X_{1},\dots ,X_{n}$, die eine gemeinsame Wahrscheinlichkeitsverteilung besitzen, ist eine Zufallsvariable, die sich additiv aus Summanden der Form $a_{ij}X_{i}X_{j}$ mit reellen Konstanten $a_{ij}$ für $i,j=1,\dots ,n$ zusammensetzt.

## Notation

Vektoren werden standardmäßig als Spaltenvektoren aufgefasst. Der hochgestellte Index $T$ bezeichnet die Transponierung eines Vektors oder einer Matrix. $\mathbb {R} ^{m\times n}$ bezeichnet die reellwertigen Matrizen mit $m$ Zeilen und $n$ Spalten. $\mathbf {I} _{n}$ bezeichnet die Einheitsmatrix der Ordnung $n$. Für eine quadratische Matrix $\mathbf {A} \in \mathbb {R} ^{n\times n}$ bezeichnet $\operatorname {Spur} (\mathbf {A} )$ die Spur der Matrix $\mathbf {A}$, das ist die Summe der Diagonaleinträge.

## Definition

$\mathbf {X} =(X_{1},\dots ,X_{n})^{T}$ sei ein Zufallsvektor mit Werten in $\mathbb {R} ^{n}$. $\mathbf {A} \in \mathbb {R} ^{n\times n}$ sei eine quadratische Matrix mit Elementen $a_{ij}$ für $i,j=1,\dots ,n$. Dann heißt

    $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}X_{i}X_{j}$

quadratische Form der reellen Zufallsvariablen $X_{1},\dots ,X_{n}$.

## Eigenschaften

* $\mathbf {X} ^{T}\mathbf {A} \mathbf {X}$ ist eine reelle Zufallsvariable.
* Falls $\mathbf {A}$ eine positiv semidefinite Matrix ist, gilt $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} \geq 0$.
* Es gilt $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\mathbf {X} ^{T}\mathbf {A} ^{T}\mathbf {X}$. Daher gilt auch $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\mathbf {X} ^{T}\mathbf {B} \mathbf {X}$ für die symmetrische Matrix $\mathbf {B} =(\mathbf {A} +\mathbf {A} ^{T})/2$. Für viele Eigenschaften quadratischer Formen von Zufallsvariablen stellt daher die Beschränkung auf symmetrische Matrizen $\mathbf {A}$ keine Einschränkung dar.
* Es gilt

       $\mathbf {X} ^{T}\mathbf {I} _{n}\mathbf {X} =\sum _{i=1}^{n}X_{i}^{2}\;.$

## Erwartungswert einer quadratischen Form

Satz: $\mathbf {X}$ sei ein $n$-dimensionaler Zufallsvektor mit dem Erwartungswertvektor ${\boldsymbol {\mu }}=(\mu _{1},\dots ,\mu _{n})^{T}\in \mathbb {R} ^{n}$ und der Kovarianzmatrix ${\boldsymbol {\Sigma }}\in \mathbb {R} ^{n\times n}$. Für jede Matrix $\mathbf {A} \in \mathbb {R} ^{n\times n}$ gilt

       $\mathbb {E} [\mathbf {X} ^{T}\mathbf {A} \mathbf {X} ]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})+{\boldsymbol {\mu }}^{T}{\boldsymbol {\Sigma }}{\boldsymbol {\mu }}\;.$

Diese Aussage gilt unabhängig davon, ob $\mathbf {A}$ symmetrisch ist und ob ${\boldsymbol {\Sigma }}$ invertierbar ist. Unmittelbar aus diesem Satz ergeben sich die folgenden Spezialfälle:

* Der zentrierte Zufallsvektor $\mathbf {X} -{\boldsymbol {\mu }}$ hat den Erwartungswertvektor $\mathbf {0} =(0,\dots ,0)^{T}\in \mathbb {R} ^{n}$ und dieselbe Kovarianzmatrix ${\boldsymbol {\Sigma }}$ wie der Zufallsvektor $\mathbf {X}$, so dass sich

       $\mathbb {E} [(\mathbf {X} -{\boldsymbol {\mu }})^{T}\mathbf {A} (\mathbf {X} -{\boldsymbol {\mu }})]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})$
    ergibt.
* Eine wichtiger Spezialfall ergibt sich, wenn die Kovarianzmatrix ${\boldsymbol {\Sigma }}$ invertierbar ist. Dann gilt

       $\mathbb {E} [(\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})]=n$
    wegen $\operatorname {Spur} ({\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\Sigma }})=\operatorname {Spur} (\mathbf {I_{n}} )=n$.
* Für einen Vektor $\mathbf {b} \in \mathbb {R} ^{n}$ hat der Zufallsvektor $\mathbf {X} -\mathbf {b}$ den Erwartungswertvektor ${\boldsymbol {\mu }}-\mathbf {b}$ und dieselbe Kovarianzmatrix ${\boldsymbol {\Sigma }}$ wie der Zufallsvektor $\mathbf {X}$, so dass sich

       $\mathbb {E} [(\mathbf {X} -\mathbf {b} )^{T}\mathbf {A} (\mathbf {X} -\mathbf {b} )]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})+({\boldsymbol {\mu }}-\mathbf {b} )^{T}{\boldsymbol {\Sigma }}({\boldsymbol {\mu }}-\mathbf {b} )$
    ergibt.

## Wahrscheinlichkeitsungleichungen für quadratische Formen

Satz: $\mathbf {X}$ sei ein $n$-dimensionaler Zufallsvektor mit dem Erwartungswertvektor ${\boldsymbol {\mu }}\in \mathbb {R} ^{n}$ und der Kovarianzmatrix ${\boldsymbol {\Sigma }}\in \mathbb {R} ^{n\times n}$. Es sei $\mathbf {b} \in \mathbb {R} ^{n}$ und die quadratischen reellen Matrizen $\mathbf {B} _{j}\in \mathbb {R} ^{n\times n}$ für $j=1,\dots ,m$ seien positiv semidefinit. Mit positiven Konstanten $\delta _{j}>0$ für $j=1,\dots ,m$ seien die $m$ Ereignisse

    $A_{j}:=\{(\mathbf {X} -{\boldsymbol {b}})^{T}\mathbf {B} _{j}(\mathbf {X} -{\boldsymbol {b}})\leq \delta _{j}\},\quad j=1,\dots ,m$

definiert. Dann gilt

    $P\left(\bigcap _{j=1}^{m}A_{j}\right)\geq 1-\left({\frac {\gamma _{1}}{\delta _{1}}}+\dots +{\frac {\gamma _{m}}{\delta _{m}}}\right)$

mit

    $\gamma _{j}=\operatorname {Spur} (\mathbf {B} _{j}{\boldsymbol {\Sigma }})+({\boldsymbol {\mu }}-{\boldsymbol {b}})^{T}{\boldsymbol {\mathrm {B} }}_{j}({\boldsymbol {\mu }}-{\boldsymbol {b}}),\quad j=1,\dots ,m.$

Ein wichtiger Spezialfall ergibt sich für $m=1$, ${\boldsymbol {b}}={\boldsymbol {\mu }}$,

$\mathbf {B} _{1}={\boldsymbol {\Sigma }}^{-1}$ und $\delta _{1}=\delta >0$. Dann gelten die Ungleichungen

    $P\left((\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})\leq \delta \right)\geq 1-{\frac {n}{\delta }}$

und

    $P\left((\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})>\delta \right)\leq {\frac {n}{\delta }}\;.$

Die letzte Ungleichung wurde bereits 1962 von Samuel Stanley Wilks angegeben und ist eine multivariate Verallgemeinerung der Tschebyscheffschen Ungleichung, die für eine reelle Zufallsvariable $X$ mit dem Erwartungswert $\mu$ und der Varianz $0<\sigma ^{2}<\infty$ in der Form

    $P\left({\frac {(X-\mu )^{2}}{\sigma ^{2}}}>\delta \right)\leq {\frac {1}{\delta }},\quad \delta >0$

geschrieben werden kann.

