Regression der partiellen kleinsten Quadrate
# Regression der partiellen kleinsten Quadrate

Die Regression der partiellen kleinsten Quadrate (Partielle Kleinste-Quadrate-Regression, PLS) ist ein Regressionsmodell ähnlich der Hauptkomponentenregression und ebenfalls ein reduced-rank-regression-Modell, bei dem die Eingabe iterativ in latente Räume projiziert wird, welche möglichst korreliert mit dem Ausgaberaum sind. Aus diesen Projektionen werden mehrere hierarchisch aufgebaute lineare Regressionsmodelle aufgebaut.

## Kernidee des Algorithmus

Betrachtet man $n$ gepaarte Zufallsstichproben $({\vec {x}}_{i},{\vec {y}}_{i}),i\in {1,...,n}$. als gegeben, so sucht die Regression der partiellen kleinsten Quadrate im ersten Schritt $j=1$ die normierte Richtung ${\vec {v}}_{j}$, ${\vec {w}}_{j}$ so, dass die Korrelation maximiert wird. Es gilt: $\max _{{\vec {v}}_{j},{\vec {w}}_{j}}E_{{\vec {X}},{\vec {Y}}}[\underbrace {({\vec {v}}_{j}\cdot {\vec {X}})} _{z_{j}}\underbrace {({\vec {w}}_{j}\cdot {\vec {Y}})} _{r_{j}}]=\max _{{\vec {v}}_{j},{\vec {w}}_{j}}{\vec {v}}_{j}E_{{\vec {X}},{\vec {Y}}}[{\vec {X}}{\vec {Y}}]\cdot {\vec {w}}_{j},$ mit Korrelationsmatrix im letzten Term und $|{\vec {v}}_{j}|=1$, $|{\vec {w}}_{j}|=1$
Da die gepaarten Stichproben $({\vec {x}}_{i},{\vec {y}}_{i})$ zufällig aus der gemeinsamen Verteilung $P({\vec {X}},{\vec {Y}})$ gezogen wurden (also $({\vec {X}}_{i},{\vec {Y}}_{i})\sim P({\vec {X}},{\vec {Y}})$ gilt), kann der Erwartungswert durch den Stichprobenmittelwert geschätzt werden:
    $\max _{{\vec {v}}_{j},{\vec {w}}_{j}}{\hat {E}}_{X,Y}[\underbrace {({\vec {v}}_{j}\cdot {\vec {X}})} _{z_{j}}\underbrace {({\vec {w}}_{j}\cdot {\vec {Y}})} _{r_{j}}]=\max _{{\vec {v}}_{j},{\vec {w}}_{j}}{\frac {1}{n}}\sum _{i=1}^{n}[\underbrace {({\vec {v}}_{j}\cdot {\vec {x_{i}}})} _{z_{i,j}}\underbrace {({\vec {w}}_{j}\cdot {\vec {y_{i}}})} _{r_{i,j}}]$
* ${\vec {v}}_{j}$ ist Input-Loading-Vektor im $j$-ten Schritt
* ${\vec {w}}_{j}$ ist der Output-Loading-Vektor im $j$-ten Schritt
* die Projektion $z_{i,j}$ ist der Input-Score der Stichprobe $i$
* die Projektion $r_{i,j}$ ist der Output-Score der Stichprobe $i$
Für den $j+1$-ten Schritt werden die Daten im Eingaberaum „deflated“ (jedoch nicht im Ausgaberaum) und dann erneut Richtungen ${\vec {v}}_{j+1}$, ${\vec {w}}_{j+1}$ gesucht: ${\vec {x}}_{i}^{(j+1)}={\vec {x}}_{i}^{(j)}-({\vec {v}}_{j}{\vec {x}}_{i}^{(j)}){\vec {v}}_{j}={\vec {x}}_{i}^{(j)}-z_{i,j}{\vec {v}}_{j}$

### Matrixnotation

Dieser Algorithmus kann in Matrix-Schreibweise dargestellt werden: Dazu werden die Beobachtungen ${\vec {x}}_{1}\dots {\vec {x}}_{n}$ gesammelt in einer Matrix $X$ der Dimension $n\times f_{x}$ (mit $f_{x}$ der Zahl der Merkmale im Eingaberaum) dargestellt, sodass jede Zeile der Matrix eine Beobachtung darstellt (analog für die Beobachtungen ${\vec {y}}_{1}\dots {\vec {y}}_{n}$). Es gilt somit: $X_{\alpha ,\beta }=({\vec {x}}_{\alpha })_{\beta }.$ Für jede Beobachtung gilt nun, dass sie in der Basis der Loading-Vektoren dargestellt werden kann ${\vec {x}}_{\alpha }=\sum _{j}({\vec {x}}_{\alpha }{\vec {v}}_{j}){\vec {v}}_{j}+{\vec {\epsilon }}_{\alpha }=\sum _{j}z_{\alpha ,j}{\vec {v}}_{j}+{\vec {\epsilon }}_{\alpha }$, mit einem Restterm ${\vec {\epsilon }}_{\alpha }$. Für das Matrixelement gilt daher $X_{\alpha ,\beta }=\sum _{j}z_{\alpha ,j}({\vec {v}}_{j})_{\beta }+({\vec {\epsilon }}_{\alpha })_{\beta }=(ZV+\mathrm {E} )_{\alpha ,\beta }$, bzw. für die Matrix:
    $X=ZV+\mathrm {E}$,
    analog für $Y=RW+\Gamma$.
Manchmal wird statt der Matrix V auch mit ihrer transponierten ${\tilde {V}}=V^{T}$ gearbeitet, dann gilt:
    $X=Z{\tilde {V}}^{T}+\mathrm {E}$ und
    $Y=R{\tilde {W}}^{T}+\Gamma$

## Ergebnis

Nach Auffinden der Loading-Vektoren findet häufig eine Interpretation der Loading-Vektoren sowie der Input-Scores statt.
Im Biplot werden die Input-Scores $(z_{i,j=1},z_{i_{j}=2})$ ausgewählter PLS-Schritte dargestellt, z. B. j=1 und j=2 („Component 1“ und „Component 2“ im Bild). Dadurch entsteht eine Punkt-Wolke der Projektionen der (in höheren Schritten durch Deflation modifizierten) Eingabedaten $x_{i}$ auf die Richtungen ${\vec {v}}_{j}$. Die Pfeile im Biplot werden durch die Projektionen der künstlichen Daten ${\vec {{\hat {x}}_{1}}}={\begin{pmatrix}1\\0\\\dots \\0\end{pmatrix}}$, ${\vec {{\hat {x}}_{2}}}={\begin{pmatrix}0\\1\\\dots \\0\end{pmatrix}}\dots$ und der jeweils korrespondierenden Input-Scores $({\hat {z}}_{1,j=1}=({\vec {v}}_{1})_{1},{\hat {z}}_{1,j=2}=({\vec {v}}_{2})_{1})$ erhalten. Da diese künstlichen Daten jeweils ein Merkmal one-hot encoden, kann ihnen eindeutig ein Merkmal zugewiesen werden, welches im Biplot oft direkt an den Pfeil geschrieben wird.

## Vorteile

Im Vergleich zur Hauptkomponentenanalyse werden nicht die Richtungen maximaler Varianz im Eingaberaum gefunden, sondern die Richtungen maximaler Korrelation von Ein- und Ausgabedaten. Man könnte sonst beispielsweise x-Variablen eine hohe Gewichtung geben, die eine hohe Varianz besitzen, jedoch gar nicht mit der Zielvariablen korrelieren.