Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

Multivariate Statistik: Kovarianz und Abhängigkeit

Heinrich-Heine Universität Düsseldorf

Vorlesungsaufzeichnung Kovarianz und Korrelation (VL 11)

Gemeinsame Verteilung und Bayes

Allgemeiner wird auch z.B. (X1,X3,X9)(X_1,X_3,X_9) als Marginalverteilung von XX bezeichnet, oder auch jede Verkettung von XX mit einer linearen Projektion π ⁣:Rn→Rm\pi \colon \mathbb{R}^n \to \mathbb{R}^m, nicht notwendig auf die Koordinaten(hyper)ebene(n) der Standardbasis in Rn\mathbb{R}^n.

Aussage 3 ist die Verallgemeinerung von P(A∣B)=P(A)P(A \mid B) = P(A) aus dem Kapitel Erwartungswert und Varianz: Wissen über XX verschiebt die Verteilung von YY nicht. Im stetigen Fall gilt dieselbe Äquivalenz mit Dichten, allerdings nur “fast überall” — Dichten sind ja nur bis auf Nullmengen bestimmt (siehe Stetige Verteilungen).

Um den Nenner P(B)P(B) auszurechnen, hilft oft der folgende Satz:

Im Satz von Bayes kann man den Nenner also durch P(B)=P(B∣A)P(A)+P(B∣Ac)P(Ac)P(B) = P(B|A)P(A) + P(B|A^c)P(A^c) ersetzen, wenn man nur AA und sein Gegenteil kennt.

Das wenden wir häufig so an: YY ist ‘bekannt’ und XX ist das vorläufige Modell. Dabei nennen wir Y=yY=y die Daten DD und X=xX=x die Hypothese HH.

Gegeben Daten und Hypothese erhalten wir so

Kovarianz

Vorab eine Warnung, die wir schon aus dem Kapitel Deskriptive Statistik kennen: Kovarianz und Korrelation messen einen Zusammenhang über alle Datenpunkte. Zerfallen die Daten in Gruppen, kann der Zusammenhang in jeder Gruppe das umgekehrte Vorzeichen haben, siehe das Simpson-Paradoxon. Die Zahlen in diesem Kapitel sind also erst dann aussagekräftig, wenn man weiß, dass die Stichprobe aus einer Population stammt.

Insbesondere ist V(X)=Cov⁡(X,X)\mathbb{V}(X) = \operatorname{Cov}(X,X).

Die Kovarianz hat die gleiche Krankheit wie die Varianz: sie ist skalenabhängig. Zur Heilung normiert man mit den Standardabweichungen:

Aus Symmetrie und Bilinearität folgen die Rechenregeln, die man in der Praxis ständig braucht:

Damit verhält sich die Kovarianz wie ein Skalarprodukt — allerdings nur „modulo Konstanten“, denn konstante Zufallsvariablen haben Kovarianz 0 mit allem, auch mit sich selbst. Man kann das rigoros machen, und die Kovarianz als Skalarprodukt in einem L2\mathcal{L}^2-Raum von Zufallsvariablen auffassen, in dem man zwei Zufallsvariablen identifiziert, die sich nur um eine Konstante unterscheiden. Der Korrelationskoeffizient spielt dann die Rolle des Kosinus des Winkels zwischen zwei Zufallsvariablen. Für Daten ist es wörtlich so (siehe die Bemerkung Für Daten oben); die im maschinellen Lernen verbreitete ‘cosine similarity’ ist derselbe Kosinus, nur ohne das Zentrieren.

Man kann etwas üben, in einem Scatterplot zweier Variablen den Korrelationskoeffizienten zu ‘sehen’, etwa mit dem Spiel ‘Guess the Correlation’ von Omar Wagih.

Eine Stichprobe aus einer bivariaten Normalverteilung mit den beiden Randhistogrammen.

Figure 1:Eine Stichprobe aus einer bivariaten Normalverteilung mit den beiden Randhistogrammen.

Das Bild zeigt, warum man die Korrelation nicht an den einzelnen Variablen ablesen kann. Die beiden Randhistogramme sind je eine unauffällige Glockenkurve; sie sähen genauso aus, wenn die Korrelation das umgekehrte Vorzeichen hätte oder wenn sie 0 wäre, denn die Marginalverteilungen hängen nicht von ihr ab. Sichtbar wird der Zusammenhang allein im gemeinsamen Streudiagramm, an der Schräglage der Punktwolke. Das ist dieselbe Beobachtung wie oben bei der gemeinsamen Verteilung: Aus den Einzelverteilungen lässt sich die gemeinsame nicht rekonstruieren.

Was Kovarianz und Korrelation geometrisch bedeuten, sehen wir im nächsten Kapitel an der multivariaten Normalverteilung: Dort beschreibt die Kovarianzmatrix Form und Lage der Ellipsen, die die Dichte als Höhenlinien hat.