Multivariate Statistik: Kovarianz und Abhängigkeit Dr. Konrad Völkel
Heinrich-Heine Universität Düsseldorf
Vorlesungsaufzeichnung Kovarianz und Korrelation (VL 11)
Gemeinsame Verteilung und Bayes ¶ Wenn X , Y : Ω → R X,Y \colon \Omega \to \mathbb{R} X , Y : Ω → R zwei Zufallsvariablen mit dem selben Definitionsbereich sind, können wir die gemeinsame Verteilung bilden:
( X , Y ) : = ( X × Y ) ∘ Δ : Ω → R 2 , a ↦ ( X ( a ) , Y ( a ) ) . (X, Y) := (X \times Y) \circ \Delta \colon \Omega \to \mathbb{R}^2,\ a \mapsto (X(a),Y(a)). ( X , Y ) := ( X × Y ) ∘ Δ : Ω → R 2 , a ↦ ( X ( a ) , Y ( a )) . Dabei ist Δ : Ω → Ω × Ω \Delta \colon \Omega \to \Omega \times \Omega Δ : Ω → Ω × Ω die Diagonalabbildung a ↦ ( a , a ) a \mapsto (a,a) a ↦ ( a , a ) .
Zu einer Zufallsvariable X : Ω → R n X \colon \Omega \to \mathbb{R}^n X : Ω → R n können wir X = ( X 1 , … , X n ) X = (X_1,\dots,X_n) X = ( X 1 , … , X n ) schreiben mit X i : Ω → R X_i \colon \Omega \to \mathbb{R} X i : Ω → R gegeben als π i ∘ X \pi_i \circ X π i ∘ X , wobei π i : R n → R \pi_i \colon \mathbb{R}^n \to \mathbb{R} π i : R n → R die i i i -te Koordinatenprojektion ist.
Die Verteilungen der X i X_i X i heißen Randverteilungen oder Marginalverteilungen von X X X .
Allgemeiner wird auch z.B. ( X 1 , X 3 , X 9 ) (X_1,X_3,X_9) ( X 1 , X 3 , X 9 ) als Marginalverteilung von X X X bezeichnet,
oder auch jede Verkettung von X X X mit einer linearen Projektion π : R n → R m \pi \colon \mathbb{R}^n \to \mathbb{R}^m π : R n → R m , nicht notwendig auf die Koordinaten(hyper)ebene(n) der Standardbasis in R n \mathbb{R}^n R n .
Die Verteilung von X i X_i X i ist P ( X i ∈ A ) = P ( X ∈ π i − 1 ( A ) ) P(X_i \in A) = P(X \in \pi_i^{-1}(A)) P ( X i ∈ A ) = P ( X ∈ π i − 1 ( A )) .
Zu einer Zufallsvariable ( X , Y ) : Ω → R 2 (X,Y) \colon \Omega \to \mathbb{R}^2 ( X , Y ) : Ω → R 2 können wir die Verteilung von Y Y Y berechnen als
P ( Y ∈ A ) = ∑ x ∈ X ( Ω ) P ( ( X , Y ) ∈ { x } × A ) P(Y \in A) = \sum_{x \in X(\Omega)} P((X,Y) \in \{x\} \times A) P ( Y ∈ A ) = ∑ x ∈ X ( Ω ) P (( X , Y ) ∈ { x } × A ) im diskreten Fall (und mit einem entsprechenden Integral im stetigen Fall), wobei wir π 2 − 1 ( A ) = X ( Ω ) × A \pi_2^{-1}(A) = X(\Omega)\times A π 2 − 1 ( A ) = X ( Ω ) × A in disjunkte Teilmengen zerlegt haben.
Zu einer Zufallsvariable ( X , Y ) : Ω → R 2 (X,Y) \colon \Omega \to \mathbb{R}^2 ( X , Y ) : Ω → R 2 ist
P ( ( X , Y ) = ( x , y ) ) = P ( X = x , Y = y ) = P ( Y = y ∣ X = x ) P ( X = x ) P((X,Y) = (x,y)) = P(X = x, Y=y) = P(Y = y | X = x)P(X = x) P (( X , Y ) = ( x , y )) = P ( X = x , Y = y ) = P ( Y = y ∣ X = x ) P ( X = x ) nach Definition der bedingten Wahrscheinlichkeit.
In der Notation mit pmf schreiben wir auch
p ( x , y ) = p ( y ∣ x ) p ( x ) p(x,y) = p(y|x)p(x) p ( x , y ) = p ( y ∣ x ) p ( x ) wobei das als Definition zu verstehen ist:
p ( y ∣ x ) = p ( x , y ) p ( x ) p(y|x) = \frac{p(x,y)}{p(x)} p ( y ∣ x ) = p ( x ) p ( x , y ) Genauer schreibt man die Verteilungen mit ihren Zufallsvariablen im Index, wenn mehrere im Spiel sind:
p X , Y ( x , y ) = p Y ∣ X ( y ∣ x ) p X ( x ) , p_{X,Y}(x,y) = p_{Y|X}(y \mid x)\, p_X(x), p X , Y ( x , y ) = p Y ∣ X ( y ∣ x ) p X ( x ) , wobei p Y ∣ X ( ⋅ ∣ x ) p_{Y|X}(\cdot \mid x) p Y ∣ X ( ⋅ ∣ x ) für jedes feste x x x mit p X ( x ) > 0 p_X(x) > 0 p X ( x ) > 0 die pmf der bedingten Verteilung von Y Y Y ist (im stetigen Fall ebenso, mit Dichten statt pmf). Diese Formel heißt Produktregel ; die Summenregel ist die Bemerkung davor, das Aufsummieren über die nicht interessierende Variable.
Seien X , Y : Ω → R X, Y \colon \Omega \to \mathbb{R} X , Y : Ω → R diskrete Zufallsvariablen. Dann sind äquivalent:
X X X und Y Y Y sind unabhängig (im Sinne des Kapitels Erwartungswert und Varianz , Abschnitt Unabhängigkeit );
die gemeinsame pmf faktorisiert: p X , Y ( x , y ) = p X ( x ) p Y ( y ) p_{X,Y}(x,y) = p_X(x)\, p_Y(y) p X , Y ( x , y ) = p X ( x ) p Y ( y ) für alle x , y x,y x , y ;
bedingen ändert nichts: p Y ∣ X ( y ∣ x ) = p Y ( y ) p_{Y|X}(y \mid x) = p_Y(y) p Y ∣ X ( y ∣ x ) = p Y ( y ) für alle x x x mit p X ( x ) > 0 p_X(x) > 0 p X ( x ) > 0 und alle y y y .
Die Unabhängigkeit von X X X und Y Y Y bedeutet P ( X = x , Y = y ) = P ( X = x ) P ( Y = y ) P(X = x, Y = y) = P(X = x)\,P(Y = y) P ( X = x , Y = y ) = P ( X = x ) P ( Y = y ) für alle x , y x,y x , y , und das ist wörtlich Aussage 2. Für die Äquivalenz von 2 und 3 setzen wir die Definition p Y ∣ X ( y ∣ x ) = p X , Y ( x , y ) p X ( x ) p_{Y|X}(y \mid x) = \frac{p_{X,Y}(x,y)}{p_X(x)} p Y ∣ X ( y ∣ x ) = p X ( x ) p X , Y ( x , y ) ein: Gilt 2, so kürzt sich p X ( x ) > 0 p_X(x) > 0 p X ( x ) > 0 heraus und es bleibt p Y ∣ X ( y ∣ x ) = p Y ( y ) p_{Y|X}(y\mid x) = p_Y(y) p Y ∣ X ( y ∣ x ) = p Y ( y ) . Gilt umgekehrt 3, so ist p X , Y ( x , y ) = p Y ∣ X ( y ∣ x ) p X ( x ) = p Y ( y ) p X ( x ) p_{X,Y}(x,y) = p_{Y|X}(y\mid x)\,p_X(x) = p_Y(y)\,p_X(x) p X , Y ( x , y ) = p Y ∣ X ( y ∣ x ) p X ( x ) = p Y ( y ) p X ( x ) für alle x x x mit p X ( x ) > 0 p_X(x) > 0 p X ( x ) > 0 ; für x x x mit p X ( x ) = 0 p_X(x) = 0 p X ( x ) = 0 sind beide Seiten 0.
Aussage 3 ist die Verallgemeinerung von P ( A ∣ B ) = P ( A ) P(A \mid B) = P(A) P ( A ∣ B ) = P ( A ) aus dem Kapitel Erwartungswert und Varianz : Wissen über X X X verschiebt die Verteilung von Y Y Y nicht. Im stetigen Fall gilt dieselbe Äquivalenz mit Dichten, allerdings nur “fast überall” — Dichten sind ja nur bis auf Nullmengen bestimmt (siehe Stetige Verteilungen ).
Warum die Basisrate zählt. Ein Test erkennt eine seltene Krankheit zuverlässig: 99 % 99\,\% 99 % der Kranken werden erkannt, und nur 1 % 1\,\% 1 % der Gesunden bekommen fälschlich ein positives Ergebnis. Trotzdem ist bei einem positiven Test die Wahrscheinlichkeit, tatsächlich krank zu sein, klein. Der Grund ist die Basisrate P ( A ) P(A) P ( A ) : Ist nur einer von tausend krank, so kommen auf einen richtig erkannten Kranken etwa zehn fälschlich positive Gesunde — die kleine Fehlerrate von 1 % 1\,\% 1 % wirkt auf eine tausendmal größere Gruppe. In der Sprache der Konfusionsmatrix aus dem Kapitel Titanic EDA : Der Test ist ein Klassifikator, die 99 % 99\,\% 99 % sind sein Recall (die Sensitivität ), das 1 % 1\,\% 1 % seine Falsch-Positiv-Rate, und gesucht ist seine Precision, der Anteil der Kranken unter den positiv Getesteten. Mit A A A = „krank“ und B B B = „Test positiv“ rechnet der Satz von Bayes genau diese Gewichtung aus:
P ( A ∣ B ) = 0 , 99 ⋅ 0 , 001 0 , 99 ⋅ 0 , 001 + 0 , 01 ⋅ 0 , 999 = 0 , 00099 0 , 00099 + 0 , 00999 ≈ 0 , 09. P(A|B) = \dfrac{0{,}99 \cdot 0{,}001}{0{,}99 \cdot 0{,}001 + 0{,}01 \cdot 0{,}999} = \dfrac{0{,}00099}{0{,}00099 + 0{,}00999} \approx 0{,}09. P ( A ∣ B ) = 0 , 99 ⋅ 0 , 001 + 0 , 01 ⋅ 0 , 999 0 , 99 ⋅ 0 , 001 = 0 , 00099 + 0 , 00999 0 , 00099 ≈ 0 , 09. P ( A ∣ B ) P(A|B) P ( A ∣ B ) ist eben nicht P ( B ∣ A ) P(B|A) P ( B ∣ A ) , sondern P ( B ∣ A ) P(B|A) P ( B ∣ A ) mal das Verhältnis P ( A ) / P ( B ) P(A)/P(B) P ( A ) / P ( B ) , und P ( B ) P(B) P ( B ) wird von der großen Gruppe der Gesunden dominiert. Wer die beiden bedingten Wahrscheinlichkeiten verwechselt, begeht den Basisratenfehler — der ist so häufig, dass er einen eigenen Namen hat. Bei der Titanic-Regel „Frauen überleben“ lagen Recall 0 , 68 0{,}68 0 , 68 und Precision 0 , 74 0{,}74 0 , 74 nahe beieinander, weil Überlebende und Frauen ähnlich häufig sind; hier liegt zwischen 0 , 99 0{,}99 0 , 99 und 0 , 09 0{,}09 0 , 09 eine Basisrate von einem Promille. (Woher der Nenner kommt, klärt der Satz von der totalen Wahrscheinlichkeit unten.)
Um den Nenner P ( B ) P(B) P ( B ) auszurechnen, hilft oft der folgende Satz:
Die Mengen B ∩ A i B \cap A_i B ∩ A i sind paarweise disjunkt und ihre Vereinigung ist B B B , also ist P ( B ) = ∑ i P ( B ∩ A i ) P(B) = \sum_i P(B \cap A_i) P ( B ) = ∑ i P ( B ∩ A i ) (endliche Additivität), und nach Definition der bedingten Wahrscheinlichkeit ist P ( B ∩ A i ) = P ( B ∣ A i ) P ( A i ) P(B \cap A_i) = P(B|A_i)\,P(A_i) P ( B ∩ A i ) = P ( B ∣ A i ) P ( A i ) .
Im Satz von Bayes kann man den Nenner also durch P ( B ) = P ( B ∣ A ) P ( A ) + P ( B ∣ A c ) P ( A c ) P(B) = P(B|A)P(A) + P(B|A^c)P(A^c) P ( B ) = P ( B ∣ A ) P ( A ) + P ( B ∣ A c ) P ( A c ) ersetzen, wenn man nur A A A und sein Gegenteil kennt.
von Bayes, Fassung 2:
Gegeben zwei Zufallsvariablen X , Y : Ω → R n X,Y \colon \Omega \to \mathbb{R}^n X , Y : Ω → R n ist
P ( X = x ∣ Y = y ) = P ( Y = y ∣ X = x ) P ( X = x ) P ( Y = y ) . P(X=x | Y=y) = \dfrac{ P(Y=y|X=x)P(X=x) }{P(Y=y)}. P ( X = x ∣ Y = y ) = P ( Y = y ) P ( Y = y ∣ X = x ) P ( X = x ) . Das wenden wir häufig so an: Y Y Y ist ‘bekannt’ und X X X ist das vorläufige Modell.
Dabei nennen wir Y = y Y=y Y = y die Daten D D D und X = x X=x X = x die Hypothese H H H .
Gegeben Daten und Hypothese erhalten wir so
von Bayes, Fassung 3:
P ( H ∣ D ) = P ( D ∣ H ) P ( H ) P ( D ) P(H|D) = \dfrac{ P(D|H) P(H) }{ P(D) } P ( H ∣ D ) = P ( D ) P ( D ∣ H ) P ( H ) Dabei heißt P ( H ) P(H) P ( H ) der Prior (die a priori Wahrscheinlichkeit der Hypothese),
P ( D ) P(D) P ( D ) die Evidenz , P ( D ∣ H ) P(D|H) P ( D ∣ H ) die Likelihood und P ( H ∣ D ) P(H|D) P ( H ∣ D ) der Posterior (die a posteriori Wahrscheinlichkeit der Hypothese). Man merkt sich: Die Likelihood beantwortet die Frage ‘Wie wahrscheinlich sind die Daten, wenn die Hypothese wahr wäre?’.
Im Gegensatz zu P ( H ) P(H) P ( H ) ist die Likelihood P ( D ∣ H ) P(D|H) P ( D ∣ H ) zumindest im Prinzip berechenbar.
Wie man eine Likelihood ausrechnet. Bisher waren H H H und D D D Ereignisse mit endlich vielen Ausgängen. In der Praxis ist die Hypothese meist eine ganze Verteilung. Nehmen wir an, wir haben n n n Messwerte D = ( x 1 , … , x n ) D = (x_1,\dots,x_n) D = ( x 1 , … , x n ) und rechnen mit Normalverteilungen: Die Hypothese H H H lautet, dass die Daten aus einer N ( μ , σ 2 ) \mathcal{N}(\mu,\sigma^2) N ( μ , σ 2 ) mit μ = 0 \mu = 0 μ = 0 und σ = 2 \sigma = 2 σ = 2 stammen. Die Likelihood P ( D ∣ H ) P(D \mid H) P ( D ∣ H ) ist dann die Wahrscheinlichkeit(sdichte), genau diese n n n Werte zu sehen, wenn die Hypothese stimmt — und weil die Messungen unabhängig sein sollen, faktorisiert die gemeinsame Dichte nach der Proposition oben in ein Produkt:
P ( D ∣ H ) = ∏ i = 1 n p μ , σ ( x i ) = ∏ i = 1 n 1 2 π σ exp ( − ( x i − μ ) 2 2 σ 2 ) mit μ = 0 , σ = 2. P(D \mid H) = \prod_{i=1}^n p_{\mu,\sigma}(x_i) = \prod_{i=1}^n \dfrac{1}{\sqrt{2\pi}\,\sigma} \exp\left( -\dfrac{(x_i - \mu)^2}{2\sigma^2} \right) \quad \text{mit } \mu = 0,\ \sigma = 2. P ( D ∣ H ) = i = 1 ∏ n p μ , σ ( x i ) = i = 1 ∏ n 2 π σ 1 exp ( − 2 σ 2 ( x i − μ ) 2 ) mit μ = 0 , σ = 2. Drei Rollen sind dabei sauber zu trennen: die datenerzeugende Verteilung , die es in der Welt gibt und die wir nicht kennen; die beobachteten Daten D D D , die wir haben; und die Modellverteilung , die wir zur Hypothese erklären. Die Likelihood vergleicht die zweite mit der dritten. Lässt man μ \mu μ und σ \sigma σ variieren, statt sie festzuhalten, wird aus der Zahl eine Funktion L ( μ , σ ) : = ∏ i = 1 n p μ , σ ( x i ) L(\mu,\sigma) := \prod_{i=1}^n p_{\mu,\sigma}(x_i) L ( μ , σ ) := ∏ i = 1 n p μ , σ ( x i ) , und die Parameter zu suchen, die sie maximieren, ist das Maximum-Likelihood-Prinzip — siehe Statistische Modelle und Schätzer , wo aus dem Produkt durch Logarithmieren eine Summe wird.
von Bayes, Fassung 4:
Posterior = Likelihood ⋅ Prior Evidenz . \text{Posterior} = \dfrac{ \text{Likelihood} \cdot \text{Prior} }{ \text{Evidenz} }. Posterior = Evidenz Likelihood ⋅ Prior . Bayessches Updaten. Der Posterior von heute ist der Prior von morgen. Im Krankheitstest-Beispiel war die Wahrscheinlichkeit, nach einem positiven Test krank zu sein, etwa 0 , 09 0{,}09 0 , 09 . Wird der Test ein zweites Mal gemacht, unabhängig vom ersten, so ist 0 , 09 0{,}09 0 , 09 jetzt der Prior P ( H ) P(H) P ( H ) , die Likelihood eines positiven Ergebnisses bleibt 0 , 99 0{,}99 0 , 99 bei Kranken und 0 , 01 0{,}01 0 , 01 bei Gesunden, und die Evidenz rechnet man wieder mit der totalen Wahrscheinlichkeit aus:
P ( H ∣ D ) = 0 , 99 ⋅ 0 , 09 0 , 99 ⋅ 0 , 09 + 0 , 01 ⋅ 0 , 91 ≈ 0 , 91. P(H|D) = \dfrac{0{,}99 \cdot 0{,}09}{0{,}99 \cdot 0{,}09 + 0{,}01 \cdot 0{,}91} \approx 0{,}91. P ( H ∣ D ) = 0 , 99 ⋅ 0 , 09 + 0 , 01 ⋅ 0 , 91 0 , 99 ⋅ 0 , 09 ≈ 0 , 91. Zwei positive Tests hintereinander machen aus einem Promille erst neun Prozent und dann einundneunzig. Jede neue Beobachtung schiebt den Posterior weiter, und das Ergebnis hängt vom ersten Prior ab: Wer mit P ( H ) = 0 , 001 P(H) = 0{,}001 P ( H ) = 0 , 001 startet, braucht zwei Tests, wer mit 0 , 5 0{,}5 0 , 5 startet (etwa, weil schon Symptome vorliegen), ist nach einem Test bei 0 , 99 0{,}99 0 , 99 . Diesen Prozess nennt man Bayessches Updaten ; das Kapitel Statistische Modelle macht aus der Likelihood ein allgemeines Schätzverfahren.
Kovarianz ¶ Vorab eine Warnung, die wir schon aus dem Kapitel Deskriptive Statistik kennen: Kovarianz und Korrelation messen einen Zusammenhang über alle Datenpunkte. Zerfallen die Daten in Gruppen, kann der Zusammenhang in jeder Gruppe das umgekehrte Vorzeichen haben, siehe das Simpson-Paradoxon . Die Zahlen in diesem Kapitel sind also erst dann aussagekräftig, wenn man weiß, dass die Stichprobe aus einer Population stammt.
Gegeben zwei Zufallsvariablen X , Y : Ω → R X,Y \colon \Omega \to \mathbb{R} X , Y : Ω → R ist die Kovarianz
definiert als
Cov ( X , Y ) : = E ( ( X − E X ) ( Y − E Y ) ) . \operatorname{Cov}(X,Y) := \mathbb{E}\left( \left( X - \mathbb{E}X \right) \left( Y - \mathbb{E}Y \right) \right). Cov ( X , Y ) := E ( ( X − E X ) ( Y − E Y ) ) . Insbesondere ist V ( X ) = Cov ( X , X ) \mathbb{V}(X) = \operatorname{Cov}(X,X) V ( X ) = Cov ( X , X ) .
Die Kovarianz hat die gleiche Krankheit wie die Varianz: sie ist skalenabhängig. Zur Heilung normiert man mit den Standardabweichungen:
Der (Pearsonsche) Korrelationskoeffizient ist
ρ ( X , Y ) : = Cov ( X , Y ) σ ( X ) σ ( Y ) . \rho(X,Y) := \dfrac{\operatorname{Cov}(X,Y)}{\sigma(X)\sigma(Y)}. ρ ( X , Y ) := σ ( X ) σ ( Y ) Cov ( X , Y ) . Klar: ρ ( X , Y ) = 0 \rho(X,Y)=0 ρ ( X , Y ) = 0 genau dann wenn Cov ( X , Y ) = 0 \operatorname{Cov}(X,Y)=0 Cov ( X , Y ) = 0 .
Man sagt, X X X und Y Y Y sind positiv korreliert , wenn ρ ( X , Y ) > 0 \rho(X,Y) > 0 ρ ( X , Y ) > 0 ist,
negativ korreliert (oder antikorreliert), wenn ρ ( X , Y ) < 0 \rho(X,Y) < 0 ρ ( X , Y ) < 0 ist,
und unkorreliert , wenn ρ ( X , Y ) = 0 \rho(X,Y)=0 ρ ( X , Y ) = 0 ist.
Für Daten. Liegen x , y ∈ R n x, y \in \mathbb{R}^n x , y ∈ R n als zwei Spalten einer Tabelle vor, so ersetzt man in den Definitionen den Erwartungswert durch den Mittelwert und erhält die empirische Kovarianz und den empirischen Korrelationskoeffizienten
Cov ( x , y ) : = 1 n ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) = 1 n x ~ ⋅ y ~ , r : = Cov ( x , y ) σ ( x ) σ ( y ) = x ~ ⋅ y ~ ∥ x ~ ∥ ∥ y ~ ∥ , \operatorname{Cov}(x,y) := \frac{1}{n} \sum_{i=1}^n (x_i - \bar x)(y_i - \bar y) = \frac{1}{n}\, \tilde x \cdot \tilde y, \qquad r := \frac{\operatorname{Cov}(x,y)}{\sigma(x)\,\sigma(y)} = \frac{\tilde x \cdot \tilde y}{\lVert \tilde x \rVert \, \lVert \tilde y \rVert}, Cov ( x , y ) := n 1 i = 1 ∑ n ( x i − x ˉ ) ( y i − y ˉ ) = n 1 x ~ ⋅ y ~ , r := σ ( x ) σ ( y ) Cov ( x , y ) = ∥ x ~ ∥ ∥ y ~ ∥ x ~ ⋅ y ~ , mit den zentrierten Vektoren x ~ , y ~ \tilde x, \tilde y x ~ , y ~ aus dem Kapitel Erwartungswert und Varianz . Der Korrelationskoeffizient von Daten ist also wörtlich der Kosinus des Winkels zwischen den zentrierten Spalten. Das ist die Zahl, die np.corrcoef(x, y)[0, 1] im Kapitel Titanic EDA ausgibt; np.cov(x, y, ddof=0) liefert die Kovarianzmatrix in der n n n -Version (ohne ddof=0 teilt Numpy hier, anders als bei np.var, durch n − 1 n-1 n − 1 ). Für die Iris-Aufgabe aus dem Kapitel Deskriptive Statistik rechnet man einmal über alle Zeilen und einmal je Spezies:
x = datasets.load_iris().data; y = datasets.load_iris().target
print(np.corrcoef(x[:, 0], x[:, 1])[0, 1]) # -0.118
for s in range(3):
print(s, np.corrcoef(x[y == s, 0], x[y == s, 1])[0, 1]) # 0.743, 0.526, 0.457Die Kovarianz ist symmetrisch: Cov ( X , Y ) = Cov ( Y , X ) \operatorname{Cov}(X,Y) = \operatorname{Cov}(Y,X) Cov ( X , Y ) = Cov ( Y , X )
Die Kovarianz ist bilinear: Cov ( a X + b Y , Z ) = a Cov ( X , Z ) + b Cov ( Y , Z ) \operatorname{Cov}(aX+bY, Z) = a\operatorname{Cov}(X,Z) + b\operatorname{Cov}(Y,Z) Cov ( a X + bY , Z ) = a Cov ( X , Z ) + b Cov ( Y , Z ) für a , b ∈ R a,b \in \mathbb{R} a , b ∈ R .
Die Kovarianz ist positiv (semi)definit: Cov ( X , X ) = V ( X ) ≥ 0 \operatorname{Cov}(X,X) = \mathbb{V}(X) \geq 0 Cov ( X , X ) = V ( X ) ≥ 0 , und Cov ( X , X ) = 0 \operatorname{Cov}(X,X) = 0 Cov ( X , X ) = 0 gilt genau dann, wenn X X X fast sicher konstant ist.
Symmetrie und Semidefinitheit liest man direkt an der Definition ab (Cov ( X , X ) = E ( ( X − E X ) 2 ) ≥ 0 \operatorname{Cov}(X,X) = \mathbb{E}((X-\mathbb{E}X)^2) \geq 0 Cov ( X , X ) = E (( X − E X ) 2 ) ≥ 0 ). Für die Bilinearität ist a X + b Y − E ( a X + b Y ) = a ( X − E X ) + b ( Y − E Y ) aX + bY - \mathbb{E}(aX+bY) = a(X - \mathbb{E}X) + b(Y - \mathbb{E}Y) a X + bY − E ( a X + bY ) = a ( X − E X ) + b ( Y − E Y ) nach der Linearität des Erwartungswerts; Ausmultiplizieren mit ( Z − E Z ) (Z - \mathbb{E}Z) ( Z − E Z ) und nochmals Linearität liefern die Behauptung. Für den Gleichheitsfall: E ( ( X − E X ) 2 ) = 0 \mathbb{E}((X-\mathbb{E}X)^2) = 0 E (( X − E X ) 2 ) = 0 bedeutet, dass die nichtnegative Zufallsvariable ( X − E X ) 2 (X-\mathbb{E}X)^2 ( X − E X ) 2 Erwartungswert 0 hat, also fast sicher 0 ist.
Aus Symmetrie und Bilinearität folgen die Rechenregeln, die man in der Praxis ständig braucht:
Rechenregeln der Kovarianz. Für Zufallsvariablen X , Y X, Y X , Y und eine Konstante β ∈ R \beta \in \mathbb{R} β ∈ R gilt
V ( X + Y ) = V ( X ) + V ( Y ) + 2 Cov ( X , Y ) \mathbb{V}(X+Y) = \mathbb{V}(X) + \mathbb{V}(Y) + 2\operatorname{Cov}(X,Y) V ( X + Y ) = V ( X ) + V ( Y ) + 2 Cov ( X , Y ) ,
Cov ( X , β ) = 0 \operatorname{Cov}(X, \beta) = 0 Cov ( X , β ) = 0 ,
Cov ( X + β , Y ) = Cov ( X , Y ) \operatorname{Cov}(X+\beta, Y) = \operatorname{Cov}(X,Y) Cov ( X + β , Y ) = Cov ( X , Y ) ,
Cov ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) \operatorname{Cov}(X,Y) = \mathbb{E}(XY) - \mathbb{E}(X)\,\mathbb{E}(Y) Cov ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) .
(1) V ( X + Y ) = Cov ( X + Y , X + Y ) = Cov ( X , X ) + Cov ( X , Y ) + Cov ( Y , X ) + Cov ( Y , Y ) \mathbb{V}(X+Y) = \operatorname{Cov}(X+Y, X+Y) = \operatorname{Cov}(X,X) + \operatorname{Cov}(X,Y) + \operatorname{Cov}(Y,X) + \operatorname{Cov}(Y,Y) V ( X + Y ) = Cov ( X + Y , X + Y ) = Cov ( X , X ) + Cov ( X , Y ) + Cov ( Y , X ) + Cov ( Y , Y ) nach Bilinearität, und die beiden mittleren Terme sind nach Symmetrie gleich.
(2) Die konstante Zufallsvariable β \beta β hat Erwartungswert β \beta β , also ist β − E β = 0 \beta - \mathbb{E}\beta = 0 β − E β = 0 und Cov ( X , β ) = E ( ( X − E X ) ⋅ 0 ) = 0 \operatorname{Cov}(X,\beta) = \mathbb{E}((X - \mathbb{E}X) \cdot 0) = 0 Cov ( X , β ) = E (( X − E X ) ⋅ 0 ) = 0 .
(3) Bilinearität und (2): Cov ( X + β , Y ) = Cov ( X , Y ) + Cov ( β , Y ) = Cov ( X , Y ) \operatorname{Cov}(X+\beta, Y) = \operatorname{Cov}(X,Y) + \operatorname{Cov}(\beta, Y) = \operatorname{Cov}(X,Y) Cov ( X + β , Y ) = Cov ( X , Y ) + Cov ( β , Y ) = Cov ( X , Y ) .
(4) Ausmultiplizieren der Definition und Linearität des Erwartungswerts:
E ( X Y − X E Y − Y E X + E X E Y ) = E ( X Y ) − 2 E X E Y + E X E Y = E ( X Y ) − E X E Y . \mathbb{E}\big(XY - X\,\mathbb{E}Y - Y\,\mathbb{E}X + \mathbb{E}X\,\mathbb{E}Y\big) = \mathbb{E}(XY) - 2\,\mathbb{E}X\,\mathbb{E}Y + \mathbb{E}X\,\mathbb{E}Y = \mathbb{E}(XY) - \mathbb{E}X\,\mathbb{E}Y. E ( X Y − X E Y − Y E X + E X E Y ) = E ( X Y ) − 2 E X E Y + E X E Y = E ( X Y ) − E X E Y . Regel (4) ist das Gegenstück zur Formel V ( X ) = E ( X 2 ) − ( E X ) 2 \mathbb{V}(X) = \mathbb{E}(X^2) - (\mathbb{E}X)^2 V ( X ) = E ( X 2 ) − ( E X ) 2 aus dem Kapitel Erwartungswert und Varianz ; für X = Y X = Y X = Y fallen beide zusammen. Aus (1) folgt außerdem V ( X 1 + ⋯ + X n ) = ∑ i V ( X i ) \mathbb{V}(X_1 + \dots + X_n) = \sum_i \mathbb{V}(X_i) V ( X 1 + ⋯ + X n ) = ∑ i V ( X i ) , sobald die X i X_i X i paarweise unkorreliert sind.
Unabhängige Zufallsvariablen sind unkorreliert. Sind X X X und Y Y Y unabhängig (im Sinne des Kapitels Erwartungswert und Varianz , Abschnitt Unabhängigkeit) und haben sie endliche Varianz, so gilt E ( X Y ) = E ( X ) E ( Y ) \mathbb{E}(XY) = \mathbb{E}(X)\,\mathbb{E}(Y) E ( X Y ) = E ( X ) E ( Y ) und damit Cov ( X , Y ) = 0 \operatorname{Cov}(X,Y) = 0 Cov ( X , Y ) = 0 .
Im diskreten Fall ist die gemeinsame pmf wegen der Unabhängigkeit ein Produkt, p ( x , y ) = p X ( x ) p Y ( y ) p(x,y) = p_X(x)\,p_Y(y) p ( x , y ) = p X ( x ) p Y ( y ) , und die Doppelsumme zerfällt:
E ( X Y ) = ∑ x ∑ y x y p X ( x ) p Y ( y ) = ( ∑ x x p X ( x ) ) ( ∑ y y p Y ( y ) ) = E ( X ) E ( Y ) . \mathbb{E}(XY) = \sum_{x}\sum_{y} x\,y\,p_X(x)\,p_Y(y) = \Big(\sum_x x\,p_X(x)\Big)\Big(\sum_y y\,p_Y(y)\Big) = \mathbb{E}(X)\,\mathbb{E}(Y). E ( X Y ) = x ∑ y ∑ x y p X ( x ) p Y ( y ) = ( x ∑ x p X ( x ) ) ( y ∑ y p Y ( y ) ) = E ( X ) E ( Y ) . Im stetigen Fall ersetzt man die Summen durch Integrale über die gemeinsame Dichte p ( x , y ) = p X ( x ) p Y ( y ) p(x,y) = p_X(x)\,p_Y(y) p ( x , y ) = p X ( x ) p Y ( y ) (gemeinsame Dichten führen wir im nächsten Kapitel ein); die Rechnung ist dieselbe. Mit Regel (4) folgt Cov ( X , Y ) = E ( X Y ) − E X E Y = 0 \operatorname{Cov}(X,Y) = \mathbb{E}(XY) - \mathbb{E}X\,\mathbb{E}Y = 0 Cov ( X , Y ) = E ( X Y ) − E X E Y = 0 .
Die Umkehrung gilt nicht: Unkorrelierte Zufallsvariablen können abhängig sein. Ein Beispiel ist X X X gleichverteilt auf [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] und Y = X 2 Y = X^2 Y = X 2 : Dann ist E ( X Y ) = E ( X 3 ) = 0 = E X E Y \mathbb{E}(XY) = \mathbb{E}(X^3) = 0 = \mathbb{E}X\,\mathbb{E}Y E ( X Y ) = E ( X 3 ) = 0 = E X E Y , also Cov ( X , Y ) = 0 \operatorname{Cov}(X,Y) = 0 Cov ( X , Y ) = 0 , aber Y Y Y ist eine Funktion von X X X . Die Kovarianz misst nur lineare Zusammenhänge. Für gemeinsam normalverteilte ( X , Y ) (X,Y) ( X , Y ) gilt die Umkehrung dagegen doch, wie wir im nächsten Kapitel sehen.
Damit verhält sich die Kovarianz wie ein Skalarprodukt — allerdings nur „modulo Konstanten“, denn konstante Zufallsvariablen haben Kovarianz 0 mit allem, auch mit sich selbst. Man kann das rigoros machen, und die Kovarianz als Skalarprodukt in einem L 2 \mathcal{L}^2 L 2 -Raum von Zufallsvariablen auffassen, in dem man zwei Zufallsvariablen identifiziert, die sich nur um eine Konstante unterscheiden. Der Korrelationskoeffizient spielt dann die Rolle des Kosinus des Winkels zwischen zwei Zufallsvariablen. Für Daten ist es wörtlich so (siehe die Bemerkung Für Daten oben); die im maschinellen Lernen verbreitete ‘cosine similarity’ ist derselbe Kosinus, nur ohne das Zentrieren.
Man kann etwas üben, in einem Scatterplot zweier Variablen den Korrelationskoeffizienten zu ‘sehen’,
etwa mit dem Spiel ‘Guess the Correlation’ von Omar Wagih .
Figure 1: Eine Stichprobe aus einer bivariaten Normalverteilung mit den beiden Randhistogrammen.
Das Bild zeigt, warum man die Korrelation nicht an den einzelnen Variablen ablesen kann. Die beiden Randhistogramme sind je eine unauffällige Glockenkurve; sie sähen genauso aus, wenn die Korrelation das umgekehrte Vorzeichen hätte oder wenn sie 0 wäre, denn die Marginalverteilungen hängen nicht von ihr ab. Sichtbar wird der Zusammenhang allein im gemeinsamen Streudiagramm, an der Schräglage der Punktwolke. Das ist dieselbe Beobachtung wie oben bei der gemeinsamen Verteilung: Aus den Einzelverteilungen lässt sich die gemeinsame nicht rekonstruieren.
Was Kovarianz und Korrelation geometrisch bedeuten, sehen wir im nächsten Kapitel an der multivariaten Normalverteilung: Dort beschreibt die Kovarianzmatrix Form und Lage der Ellipsen, die die Dichte als Höhenlinien hat.