Vorlesungsaufzeichnung Wahrscheinlichkeitsmaß (VL 2, erster Teil)
Sie haben bereits in Mathematik für Informatik 3 die Grundlagen der (diskreten) Wahrscheinlichkeitstheorie kennen gelernt. Wir werden diese auch noch im für uns nötigen Umfang wiederholen. In der Vorlesung werden wir vor allem die Begrifflichkeiten der Wahrscheinlichkeitsmassefunktion (für diskrete Zufallsvariablen) und Wahrscheinlichkeitsdichtefunktion (für stetige Zufallsvariablen) verwenden, die aber beide auf dem Begriff des Wahrscheinlichkeitsmaß aufbauen. An dieser Stelle gibt es einen kleinen Exkurs, um zu erklären, warum es eigentlich genau so gemacht wird, und wie man auf den Begriff des Wahrscheinlichkeitsmaßes kommen kann. Der Begriff der Sigma-Algebra (-Algebra) und der messbaren Funktionen sind essentiell, um in der Stochastik Beweise zu führen und auch um komplexere Begriffe (wie sie etwa in der Finanzmathematik oder in der Theorie des maschinellen Lernens benötigt werden) einzuführen - wir können uns hier damit begnügen, mitzunehmen, wann wir über diese Begriffe hinweglesen können.
Man kann Stochastik als Oberbegriff für Wahrscheinlichkeitstheorie und Statistik auffassen. Die Statistik beschäftigt sich mit stochastischen Modellen, die anhand von Beobachtungen entwickelt werden, und macht Schlussfolgerungen. Die Wahrscheinlichkeitstheorie beschäftigt sich mit der Untersuchung von Modellen und der Theorie dahinter.

Figure 1:Stochastik als Oberbegriff: Die Statistik arbeitet an einem Ausschnitt der Realität, die Wahrscheinlichkeitstheorie an den Modellen.
Die beiden Pfeile in der Mitte sind die eigentliche Aussage des Bildes, und sie laufen in entgegengesetzte Richtungen. Vom Ausschnitt der Realität zu den Modellen führt die Modellbildung: Man beobachtet, sammelt Daten und stellt ein Modell auf, das dazu passt. Von den Modellen zurück zur Realität führt die Vorhersage: Man rechnet im Modell und behauptet etwas über die Welt, das sich prüfen lässt. Beide Richtungen braucht man, und dieses Buch geht sie mehrfach ab.
Wie immer in der Informatik ist ein wesentliches Ziel, mit einem Modell einen Ausschnitt der Realität zu modellieren, d.h. von diesem Ausschnitt zu abstrahieren und mit dem Modell ein Stück der Realität vorherzusagen und das Modell an der Realität zu prüfen.
Wir kennen bereits logische Modelle der Realität: Wenn es regnet, wird der Rasen nass. Wenn ich hungrig bin, und dann viel esse, bin ich danach nicht mehr hungrig.
In der Notation der Aussagenlogik schreibt sich das erste Modell als Implikation. Mit für „der Rasen ist nass“, für „es hat geregnet“ und für „jemand hat gegossen“ lautet es
oder, wie man es in einer Programmiersprache hinschreiben würde, (!N) || R || G. Das Modell ist nützlich, aber es beantwortet die Frage nicht, die uns beim Blick auf den nassen Rasen tatsächlich umtreibt: Welche der beiden Möglichkeiten war es? Regnet es hier oft? Hat überhaupt schon einmal jemand diesen Rasen gegossen? Die Aussagenlogik kann darauf nur mit „mindestens eine von beiden“ antworten.
Statistische Modelle erweitern diese Alles-oder-nichts-Logik nun um verschiedene Grade von Plausibilität: wenn der Rasen nass ist, ist es plausibel, anzunehmen, dass es vor kurzem regnete. Es ist ebenso plausibel, anzunehmen, dass jemand den Rasen gewässert hat mit einem Gartenschlauch. Was wir plausibler finden, hängt davon ab, was wir sonst über die Realität wissen. Durch längere Beobachtung des Rasens können wir feststellen, welche Gründe wie oft zu einem nassen Rasen führen, und daran unser Modell schärfen.
Um mit Plausibilität genau so rechnen zu können wie mit Boolescher Logik, und schließlich auch im Computer zu implementieren, müssen wir die Plausibilitätswerte mit Zahlen versehen. Eine geeignete Abstraktion sind reelle Zahlen, denn reelle Zahlen sind der einzige archimedisch angeordnete vollständige Körper, der die rationalen Zahlen enthält (und die darin enthaltene Unteralgebra der berechenbaren reellen Zahlen hat uns schon viele gute Dienste geleistet).
An diesem Beispiel sieht man zweierlei. Erstens rechnet man mit Plausibilitäten nicht so naiv, wie man zunächst denkt; es braucht Regeln. Zweitens sind die Zahlen 20 und 5 unhandlich, weil sie vom Beobachtungszeitraum abhängen: Bei zwei Monaten Beobachtung stünde dort 40 und 10, ohne dass sich an der Sache etwas geändert hätte.
Wir wünschen uns außerdem, dass Plausibilitätslogik mit der klassischen Logik kompatibel ist, d.h. logisch äquivalente Aussagen sollten gleich plausibel sein und verschiedene Wege, um die Plausibilität einer Aussage zu bestimmen, sollten zum gleichen Ergebnis kommen (Konsistenz). Um das in Mathematik zu formulieren, nennen wir nun eine endliche Menge von Aussagen, deren Plausibilität wir bewerten wollen, und die Zuordnung der Plausibilität ist eine Abbildung .
Zwei Regeln wollen wir auf jeden Fall haben. Die erste ist die Formel aus dem Beispiel, die sogenannte Inklusion–Exklusion: Wer zwei Möglichkeiten addiert, zählt ihre Überschneidung doppelt und muss sie einmal abziehen,
Die zweite behebt das Problem mit dem Beobachtungszeitraum. Wir normieren so, dass sich die Plausibilität einer Aussage und die ihres Gegenteils zu 1 ergänzen,
denn genau eines von beiden trifft zu. Damit liegt jede Plausibilität zwischen 0 und 1, und die absolute Länge des Beobachtungszeitraums fällt heraus: Aus 20 Regentagen von 30 wird , ob man nun einen Monat oder ein Jahr lang zählt.
Reicht das schon, um zu diesen Zahlen „Wahrscheinlichkeit“ zu sagen? Nicht ganz — aber fast.
Wenn man diese Forderungen präzisiert, kann man das Cox-Jaynes-Theorem beweisen, das besagt, dass es eine mathematische Abbildung von den reellen Zahlen in das geschlossene Intervall gibt, die Plausibilitäten auf “Wahrscheinlichkeiten” abbildet, sodass (fast) alle Regeln der klassischen Wahrscheinlichkeitstheorie erfüllt sind. So erfüllt die Regeln
und .
Wenn eine endliche Menge paarweise unvereinbarer (sich gegenseitig ausschließender) Aussagen sind, dann gilt endliche Additivität:
Wir werden uns nun der modernen Fassung des Wahrscheinlichkeitsbegriffs nähern. Dabei soll der Begriff der sigma-Algebra hier nur erwähnt werden, man darf ihn danach (für diese Vorlesung) wieder vergessen.
Exkurs (optional): Das Maßproblem¶
Bei einem Würfel oder einer Münze ist relativ klar, wie wir die Wahrscheinlichkeit modellieren und wie wir ein statistisches Modell aufstellen können, das wir auch implementieren können. In der Theorie stellt sich aber schnell die Frage, wie es z.B. mit einem unendlich oft wiederholten Experiment aussieht. Das ist keine rein theoretische Frage, denn wir sind an der Asymptotik interessiert, also wie sich ein hinreichend oft wiederholtes Experiment näherungsweise verhält.
Unendlich oft wiederholte Münzwürfe können wir wie eine unendliche Folge von 0en und 1en notieren, und bei näherer Betrachtung liefert uns das auch eine Darstellung für reelle Zahlen im Einheitsintervall , die sich im Rechner eben so gut implementieren lässt, wie der Rechner eine Turingmaschine ist (in der Realität ist das Band endlich, aber wir können es ja immer wieder verlängern - bzw. der Speicher unserer Rechner ist beschränkt aber nicht auf einen festen Wert).
Wir möchten nun gerne jedem Ergebnis (jedem Versuchsausgang beim unendlich oft wiederholten Münzwurf) eine Wahrscheinlichkeit zuordnen, sodass ist, wobei der Ergebnisraum ist. Außerdem soll für paarweise disjunkte Teilmengen die endliche Additivität gelten:
Eine weitere natürliche Forderung ist die Flip-Invarianz, also dass es für die Wahrscheinlichkeit keinen Unterschied macht, ob ich den -ten Münzwurf (das -te bit) genau umdrehe. Man kann das formalisieren über einen Operator mit
Dann erwarten wir für jede Teilmenge dass gilt.
Im Jahr 1923 hat Banach mit Hilfe des Auswahlaxioms bewiesen, dass es zwar möglich ist, nicht-konstruktiv so eine Wahrscheinlichkeit zu definieren, dass es aber nicht eindeutig möglich ist!
Wenn wir eine unserer Forderungen verschärfen, nämlich von der endlichen Additivität zur -Additivität (man sagt Sigma-Additivität oder abzählbare Additivität), hat schon 1905 Vitali bewiesen, dass es überhaupt keine solche Abbildung gibt, es also unmöglich ist, unendlichen Münzwürfen so Wahrscheinlichkeiten zuzuordnen. Woran liegt das, und was soll das mit der -Additivität?
Exkurs (optional): Offene Mengen messen¶
Eine sehr praktische Definition für jede Menge auf der es einen Abstandsbegriff gibt (genauer: ein metrischer Raum) ist diese: Eine Menge heißt offen wenn es um jeden Punkt einen Abstand gibt, sodass alle Punkte mit Abstand bereits gänzlich in liegen, also . Für sind z.B. endliche Vereinigungen von offenen Intervallen solche offenen Mengen, daher der Name.
Man kann nun zeigen, dass die klassische --Definition von Stetigkeit äquivalent ist zu: heißt stetig wenn die Urbilder offener Mengen auch offene Mengen sind.
Wenn wir auf den Zahlen im Intervall eine Gleichverteilung definieren wollen (so wie im unendlichen Münzwurf-Beispiel), oder auch gleich auf allen reellen Zahlen, dann wissen wir eigentlich schon ganz genau, wie wir mit Intervallen verfahren wollen: für ein Intervall soll die Wahrscheinlichkeit / das Maß eben sein.
Da sich jede offene Menge in als abzählbare Vereinigung von Intervallen schreiben lässt, wissen wir also, wie den offenen Mengen ein Maß zugeordnet werden kann: als abzählbare Summe über die Längen eben dieser Intervalle. Es stellt sich heraus, dass man so eine Gleichverteilung definieren kann, nur eben nicht für beliebige Teilmengen von oder einen Wahrscheinlichkeitswert bestimmen. Man sagt, es gibt nicht-messbare Mengen.
Aus dieser Beobachtung leiten wir nun die Forderung ab, dass unsere Wahrscheinlichkeit nicht nur endlich additiv sein soll, sondern -additiv. Nach dem Satz von Vitali akzeptieren wir, dass nicht jede Teilmenge von messbar ist und begnügen uns damit, eine Teilalgebra von auszuzeichnen, die messbaren Mengen.
Formalismus¶
Bisher haben wir Plausibilitäten an Aussagen geheftet: “es regnete”, “jemand hat gegossen”. Aussagen sind für die Logik der richtige Gegenstand, aber sie sind unhandlich, sobald man rechnen will — schon die Frage, wie viele verschiedene Aussagen es gibt, führt in die Irre. Der Trick der modernen Stochastik besteht darin, jede Aussage durch die Menge der Situationen zu ersetzen, in denen sie zutrifft.
Dazu denken wir uns eine Menge aller in Frage kommenden Ergebnisse — im Rasen-Beispiel etwa alle Zustände, in denen die Welt heute Morgen sein könnte. Jede Aussage über die Welt zerlegt diese Menge in zwei Teile: die Zustände, in denen sie wahr ist, und die übrigen. Die Aussage “der Rasen ist nass” wird so zur Teilmenge aller Weltzustände mit nassem Rasen, “es regnete” zu und “jemand hat gegossen” zu . Statt einer Plausibilität für die Aussage suchen wir jetzt eine Zahl für die Teilmenge.
Der Gewinn: Die logischen Verknüpfungen werden zu Mengenoperationen, die wir bereits kennen und beherrschen.
| Aussagenlogik | Mengenlogik |
|---|---|
| oder , | |
| und , | |
| nicht , |
Aus der Frage, wie plausibel “es regnete oder jemand hat gegossen” ist, wird so die Frage nach , und “es hat weder geregnet noch gegossen” ist , also das Komplement von .
Eine Teilmenge von , der wir eine Wahrscheinlichkeit zuordnen, nennen wir ein Ereignis. Nun wäre es bequem, jede Teilmenge von als Ereignis zuzulassen, und für endliches geht das auch. Im Allgemeinen — das war die Lehre aus dem Maßproblem — geht es nicht. Wir zeichnen deshalb ein System von “interessanten” Teilmengen aus und verlangen nur, dass es unter denselben Operationen abgeschlossen ist, die wir gerade übersetzt haben: Mit und sollen auch , und in liegen, und sowie ohnehin. Die Wahrscheinlichkeit ist dann eine Abbildung .
Auf mathematisch heißt so ein Mengensystem eine -Algebra — das steht dafür, dass auch abzählbar unendlich viele Vereinigungen erlaubt sind, was wir für den Grenzübergang brauchen. Damit haben wir alle Zutaten beisammen und können die Definitionen aufschreiben.
Merkregel: wenn unklar ist, was die -Algebra sein soll, ist es ; mit anderen Worten: wenn unklar ist, was eine “messbare Menge” sein soll, ist einfach nur “Menge” gemeint.
Vergleichen Sie dazu im Skript “Mathematik für Informatik” Definition 12.2.5 sowie Bemerkung 12.2.8, in der als Spezialfall und endlich angenommen werden.
Merkregel: wenn unklar ist, was die -Algebren sein sollen, stellen wir uns jede Abbildung (=Funktion) als messbar vor. Das ist strenggenommen in der Regel falsch, sobald wir uns mit stetigen Zufallsvariablen beschäftigen - und wird uns doch in der Praxis nicht stören.
Der Begriff Zufallsvariable ist sehr irreführend: es gibt hier keine Variable und keinen Zufall. Während der Begriff der messbaren Abbildung auch außerhalb der Wahrscheinlichkeitstheorie sinnvoll ist, hat der Begriff der Zufallsvariable aber eine andere typische Verwendung, andere syntaktische Gepflogenheiten. Wir dürfen uns diese begriffliche Überladung so vorstellen, wie einen API-Wrapper, der uns zusätzlichen syntaktischen Zucker gibt - eine Abbildung, die als Zufallsvariable daher kommt, lässt sich wie eine Variable einsetzen, die zufällige Werte annimmt. Wir werden diese Perspektive noch stärker nutzen und einüben.
Wir wollen uns im Folgenden nicht weiter mit der Maßtheorie beschäftigen, die einiges an Aufwand erfordert, um z.B. das allgemeine Lebesgue-Integral zu definieren. Aufgrund der Anwendungen in der Informatik, insbesondere im maschinellen Lernen wollen wir aber eins festhalten: während das Riemann-Integral durch Approximation mit Flächeninhalten von Rechtecken gebildet wird, bildet man das Lebesgue-Integral durch Approximation der Funktion selbst durch Treppenfunktionen.
Damit lassen sich sehr viele Aussagen beweisen, indem man sie für Treppenfunktionen beweist (so auch die Konstruktion des Lebesgue-Integrals). Man kann daraus auch weitreichende Universalitätsaussagen konstruieren, wenn ein Computermodell in der Lage ist, Treppenfunktionen beliebig genau zu approximieren. Damit lässt sich auch die Universalität von neuronalen Netzen einsehen; die Vorlesung Einführung in Deep Learning führt das aus (universelle Approximation).
Zuletzt soll nicht unerwähnt bleiben, dass es einen berechtigten Einwand gegenüber diesem Formalismus gibt: am Rechner lässt sich nur konstruktive Mathematik implementieren, der Satz vom ausgeschlossenen Dritten und das Auswahlaxiom sind nicht implementierbar. In dieser Logik aber (der konstruktivistischen / sogenannten intuitionistischen) lassen sich für einen metrischen Raum alle Mengen als messbar bezeichnen, weil die nicht-messbaren Teilmengen eben nicht konstruierbar sind. Damit wird manches einfacher, aber eben auch vieles unmöglich. Wir begnügen uns nun also damit, dass wir wissen, wie sich Texte lesen lassen, die den üblichen Formalismus verwenden, und außerdem eine gute Ausrede zur Hand haben, warum wir uns mit dem Formalismus nicht länger auseinander setzen werden.
Sie können also nun ein Stochastik-Buch in die Hand nehmen, dort einen Satz vorfinden “Sei X eine Menge mit einer -Algebra ...” und dabei den Teil mit der -Algebra für’s erste überlesen, da Sie in der Praxis den nicht-messbaren Mengen (also denen, die nicht Teil des Mengensystems sind, welches -Algebra genannt wird) nicht über den Weg laufen. Mit anderen Worten: stellen Sie sich in erster Näherung vor, dass “messbar” keine Einschränkung ist. Was wir aber aus diesem Kapitel mindestens mitnehmen sollten ist der Begriff der Zufallsvariable, die Rechenregeln für Wahrscheinlichkeitsmaße und das wichtige Beispiel der Gleichverteilung.
Wenn Sie sich gern im weiteren Verlauf der Vorlesung mit interaktiven Spielchen der Stochastik nähern wollen, ist Random Services genau das Richtige für Sie. Wenn Sie es lieber elegant-visuell mögen, wird Seeing Theory Sie durch den Stochastik-Teil der Vorlesung begleiten.