Betrachten wir eine Folge von Bernoulli-verteilten Zufallsvariablen Xi mit gleichem Parameter p und Sn:=∑i=1nXi die Summe über die ersten n davon, so wissen wir aus dem Kapitel Wichtigste diskrete Verteilungen bereits, dass Sn∼Bin(n,p), also dass diese Summe binomialverteilt ist. Erinnerung: Das bedeutet, die pmf von Sn ist p(k)=(kn)pk(1−p)n−k.
Für die konkreten Werte n=100,p=0.4 sieht ein Histogramm von 100000 Samples etwa so aus:
import numpy as np
from scipy.stats import binom, norm
from matplotlib import pyplot as plt
np.random.seed(123123)
binom_samples = binom.rvs(n=100,
p=0.4,
size=100000)
plt.hist(binom_samples, bins=40, density=True)
plt.xlabel("$x$ binomialverteilt")
plt.ylabel("Dichte")
plt.show()
Da diese Form für große Stichproben stets so aussieht, unabhängig von p (probieren Sie das aus!), könnte man sich vorstellen, dass die Verteilung sich approximieren lässt mit Hilfe einer Funktion, die leichter zu berechnen ist als Binomialkoeffizienten (kn)=k!(n−k)!n!.
Nebenbemerkung: Tatsächlich gibt es zur Approximation der Fakultät auch die Stirling-Formel
wobei für x auf der rechten Seite die Folge x=xn mit
xn=xn(k)=np(1−p)k−np eingesetzt werden muss. Das Symbol ∼ bedeutet: asymptotisch gleich, d.h. der Quotient konvergiert gegen 1.
Diese Approximation ist insofern hilfreich, als dass wir nun die Funktion e−2x2 tabellieren können und konkrete Werte für gewisse n,p ablesen können. Das ist wesentlich effizienter, als Binomialkoeffizienten auszurechnen. Die ganze Beobachtung heißt auch Satz von de Moivre-Laplace und soll uns zunächst als Motivation dienen, die Funktion e−2x2 näher zu untersuchen.
Um aus der Funktion e−2x2 eine Wahrscheinlichkeitsdichte zu machen, muss das Integral 1 ergeben. Wir berechnen, weil es danach sehr nützlich wird, gleich ein etwas allgemeineres Integral:
Da Integrale in der Statistik häufiger vorkommen, ist es nicht ganz verkehrt, sich bei dieser Rechnung klar zu machen, was genau warum in jedem Schritt passiert.
x = np.linspace(20,60,100)
plt.hist(binom_samples, bins=40, density=True)
plt.plot(x, norm(loc=40, scale=np.sqrt(24)).pdf(x), color="red") # Erwartungswert n p = 40, Varianz n p (1-p) = 24
plt.ylabel('Dichte')
plt.title('Normalverteilungs-Dichte (rot) und Binomial-Histogramm (blau)')
plt.show()
Die Standardisierung ist ein Spezialfall einer allgemeineren Aussage, die man ständig braucht:
Zwei Spezialfälle lohnen das Merken. Mit a=σ1 und b=−σμ erhält man die Standardisierung von oben. Und umgekehrt: Ist Z∼N(0,1), so ist σZ+μ∼N(μ,σ2) — jede Normalverteilung entsteht also aus der Standardnormalverteilung durch Strecken und Verschieben. Genau so erzeugt man sie auch am Rechner: mu + sigma * rng.standard_normal(n) braucht nur einen einzigen Zufallszahlengenerator für alle Normalverteilungen. Im Kapitel Multivariate Normalverteilung ist das der Ausgangspunkt: Dort wird dieselbe Konstruktion mit einer Matrix statt einer Zahl durchgeführt.
Außerdem nutzen wir, dass die Summe von unabhängigen Zufallsvariablen mit Dichten f,g selbst wieder eine Dichte hat, nämlich die Faltungf∗g. Anstatt das rigoros einzuführen und zu beweisen, halten wir nur das Ergebnis für Normalverteilungen fest, das man mit der Faltung nachrechnen kann.
Um diesen Satz überhaupt präzise formulieren zu können, benötigen wir einen Entropiebegriff für stetige Verteilungen. Anstatt das jetzt zu tun, wollen wir uns später damit beschäftigen, wenn wir auch relative Entropie, die stetige Version davon und Likelihood diskutieren.
Erwartungswert und Varianz folgen aus den Rechenregeln im Kapitel Erwartungswert und Varianz; das Bemerkenswerte ist, dass auch die Form erhalten bleibt — die Summe ist nicht nur irgendeine Verteilung mit diesen Momenten, sondern wieder eine Glockenkurve. Das ist keineswegs selbstverständlich: Die Summe zweier gleichverteilter Variablen ist dreiecksverteilt, nicht gleichverteilt. Man sagt, die Normalverteilung ist stabil unter Faltung. Im Kapitel zur multivariaten Normalverteilung sehen wir die Verallgemeinerung: Dort gilt dasselbe auch für abhängigeX,Y, sobald sie gemeinsam normalverteilt sind, mit einem zusätzlichen Kovarianzterm in der Varianz.
Wichtig ist aber die Take-Home-Message des Satzes: Wenn über eine stetige Verteilung reeller Zahlen außer Erwartungswert und Varianz nichts bekannt ist, dann ist die entsprechende Normalverteilung die vernünftigste Annahme. In diesem Sinne ist die Normalverteilung ein guter stetiger Ersatz für die diskrete Gleichverteilung, aber nun auf ganz R (die Normalverteilung hat Träger R).
Die Einschränkung auf den Träger R ist dabei keine Formalie, sondern die eigentliche Modellannahme. Kennt man den Träger genauer, ist eine andere Verteilung die mit maximaler Entropie — und damit die vernünftigste Annahme:
Die Steckbriefe der drei stetigen Verteilungen stehen im Kapitel Wichtigste stetige Verteilungen, die diskrete Gleichverteilung im Kapitel Wichtigste diskrete Verteilungen. Die gestutzte Normalverteilung ist genau das, wonach es klingt: eine Normalverteilung, deren Dichte außerhalb von [a,b] auf 0 gesetzt und innerhalb neu normiert wird. Man braucht sie, wenn eine Größe von Natur aus beschränkt ist — Anteile zwischen 0 und 1, Messwerte an der Anzeigegrenze eines Geräts — und ein Normalverteilungsmodell sonst Wahrscheinlichkeitsmasse dort verteilen würde, wo es gar keine Werte geben kann.
Das Muster dahinter ist immer dasselbe: Maximale Entropie heißt „so wenig zusätzlich annehmen wie möglich“. Was man weiß, geht als Nebenbedingung ein; alles andere überlässt man dem Zufall.
Der Buchstabe Z soll daran erinnern, dass ZN die auf Erwartungswert 0 und Varianz 1 normierte Version der Summe SN=∑i=1NXi ist, die wir oben für Bernoulli-Variablen betrachtet haben.
Konvergenz in Verteilung heißt, dass die Verteilungsfunktion von ZN gegen die Verteilungsfunktion einer Standardnormalverteilung konvergiert.
Von diesem Satz gibt es auch Abschwächungen, die gewisse Abhängigkeiten zwischen den Xi erlauben.
Um zwei konkrete Beispiele zu nennen: der Fehler bei der Ortsbestimmung mit GNSS-Systemen wie GPS ist normalverteilt (auch wenn die atmosphärischen Störungen, die den Wert ungenauer machen, nicht normalverteilt sind). Bei der industriellen Fertigung von Bauteilen gibt es ebenfalls im gesamten Produktionsprozess Fehlerquellen, die am Ende zu einer Normalverteilung aufsummieren - deren Varianz man hinreichend klein halten muss, damit das Bauteil seine Aufgabe erfüllen kann. So darf ein Legostein nicht zu stark von einem baugleichen Legostein abweichen, sonst hält das Bauwerk hinterher nicht richtig.
Nebenbemerkung: Man kann außerdem die Geschwindigkeit der Konvergenz abschätzen, und damit in Erfahrung bringen, wie gut die Approximation durch eine Normalverteilung ist:
Der genaue Wert von C ist nicht bekannt; die angegebenen Schranken sind der Stand der Forschung. Für konkret bekannte σ,ρ können wir also stets ein N bestimmen, mit dem die linke Seite beliebig klein wird. Mit anderen Worten: es lässt sich zu jeder gewünschten Genauigkeit berechnen, wie viele der iid Zufallsvariablen man (skaliert) aufaddieren muss, um ZN mit einer Standardnormalverteilung zu approximieren.
Klar: Wenn der Erwartungswert nicht 0 ist, lässt sich eine Variante als Korollar beweisen (wie auch beim zentralen Grenzwertsatz), sodass die Konvergenz gegen N(μ,1) geht. Wenn man anders reskaliert, auch gegen N(μ,σ2). In der Praxis sieht es eher so aus, dass man alle unbekannten Fehlerterme mit einer Normalverteilung modelliert, deren Erwartungswert und Varianz man empirisch schätzt.
In vielen Lehrbüchern, Statistik-Kursen und Auswertungsvorschriften steht eine Faustregel: Ab N=30 darf man mit einer Normalverteilung rechnen. Diese Regel ist so verbreitet, dass sie selten hinterfragt wird — und sie ist in der Form falsch. Berry–Esseen sagt uns auch, warum.
Die Schranke oben lautet σ3NCρ. Darin steht N nur unter einer Wurzel, den Ausschlag gibt der Faktor ρ/σ3: das dritte absolute Moment relativ zur dritten Potenz der Standardabweichung, also ein Maß dafür, wie schief die einzelne Zufallsvariable ist. Für eine symmetrische Verteilung ist dieser Faktor klein, für eine schiefe kann er beliebig groß werden — und dann reicht N=30 eben nicht.
Der wichtigste Fall in der Praxis ist ein binäres Merkmal: „Nebenwirkung aufgetreten ja/nein“, „Klick ja/nein“, „überlebt ja/nein“. So ein Merkmal ist Bernoulli-verteilt mit Parameter p, und wir können den Faktor ausrechnen. Für X∼Bernoulli(p), zentriert auf Erwartungswert 0, ist
Für ein ausgeglichenes Merkmal, p=0,5, ist das genau 1, und die Berry–Esseen-Schranke bei N=30 liegt (mit C≈0,44) bei 0,44/30≈0,08. Die Verteilungsfunktionen weichen also um höchstens acht Prozentpunkte voneinander ab — brauchbar. Für ein seltenes Ereignis, p=0,01, ist derselbe Faktor dagegen ≈9,85, und die Schranke bei N=30 wird
Eine Schranke von 0,79 für eine Abweichung zwischen zwei Verteilungsfunktionen, die beide zwischen 0 und 1 liegen, ist keine Aussage mehr — sie ist nutzlos. Erst bei N=1000 sinkt sie auf ≈0,14. (Die Berry–Esseen-Schranke ist eine obere Schranke, der tatsächliche Fehler kann kleiner sein. Aber eine Faustregel, die sich nicht einmal von oben rechtfertigen lässt, sollte man nicht benutzen.)
Der Unterschied zur N≥30-Regel ist also nicht akademisch: Bei einem Ereignis, das einen von hundert Fällen trifft, liegt die richtige Schwelle um den Faktor 33 höher. Genau das ist die Situation bei seltenen Nebenwirkungen in medizinischen Studien.
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 4))
for ax, n in ((ax1, 30), (ax2, 1000)):
p = 0.01
k = np.arange(0, int(n * p + 4 * np.sqrt(n * p * (1 - p))) + 2)
ax.bar(k, binom(n, p).pmf(k), label="Binomialverteilung", alpha=0.7)
xs = np.linspace(k.min() - 1, k.max(), 200)
ax.plot(xs, norm(loc=n * p, scale=np.sqrt(n * p * (1 - p))).pdf(xs),
color="black", label="Normalapproximation")
np_text = f"{n * p:g}".replace(".", "{,}")
ax.set_title(f"$N = {n}$, $p = 0{{,}}01$ ($Np = {np_text}$)")
ax.set_xlabel("Anzahl der Erfolge")
ax.legend()
plt.show()
Links, bei N=30, liegt fast die ganze Wahrscheinlichkeitsmasse auf den Werten 0 und 1 — die Verteilung ist an der Null abgeschnitten und stark rechtsschief, während die Normalapproximation seelenruhig ins Negative läuft und dort Wahrscheinlichkeit verteilt, wo es gar keine Ergebnisse gibt. Rechts, bei N=1000, ist die Laplace-Bedingung mit Np=10 gerade erfüllt, und die Glockenform ist erkennbar.
Die Moral ist allgemeiner als das Beispiel: Eine Faustregel, die nur die Stichprobengröße nennt und nichts über die Verteilung sagt, kann nicht funktionieren. Was zählt, ist das Verhältnis aus Schiefe und Stichprobengröße.