Bayessche Statistik, Bayes-Statistik

Die Bayes-Statistik gründet sich auf das Bayes-Theorem und versteht sich als Alternative zum frequentistischen Paradigma der Statistik. Letzteres geht davon aus, dass die aus einer Stichprobe zu erschließenden Parameter der Grundgesamtheit fix, aber unbekannt sind. Die Bayes-Statistik schreibt den Parametern dagegen Wahrscheinlichkeiten zu. Bei diesen Wahrscheinlichkeiten handelt es sich jedoch um subjektive Wahrscheinlichkeiten, also Überzeugungen. Diese subjektiven Wahrscheinlichkeiten erhalten im Rahmen der Bayesschen Statistik eine exakte mathematische Fundierung.

Die Bayes-Statistik geht von folgender Situation aus: Über einen oder mehrere Parameter θ liegen Vermutungen in Form von A-priori-Wahrscheinlichkeiten vor; diese bezeichne ich im Folgenden als P(θ|M), also die Wahrscheinlichkeit für θ, gegeben ein bestimmtes Modell über das Verhalten von θ. Nun werden werden Stichprobendaten erhoben. Anschließend kann errechnet werden, wie groß die Wahrscheinlichkeit für diese Daten für unterschiedliche Modellparameter θ ist; dies ist die Likelihood P(D|θ, M). Die Gesamtwahrscheinlichkeit für die Daten, gegeben das Modell, lässt sich in der Evidenz p(D|M) zusammenfassen (hierbei handelt es sich allerdings nur um einen Normierungsfaktor, der unter bestimmten Umständen bei der Schätzung außer Acht gelassen werden kann).

Hieraus lässt sich nun die A-posteriori Wahrscheinlichkeit für den oder die Parameter θ, gegeben die Daten und das Modell, berechnen:

$P (θ | D, M) = \frac{P (D | θ, M) \cdot P (θ | M)}{P (D | M)}$

An einem einfachen Beispiel sei dies verbal erläutert: Bei einem Münzwurf wird man vielleicht annehmen, dass die Münze »fair« ist, d.h., dass die Chance für das Auftreten von »Kopf« und »Zahl&rlaquo; gleich (also 50:50) ist. Wenn man sich dessen zu hundert Prozent sicher ist, muss man allerdings keine Untersuchung durchführen; man wird dies nur tun, wenn es man es auch für möglich hält, dass die Münze einen »Bias« in die eine oder andere Richtung aufweist. Diese Vermutungen werden als A-priori-Wahrscheinlichkeiten für den Parameter θ ausgedrückt, der die Auftretenshäufigkeit von Kopf (oder alternativ Zahl) bestimmt; dies kann z.B. mittels einer Wahrscheinlichkeitsverteilung geschehen (im vorliegenden Fall wird häufig die Beta-Verteilung gewählt).

Nun wird ein Zufallsexperiment (z.B. eine Serie von Münzwürfen) durchgeführt. Das Ergebnis ist im Lichte unterschiedlicher Parameter θ unterschiedlich plausibel (Likelihood). Hieraus lassen sich nun die A-posteriori-Wahrscheinlichkeiten errechnen. Ergibt sich z.B. ein Anteil für Kopf, der kleiner ist als 0,5, so werden (je nach Stärke der A-priori-Wahrscheinlichkeit und nach der Zahl der Münzwürfe) Parameter θ < 0,5 etwas größere und Parameter θ > 0,5 etwas kleinere (A-posteriori-)Wahrscheinlichkeit erhalten.

In ganz analoger Weise lassen sich auch sozialwissenschaftliche oder andere Stichproben analysieren. Da die Bestimmung der A-posteriori-Wahrscheinlichkeiten dann häufig sehr kompliziert wird (die Evidenz P(D|M) ist in der Regel ein komplexes Integral), werden hierzu meist approximative Verfahren wie Markov-Chain-Monte-Carlo-Techniken (MCMC) eingesetzt.

Als problematisch wird vor allem die Formulierung der A-priori-Wahrscheinlichkeiten erachtet, da diese von der Forscherin gesetzt werden müssen. Diese Setzung sollte allerdings nicht willkürlich erfolgen, sondern auf der Grundlage von Vorwissen oder der Relevanz bestimmter Annahmen vorgenommen werden. Ist kein Vorwissen vorhanden, so können sogenannte nicht-informative (oder flache) A-priori-Wahrscheinlichkeiten formuliert werden, die einer großen Bandbreite von möglichen Parametern gleiche Wahrscheinlichkeiten zusprechen. Bei vollständig nicht-informativen A-priori-Wahrscheinlichkeiten sind die Ergebnisse der Modellschätzung allerdings nicht mehr von denen anhand einer klassischen frequentistischen Schätzung verschieden, von der unterschiedlichen Interpretation des Wahrscheinlichkeitsbegriffs bzw. des statistischen Schließens abgesehen.

Literatur:

Berry, Donald A.: Statistics: A Bayesian Perspective. Duxbury Press, 1996
Gelman, Andrew /Carlin, John B./Stern, Hal S./Dunson, David B. /Vehtari, Aki/Rubin, Donald B. : Bayesian Data Analysis (Third Edition). Boca Raton: Chapman and Hall/CRC, 2013.
Gill, Jeff: Bayesian Methods: A Social and Behavioral Sciences Approach, Third Edition. Boca Raton, FL: Chapman and Hall/CRC, 2014.
Kruschke, John K.: Doing Bayesian Data Analysis. A Tutorial with R and BUGS. Burlington, MA/Oxford: Academic Press, 2011 (die 2. Auflage von 2014 verwendet JAGS und Stan anstelle von BUGS)
Lee, Peter M.: Bayesian Statistics. An Introduction (3. Auflage). London: Hodder Arnold, 2004