Kapitel 10. Bayes sche Verfahren Einführung Das Theorem von Bayes

Transkript

1 Kapitel 10 Bayes sche Verfahren 10.1 Einführung Alle bislang besprochenen Konzepte und Methoden (einschließlich der Grundstudiumsinhalte), können unter der Überschrift Klassische Methoden eingeordnet werden. Es existiert ferner eine alternative Idee statistische Analysen durchzuführen. Diese Idee ist in den sogenannten Bayes schen Methoden verankert, die eine andere Art des Denkens verfolgen, wenn es um die Gewinnung von Informationen aus Daten geht. Insbesondere ist mit den Bayes schen Methoden das Konzept der Apriori Informationen verbunden, d.h. in die Datenanalyse werden Informationen einbezogen, die bereits vor der Erhebung von Daten vorliegen. Das Ziel der Bayes schen Methoden ist die Kombination der beiden Informationsquellen, d.h. der Apriori Informationen und der Daten. Ziel dieses Abschnitts ist es, einen Einblick in die elementaren Konzepte und Vorgehensweisen der Bayes schen Verfahren zu geben. Ein unter praktischen Gesichtspunkten bedeutender Aspekt der Verfahren ist die Notwendigkeit der Anwendung anspruchsvoller numerischer Verfahren. Es gibt jedoch auch einige einfache Beispiele, in denen auf rechenintensive Verfahren verzichtet werden kann, weil einfache Lösungen vorliegen. Die folgenden Ausführungen konzentrieren sich in erster Linie auf diese einfachen Fälle. Auf die komplizierteren Fälle werden im letzten Abschnitt des Kapitel kurz angesprochen. Eine tiefere Diskussion der Bayes schen Idee findet man bei Lee (1997), Gelman et al. (1995) oder Wickmann (1990). French and Smith (1997) zeigen eine Auswahl umfangreicher Fallstudien, in denen die Bayes schen Verfahren angewendet werden Das Theorem von Bayes heißen eine Zerlegung der Ergebnis- Definition 10.1 Die Ereignisse ¾ menge Å, wenn sie a) disjunkt sind, d.h. für alle, b) die ganze Ergebnismenge ausschöpfen, d.h. ¾ Å. 186

2 10.2. DAS THEOREM VON BAYES 187 Beispiel 10.1 Sei Å ¾ die Ergebnismenge beim Würfel. a) ¾ ¾ ist eine Zerlegung. b) ¾ ¾ ist keine Zerlegung, da ¾ Å c) ¾ ¾ ist keine Zerlegung, da ¾ Satz 10.1 (Formel der totalen Wahrscheinlichkeit) Sei Å ein Ereignis und ¾ eine Zerlegung der Ergebnismenge Å mit È µ für ¾. Dann gilt È µ È µ È µ Beweis: Es gilt Å ¾ µ µ ¾ µ µ Da die Ereignisse ¾ disjunkt sind, sind auch die Ereignisse ¾ disjunkt. Damit gilt È µ È µ È ¾ µ È µ È µè µ È ¾ µè ¾ µ È µè µ È µ È µ Dabei wurde die Definition der bedingten Wahrscheinlichkeiten und die Folgerung benutzt. È µ È µ È µ È µ È µè µ Ð Satz 10.2 (Theorem von Bayes) Sei Å ein Ereignis und ¾ eine Zerlegung der Ergebnismenge Å mit È µ für ¾. Dann gilt È µ È µè µ È È µè µ

3 188 KAPITEL 10. BAYES SCHE VERFAHREN Beweis: Durch zweimalige Anwendung der Definition der bedingten Wahrscheinlichkeit und des Satzes der totalen Wahrscheinlichkeit erhält man È µ È µ È µ È È µè µ È µè µ Ð Beispiel 10.2 (Aus Hartung u.a., 1993) Durch einen zu spät erkannten Fabrikationsfehler sind in einer Automobilproduktion genau ¾ defekte Lenkgetriebe eingebaut worden. In einer Rückrufaktion wurden ¾ Wagen dieser Serie überprüft und alle als fehlerhaft identifizierten Lenkgetriebe wurden ausgetauscht. Dabei wird die Überprüfung mit ±-iger Sicherheit zu einem korrekten Ergebnis führen. Wie groß ist die Wahrscheinlichkeit, dass ein ausgewechseltes Lenkgetriebe auch defekt war? Wir verwenden die folgenden Bezeichnungen: ¾ sei das Ereignis eines defekten Lenkgetriebes. sei das Ereignis eines nicht defekten Lenkgetriebes. sei das Ereignis eines ausgewechselten Lenkgetriebes. Die folgenden Informationen sind uns gegeben: È µ ¾ ¾ È µ È ¾ µ Gesucht ist die Wahrscheinlichkeit È µ È Lenkgetriebe defektlenkgetriebe ausgewechseltµ Mit dem Theorem von Bayes folgt È µ È µè µ ¾È È µè µ Fast alle ausgewechselten Lenkgetriebe waren demnach nicht defekt. Beispiel 10.3 Es sei bekannt, dass in einer Familie die Großmutter und ein Sohn der Großmutter die Bluterkrankheit (Hämophilie) haben. Die Großmutter habe auch eine Tochter, von der es unbekannt ist, ob sie die Bluterkrankheit hat. Wir betrachten dann die Ereignisse Tochter hat Hämophilie, ¾ Tochter hat nicht Hämophilie.

4 10.2. DAS THEOREM VON BAYES 189 Es gilt dann È µ und È ¾ µ Nun gebe es die zusätzliche Information, dass die Tochter zwei Söhne hat, die nicht eineiige Zwillinge sind. Beide Söhne haben keine Hämophilie. Wir betrachten die Ereignisse a) Sohn 1 hat nicht Hämopholie, b) ¾ Sohn 2 hat nicht Hämopholie, Es gilt c) ¾ Kein Sohn hat Hämopholie. Da die Söhne nicht eineiige Zwillinge sind, gilt È µ È ¾ µ È µ È µ È ¾ µ ¾ und È ¾ µ Wie hoch ist die Wahrscheinlichkeit, dass die Tochter (die Mutter der beiden Söhne) Hämophilie hat (gegeben, dass beide Söhne keine Hämophilie haben)? Gesucht ist die Wahrscheinlichkeit Nach dem Theorem von Bayes gilt È µ È µ È µè µ È µè µ È ¾ µè ¾ µ ¾µ µ ¾µ µ µ ¾ ¾ ¾ Für Dichtefunktion gibt es eine zum Bayes-Theorem analoge Formel. Man kann dabei an eine stetige Zerlegung des Ergebnisraums denken. Satz 10.3 Die gemeinsame Dichtefunktion der Zufallsvariablen und sei Ü Ýµ. Dann gilt Üݵ ݵ Ýܵ Ê Üݵ ݵÝ

5 190 KAPITEL 10. BAYES SCHE VERFAHREN Beweis: Durch zweimalige Anwendung der Definition einer bedingten Dichtefunktion (siehe Definition 6.13) erhält man Ýܵ Ü Ýµ ܵ Nun gilt für die Randdichtefunktion im Nenner ܵ Damit hat man das gewünschte Ergebnis. Ü ÝµÝ Üݵ ݵ ܵ Üݵ ÝµÝ Wir werden das Bayes-Theorem auch in dem Fall benutzen, in dem eine Zufallsvariable, z.b., stetig und die andere diskret ist. Es gilt dann Ð Ý Üµ Ê È Üݵ ݵ È Üݵ ÝµÝ (10.1) 10.3 Bayes sche Verfahren Beispiel 10.4 Man möchte für eine Münze die Wahrscheinlichkeit schätzen, mit der sie beim Wurf mit,,kopf auftrifft, d.h. È,,Kopf µ FRAGE: Wie interpretiert man diese Wahrscheinlichkeit? Wir betrachten zwei mögliche Interpretationen. a) Das klassische Verfahren interpretiert diese Wahrscheinlichkeit als relative Häufigkeit. Die Wahrscheinlichkeit eines Ereignisses ist der Wert, gegen den die relative Häufigkeit des Ereignisses konvergiert, wenn man das Experiment unendlich oft unter gleichen Bedingungen ausführte. Diese Interpretation wird nicht von allen akzeptiert. An dieser Vorstellung wird kritisiert, dass man solche Experimente nicht unendlich oft durchführen kann. b) Bei der subjektiven Interpretation von Wahrscheinlichkeiten wird,,wahrscheinlichkeit als ein subjektiver Begriff aufgefasst. Er beschreibt quantitativ unsere Vorstellung, dass ein Ereignis vorkommen wird. Man kann die Ergebnisse eines Experiments verwenden, um die bisherige Vorstellung der Wahrscheinlichkeit eines gegebenen Ereignisses zu ändern oder zu präzisieren. Wir betrachten das folgende EXPERIMENT: Wir werfen dreimal eine Münze. Sei die Anzahl der,,köpfe. Wenn die drei Versuche unabhängig sind, ist die Wahrscheinlichkeitsfunktion von (gegeben ) È Üµ Ü Ü µ Ü Ü ¾ sonst

6 10.3. BAYES SCHE VERFAHREN 191 Wir nehmen an, dass ¾ beobachtet wurde. Wir wollen die klassische Vorgehensweise der Bayes schen Vorgehensweise gegenüberstellen. a) In der typisch klassischen Vorgehensweise betrachtet man als Konstante, und ¾ ist die Realisation einer Zufallsvariablen. Man kann z.b. die Maximum-Likelihood-Methode verwenden, um zu schätzen, d.h. es ist Ä ¾µ zu maximieren. Dies führt zum Schätzer ¾ ¾ ¾ µ ¾ Würden Sie diesem Wert glauben? Oder etwa dem noch extremeren Wert falls b) In der typischen Bayes schen Vorgehensweise ist wohl eine Konstante, aber sie ist unbekannt. Das Ergebnis ¾ ist bekannt. Bevor man das Experiment durchführt, hat man eine Vorstellung des Wertes von. Diese Vorstellung kann man als Apriori-Dichtefunktion darstellen, etwa wie in Abbildung f(π) Abbildung 10.1: Apriori-Verteilung von (subjektive Vorstellung) Dabei wird als Zufallsvariable betrachtet. Wir wissen, dass, gegeben, binomialverteilt ist, d.h. È ¾µ π ¾ ¾ µ ¾ Wir können jetzt das Theorem von Bayes verwenden, um unsere Apriori-Vorstellung (d.h. unsere Vorstellung vor der Durchführung des Experiments) von der Verteilung von zu präzisieren. Jetzt haben wir den Fall, dass eine Zufallsvariable () diskret ist, während die andere () stetig ist. Nach Formel (10.1) gilt, wenn µ die Dichtefunktion der Apriori-Verteilung von bezeichne, È ¾µ µ ¾µ Ê È ¾µ µ

7 192 KAPITEL 10. BAYES SCHE VERFAHREN Das ist die bedingte Dichtefunktion von, gegeben ¾. Sie enthält also unser korrigiertes Wissen über die Verteilung von nach Durchführung des Experiments. Sie heißt die Posteriori-Verteilung von (gegeben die Beobachtungen). Abbildung 10.2 verdeutlicht den Zusammenhang zwischen Apriori- und Posteriori-Verteilung. Vor der Beobachtung haben wir nur eine vage Vorstellung über die Verteilung des Parameters. Mit Hilfe eines Modells (hier die Binomialverteilung) und der Beobachtungen wird diese vage Vorstellung zu einer genaueren Posteriori-Vorstellung über den Parameter präzisiert. Diese Vorstellung soll durch die Stärke des Grautons in den Abbildungen unterstrichen werden. 8 Apriori 8 Posteriori 6 Beobachtungen 6 f(π) 4 f(π) 4 2 Modell π π Abbildung 10.2: Apriori-Verteilung und Posteriori-Verteilung von Die eben geschilderte Vorgehensweise bei den Bayes schen Verfahren wirft die beiden folgenden Probleme auf: 1.) Wie soll man die Apriori-Verteilung bestimmen? 2.) Wie berechnet man die Posteriori-Verteilung? Das erste Problem ist ein Hauptkritikpunkt an den Bayes schen Verfahren. Die subjektive Bestimmung der Apriori-Verteilung gilt als unwissenschaftlich. Das zweite Problem kann sehr kompliziert sein. Es geht darum, das Integral È ¾µ µ zu bestimmen. Das Problem ist jedoch leicht zu lösen, wenn man für die Apriori-Verteilung eine Verteilung verwendet die zu einer leicht integrierbaren Funktion führt, wenn man sie mit È ¾µ multipliziert, d.h. die Apriori-Verteilung muss in geeigneter Weise zu der Binomialverteilung passen. Das Problem ist dann leicht zu lösen, wenn man eine konjugierte Verteilung für µ verwendet. Die Definition einer konjugierten Verteilung werden wir später betrachten. Jetzt sei gesagt, dass die Beta-Verteilung die konjugierte Verteilung einer Binomialverteilung ist, d.h. das zweite Problem ist einfach zu lösen, wenn wir für die Apriori-Verteilung von eine Betaverteilung verwenden. Wir nehmen also an, dass «µ

8 10.3. BAYES SCHE VERFAHREN 193 d.h. µ «µ «µ sonst Abbildung 10.3 zeigt einige Beta-Apriori-Verteilungen. f(π) 12 Be(100,100) 10 8 Be(50,20) Be(10,10) π Wir nehmen auch weiterhin an, dass Abbildung 10.3: Einige Beta-Apriori-Verteilungen Ò µ Dann ist Das Integral im Nenner ist ܵ Ê È Üµ µ È Üµ µ È Üµ µ Ò Ü Ò Ü Ü µ Ò Ü «µ «µ Ü «µ «µ Ò Ü ßÞ Ð Ò «Ü Ò Üµ Ü «µ «Ü Ò Üµ (Beachten Sie, dass wir dieses Integral schon in Kapitel 12 bei der Herleitung der Beta- Binomial-Verteilung berechnet haben. Es handelt sich um die Bestimmung einer Mischverteilung. Die Binomialverteilung wird gemäß einer Betaverteilung gemischt.) Damit ist die Posteriori-Dichte ܵ Ò Ü Ü µ Ò Ü «µ «µ Ò Ü «Ü Ò Üµ «µ Ü «µ Ò Ü «Ü Ò Üµ

9 194 KAPITEL 10. BAYES SCHE VERFAHREN d.h. die Posteriori-Verteilung von gegeben Ü ist eine Betaverteilung mit den Parametern «Ü und Ò Ü, d.h. «Ü Ò Üµ (10.2) Wir haben gesehen, dass die Posteriori-Verteilung zu der gleichen Familie von Verteilungen gehört wie die Apriori-Verteilung. Beispiel 10.5 Nehmen wir µ als Apriori-Verteilung an und, dass wie in Beispiel 10.4 Ò und ¾ beobachtet wurde. Die Posteriori-Verteilung ist dann ¾ ¾µ ¾ µ Abbildung 10.4 zeigt die Apriori und Posteriori Verteilung. 4 Posteriori: B(12,11) 3 Apriori: B(10,10) f(π) 2 n=3; x= Abbildung 10.4: Apriori-Verteilung (Be(10;10)) und Posteriori-Verteilung (Be(12;11)) Hätten wir µ als Apriori-Verteilung verwendet, so wäre die Posteriori-Verteilung ¾ µ. Die beiden Verteilungen sind kaum zu unterscheiden. π Beispiel 10.6 Nehmen wir an, dass Ò und beobachtet wurde. Die Apriori-Verteilung sei µ. Die Posteriori-Verteilung wäre dann µ. Abbildung 10.5 zeigt diese beiden Verteilungen, während Abbildung 10.6 die Apriori- und Posteriori-Verteilungen für den Fall Ò und Ü zeigt. Besonders die Abbildung 10.6 zeigt, dass die Apriori-Vorstellung durch die Beobachtungen sehr stark korrigiert wird. Zusammenfassend lässt sich sagen: a) Die Posteriori-Verteilung hängt von i) der Apriori-Verteilung und ii) dem Ergebnis Ü ab. b) Mit zunehmender Stichprobeninformation (hier Ò) wird der Einfluss der Apriori-Verteilung immer geringer.

10 10.3. BAYES SCHE VERFAHREN 195 f(π) 14 Posteriori: B(130,170) Apriori: B(100,100) n=100; x= π Abbildung 10.5: Apriori-Verteilung (Be(100;100)) und Posteriori-Verteilung (Be(130;170)) 30 f(π) Posteriori: B(400,800) n=1000; x= Apriori: B(100,100) π Abbildung 10.6: Apriori-Verteilung (Be(100;100)) und Posteriori-Verteilung (Be(400;800)) Bei den Bayes schen Verfahren setzt man die Beobachtungen Ü z.b. ¾ in Beispiel 10.4) als bekannt voraus. Unbekannt sind die oder der Parameter ( in Beispiel 10.4). Die gemeinsame Verteilung der Beobachtungen und der unbekannten Parameter wird in der folgenden Weise angegeben ܵ ܵ µ falls stetig ist. Dabei ist ܵ die Verteilung der Beobachtungen bei gegebenem. Man berechnet dann die bedingte Verteilung der unbekannten Parameter, gegeben die bekannten Beobachtungen. Dafür verwendet man das Theorem von Bayes. ܵ Ê Üµ µ (10.3) ܵ µ Ist eine diskrete Zufallsvariable, so ist die folgende Gleichung zu verwenden.

11 196 KAPITEL 10. BAYES SCHE VERFAHREN ܵ Ê È Üµ µ (10.4) È Üµ µ Definition 10.2 Sei ܵ die bedingte Dichtefunktion der Zufallsvariablen bei gegebenem Parameter und µ die Apriori-Verteilung des Parameters. Die Posteriori- Verteilung von, gegeben Ü ist dann durch Gleichung (10.3) gegeben. Ist eine diskrete Zufallsvariable mit der Wahrscheinlichkeitsfunktion È Üµ, so ist die Posteriori- Verteilung von, gegeben Ü durch Gleichung (10.4) gegeben. Wir wollen jetzt besprechen, wie man die Posteriori-Verteilung einfach bestimmen kann, wenn man konjugierte Verteilungen verwendet. Definition 10.3 Die Verteilung µ heißt die (natürliche) konjugierte Verteilung für ܵ, wenn ܵ und µ dieselbe Form haben, d.h. wenn die Apriori- und Posteriori-Verteilung zu derselben Familie von Verteilungen gehören. Beispiel 10.7 Die Betaverteilung ist die konjugierte Verteilung für den Parameter einer Binomialverteilung. Wir hatten weiter oben angenommen, dass die bedingte Verteilung von gegeben eine Binomialverteilung ist, d.h. Ò µ Als Apriori-Verteilung von hatten wir eine Betaverteilung angenommen, d.h. «µ Wir konnten zeigen, dass die bedingte Verteilung von gegeben eine Betaverteilung ist, genauer (siehe Gleichung (10.2) Ü «Ü Ò Üµ Die Apriori-Dichte µ und die Posteriori-Dichte ܵ sind jeweils Betaverteilungen. Wie verwendet man die Posteriori-Verteilung? Der Modalwert kann als Schätzer des Parameters aufgefasst werden. Mit Hilfe der Verteilung kann ein Vertrauensbereich für den Parameter angegeben werden. Betrachten wir die Situation in Abbildung Die Posteriori-Verteilung ist die Betaverteilung mit den Parametern und. Sie hat den Modalwert an der Stelle µ ¾µ, d.h. man würde durch schätzen. Um einen ±-Vertrauensbereich zu bestimmen, berechnet man mit Hilfe der Umkehrfunktion der Verteilungsfunktion den ±- und ±-Punkt der Betaverteilung. In diesem Fall ergibt sich das Intervall µ.

12 10.3. BAYES SCHE VERFAHREN 197 Beispiel 10.8 Die Gammaverteilung ist die konjugierte Verteilung für den Parameter einer Poissonverteilung. Sei poissonverteilt mit dem Parameter, d.h. È Üµ Ü für Ü ¾ Ü sonst Die Apriori-Verteilung von sei eine Gammaverteilung, d.h. µ d.h. µ µ sonst Dann ist die Posteriori-Verteilung von, gegeben Ü Üµ Ê È Üµ µ È Üµ µ Wir bestimmen zunächst den Zähler dieses Ausdrucks und bemerken, dass der Nenner das Integral über den Ausdruck im Zähler ist. È Üµ µ Ü Ü µ Ü µ Ü µ (10.5) Den Nenner hatten wir bereits in Kapitel 9 bestimmt, als wir die Mischung der Poissonverteilung bezüglich der Gammaverteilung betrachtet haben (siehe Seite 178). Als Zwischenergebnis hatten wir dort erhalten: È Üµ µ Ü µ (10.6) Ü µ µ Ü Dividieren wir Gleichung (10.5) durch Gleichung 10.6, so erhalten wir: ܵ µ Ü Ü µ ܵ d.h. die Dichtefunktion einer Gammaverteilung mit den Parametern Ü und. Wir fassen das Ergebnis des letzten Beispiels in folgendem Satz zusammen. Satz 10.4 Die Zufallsvariable sei bei gegebenem poissonverteilt mit dem Parameter (d.h. È Ó µ). Die Aprioriverteilung von sei µ. Dann ist die Posteriori- Verteilung von, gegeben die Beobachtung Ü Ü µ

13 198 KAPITEL 10. BAYES SCHE VERFAHREN Wir können dieses Verfahren auf die folgende Weise verallgemeinern: Wenn man zwei Beobachtungen hat, wird die Posteriori-Verteilung nach Betrachtung der ersten Beobachtung als Apriori-Verteilung für den zweiten Schritt verwendet (siehe Abbildung 10.7). Apriori Posteriori Beobachtung: x1= µ µ Apriori Posteriori Beobachtung: x2= µ µ Apriori Posteriori Beobachtung: x3= µ µ Abbildung 10.7: Apriori und Posteriori-Verteilungen nach Eingang von neuen Beobachtungen Wenn man drei oder mehr Beobachtungen hat, führt man das einfach weiter. Seien Ü Ü ¾ Ü Ò unabhängige Beobachtungen aus einer Poissonverteilung mit unbekanntem Parameter. Sei µ. Apriori-Verteilung Beobachtung Posteriori-Verteilung µ Ü Ü µ Ü µ Ü ¾ Ü Ü ¾ ¾µ. Ü Ü Ò Ò µ Ü Ò.. ÒÈ Ü Òµ

14 10.3. BAYES SCHE VERFAHREN 199 Beispiel 10.9 Wie bisher sei die Zufallsvariable bei bekanntem poissonverteilt mit dem Parameter. Die Apriori-Verteilung von sei µ Es seien die folgenden Beobachtungen gegeben: Die Anzahl der Beobachtungen ist, die Summe der Beobachtungen ist. Dann ist die Posteriori- Verteilung µ Abbildung 10.8 zeigt die Apriori- und die Posteriori-Verteilung Apriori 0.35 Posteriori f(µ ) Beobachtungen: x1+x2+x3+x4+x5= f(µ ) µ µ Abbildung 10.8: Apriori- ( µ) und Posteriori-Verteilung ( µ) Bei Ò unabhängigen Beobachtungen Ü Ü ¾ Ü Ò hat man die Posteriori-Verteilung Ò Ü Òµ Beispiel Die Zufallsvariable sei exponentialverteilt mit dem Parameter, d.h. Ü Ü Üµ sonst Der Parameter besitze eine Gammaverteilung mit den Parametern und, d.h. d.h. µ µ µ sonst Man kann dann zeigen (es sei Ihnen als Übung empfohlen), dass die Posteriori-Verteilung von gegeben die Beobachtung Ü wieder eine Gammaverteilung ist, und zwar Ü Üµ

15 200 KAPITEL 10. BAYES SCHE VERFAHREN Die Gammaverteilung ist also die konjugierte Verteilung für die Exponentialverteilung. Nach Eingang der Beobachtungen Ü Ü ¾ Ü Ò ist die Posterioriverteilung Ò Ò Ü µ In der Zuverlässigkeitstheorie bezeichnet man den Parameter als Hazardrate und Ì total time on test. Die Dichtefunktion von, gegeben die Beobachtungen Ü Ü ¾ Ü Ò ist dann ÒÈ Ü als Ü Ü ¾ Ü Ò µ µ Ì µ Ò Ò Ì µ sonst Man kann dann schätzen durch den Erwartungswert dieser Verteilung, d.h durch Òµ Ì µ In der Zuverlässigkeitstheorie wird es häufig als gefährlich angesehen, wenn die Hazardrate einen bestimmten Wert übersteigt. Diese Wahrscheinlichkeit kann durch Integation der Posteriori-Dichtefunktion von bestimmt werden. Unsere bisherigen Resultate können wir so zusammenfassen: a) Die Betaverteilung ist die konjugierte Verteilung für die Binomialverteilung. Apriori-Vert. Modell Beobacht. Posteriori-Vert. «µ Ò µ X=x Ü «Ü Ò Üµ b) Die Gammaverteilung ist die konjugierte Verteilung für die Poisson-Verteilung. Apriori-Vert. Modell Beobacht. Posteriori-Vert. µ È µ Ü Ü µ c) Die Gammaverteilung ist die konjugierte Verteilung für die Exponentialverteilung. Apriori-Vert. Modell Beobacht. Posteriori-Vert. µ Exp µ Ü Üµ Nachdem wir unsere Verteilung über den Parameter durch die Posteriori-Verteilung korrigiert haben, wollen wir uns fragen: Wie sind weitere zukünftige Werte der Zufallsvariablen verteilt? Definition 10.4 Die prädiktive Verteilung von ist die Randverteilung eines zukünftigen Wertes von.

16 10.3. BAYES SCHE VERFAHREN 201 Satz 10.5 Die prädiktive Verteilung einer binomialverteilten Zufallsvariablen ( Ò µ), deren Parameter betaverteilt ( «µ) ist, ist die Beta-Binomialverteilung mit den Parametern Ò «Ü und Ò Ü. Dabei ist Ü der zuvor beobachtete Wert von und Ò ist die Anzahl der weiteren Bernoulli-Experimente. Bevor wir diesen Satz beweisen, wollen wir die Situation in der folgenden Übersicht zusammenfassen: Apriori «µ Modell Ò µ Posteriori «Ü Ò Üµ Die Apriori-Vorstellungen über den Parameter seien in einer Betaverteilung ausgedrückt. Das Modell für die Beobachtungen bei gegebenem Parameter sei eine Binomialverteilung. Nach Eingang von Beobachtungen wird die Apriori-Vorstellung über in eine Posteriori- Vorstellung über modifiziert. Dies ist wieder eine Betaverteilung. Die Frage, die Satz 10.5 beantwortet, ist die nach der Verteilung weiterer zukünftiger Werte unter Berücksichtigung der bisher gewonnenen Erkenntnisse. Es werden weitere Ò Bernoulli-Versuche durchgeführt. Sei die Anzahl der Erfolge in diesen weiteren Versuchen. Die Behauptung des Satzes ist Beta-Binomial Ò «Ü Ò Üµ Beispiel Wir betrachten das Münzwurfexperiment aus Beispiel Apriori-Verteilung «µ z.b. µ Modell Ò µ z.b. µ Posteriori-Verteilung «Ü Ò Ü µ µ (falls Ü ¾) Wir werfen die Münze noch Ò-mal. Sei die Anzahl der,,köpfe in diesen weiteren Versuchen. Gesucht ist die Verteilung von. Sie heißt die prädiktive Verteilung. Wie groß ist z.b. Es ist Aber ist nicht bekannt. È ÜÜ ¾µ Ò µ Beweis des Satzes: È Ü Üµ È Ü Ü µ ܵ Ò Ü Ü µ Ò Ü «Ü µ Ò Ü «Ü Ò Üµ

17 202 KAPITEL 10. BAYES SCHE VERFAHREN Ò «Ü Ü µ Ü «Ü Ò Üµ Ò «Ü Ü Ò Üµ Ò Üµµ Ü «Ü Ò Üµ Ò Ü Ò Ü Das ist die Beta-Binomialverteilung mit den Parametern Ò «Ü und Ò Ü. Ð Beachten Sie, dass wir wieder die Mischverteilung einer Binomialverteilung bezüglich einer Betaverteilung berechnet haben (siehe Herleitung der Beta-Binomialverteilung auf Seite 175). Beispiel Wir betrachten folgende Situation: Die Apriori-Verteilung des Parameters einer Binomialverteilung sei eine µ-verteilung. In Ò Versuchen wurden ¾ Erfolge beobachtet, d.h. Ü ¾. Die Posteriori-Verteilung des Parameters ist dann eine µ-verteilung. Es werden Ò weitere Bernoulli-Versuche durchgeführt. Gesucht ist die prädiktive Verteilung von, der Anzahl der Erfolge in diesen fünf weiteren Versuchen. Nach Satz 10.5 ist Beta-Binomial-verteilt mit den Parametern Ò «Ü Ò Üµ ¾ ¾µ Abbildung 10.9: Prädiktive Verteilung: Beta-Binomial (5; 7; 6) Abbildung 10.9 zeigt die Wahrscheinlichkeitsfunktion der prädiktiven Verteilung von. Beispiel Wir wollen jetzt die prädiktive Verteilung einer poissonverteilten Zufallsvariablen, deren Parameter gammaverteilt ist, bestimmen, d.h. wir gehen von der folgenden Situation aus: Die Apriori-Verteilung des Parameters einer Poissonverteilung sei µ. Die bedingte Verteilung von, gegeben, sei È Ó µ.

18 10.3. BAYES SCHE VERFAHREN 203 Es liegen die Beobachtungen Ü Ü ¾ Ü Ò vor. Die Posteriori-Verteilung des Parameters nach den Beobachtungen ist Ò Ü Òµ Abbildung zeigt eine mögliche Posteriori-Verteilung Abbildung 10.10: Dichte ܵ der Posteriori-Verteilung von. FRAGE: Welche Verteilung besitzt die nächste Beobachtung, d.h. welches ist die prädiktive Verteilung? Sei die nächste Beobachtung. Die bedingte Verteilung von gegeben ist die Poissonverteilung mit dem Parameter, d.h. Die (aktuelle) Verteilung von ist È Üµ Ü Ü Ü ¾ wobei zur Vereinfachung der Schreibweise gesetzt wurde. Es ist folgendes Integral zu bestimmen: ܵ µ µ Ò È Üµ Ü und Ò È Üµ ܵ d.h. es ist die Mischung einer Poissonverteilung bezüglich einer Gammaverteilung zu bestimmen. Als Lösung erhalten wir die Wahrscheinlichkeitsfunktion der negativen Binomialverteilung (siehe Seite 178) mit den Parametern ( µ). Wir formulieren das Ergebnis als Satz

19 204 KAPITEL 10. BAYES SCHE VERFAHREN Satz 10.6 Die prädiktive Verteilung der Poissonverteilung, deren Parameter gammaverteilt ist, ist eine negative Binomialverteilung. Wir betrachten abschließend in diesem Abschnitt die Normalverteilung für den Fall, dass die Varianz ¾ bekannt ist. Der unbekannte Parameter ist der Erwartungswert, so dass ein Modell für die Beobachtungen durch beschrieben werden kann. Es gilt dann: Æ ¾ µ Satz 10.7 Die konjugierte Verteilung für den Parameter der Normalverteilung ist die Normalverteilung. Zunächst wird der Fall betrachtet, bei dem eine Apriori Verteilung durch eine Beobachtung präzisiert wird. Sei Æ ¾ µ die Apriori Verteilung und Ü die Beobachtung, dann ist die Posteriori Verteilung durch Ü Æ ¾ µ mit gegeben. ¾ Ü µ ¾ ¾ und ¾ ¾ ¾ Zunächst wird der Erwartungswert der Posteriori Verteilung betrachtet. Dieser stellt einen Kompromiss zwischen dem Erwartungswert der Apriori Verteilung und der Beobachtung dar: Das Ausmaß der Aktualisierung hängt davon ab, wie weit der ursprünglich angenommene Erwartungswert und die Beobachtung auseinander liegen. Ferner ist zu erkennen, dass die Varianz der Posteriori Verteilung in jedem Fall kleiner ist als die der Apriori Verteilung. In der oben gegebenen Formel wird der Kehrwert der Varianz verwendet, der als Präzision der Verteilung interpretiert werden kann. Wie zu sehen ist, steigt die Präzision um den Summand ¾ Beispiel Angenommen es liegt eine Apriori Verteilung Æ µ vor und es wird eine Beobachtung Ü gemacht. Sei ferner ¾, dann erhält man durch Anwendung der oben gegebenen Formeln für die Posteriori Verteilung: Ü Æ µ Vergleicht man dieses Ergebnis mit dem Fall, in dem eine Beobachtung gemacht wird, die näher am Erwartungswert der Apriori Verteilung liegt, erkennt man dass die Posteriori Verteilung im ersten Fall stärker von der Apriori Verteilung abweicht. Wäre beispielsweise Ü ¾ beobachtet worden, so lautete die Posterioriverteilung Ü Æ µ. Bemerkenswert ist auch, dass die Verringerung der Varianz unabhängig von der Beobachtung ist. Dies gilt allerdings nur für den hier betrachteten Fall einer bekannten Varianz.

20 10.4. BEMERKUNGEN ZU KONJUGIERTEN VERTEILUNGEN 205 Es wird jetzt der Fall betrachtet, bei dem eine Apriori Verteilung durch Ò Beobachtungen präzisiert wird. Sei Æ ¾ µ die Apriori Verteilung und Ü Ü Ò die Beobachtungen, dann ist Posteriori Verteilung durch Ü Ü Ò Æ Ò ¾ Ò µ mit ¾ Ò Ü µ ¾ Ò ¾ und ¾ Ò ¾ Ò ¾ gegeben. Der Erwartungswert der Posteriori Verteilung ist jetzt ein Kompromiss zwischen dem Erwartungswert der Apriori Verteilung und dem Mittelwert der Beobachtungen. Ferner ist zu sehen, dass die Varianz mit zunehmender Anzahl von Beobachtungen kleiner wird. Mit Hilfe der Posteriori Verteilung kann jetzt die prädiktive Verteilung beschrieben werden: Satz 10.8 Die prädiktive Verteilung einer Normalverteilung, deren Parameter ebenfalls normalverteilt ist, lautet: Æ Ò ¾ ¾ Ò µ Beispiel Angenommen es liegt eine Apriori Verteilung Æ µ vor und es werden zwei Beobachtungen gemacht: Beobachtung Ü und Ü ¾. Sei ferner ¾, dann erhält man durch Berechnung der oben gegebenen Formeln für die Posteriori Verteilung: Ü Æ ¾µ und die prädiktive Verteilung ist: Æ µ Im Fall der Normalverteilung ist es auch denkbar, dass der Parameter bekannt ist und die Varianz durch eine Verteilung beschrieben wird. Die konjugierte Verteilung der Varianz einer Normalverteilung (bei bekanntem Erwartungswert) ist die inverse ¾ Verteilung (siehe dazu Lee, 1997, Appendix A.5). Der Fall unbekannter Varianz ist kompliziert und wird daher im Rahmen dieser Veranstaltung nicht näher diskutiert. Für Interessierte sei auf Lee (1997, Kap. 2.7) oder Gelman et al. (1996, S ) verwiesen Bemerkungen zu konjugierten Verteilungen Bei den Bayes schen Verfahren beschreibt die Apriori Verteilung das Wissen eines Experten über den Parameter. Die Verwendung der konjugierten Verteilung (wegen der einfachen mathematischen Handhabbarkeit) schränkt die Freiheit, seine Vorstellungen über den Parameter zu quantifizieren, ein. Somit ist es beispielsweise möglich, dass man weiß, dass ein Anteil einer Grundgesamtheit größer ist als 0.1. Die konjugierte Verteilung für die Binomialverteilung ist die Betaverteilung, für die aber in jedem Fall È µ gilt. Mit anderen Worten gibt es keine Betaverteilung, die in der Lage ist, das Wissen über den Parameter korrekt wiederzugeben.

21 206 KAPITEL 10. BAYES SCHE VERFAHREN Auf der anderen Seite sind die in der Praxis verwendeten konjugierten Verteilungen flexibel genug um eine Verteilung zu bestimmen, die sehr nah an den Apriori Vorstellungen liegt. Findet man aber keine Verteilung zur Beschreibung des Parameterwissens, kann man die Bayes schen Verfahren trotzdem anwenden, wenngleich damit ein höherer Rechenaufwand (Einsatz numerischer Verfahren) erforderlich wird. Im folgenden Beispiel wird das Vorgehen für diesen Fall erläutert. Beispiel Betrachtet wird eine Binomialverteilung mit unbekannter Erfolgswahrscheinlichkeit (beispielsweise Kauft ein Produkt, besitzt ein Auto,... ). Sei die Apriori Verteilung durch µ gegeben. Die Dichte ist in Abbildung dargestellt. µ µ sonst f(π) π Abbildung 10.11: Apriori-Verteilung von (subjektive Vorstellung) Zur Präzisierung der Apriorivorstellung wird nun eine Stichprobe der Größe Ò gezogen und die Anzahl der Erfolge sei mit Ü bezeichnet. (Die Stichprobe wurde mit Zurücklegen gezogen, so dass Ü als binomialverteilt betrachtet werden kann.) Unter diesen Bedingungen ist die Posteriori Verteilung durch Ò Üµ Ü µ Ò Ü µ Ü gegeben, wobei eine Normierungskonstante darstellt, die gewährleistet, das die Fläche unter der Posteriori Verteilung eins ist. Man erhält die Konstante durch Berechnung des Integrals Ê Ê Ò Ü Ü µ Ò Ü µ Ò Ü Ü µ Ò Ü µ Die Berechnung des komplizierten Ausdrucks mit Hilfe der Standardregeln ist sehr aufwendig. Es gibt auch Situationen, in denen das entsprechende Integral gar nicht analytisch zu lösen ist. Man kann aber die Lösung mit Hilfe numerischer Methoden immer approximieren und somit die Posteriori Verteilung bestimmen. Abbildung zeigt die Posteriori Verteilung für Ò und verschiedene

22 10.4. BEMERKUNGEN ZU KONJUGIERTEN VERTEILUNGEN 207 Beobachtungen: Ü (links), Ü (Mitte) und Ü ¾ (rechts). Zum Vergleich ist jeweils die Apriori Verteilung gezeichnet. Zu beachten ist, dass die Posteriori Verteilung nur den Bereich beschreibt, in dem auch die Aprioriverteilung definiert ist. Im Beispiels ist dies das Intervall [0.4,0.6]. Auch für Ü ¾ nimmt die Posteriori Verteilung nur für diesen Bereich Werte größer null an. x=50 x=40 x= π π π Abbildung 10.12: Apriori-Verteilung und Posteriori Verteilungen im Vergleich Komplizierter wird der Fall, wenn mehrere Parameter unbekannt sind (beispielsweise die Elemente der Kovarianzmatrix einer multivariaten Normalverteilung). Es ist dann notwendig Simulationen (sogenannte Monte Carlo Methoden) anzuwenden, um die Normierungskonstante zu bestimmen. Ein kurzer Einblick hierzu findet sich bei Lee (1997, Kapitel 9). Eine detailliertere Beschreibung von Simulationsmethoden im Rahmen der Bayes schen Verfahren ist beispielsweise bei Gamerman (1997) gegeben.