Prof. Dr. G. Meinhardt 6. Stock, Wallstr. 3 (Raum 06-206) Sprechstunde jederzeit nach Vereinbarung und nach der Vorlesung. Mathematische und statistische Methoden II Dr. Malte Persike persike@uni-mainz.de http://psymet03.sowi.uni-mainz.de/ SoSe 2011 Fachbereich Sozialwissenschaften Psychologisches Institut Johannes Gutenberg Universität Mainz Folie 1
Inhalte dieser Sitzung Herumgedrückt: Die Wahrscheinlichkeitsdefinition von Kolmogoroff Wie misst man Wahrscheinlichkeiten das Gesetz der großen Zahl Bedingte Wahrscheinlichkeiten: Wie wahrscheinlich sind blaue Streifen bei Schwangerschaft und wie wahrscheinlich ist Schwangerschaft bei blauen Streifen? Der Folie 2
Laplace Kolmogoroff Die axiomatische Wk- von Kolmogoroff Probleme der Laplace schen Die von p() ist zirkulär, da Gleichmöglichkeit nur ein Synonym für Gleichwahrscheinlichkeit ist. Die Klasse der enthaltenen Zufallsprozesse ist durch das Konzept der Gleichmöglichkeit von Elementarereignissen stark eingeschränkt. Beispiel: Kopf, Zahl und Seite Folie 3
Laplace Kolmogoroff Venn- Diagramme Folgerungen Exkurs: Venn-Diagramme Illustration von Ereignissen & Wahrscheinlichkeiten Jedes Ereignis ist durch einen Kreis repräsentiert Die Fläche des Kreises repräsentiert die Wahrscheinlichkeit des Ereignisses Das umgebende Quadrat ist der Stichprobenraum Poisson Folie 4 A B A und B haben eine Schnittmenge, sind aber ungleich A B A ist ein Teilereignis von B
Laplace Kolmogoroff Venn- Diagramme Folgerungen Poisson Folie 5 Die axiomatische Wk- von Kolmogoroff Die auf der σ Algebra definierte Funktion p(e) besitzt folgende Eigenschaften: 1. Für jedes Ereignis E der σ Algebra gilt: p(e) 0 2. Für das sichere Ereignis gilt: p() = 1 3. Lässt sich das Ereignis E in die disjunkten Teilereignisse A und B zerlegen, gilt: (E, A, B σ; A B = ) 4. p(e) = p(a +B) = p(a) + p(b) Additionstheorem der Wahrscheinlichkeiten
Laplace Kolmogoroff Venn- Diagramme Folgerungen Poisson Folgerungen aus den Axiomen Der Erweiterte Additionssatz Das Additionstheorem kann beliebig weit verschachtelt werden, wenn die Teilereignisse selbst wieder in disjunkte Teilereignisse zerlegbar sind. Konsequenz: Ist ein Ereignis E in k disjunkte Teilereignisse e 1 e k zerlegbar, so folgt durch vollständige Induktion: p(e) = p(e 1 ) + p(e 2 ) + + p(e n ) Erweitertes Additionstheorem Folie 6
Laplace Kolmogoroff Venn- Diagramme Folgerungen aus den Axiomen Die Wahrscheinlichkeit des unmöglichen Ereignisses p 0 Folgerungen Wahrscheinlichkeit des unmöglichen Ereignisses ist 0. Poisson Es gilt ja für den Stichprobenraum : Und mit Axiom 3 (Additionstheorem): p( ) p p Und mit Axiom 2 nun: 11 p( ) Durch Umformen folgt der Satz. Folie 7
Laplace Kolmogoroff Venn- Diagramme Folgerungen aus den Axiomen Die Wahrscheinlichkeit des Gegenereignisses pe ( ) 1 pe E Folgerungen Wahrscheinlichkeit des Komplements ist 1 minus die WK des Ereignisses E Poisson Es gilt ja für den Stichprobenraum : E E Und mit Axiom 2 folglich: 1 pe E Und mit Axiom 3 (Additionstheorem) dann: 1 p E p E Woraus der Satz folgt. Folie 8
Laplace Kolmogoroff Venn- Diagramme Folgerungen Folgerungen aus den Axiomen Verbundwahrscheinlichkeiten Wir haben gesehen: Wenn zwei Ereignisse aus einer -Algebra eine Schnittmenge haben, so ist diese Schnittmenge wieder ein Ereignis in. A Poisson Die Wahrscheinlichkeit p(a dieser Schnittmenge ist immer gleich oder größer 0 A AB B Folie 9 Man bezeichnet p(a auch als Verbundwahrscheinlichkeit von A und B
Laplace Kolmogoroff Venn- Diagramme Folgerungen aus den Axiomen Der Allgemeine Additionssatz Folgerungen Problem: Wenn zwei Ereignisse nicht disjunkt sind, ist das Additionstheorem nicht unmittelbar anwendbar: p(a B) p(a) + p(b) wenn p(a B) > 0 A AB B Poisson Die Wahrscheinlichkeit der Schnittmenge, also die Verbundwahrscheinlichkeit, geht dann doppelt ein. Die Verbundwahrscheinlichkeit muss also einmal subtrahiert werden. Folie 10 p(a B) = p(a) + p(b) p(a B) Allgemeiner Additionssatz
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Notation für Wahrscheinlichkeiten Folgerungen Poisson Genau wie bei Laplace kann nun auf den Elementarereignissen des Stichprobenraums und den Ereignissen der -Algebra eine Wahrscheinlichkeitsfunktion definiert werden. Dies geschieht einfach über die Zuweisung reeller Zahlen, die die Kolmogoroff Axiome erfüllen Die Zahlen können dann als Wahrscheinlichkeiten für die Ereignisse E aufgefasst werden. Jede auf oder definierte Zufallsvariable erbt wieder die Wahrscheinlichkeitsfunktion. Folie 11
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Notation für Wahrscheinlichkeiten Die der Wahrscheinlichkeitsfunktion p(x) entspricht der der Zufallsvariablen Folgerungen Poisson p( ="K"): 0.49999 KZS,, pp( ="Z"): 0.49999 p( ="S"): 0.00002 Folie 12
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Notation für Wahrscheinlichkeiten Folgerungen Poisson Die der Wahrscheinlichkeitsfunktion p(x) entspricht der der Zufallsvariablen x: 1 0, wenn "K",, x 2: 1, wenn "Z" x: 2, wenn "S" KZS X 3 p(x=x 1): 0.49999 px p(x=x 2): 0.49999 p(x=x ): 0.00002 2 Folie 13
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Notation für Wahrscheinlichkeiten Folgerungen Poisson Man unterscheidet zwei Arten von Wahrscheinlichkeiten Die Punktwahrscheinlichkeit ist die Wk dafür, dass X eine bestimmte Ausprägung annimmt: X = x i Sie wird als p(x=x i ) oder p(x i ) oder p i geschrieben Die Intervallwahrscheinlichkeit ist die Wk dafür, dass X eine Ausprägung annimmt, die in einem gegebenen Intervall liegt, z.b. X > x i oder x i X x j Intervallwahrscheinlichkeiten können nur für Variablen mit geordneten Ausprägungen berechnet werden. Sie wird z.b. als p(x > x i ) oder p(x i X x j ) geschrieben Folie 14 Frage: Woher stammen die Wahrscheinlichkeiten p?
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Häufigkeit und Wahrscheinlichkeit Folgerungen Poisson Folie 15 Wenn ein Zufallsexperiment mehrmals wiederholt wird, so wird die Anzahl der Trials oft mit n bezeichnet. Man kann dann die Häufigkeiten zählen, mit denen jede der möglichen Realisationen x i aufgetreten ist. Diese werden als h(x=x i ) oder h(x i ) oder h geschrieben h(x=x i ) wird auch als absolute Häufigkeit bezeichnet Die relative Häufigkeit berechnet man nun als f X x i Analog zu Wahrscheinlichkeiten kann man auch Intervallhäufigkeiten H(X=x i ) und F(X=x i ) berechnen. h X n x i
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeitsfunktionen Häufigkeit und Wahrscheinlichkeit Folgerungen Achtung: Häufigkeiten sind keine Wahrscheinlichkeiten Die Wahrscheinlichkeitsfunktion einer Zufallsvariablen bestimmt lediglich, was bei einer realen Durchführung des Zufallsexperimentes für die beobachteten Häufigkeiten zu erwarten ist Poisson p(x 1 ) = 0.2 p(x 2 ) = 0.4 p(x 3 ) = 0.1 Theorie f(x 1 ) 0.18 p(x 2 ) 0.41 p(x 3 ) 0.15 Empirie Folie 16 Frage: Woher stammen die Wahrscheinlichkeiten p?
Laplace Kolmogoroff Venn- Diagramme Wahrscheinlichkeiten Empirische der Wahrscheinlichkeit (Poisson, 1835) The Law of Large Numbers Folgerungen p X x i hx ( ) n : lim i n ( ) : Häufigkeit des Ereignisses hx i n : Gesamtzahl aller Versuche Bei unabhängigen Wiederholungen eines Zufallsexperiments strebt die relative Häufigkeit für das Auftreten eines Ereignisses x i gegen die Wahrscheinlichkeit p(x=x i ). Poisson Folie 17 Beispiel: Relative Häufigkeit für das Würfeln einer 6 in Abhängigkeit von der Anzahl der Würfelversuche:
Bedingte Wk Theoreme Wk-Bäume Unabhängigkeit Bedingte Wahrscheinlichkeit Einführendes Beispiel Bei den Bundesjugendspielen interessiert sich ein Sportpsychologe für den Zusammenhang zwischen unterirdischem Abschneiden in verschiedenen Disziplinen. Er erhebt dazu Verfehlen (A) oder Erreichen (nicht A) des Zeitkriteriums beim 100m Lauf Negative (B) bzw. positive (nicht B) Weite beim Ballwurf. Der Sportpsychologe beobachtet an n=100 Kindern p(a) = 0.12 p(b) = 0.05 p(a B) = 0.04 Folie 18
Bedingte Wk Bedingte Wahrscheinlichkeit Theoreme Wk-Bäume Bedingte Wahrscheinlichkeit pb ( A) pa ( B) pa ( ) (Unbedingte) Verbundwahrscheinlichkeit Grundwahrscheinlichkeit Unabhängigkeit Ist die Wahrscheinlichkeit für das Ereignis B, gegeben dass das Ereignis A bereits eingetreten ist (lies: B gegeben A ). Im Venn Diagramm kann p(b A) als Anteil der Fläche A B an der Fläche A interpretiert werden (und nicht mehr am gesamten Stichprobenraum ). A A B B Folie 19
Bedingte Wk Theoreme Wk-Bäume Unabhängigkeit Bedingte Wahrscheinlichkeit Im Laplace Ansatz Es seien n die Menge aller Elementarereignisse in. a die für das Ereignis A günstigen Elementarereignisse b die für das Ereignis B günstigen Elementarereignisse c die für das Ereignis A B günstigen Elementarereign. 100m Verfehler pa ( ) a n a c b pb ( ) n negative Weite b n Folie 20 c pa ( B) und pb ( A) n c und pa ( B) a c b
Bedingte Wk Theoreme Wk-Bäume Unabhängigkeit Bedingte Wahrscheinlichkeit Im Laplace Ansatz Es seien n die Menge aller Elementarereignisse in. a die für das Ereignis A günstigen Elementarereignisse b die für das Ereignis B günstigen Elementarereignisse c die für das Ereignis A B günstigen Elementarereign. Es ist also zunächst p(a) = a / n p(b) = b / n p(ab) = c / n Aus dem Venn Diagramm sah man auch: p(b A) = c / a Umformen und Kürzen ergibt pb ( A) c p( A B) a p( A) Folie 21
Bedingte Wk Theoreme Wk-Bäume Bedingte Wahrscheinlichkeit Im Kolmogoroff Ansatz In der axiomatischen der Wahrscheinlichkeit kann die Berechnungsvorschrift für bedingte Wahrscheinlichkeiten nicht bewiesen werden. Unabhängigkeit Deshalb muss die bedingte Wahrscheinlichkeit hier definiert werden:! p( A B) pb ( A) pa ( ) Folie 22
Bedingte Wk Theoreme Wk-Bäume Bedingte Wahrscheinlichkeit Das Multiplikationstheorem Man sieht sofort dass gilt: p(a B) = p(b A) Damit erhalten wir durch Umformen Unabhängigkeit pb ( A) pa ( B) pa ( ) pab ( ) pa ( B) pb ( ) p( AB) p( B A) p( A) p( AB) p( A B) p( B) Multiplikationstheorem Folie 23
Bedingte Wk Theoreme Wk-Bäume Satz der totalen Wahrscheinlichkeit Wenn die Ereignisse B 1, B 2, B k paarweise disjunkt sind und das Ereignis A immer mit einem der B i auftritt, gilt A = (AB 1 ) + (AB 2 ) + +(AB k ) Unabhängigkeit Mit dem Additionsthorem erhalten wir p A p AB1 p AB k ( ) ( ) ( ) B k B 1 B 2 A Und mit dem Multiplikationstheorem wird daraus p( A) p( B ) p( A B ) p( B ) p( A B ) p( B ) p( A B ) 1 1 2 2 k k Folie 24 Satz der totalen Wahrscheinlichkeit
Bedingte Wk Theoreme Wahrscheinlichkeitsbäume Additions- und Multiplikationstheorem für bedingte Wahrscheinlichkeiten lassen sich gut an einem Wahrscheinlichkeitsbaum veranschaulichen. Wk-Bäume Unabhängigkeit Folie 25 S p(a 1 ) p(a 1 ) p(a 1 ) Ereignis A A 1 A 2 A 3 p(b 1 A 1 ) p(b 2 A 1 ) p(b 1 A 2 ) p(b 2 A 2 ) p(b 1 A 3 ) p(b 2 A 3 ) Ereignis B, gegeben A B 1 B 2 B 1 B 2 B 1 B 2 p(b 1 A 1 )p(a 1 ) p(b 2 A 1 )p(a 1 ) p(b 1 A 2 )p(a 2 ) p(b 2 A 2 )p(a 2 ) p(b 1 A 3 )p(a 3 ) p(b 2 A 3 )p(a 3 ) Multiplikationstheorem für Wk ten Man sieht auch: p(a 1 B 1 +A 2 B 1 +A 3 B 1 )= p(b 1 A 1 )p(a 1 )+ p(b 1 A 2 )p(a 2 )+ p(b 1 A 3 )p(a 3 ) Satz der totalen Wahrscheinlichkeit
Bedingte Wk Stochastische Unabhängigkeit Theoreme Wenn gilt: p(b) = p(b A) Wk-Bäume Unabhängigkeit werden die Ereignisse A und B stochastisch unabhängig genannt, weil die Wahrscheinlichkeit des Auftretens des Ereignisses B nicht vom Auftreten von A abhängt. Setzen wir die rechte Seite der Gleichung in das Multiplikationstheorem ein, erhalten wir: p(a B) = p(b A) p(a) = p(a) p(b) Kurz: p(a B) = p(a) p(b) Folie 26 Multiplikationssatz für stoch. unabh. Ereignisse
Bedingte Wk Theoreme Wk-Bäume Stochastische Unabhängigkeit Verallgemeinerung des Multiplikationssatzes Wenn die Ereignisse A 1, A 2, A k insgesamt unabhängig sind, so gilt p(a 1 A 2 A k ) = p(a 1 ) p(a 2 ) p(a k ) Unabhängigkeit Achtung: Die Disjunktheit von Ereignissen hat mit der stochastischen Unabhängigkeit nichts zu tun. A und B sind disjunkt (A B = {}). Wenn aber A eingetreten ist, reduziert sich p(b) bzw. p(b A) auf Null. A B Folie 27
Bedingte Wk Theoreme Wk-Bäume Unabhängigkeit Stochastische Unabhängigkeit Wechselseitigkeit Für stochastisch unabhängige Ereignisse kann man aus den Kolmogoroff Axiomen allgemeine Regeln herleiten: 1. Ist A von B unabhängig, so ist es auch B von A 2. Sind A und B unabhängig, so sind es auch ihre Gegenereignisse 3. Sind A und B unabhängig so sind es auch alle Kombination von A und B mit ihren Gegenereignissen Folie 28
Beispiel Bedingte Wk Beispiel Ein Statistikdozent in der Psychologie fragt sich, ob das Bestehen seiner Fachprüfung überhaupt etwas über die Eignung eines bereits immatrikulierten Psychologiestudierenden für das Studium aussagt. Er erhebt dazu mehrere Wahrscheinlichkeiten: p(klausurverfehler) = 0.05 p(studiumsgeeigneter) = 0.95 p(klausurverfehler Studiumsgeeigneter) = 0.04 Folie 29
Beispiel Bedingte Wk Beispiel Studiumsgeeignete Folie 30 Studiumsgeeignete Klausurverfehler Klausurverfehler
Beispiel Bedingte Wk Beispiel Studiumsgeeignete Folie 31 Studiumsgeeignete Klausurverfehler Klausurverfehler
Bedingte Wk Beispiel Wir sehen anhand des Multiplikationstheorems, dass p(b A) p(a) = p(a B) p(b) Damit gilt pb ( A) pabpb ( ) ( ) pa ( ) bzw. pab ( ) pb ( ApA ) ( ) pb ( ) Die bedingte Wahrscheinlichkeit eines Ereignisses A gegeben B ist zu berechnen aus der Wahrscheinlichkeit für B gegeben A und den Grundwahrscheinlichkeiten von A und B. Diese Beziehung ist der. Folie 32
Beispiel Bedingte Wk Verallgemeinerung Hat man mehrere Ereignisse B 1, B 2,, B k gilt beim Satz von Bayes pb ( A) i pab ( ) pb ( ) i pa ( ) i vorausgesetzt, dass die Grundwahrscheinlichkeit für A bekannt ist. Häufig kennt man aber nur alle p(a B i ). Mit dem Satz der totalen Wahrscheinlichkeit erhält man aus dem diese allgemeine Bayes-Formel: pb ( A) i pab ( i) pb ( i) p( A B ) p( B ) p( A B ) p( B ) p( A B ) p( B ) 1 1 2 2 k k Folie 33