Wahrscheinlichkeitsrechnung

Transkript

1 2 Wahrscheinlichkeitsrechnung 2.1 Grundbegriffe Wir betrachten zwei Beispiele, um erste Grundbegriffe anschaulich einzuführen. Beispiel In einem Elektronikmarkt liegen 50 MP3-Player auf einem Tisch, von denen einer defekt ist. Wie wahrscheinlich ist es, dass der nächste Käufer den defekten Player greift? Der Käufer greift zufällig eines der Geräte heraus, die wir in Gedanken mit denzahlen1,...,50 versehen. Das defekte Gerät habe die Nummer 1. Der Zufallsvorgang besteht nun darin, eine der Zahlen aus der Menge Ω = {1,...,50} auszuwählen, wobei jede Zahl (jedes Gerät) mit derselben Wahrscheinlichkeit gezogen wird. Der gesunde Menschenverstand diktiert geradezu, die Wahrscheinlichkeit p k, dass der Player Nr. k gezogen wird, durch festzulegen. p k = 1 50, k =1,...,50, Dieses Beispiel legt den Ansatz nahe, Zufallsvorgänge durch eine Menge Ω mit N Elementen ω 1,...,ω N zu modellieren, denen wir N Wahrscheinlichkeiten p 1,...,p N zuordnen, die sich zu 1 ( 100%) addieren. Beispiel Ein Lottospieler beschließt, so lange Lotto zu spielen, bis er zweimal in Folge drei Richtige hat. Zunächst stellt sich die Frage, wie hier Ω anzusetzen ist. Das Ergebnis dieses zufälligen Lotto-Experiments ist die Wartezeit (in Wochen) auf den zweiten Dreier. Somit ist in diesem Fall Ω = {0,1,2,...} = N 0. Ordnen wir jeder möglichen Wartezeit k N 0 eine Wahrscheinlichkeit p k zu, so ergeben sich unendlich viele Wahrscheinlichkeiten. Somit können die p k nicht alle gleich groß sein. A. Steland, Basiswissen Statistik, DOI / _2, Springer-Verlag Berlin Heidelberg 2013

2 74 2 Wahrscheinlichkeitsrechnung Wir sehen, dass auch Zufallsvorgänge auftreten können, bei denen die Menge Ω eine unendliche Menge ist. Ist Ω wie im Beispiel abzählbar unendlich, d.h. von der Form Ω = {ω 1,ω 2,ω 3,...}, dann können wir jedem ω k eine Wahrscheinlichkeit p k zuordnen. Die Zahlen p k müssensichzu1addieren: p 1 + p 2 + = p k =1. k= Zufallsexperimente und Wahrscheinlichkeit In der Wahrscheinlichkeitsrechnung fasst man alle zufälligen Phänomene unter dem Begriff des Zufallsexperiments zusammen, auch wenn nicht im eigentlichen Wortsinne ein Experiment vorliegt. Zufallsexperiment Unter einem Zufallsexperiment versteht man einen zufallsbehafteten Vorgang, dessen Ausgang nicht deterministisch festgelegt ist. Ergebnismenge, Grundmenge, Ausgang, Ergebnis Die Menge aller möglichen Ausgänge eines Zufallsexperiments heißt Ergebnismenge (Grundmenge) und wird mit Ω bezeichnet. Ein Element ω Ω heißt Ausgang (Ergebnis, Versuchsausgang). Beispiel Beim einfachen Würfelwurf ist Ω = {1,...,6}. Eine gerade Augenzahl entspricht den Ausgängen 2,4 und 6. Dieses (zufällige) Ereignis wird also durch die Teilmenge A = gerade Augenzahl = {2,4,6} Ω dargestellt. Es tritt ein, wenn der tatsächlicheversuchsausgangω in der Menge A liegt. Würfelt man mit einem fairen Würfel, so liegt es nahe, dem Ereignis A die Wahrscheinlichkeit 1/2 zu zuordnen. Geleitet durch die Überlegungen aus dem Beispiel definieren wir:

3 2.1 Grundbegriffe 75 Ereignis, Ereignisalgebra, Elementarereignis Ist Ω eine höchstens abzählbar unendliche Grundmenge, dann heißt jede Teilmenge A Ω Ereignis. Die Menge aller Ereignisse ist die Potenzmenge Pot(Ω) ={A A Ω} aller Teilmengen von Ω und heißt in diesem Kontext auch Ereignisalgebra. Man sagt, das Ereignis A tritt ein, wenn ω A gilt. Ein Ereignis von der Form A = {ω} für ein ω Ω heißt Elementarereignis. Da zufällige Ereignisse über Teilmengen der Obermenge Ω dargestellt werden, kann man Ereignisse gemäß den Operatoren und Rechenregeln der Mengenlehre miteinander kombinieren. UND-/ODER-Ereignis, komplementäres Ereignis A Ω und B Ω heißt die Schnittmenge Für zwei Ereignisse A B = {x x A und x B} UND-Ereignis und A B = {x x A oder x B} ODER-Ereignis. Das Komplement A = A c = {x x Ω und x/ A} = Ω \ A heißt komplementäres Ereignis und entspricht der logischen Negation. Hier einige wichtige Regeln für das Kombinieren von Ereignissen: Sind A,B,C Ω Ereignisse, dann gilt: 1) 2) 3) 4) A (B C) =(A B) (A C), A (B C) =(A B) (A C), (A B) =A B, (A B) =A B. 1) und 2) sind die Distributivgesetze, 3) und 4) die Regeln von DeMorgan. Gelegentlich hat man es auch mit unendlich vielen Ereignissen A 1,A 2,... zu tun. Beim Warten auf die erste Sechs beim Werfen eines Würfels macht es etwa Sinn, das Ereignis

4 76 2 Wahrscheinlichkeitsrechnung A k = Die erste Sechs erscheint im k-ten Wurf zu betrachten. Jedes ω Ω ist dann in genau einer der Mengen A k Ω, so dass Ω die disjunkte Vereinigung aller (unendlich vielen) A k ist. Für Ereignisse A 1,A 2,... ist A k = A 1 A 2 = {ω Ω : ω A k für mind. ein k} k=1 das Ereignis, dass mindestens eines der Ereignisse A k eintritt. A k = A 1 A 2 = {ω Ω : ω A k für alle k =1,2,...} k=1 ist das Ereignis, dass alle A k eintreten. Die Distributivgesetze und die Regeln von DeMorgan können auf solche Mengen verallgemeinert werden. Beispielsweise gilt: i=1 A i = i=1 A i und A i=1 B i = i=1 (A B i). Wir wollen nun Ereignissen A Ω Wahrscheinlichkeiten P (A) zuordnen. Diese Zuordnung kann jedoch nicht völlig beliebig geschehen, sondern muss gewissen Regeln folgen. In Beispiel hatten wir etwa erkannt, dass für eine abzählbar unendliche Grundmenge Ω die Ausgänge ω nicht alle dieselbe Wahrscheinlichkeit haben können. Wahrscheinlichkeitsmaß, Wahrscheinlichkeitsverteilung Eine Abbildung P, die jedem Ereignis A Ω eine Zahl P (A) zuordnet, heißt Wahrscheinlichkeitsmaß oder Wahrscheinlichkeitsverteilung, wenn die so genannten Kolmogorov-Axiome gelten: 1) 0 P (A) 1 für alle Ereignisse A, 2) P (Ω) = 1 (Normierung), 3) Sind A 1,A 2,... disjunkte Mengen, dann gilt P (A 1 A 2 )=P (A 1 )+P (A 2 )+ = P (A k ). k=1 Ein Zufallsexperiment ist erst durch Angabe einer Ergebnismenge Ω und eines Wahrscheinlichkeitsmaßes P vollständig beschrieben. Beispiel Ist Ω eine diskrete Ergebnismenge, Ω = {ω 1,ω 2,...}, und sind p 1,p 2,... Zahlen zwischen 0 und 1, die sich zu 1 addieren, dass heißt i=1 p i = 1, dann ist durch

5 2.1 Grundbegriffe 77 P ({ω i })=p i und P (A) = p i, A Ω, ω i A ein Wahrscheinlichkeitsmaß gegeben. Es gilt für die Elementarereignisse {ω i }: P ({ω i })=p i.istω endlich mit N Elementen, d.h. Ω = {ω 1,...,ω N },dann kann die Wahrscheinlichkeitsverteilung durch eine Tabelle angegeben werden: ω 1 ω 2... ω N p 1 p 2... p N Die Wahrscheinlichkeit eines Ereignisses A erhält man durch Addition derjenigen p i, die zu Elementen ω i gehören, die in A liegen. Beispiel In der deskriptiven Statistik hatten wir die relative Häufigkeitsverteilung eines Merkmals eingeführt. Sind a 1,...,a k die möglichen Ausprägungen des Merkmals und sind f 1,...,f k die zugehörigen relativen Häufigkeiten, so gilt: f f k = 1. Setzen wir Ω = {a 1,...,a k } und definieren das Wahrscheinlichkeitsmaß P (A) = f j, A Ω, j:a j A dann ist P eine Wahrscheinlichkeitsverteilung auf Ω. Es gilt insbesondere für die Elementarereignisse {a j }: P ({a j })=f j. Das zu Grunde liegende Zufallsexperiment besteht darin, zufällig aus der Grundgesamtheit G ein Element g auszuwählen und den zugehörigen Merkmalswert X(g) {a 1,...,a k } = Ω zu berechnen. Jede relative Häufigkeitsverteilung der deskriptiven Statistik definiert also ein Wahrscheinlichkeitsmaß, und sämtliche Rechenregeln, die wir im Folgenden vorstellen, gelten insbesondere für relative Häufigkeiten. Ist speziell f j =1/n für alle j =1,...,n,dann heißt P empirisches Wahrscheinlichkeitsmaß. Aus der Additivität von P bei Vorliegen von disjunkten Vereinigungen ergeben sich die folgenden wichtigen Rechenregeln:

6 78 2 Wahrscheinlichkeitsrechnung Rechenregeln Für Ereignisse A, B Ω gelten die folgenden Regeln: 1) P (A) =1 P (A). 2) Für A B gilt: P (B\A) =P (B) P (A). 3) Für beliebige Ereignisse A, B gilt: 4) Für beliebige Ereignisse A, B gilt: P (A B) =P (A)+P (B) P (A B). P (A B) =P (A)+P (B) P (A B). Herleitung: (i) Ω kann disjunkt in A und A zerlegt werden. Daher ist 1=P (Ω) =P (A)+P (A) P (A) =1 P (A). (ii) Gilt A B, dannist(b\a) A eine disjunkte Vereinigung von B in die Mengen B\A und A. Daher gilt: P (B) =P (B\A)+P (A). Umstellen liefert: P (B\A) =P (B) P (A). (iii) Wir können A B disjunkt aus A und B\(A B) zusammensetzen. Daher gilt: P (A B) =P (A)+P (B\(A B)). Für den zweiten Term auf der rechten Seite wenden wir (ii) an (A B ist Teilmenge von B) und erhalten: P (A B) =P (A)+P (B) P (A B). (iv) folgt aus (iii) durch Auflösen nach P (A B). Wie wir schon in Beispiel gesehen hatten, ist die Berechnung von Wahrscheinlichkeiten besonders einfach, wenn die Elementarereignisse von Ω gleichwahrscheinlich sind. Laplace-Raum Man spricht von einem Laplace-Raum (Ω,P), wenn die Ergebnismenge Ω = {ω 1,...,ω K } endlich ist und das Wahrscheinlichkeitsmaß P auf Ω jedem Elementarereignis dieselbe Wahrscheinlichkeit zuordnet: P (ω) =P ({ω}) = 1 K, ω Ω. P heißt auch (diskrete) Gleichverteilung auf Ω.

7 2.1 Grundbegriffe 79 In Laplace schen Wahrscheinlichkeitsräumen erhält man die Wahrscheinlichkeit eines Ereignisses A durch Abzählen. Regel Ist (Ω,P) ein Laplace-Raum, dann gilt für jedes Ereignis A: P (A) = A Anzahl der für A günstigen Fälle =. Ω Anzahl aller Fälle Hierbei bezeichnet A die Anzahl der Elemente von A (Kardinalität). Beispiel (Urnenmodelle I und II) (i) Urnenmodell I: Ziehen in Reihenfolge mit Zurücklegen In einer Urne befinden sich N Kugeln mit den Nummern 1 bis N. Die Urne mit den N Kugeln kann etwa für eine Grundgesamtheit mit N statistischen Einheiten stehen. Man greift n-mal in die Urne und zieht jeweils eine Kugel. Nach Notieren der Nummer wird die Kugel zurückgelegt. Ist ω i {1,...,N} = A die Nummer der i-ten gezogenen Kugel, dann beschreibt das n-tupel ω =(ω 1,...,ω n ) das Ergebnis einer Stichprobenziehung. Hier ist Ω I = {ω =(ω 1,...,ω n ) ω 1,...,ω n A}. Da alle Stichproben gleichwahrscheinlich sind, liegt ein Laplace-Raum mit Ω I = N n vor. (ii) Urnenmodell II: Ziehen in Reihenfolge ohne Zurücklegen Man geht wie in (i) vor, jedoch werden nun die gezogenen Kugeln nicht zurückgelegt. Alle ω i sind also verschieden. Man kann Ω II = {(ω 1,...,ω n ): ω 1,...,ω n A, ω i ω j für i j} wählen. Es gilt Ω II = N (N 1)... (N n +1). Für N N und n N mit n N setzt man: (N) n = N (N 1)... (N n +1). Beispiel ) k Objekte sollen in einem Array der Länge n gespeichert werden, wobei der Speicherplatz zufällig ausgewählt wird (Hashing). Ist ein Platz schon vergeben, so spricht man von einer Kollision; in diesem Fall wird in der Regel der nächste freie Platz vergeben. Es bezeichnet A nk das Ereignis einer Kollision. Um die Wahrscheinlichkeit P (A nk )zu berechnen, benötigen wir ein korrektes Modell. Bezeichnen wir mit ω i den

8 80 2 Wahrscheinlichkeitsrechnung für das ite Objekt ausgewählten Speicherplatz, so liegt das Urnenmodell I(mitN = n und n = k) vor: Ω = {ω =(ω 1,...,ω k ):ω 1,...,ω k {1,...n}}, P(ω) = 1,ω Ω. nk Nunkanndaskomplementäre Ereignis A nk (keine Kollision) formal in der Form A nk = {(ω 1,...,ω k ) Ω : ω i ω j,i j} dargestellt werden. Dies entspricht genau dem Urnenmodell II (mit N = n und n = k). Somit gilt: q nk = P (A nk )= n(n 1) (n k +1) n k und P (A nk ) = 1 q nk. Wir wollen noch eine obere Schranke für q nk herleiten: Man hat q nk = (n) k 1 ( k n k = 1 i ) n =exp i=1 i=1 ( k 1 ln i=1 ( 1 i n) ). Für x<1 gilt ln(1 x) x. Damit erhalten wir ( ) k 1 ( ) i (k 1)k q nk exp =exp, n 2n wobei die Formel k 1 i=1 i = (k 1)k 2 verwendet wurde. 2) Die Marketing-Abteilung mit n = 6 Mitarbeitern kann sich nicht darauf einigen, wie k = 3 anliegende Aufgaben verteilt werden sollen. Schließlich wird entschieden, die Sache auszuwürfeln. Es wird k mal gewürfelt und der entsprechende Mitarbeiter bekommt die Aufgabe. Wie wahrscheinlich ist es, dass ein Mitarbeiter mehr als eine Aufgabe bekommt? Es liegt das Urnenmodell I vor mit N = 6 und n = k: Bezeichnet ω i das Ergebnis des iten Wurfs, i =1,...,k,soist Ω = {ω =(ω 1,...,ω k ):ω 1,...,ω k {1,...6}}, P(ω) = 1,ω Ω. 6k Sei A das Ereignis, dass alle Mitarbeiter verschiedene Aufgaben erhalten: A = {(ω 1,...,ω k ) Ω : ω i ω j,i j} Gesucht ist dann P (A) =1 P (A). Das Ereignis A entspricht gerade der Ergebnismenge des Urnenmodells II mit N = 6 und n = k. Somit ist P (A) = 6 5 (6 k+1). Nun kann für verschiedene Werte von k die Wahrscheinlichkeit berechnet werden. Für k =3erhält 6 k man =

9 2.1 Grundbegriffe Chancen (Odds) Chancen (Odds) Die Chance (engl.: odds) o = o(a) eines Ereignisses A ist definiert als der Quotient der Wahrscheinlichkeit p = P (A) vona und der komplementären Wahrscheinlickeit P (A) =1 p: o = o(a) = p 1 p. Durch Logarithmieren erhält man die logarithmierten Chancen (engl.: log-odds): log(o) = log(p/(1 p)) = log(p) log(1 p). Die logarithmierten Chancen transformieren Wahrscheinlichkeiten, also Zahlen zwischen 0 und 1, in reelle Zahlen. Sie besitzen eine interessante Symmetrieeigenschaft: Die logarithmierte Chance des komplementären Ereignisses A ist gerade das Negative der logarithmierten Chance von A: ( ) ( ) 1 p p log o(a) = log = log = log o(a). p 1 p Sind A und A gleichwahrscheinlich, d.h. p = P (A) =P (A) =1/2, dann ergibt sich o = 1 und somit log(o) =0. Chancenverhältnis (Odds-Ratio) Die Chancen o(a) und o(b) von zwei Ereignissen A und B werden häufig durch das Chancenverhältnis (engl.: Odds Ratio) verglichen: r = o(a) P (A)/(1 P (A)) = o(b) P (B)/(1 P (B)). Das logarithmierte Odds Ratio ist gerade die Differenz der logarithmierten Odds. Trägt man Wahrscheinlichkeiten auf der log-odds-skala auf, so ist ihre Differenz gleich dem logarithmierten Odds Ratio. Beispiel Das Ereignis A, ein Spiel zu gewinnen, trete mit Wahrscheinlichkeit p = P (A) =0.75 ein. Die Chancen stehen also 75 zu 25, so dass sich o =0.75/0.25 = 3 ergibt. Zu gewinnen ist dreimal so wahrscheinlich wie zu verlieren. Gilt für ein anderes Spiel p = 0.9, so ist es o = 0.9/0.1 = 9-mal wahrscheinlicher zu gewinnen als zu verlieren. Das Chancenverhältnis beträgt

10 82 2 Wahrscheinlichkeitsrechnung r =9/3 = 3. Die Chancen sind beim zweiten Spiel um den Faktor 3 günstiger. Auf der logarithmischen Skala erhalten wir log(3) und log(9) mit Abstand log(9) log(3) = log(r) = log(3). Siebformel Mitunter muss man die Wahrscheinlichkeit von ODER-Ereignissen berechnen, bei denen mehr als zwei Ereignissen verknüpft werden. Es gilt: P (A B C) =P (A)+P (B)+P (C) P (A B) P (A C) P (B C)+P (A B C). Herleitung: Wir wenden die Formel P (A B) =P (A)+P (B) P (A B) zweimal an und markieren durch Unterstreichen, welche Mengen A und B auf der linken Seite der Formel entsprechen. Zunächst ist P (A B C) =P (A)+P (B C) P (A (B C)) Für den letzten Term gilt: = P (A)+P (B)+P (C) P (B C) P (A (B C)). P (A (B C)) = P ((A B) (A C)) = P (A B)+P (A C) P (A B C). Setzt man dies oben ein, so ergibt sich die gewünschte Formel. Die Formeln für P (A B) und P (A B C) sind Spezialfälle einer allgemeinen Formel: Siebformel Sind A 1,...,A n Ω Ereignisse, dann gilt: n P (A 1 A n )= P (A i ) P (A i A j ) i=1 i<j + P (A i A j A k ) +( 1) n 1 P (A 1 A n ). i<j<k Ereignis-Algebra In Anwendungen treten nicht nur Ergebnismengen auf, die abzählbar unendlich sind, wie die folgenden Beispiele zeigen.

11