Grundbegriffe der Wahrscheinlichkeitsrechnung

Transkript

1 Algorithmen und Datenstrukturen 112 A Grundbegriffe der Wahrscheinlichkeitsrechnung Für Entwurf und Analyse randomisierter Algorithmen sind Hilfsmittel aus der Wahrscheinlichkeitsrechnung erforderlich. Diese werden in diesem Anhang bereitgestellt. A Grundbegriffe der Wahrscheinlichkeitsrechnung TU Bergakademie Freiberg, WS 2005/06

2 Algorithmen und Datenstrukturen 113 A.1 Wahrscheinlichkeit Wahrscheinlichkeit wird definiert bezüglich eines Grundraums Ω, dessen Elemente ω Elementarereignisse genannt werden. Jedes Elementarereignis kann als mögliches Ergebnis eines Zufallsexperiments angesehen werden. Beispiel: Betrachte das Zufallsexperiment, zwei unterscheidbare Münzen zu werfen. Mit K=Kopf und Z=Zahl ist der Grundraum gegeben durch Ω = {KK, ZK, KZ, ZZ}. Ein Ereignis ist eine Teilmenge des Grundraums. Im obigen Beispiel wäre etwa das Ereignis, genau einen Kopf und eine Zahl zu werfen, gegeben durch {KZ, ZK} Ω. Die gesamte Menge Ω heißt sicheres Ereignis, das Ereignis heißt Nullereignis. Zwei Ereignisse A und B sind disjunkt, falls A B =. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

3 Algorithmen und Datenstrukturen 114 A.1.1 Axiome der Wahrscheinlichkeit Eine Wahrscheinlichkeitsverteilung Pr auf einem Grundraum Ω ist eine Abbildung, welche Ereignissen reelle Zahlen zuordnet, sodass folgende Axiome erfüllt sind: 1. Pr(A) 0 für alle Ereignisse A. 2. Pr(Ω) = Pr(A B) = Pr(A) + Pr(B) für zwei disjunkte Ereignisse A, B. Allgemeiner: für jede abzählbare Folge paarweise disjunkter Ereignisse gilt ( ) Pr A i = Pr(A i ). i i Pr(A) heißt Wahrscheinlichkeit des Ereignisses A. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

4 Algorithmen und Datenstrukturen 115 Folgerungen aus den Axiomen: Pr( ) = 0 A B Pr(A) Pr(B). Mit A := Ω \ A (Komplement von A) gilt Pr(A) = 1 Pr(A). Für zwei beliebige Ereignisse A, B gilt Pr(A B) = Pr(A) + Pr(B) Pr(A B) Pr(A) + Pr(B). Im Münzbeispiel: besitzen alle 4 Elementarereignisse dieselbe Wahrscheinlichkeit 1/4, so ist die Wahrscheinlichkeit, mindestens einen Kopf zu werfen Pr({KK, KZ, ZK}) = Pr({KK}) + Pr({KZ}) + Pr({ZK}) = 3/4. Die W. echt weniger als einmal Kopf zu werfen ist Pr({ZZ}) = 1/4, also wirft man mit W. 1 1/4 = 3/4 mindestens einmal Kopf. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

5 Algorithmen und Datenstrukturen 116 A.1.2 Diskrete Wahrscheinlichkeitsverteilungen Eine Wahrscheinlichkeitsverteilung heißt diskret, falls sie über einem endlichen oder abzählbaren Grundraum Ω definiert ist. Da Elementarereignisse paarweise disjunkt sind, gilt in diesem Fall für jedes Ereignis A Pr(A) = ω A Pr(ω). Ist Ω endlich und besitzt jedes Elementarereignis dieselbe Wahrscheinlichkeit 1/ Ω, so spricht man von einer Gleichverteilung. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

6 Algorithmen und Datenstrukturen 117 Beispiel: Wurf einer fairen Münze, d.h. bei welcher Kopf und Zahl je mit Wahrscheinlichkeit 1/2 auftreten. Bei n-maligem Wurf ergibt sich die Gleichverteilung auf dem Grundraum Ω = {K, Z} n bestehend aus allen n- Tupeln aus {K, Z}, d.h. Ω = 2 n, und jedes tritt auf mit Wahrscheinlichkeit 1/2 n. Für das Ereignis A = {Genau k Mal Kopf und n k Mal Zahl treten auf} gilt A = ( n k), denn es gibt genau soviele n-tupel aus {K, Z} n, in denen K k Mal auftritt. Somit gilt ( n k) Pr(A) = 2 n. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

7 Algorithmen und Datenstrukturen 118 A.1.3 Kontinuierliche Gleichverteilung Hier ist Ω = [a, b] mit a < b, a, b R. Die kontinuierliche Gleichverteilung ist ein Beispiel, in dem nicht alle Teilmengen des Grundraums auch Ereignisse sind. Stattdessen geben wir ein Mengensystem an, auf dem Wahrscheinlichkeiten so definiert werden können, dass die Axiome erfüllt sind. Für jedes abgeschlossene Intervall [c, d] mit a c d b ordnet die kontinuierliche Gleichverteilung dem Ereignis [c, d] die Wahrscheinlichkeit zu. Pr([c, d]) = d c b a A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

8 Algorithmen und Datenstrukturen 119 Beachte: Pr([x, x]) = 0 Pr ( (c, d) ) = Pr([c, d]) Allgemein sind alle Ereignisse diejenigen Teilmengen von [a, b], welche als endliche oder abzählbare Vereinigng von offenen oder abgeschlossenen Intervallen dargstellt werden können. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

9 Algorithmen und Datenstrukturen 120 A.1.4 Bedingte Wahrscheinlichkeit und Unabhängigkeit Bedingte Wahrscheinlichkeit beschreibt Zufallsexperimente, über deren Ausgang bereits Teilinformationen bekannt sind. Beispiel: Beim Wurf zweier fairer Münzen sei bekannt, dass eine der beiden Kopf zeige. Wie groß ist die Wahrscheinlichkeit, dass beide Kopf zeigen? Die Vorinformation schließt das Ereignis {ZZ} aus. Da die verbleibenden drei Ereignisse gleich wahrscheinlich sind, ist die Antwort 1/3. Die bedingte Wahrscheinlichkeit eines Ereignisses A unter der Annahme, dass Ereignis B eingetreten ist, wird definiert als Pr(A B) := Pr(A B), sofern Pr(B) 0. Pr(B) A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

10 Algorithmen und Datenstrukturen 121 Im Beispiel: A = {KK}, Pr(A) = 1/4, B = {ZK, KZ, KK}, Pr(B) = 3/4, und somit Pr(A B) = 1/4 3/4 = 1/3. Zwei Ereignisse heißen unabhängig, falls Pr(A B) = Pr(A) Pr(B), was, falls Pr(B) 0, äquivalent ist mit Pr(A B) = Pr(A). A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

11 Algorithmen und Datenstrukturen 122 A.1.5 Der Satz von Bayes Nach Definition bedingter Wahrscheinlichkeit gilt Pr(A B) = Pr(B) Pr(A B) = Pr(A) Pr(B A). Auflösen nach Pr(A B) ergibt den Satz von Bayes, wonach Pr(A B) = Pr(A) Pr(B A). (A.1) Pr(B) A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

12 Algorithmen und Datenstrukturen 123 Beispiel: Das Monty-Hall Problem Als Kandidat einer Spielsendung a erhalten Sie die Wahl zwischen drei Türen: hinter einer Tür befindet sich ein wertvoller Preis (etwa ein Auto), hinter den anderen beiden befindet sich jeweils ein weniger wertvoller Preis (etwa eine Ziege). Nachdem Sie ihre Wahl getroffen haben öffnet der Moderator eine der nichtgewählten Türen und bringt eine Ziege zum Vorschein. Sie erhalten nun die Möglichkeit, Ihre Wahl zu revidieren und zur anderen verbleibenden Tür zu wechseln. Erhöht ein Wechsel Ihre Gewinnchancen? a Die Sendung hieß Let s Make a Deal und Monty Hall war der Moderator. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

13 Algorithmen und Datenstrukturen 124 Lösung: Wechseln verdoppelt Ihre Gewinnchancen. Bezeichnungen: W {1, 2, 3} vom Kandidatengewählte Tür P {1, 2, 3} Tür, hinter welcher Preis liegt T {1, 2, 3} Tür, die Moderator öffnet O.b.d.A.: W = 1, T = 2. Es gilt: Pr(P = 1) = Pr(P = 2) = Pr(P = 3) = 1 3, Pr(T = 1) = 0, Pr(T = 2) = Pr(T = 3) = 1 2, Pr(T = 2 P = 3) = 1, Pr(T = 2 P = 1) = 1 2, Satz von Bayes: Pr(P = 3 T = 2) = 2 3, Pr(P = 1 T = 2) = 1 3. A.1 Wahrscheinlichkeit TU Bergakademie Freiberg, WS 2005/06

14 Algorithmen und Datenstrukturen 125 A.2 Diskrete Zufallsvariable Eine (diskrete) Zufallsvariable X ist eine Funktion von einem endlichen oder abzählbaren Grundraum in die reellen Zahlen. Dadurch wird jedem Elementarereignis eine Zahl zugeordnet, und eine Wahrscheinlichkeitsverteilung auf den reellen Zahlen induziert. a Für eine Zufallsvariable X und x R definieren wir das Ereignis X = x als X 1 ({x}) = {ω Ω : X(ω) = x}, und somit Pr(X = x) = Pr({ω}). {ω Ω:X(ω)=x} Die Funktion f(x) = Pr(X = x) ist die Wahrscheinlichkeitsdichte der Zufallsvariable X. a Zufallsvariable können auch für überabzahlbare Grundräume definiert werden, was aber gewisse technische Feinheiten beinhaltet die für unsere Belange nicht erforderlich sind. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

15 Algorithmen und Datenstrukturen 126 Aus den Axiomen folgt Pr(X = x) 0 sowie x Pr(X = x) = 1. Beispiel: Werfen zweier Würfel Sind diese ungezinkt, so liegt Gleichverteilung vor, d.h. jedes des 36 Elementarereignisse besitzt die Wahrscheinlichkeit 1/36. Die Zufallsvariable X sei definiert als das Maximum der beiden geworfenen Augenzahlen. So ist etwa Pr(X = 3) = 5/36, da X genau den Elementarereignissen den Funktionswert 3 zuordnet. (1, 3), (2, 3), (3, 3), (3, 2) und (3, 1) A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

16 Algorithmen und Datenstrukturen 127 Sind X und Y zwei auf demselben Grundraum definierte Zufallsvariable, so bezeichnet man die auf R 2 definierte Funktion f(x, y) = Pr({X = x und Y = y}) als gemeinsame Wahrscheinlichkeitsdichte von X und Y. Für festes y gilt Pr(Y = y) = x Pr({X = x und Y = y}) und analog für festes x Pr(X = x) = y Pr({X = x und Y = y}) Nach de Definition der bedingten Wahrscheinlichkeit ist Pr(X = x Y = y) = Pr({X = x und Y = y}) Pr(Y = y) A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

17 Algorithmen und Datenstrukturen 128 Zwei Zufallsvariablen heißen unabhängig, falls für alle x, y die Ereignisse {X = x} und {Y = y} unabhängig sind, oder äquivalent Pr({X = x und Y = y}) = Pr(X = x) Pr(Y = y). A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

18 Algorithmen und Datenstrukturen 129 A.2.1 Erwartungswert einer Zufallsvariable Da Wahrscheinlichkeitsverteilungen sehr viel Information enthalten ist es hilfreich, einige Größen zu definieren, welche die wichtigsten Eigenschaften von Zufallsvariablen zusammenfassen. Der Erwartungswert (Mittelwert, Erwartung) einer diskreten Zufallsvariable X ist definiert als E[X] := x Pr(X = x) x (sofern die Summe endlich ist bzw. absolut konvergiert). Der Erwartungswert von X wird auch mit µ X oder einfach µ bezeichnet. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

19 Algorithmen und Datenstrukturen 130 Beispiel: Sie werfen zwei faire Münzen und erhalten für jeden Kopf 3 Euro, müssen aber für jede Zahl 2 Euro bezahlen. Der Erwartungswert der Zufallsvariable X, die Ihren Gewinn angibt, ergibt sich zu E[X] = 6 Pr({KK}) + 1 Pr({ZK, KZ}) 4 Pr({ZZ}) = 6 1/ /2 4 1/4 = 1. Eine wichtige Eigenschaft des Erwartungswerts ist die Linearität, d.h. für beliebige Zufallsvariable X gilt E[X + Y ] = E[X] + E[Y ] (selbst wenn X und Y nicht unabhängig sind). A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

20 Algorithmen und Datenstrukturen 131 Ist X eine Zufallsvariable und g eine Funktion einer Veränderlichen, so ist durch Y (ω) := g(x(ω)) eine neue Zufallsvariable definiert. Hierfür ist der Erwartungswert E[g(X)] = x g(x) Pr(X = x), sofern die Summe existiert. Für die spezielle Funktion g(x) = ax, a eine Konstante, ergibt sich E[aX] = ae[x], d.h. für Zufallsvariablen X, Y und Konstanten a, b gilt stets E[aX + by ] = ae[x] + be[y ]. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

21 Algorithmen und Datenstrukturen 132 Sind X, Y unabhängige Zufallsvariable, für welche die Erwartung existiert, so gilt E[XY ] = xy Pr({X = x und Y = y}) x y = xy Pr(X = x) Pr(Y = y) x y ( ) ( ) = x Pr(X = x) y Pr(Y = y) x = E[X] E[Y ]. Allgemeiner: sind die Zufallsvariablen X 1,..., X n paarweise unabhängig, so gilt E[X 1 X 2 X n ] = E[X 1 ]E[X 2 ] E[X n ]. y A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

22 Algorithmen und Datenstrukturen 133 A.2.2 Varianz und Standardabweichung Der Erwartungswert einer Zufallsvariable gibt keine Auskunft darüber, wie weit die Werte dieser Zufallsvariablen darum streuen. Gilt etwa für zwei Zufallsvariable X und Y Pr(X = 1/4) = Pr(X = 3/4) = 1/2, Pr(Y = 0) = Pr(Y = 1) = 1/2, sowie so liegen trotz E[X] = E[Y ] = 1/2 die Werte von Y weiter vom Erwartungswert entfernt als die von X. Die Varianz quantifiziert diese Streuung. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

23 Algorithmen und Datenstrukturen 134 Die Varianz einer Zufallsvariablen X mit Erwartungswert E[X] ist definiert durch Var[X] := E[(X E[X]) 2 ] = E[X 2 2XE[X] + E[X] 2 ] = E[X 2 ] 2E[X E[X]] + E[X] 2 = E[X 2 ] 2E[X] 2 + E[X] 2 = E[X 2 ] E[X] 2. Für skalare Vielfache ax, a konstant, ergibt sich Var[aX] = a 2 Var[X]. Für unabhängige Zufallsvariable X, Y gilt Var[X + Y ] = Var[X] + Var[Y ]. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06

24 Algorithmen und Datenstrukturen 135 Entsprechend gilt für n paarweise unabhängige Zufallsvariablen X 1,..., X n Var[X X n ] = Var[X 1 ] + + Var[X n ]. Die Standardabweichung einer Zufallsvariablen X ist die (nichtnegative) Wurzel der Varianz von X, und wird mit σ oder σ X bezeichnet. Mit σ 2 wird oft auch die Varianz bezeichnet. A.2 Diskrete Zufallsvariable TU Bergakademie Freiberg, WS 2005/06