Wahrscheinlichkeiten

Transkript

1 Wahrscheinlichkeiten August, von 21 Wahrscheinlichkeiten

2 Outline 1 Wahrscheinlichkeiten 2 von 21 Wahrscheinlichkeiten

3 Zufallsexperimente Die möglichen Ergebnisse (outcome) i eines Zufallsexperimentes (oder Zufallsvorgangs) bestimmen den Wert einer Zufallsvariablen x Ω X = a 1, a 2,..., a I (x ist eine Funktion des Ergebnisses i). Beispiele: Würfel: Ω = {1, 2, 3, 4, 5, 6} oder Ω = {gerade, ungerade} gemessene Temperatur in K: Ω R + Auswahl eines zufällige Zeichens aus einem Buch Ω = {a, b,..., z, } 3 von 21 Wahrscheinlichkeiten

4 Wahrscheinlichkeiten Jedem Ergebniswert a i wird eine Wahrscheinlichkeit P(x = a i ) (kurz p i ) zugeordnet. Dabei gilt: 0 p i 1 P(Ω) = a i Ω p i = 1 4 von 21 Wahrscheinlichkeiten

5 Wahrscheinlichkeiten einer Untermenge Wahrscheinlichkeit einer Untermenge T von Ω X : P(T ) = i T P(i) Beispiel: Wahrscheinlichkeiten von Vokalen V V = {a, e, i, o, u} P(V ) = = von 21 Wahrscheinlichkeiten

6 (Multivariate Verteilungen) Der Ausgang des Zufallsexperimentes kann auch auf ein geordnetes Paar x, y abbilden, mit mit x Ω X = {a 1,..., a I } y Ω Y = {b 1,..., b J }. P(x, y) ist die multivariate Wahrscheinlichkeit (Joint Probability) von x und y. Kommas sind optional beim Schreiben von geordneten Paaren: xy x, y. Die Zufallsvariablen x und y sind nicht notwendigerweise unabhängig. 6 von 21 Wahrscheinlichkeiten

7 Beispiel Wurf eines Würfels mit x {gerade, ungerade} und y {Primzahl, keineprimzahl}: P(gerade, primzahl) = 1/6 P(ungerade, primzahl) = 2/6 P(gerade, keineprimzahl) = 2/6 P(ungerade, keineprimzahl) = 1/6 Die Angabe aller Wahrscheinlichkeiten der möglichen Zustände bestimmt eine Wahrscheinlichkeitsverteilung (distribution). 7 von 21 Wahrscheinlichkeiten

8 Marginalisierung Die Randverteilung (Marginal Probability) P(x) ergibt sich aus der Joint Probability P(x, y) durch Summation: P(x = a i ) y Ω Y P(x = a i, y). Analog mit kürzerer Notation für die Randverteilung P(y): P(y) x Ω X P(x, y). 8 von 21 Wahrscheinlichkeiten

9 Beispiel für den Wurf eines Würfels mit P(gerade, primzahl) = 1/6 P(ungerade, primzahl) = 2/6 P(gerade, keineprimzahl) = 2/6 P(ungerade, keineprimzahl) = 1/6 P(primzahl) = P(gerade, primzahl) + P(ungerade, primzahl) = 1/2 9 von 21 Wahrscheinlichkeiten

10 Bedingte Wahrscheinlichkeit P(x = a i y = b j ) P(x = a i, y = b j ) P(y = b j ) wenn P(y = b j ) 0 falls P(y = b j ) = 0 dann ist P(x = a i y = b j ) undeniert! 10 von 21 Wahrscheinlichkeiten

11 Beispiel für den Wurf eines Würfels mit P(gerade, primzahl) = 1/6 P(ungerade, primzahl) = 2/6 P(gerade, keineprimzahl) = 2/6 P(ungerade, keineprimzahl) = 1/6 P(primzahl gerade) = 1/6 1/6 + 2/6 = 1/3 11 von 21 Wahrscheinlichkeiten

12 Produkt- und Summenregel Produktregel P(x, y) = P(x y)p(y) = P(y x)p(x). Summenregel P(x) = y P(x, y) = y P(x y)p(y) 12 von 21 Wahrscheinlichkeiten

13 Bedingte Wahrscheinlichkeiten - Satz von Bayes aus Produktregel ergibt sich direkt: Satz von Bayes P(y x) = P(x y)p(y) P(x) = P(x y)p(y) y P(x y )P(y ) 13 von 21 Wahrscheinlichkeiten

14 Statistische Unabhängigkeit Zwei Zufallsvariablen x und y sind statistisch unabhängig (independent), wenn und nur wenn Notation: x y P(x, y) = P(x)P(y) 14 von 21 Wahrscheinlichkeiten

15 Wahrscheinlichkeitsdichte Bei kontinuierlichen Variablen ist p(x) eine Wahrscheinlichkeitsdichte (probability density function, pdf) p(x) 0, p(x)dx = 1 und der Wahrscheinlichkeit das x ins Intervall [a, b] fällt: P(a x b) = b a p(x)dx 15 von 21 Wahrscheinlichkeiten

16 Erwartungswert Der Erwartungswert für eine Funktion von f (x) ist: E X [f (x)] = f (x)p(x)dx = f (x)dp(x) X 16 von 21 Wahrscheinlichkeiten

17 Erwartungswert: Join Probabilty Der Erwartungswert für eine Funktion von f (x, y) ist: E X,Y [f (x, y)] = f (x, y)p(x, y)dxdy = f (x, y)dp(x, y) X Y X Y 17 von 21 Wahrscheinlichkeiten

18 Beispiel: Multivariate Verteilung 18 von 21 Wahrscheinlichkeiten

19 Literaturangabe [MacKay] David McKay: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, von 21 Wahrscheinlichkeiten