Zentralübung Diskrete Wahrscheinlichkeitstheorie

Transkript

1 Zentralübung Diskrete Wahrscheinlichkeitstheorie Christian Ivicevic Technische Universität München 14. Juni 2017

2 Agenda Disclaimer und wichtige Hinweise Übungsaufgaben

3 Disclaimer und wichtige Hinweise Diese Folien wurden weder von Prof. Albers noch von der Übungsleitung erstellt und erheben keinerlei Anspruch auf Richtigkeit oder Vollständigkeit. Sie sollen nicht die Vorlesungsfolien ersetzen, sondern lediglich als Lernunterstützung genutzt werden. Die hier gestellten Aufgaben und die damit abgedeckten Themenbereiche sind weder für die Klausur relevant, noch irrelevant. Sie dienen vor allem dazu euch andere Blickrichtungen auf den Stoff zu präsentieren.

4 Wahrscheinlichkeitsräume Ein diskreter Wahrscheinlichkeitsraum (Ω, Pr) besteht aus einer abzählbaren Elementarergebnismenge Ω und einem zugehörigen Wahrscheinlichkeitsmaß Pr : Ω [0, 1], das erfüllt. ω Ω Pr[ω] = 1 Hinweis Bei der Konstruktion eines Wahrscheinlichkeitsraums muss die Menge Ω stets definiert oder hinreichend beschrieben werden, sowie gezeigt werden, dass 0 Pr[ω] 1 für alle ω Ω gilt. Zuletzt muss ω Ω Pr[ω] = 1 gezeigt werden.

5 Wahrscheinlichkeitsräume Beispiel: Zweifaches Werfen einer gezinkten Münze Die Ergebnisse Ω = {hh, ht, th, tt} beschreiben die vier möglichen Ausgänge, wobei h für Kopf und t für Zahl steht. Falls die Münze mit Wahrscheinlichkeit 1/3 Kopf zeigt, erhalten wir folgendes Wahrscheinlichkeitsmaß: Pr[hh] = = 1 9 Pr[ht] = = 2 9 = Pr[th] Pr[tt] = = 4 9 Alle Wahrscheinlichkeiten sind positiv und addieren sich offensichtlich zu 1, daher ist die Konstruktion des Wahrscheinlichkeitsraumes (Ω, Pr) gültig.

6 Ereignisse Ein Ereignis E Ω ist eine Menge von Ergebnissen und es gilt Pr[E] = ω E Pr[ω]. Beispiel: Zweifaches Werfen einer gezinkten Münze In unserem letzten Beispiel mit Ω = {hh, ht, th, tt} können wir die Ergebnisse, bei denen keine Seite doppelt vorkommt mithilfe des Ereignisses A = {ht, th} Ω beschreiben.

7 Wahrscheinlichkeiten zusammengesetzter Ereignisse Satz (Additionssatz) Seien A 1,..., A n Ω disjunkte Ereignisse, dann gilt [ n ] n Pr A k = Pr[A k ]. k=1 k=1 Satz (Siebformel) Seien A 1,..., A n Ω, nicht notwendigerweise disjunkte, Ereignisse, dann gilt [ n ] Pr A k = [ ] ( 1) I +1 Pr A i. k=1 I [n] i I

8 Wahrscheinlichkeiten zusammengesetzter Ereignisse Beispiel: Siebformel Für n = 2 erhalten wir durch Einsetzen in die Siebformel: Pr[A 1 A 2 ] = Pr[A 1 ] + Pr[A 2 ] Pr[A 1 A 2 ] Für n = 3 erhalten wir durch Einsetzen in die Siebformel: Pr[A 1 A 2 A 3 ] = Pr[A 1 ] + Pr[A 2 ] + Pr[A 3 ] Pr[A 1 A 2 ] Pr[A 1 A 3 ] Pr[A 2 A 3 ] + Pr[A 1 A 2 A 3 ]

9 Wahrscheinlichkeiten zusammengesetzter Ereignisse Seien A, B Ω und Pr[B] 0, dann beschreibt der Ausdruck Pr[A B] = Pr[A B] Pr[B] die bedingte Wahrscheinlichkeit von A unter der Bedingung, dass B bereits eingetreten ist. Es gelten folgende Rechenregeln: Pr[A A] = 1 Pr[A Ω] = Pr[A] Pr[ A] = 0 Pr[A B] = 1 Pr[A B]

10 Wahrscheinlichkeiten zusammengesetzter Ereignisse Satz (Multiplikationssatz) Seien A 1,..., A n Ω mit Pr[A 1... A n ] 0, dann gilt Pr[A 1... A n ] = Pr[A 1 ] Pr[A 2 A 1 ] Pr[A 3 A 1 A 2 ]... Pr[A n A 1... A n 1 ].

11 Satz von der totalen Wahrscheinlichkeit Satz (Satz von der totalen Wahrscheinlichkeit) Sei A 1,..., A n Ω eine paarweise disjunkte Partition von Ω, dann gilt n Pr[B] = Pr[B A k ] Pr[A k ]. k=1

12 Satz von Bayes Satz (Satz von Bayes) Seien A, B Ω mit positiven Wahrscheinlichkeiten, dann gilt Pr[A B] = Pr[B A] Pr[A]. Pr[B]

13 Diskrete Zufallsvariablen Eine Zuordnung X : Ω R bezeichnen wir als Zufallsvariable. Beispiel: Zweimaliges Werfen einer Münze In diesem Experiment können wir zu Ω = {hh, ht, th, tt} eine Zufallsvariable X definieren mit X(hh) = 0, X(ht) = X(th) = 1 und X(tt) = 2, die angibt, wie oft in einem Ergebnis ein Zahlwurf enthalten ist. Somit folgt auch die Evalution des Ausdrucks Pr[X = 1] = Pr[{ω Ω X(ω) = 1}] = Pr[{ht, th}] = Pr[ht] + Pr[th].

14 Dichte und Verteilung Eine Zuordnung f X : R x Pr[X = x] [0, 1] wird als Dichte(funktion) der Zufallsvariablen X bezeichnet. Die Zuordnung F X : R x Pr[X x] [0, 1] wird als Verteilung(sfunktion) der Zufallsvariablen X bezeichnet. Hinweis Während das Wahrscheinlichkeitsmaß Pr lediglich für gültige Werte definiert ist, müssen Dichte und Verteilung für sämtliche Werte definiert werden! Insbesondere müssen Sonderfälle berücksichtigt werden, in denen der Wert 0 angenommen wird!

15 Gemeinsame Dichte und Randdichten Seien X und Y Zufallsvariablen, dann wird der Ausdruck f X,Y (x, y) = Pr[X = x, Y = y] als gemeinsame Dichte der Zufallsvariablen X und Y bezeichnet. Aus einer gemeinsamen Dichte f X,Y lassen sich die Randdichten gemäß folgender Vorschrift herleiten: f X (x) = f X,Y (x, y) y W Y f Y (y) = f X,Y (x, y) x W X

16 Unabhängigkeit Seien X 1,..., X n Zufallsvariablen, dann nennen wir diese unabhängig genau dann, wenn f X1,...,X n (x 1,..., x n ) = f X1 (x 1 )... f Xn (x n ). Seien X und Y unabhängige Zufallsvariablen und Z = X + Y, dann folgt die Dichte f Z (z) aus der diskreten Faltungsformel und es gilt f Z (z) = x W X f X (x) f Y (z x).

17 Erwartungswert Der Erwartungswert einer Zufallsvariablen X ist definiert durch E[X] = x f X (x) x W X und existiert nur, wenn diese Reihe absolut konvergiert. Darüber hinaus können Zufallsvariablen, die durch Komposition von Funktionen entstehen, ähnlich genutzt werden, dann gilt E[g(X)] = g(x) f X (x). x W X

18 Erwartungswert Beispiel: Erwartungswerte E[X(X 1)] = x (x 1) f X (x) x W X [ ] E X = x f X (x) x W X

19 Bedingte Erwartungswerte Ein Erwartungswert kann auf ein bestimmtes Ereignis A Ω bedingt werden. In diesem Fall gilt E[X A] = x Pr[X = x A]. x W X Erneut lassen sich Funktionen auf die Zufallsvariablen anwenden und es folgt E[g(X) A] = g(x) Pr[X = x A]. x W X

20 Bedingte Erwartungswerte Satz Analog zum Satz von der totalen Wahrscheinlichkeit sei A 1,..., A n Ω eine paarweise disjunkte Partition von Ω, dann gilt n E[X] = E[X A k ] Pr[A k ] und ebenso E[g(X)] = k=1 n E[g(X) A k ] Pr[A k ]. k=1

21 Eigenschaften des Erwartungswertes Sei X = a 1 X a n X n eine zusammengesetzte Zufallsvariable, dann folgt aus der Linearität des Erwartungswertes, dass E[X] = a 1 E[X 1 ] a n E[X n ]. Seien X 1,..., X n unabhängige Zufallsvariablen, dann folgt aus der Multiplikativität des Erwartungswertes, dass E[X 1... X n ] = E[X 1 ]... E[X n ].

22 Varianz Die Varianz einer Zufallsvariablen X ist definiert durch Var[X] = E[(X E[X]) 2 ] = (x E[X]) 2 f X (x). x W X Über den Verschiebungssatz Var[X] = E[X 2 ] E[X] 2 lässt sich die Varianz angenehmer berechnen.

23 Eigenschaften der Varianz Die Varianz ist nicht linear, jedoch gilt Var[aX + b] = a 2 Var[X]. Seien X 1,..., X n unabhängige Zufallsvariablen, dann folgt aus der Additivität der Varianz, dass Var[X X n ] = Var[X 1 ] Var[X n ].

24 Wichtige diskrete Verteilungen Bernoulliverteilung X Ber(p) (Hit or Miss) p, für x = 1, f X (x) = 1 p, für x = 0, 0, sonst. E[X] = p Var[X] = p(1 p)

25 Wichtige diskrete Verteilungen Binomialverteilung X Bin(n, p) (n-fache Bernoullikette) ( ) n p x (1 p) n x, für x {0,..., n}, f X (x) = x 0, sonst. E[X] = np Var[X] = np(1 p) Falls X Bin(n x, p) und Y Bin(n y, p) unabhängige Zufallsvariablen sind, dann gilt X + Y Bin(n x + n y, p).

26 Wichtige diskrete Verteilungen Geometrische Verteilung X Geo(p) (Warten auf den ersten Treffer) { p(1 p) x 1, für x N, f X (x) = 0, sonst. E[X] = 1 p Var[X] = 1 p p 2 F X (x) = 1 (1 p) x

27 Wichtige diskrete Verteilungen Poisson-Verteilung X Po(λ) (Diskreter Prozess mit Auftrittsrate λ) λ x f X (x) = exp(x) x!, für x N 0, 0, sonst. E[X] = λ = Var[X]

28 Abschätzen von Wahrscheinlichkeiten und Verteilungen Markov-Ungleichung Sei X eine nicht-negative Zufallsvariable und t > 0, dann gelten Pr [X t] E[X] t sowie Pr [X t E[X]] 1 t Chebyshev-Ungleichung Sei X eine Zufallsvariable und t > 0, dann gilt und äquivalent dazu Pr [ X E[X] t] Var[X] t 2 [ Pr X E[X] t Var[X] ] 1 t 2

29 Abschätzen von Wahrscheinlichkeiten und Verteilungen Chernoff-Schranken Seien X 1,..., X n unabhängige Bernoulli-Zufallsvariablen mit X = X X n, dann gelten folgende Schranken: ( ) Pr [X (1 + δ) E[X]] exp δ2 E[X] für 0 < δ 1 3 ( ) exp δ E[X] Pr [X (1 + δ) E[X]] (1 + δ) (1+δ) für δ > 0 ( ) exp( δ) E[X] Pr [X (1 δ) E[X]] (1 δ) (1 δ) für 0 < δ < 1 ( alle anderen Schranken mit Bedingungen für δ im Skript)

30 Erzeugende Funktionen Beispiel Es werden drei faire sechsseitige Würfel gleichzeitig geworfen und die Summe der Augenzahlen mit der Zufallsvariablen Z bezeichnet. Wie berechnet man möglichst elegant Pr[Z = 12]? ( 1 6 z z z z z5 + 1 ) 3 6 z6 Somit lässt sich ablesen, dass = z z z Pr[Z = 12] =

31 Erzeugende Funktionen Sei X eine Zufallsvariable, dann gilt, für die durch G X (s) definierte wahrscheinlichkeitserzeugende Funktion, dass G X (s) = s x f X (x) = E [ s X] x=0 s G ( X(s) = x 1 x 1 ) f X (x) = E[X] s=1 x=0 2 2 s G ( X(s) = x (x 1) 1 x 2 ) f X (x) = E[X (X 1)] s=1 x=0 k k s G X(s) = Pr[X = k] k! s=0

32 Erzeugende Funktionen Wichtige erzeugende Funktionen Binomialverteilung (X Bin(n, p)) G X (s) = (1 p + ps) n Geometrische Verteilung (X Geo(p)) G X (s) = Poissonverteilung (X Po(λ)) ps 1 (1 p)s G X (s) = exp(λ(s 1))

33 Erzeugende Funktionen Sei X eine Zufallsvariable, dann ist die momenterzeugende Funktion gegeben durch M X (t) := G X (exp t) = E[exp(t X)]