SS 2013 Zentralübung Diskrete Wahrscheinlichkeitstheorie (zur Vorlesung Prof. Esparza) Dr. Werner Meixner Fakultät für Informatik TU München http://www14.in.tum.de/lehre/2013ss/dwt/uebung/ 10. Mai 2013 ZÜ DWT
ZÜ IV Übersicht: 1. Thema: Markov-Ketten: Übergangszeit Erwartete Übergangszeit Erwartete Rückkehrzeit Ankunftswahrscheinlichkeit Rückkehrwahrscheinlichkeit 2. Vorbereitung auf HA Blatt 4: ZÜ DWT 1/25
1. Thema: Markov-Ketten Vorbemerkungen: Markov-Ketten sind Thema in den TA 3.1 und TA 4.2, und insbesondere in der HA 4.1. Man beachte, dass diskrete zeithomogene Markov-Ketten in der Regel durch Markov-Diagramme definiert werden. In den Diagrammen werden nur positive Übergangswahrscheinlichkeiten eingetragen. Alle übrigen Übergänge haben die Wahrscheinlichkeit 0. ZÜ DWT 1 Thema: Markov-Ketten 2/25
Beispiel 1: Markov-Diagramme als endliche Automaten 0 2 0 0 2 3 1 2 1 3 3 Mit Q = Σ entsprechen die akzeptierten Wörter in diesem Automat genau den Pfaden im folgenden Markov-Diagramm vom Zustand 0 in den Zustand 3. 1/2 1/2 1/2 0 1/2 1/2 1 2 1/2 3 1 ZÜ DWT 1 Thema: Markov-Ketten 3/25
Zentrale Begriffe: Folge von Zufallsvariablen (X t ) t N0 heißt eine Markov-Kette mit diskreter Zeit, wenn die,,markov-bedingung erfüllt ist. Im zeithomogenen Fall bedeutet dies in etwa, dass die Markov-Kette mit einem Markov-Diagramm definiert werden kann, so dass also die Übergangswahrscheinlichkeiten lediglich von den momentanen Zuständen abhängen. Der Zustandsraum sei S. ZÜ DWT 1 Thema: Markov-Ketten 4/25
Beispiel 2: Zufallsvariable (Z i ) i N0 der TA 3.1. Die Verteilungsdichte f Zi einer Zufallsvariablen Z i wird aus Z 0 errechnet durch Matrixmultiplikation f Zi = f Z0 P i. wobei P die Übergangsmatrix des definierenden Markov-Diagramms sei. f Zi wird hier als Zeilenvektor von Wahrscheinlichkeiten für die Annahme der einzelnen Zustände aufgefasst. Zusätzlich muss die Anfangsverteilung für Z 0 gegeben sein. ZÜ DWT 1 Thema: Markov-Ketten 5/25
Für Beispiel 1: P = 1 2 1 2 0 0 1 1 2 0 2 0 1 2 1 0 0 2 0 0 0 1 ZÜ DWT 1 Thema: Markov-Ketten 6/25
Man beachte, dass die Ergebnisse, die von Markov-Ketten angenommen werden, unendliche Zustandsfolgen (s 0, s 1,..., s n,... ) S N 0 = Ω sind. Eine endliche Folge von Zuständen beschreibt jeweils ein Ereignis als Menge von Zustandsfolgen, die diese von X 0 aus durchlaufen. Präfixfreie Mengen von Zustandsfolgen beschreiben disjunkte Ereignismengen. Hinweis für zukünftige Wahrscheinlichkeitsbegriffe bzw. W keitsräume: Man hat hier keine Elementarereignisse. ZÜ DWT 1 Thema: Markov-Ketten 7/25
Die diskreten Zufallsvariablen T i,j bzw. T i für i, j N 0 mit T i,j = min{n 1 ; X n = j, wenn X 0 = i}, T i = min{n 1 ; X n = i, wenn X 0 = i}, heißen Übergangszeit bzw. Rückkehrzeit. Es gilt: Beispiel: Pr[T i,j = n] = Pr[[i j] j=1 n ] (Def. siehe Vorlesung). Zufallsvariable W der TA 3.1(c), die die Anzahl der Würfe zählt, bis man vom Zustand a aus im Zustand d angelangt ist. ZÜ DWT 1 Thema: Markov-Ketten 8/25
Man beachte: T i,j und T i sind bedingte Zufallsvariable, die für Markovketten mit X 0 i undefiniert bleiben können, weil die Gesamtheit dieser Markov-Ketten mit X 0 i in dem durch X 0 = i bedingten Wahrscheinlichkeitsraum ein Ereignis mit Wahrscheinlichkeit 0 darstellt. Wir entfernen aus Ω alle Ergebnisfolgen mit X 0 i und definieren den bedingten Ergebnisraum Ω (X0 =i) = Ω \ {(X t ) t N0 ; X 0 i}. Dann gelten T i,j : Ω (X0 =i) N 0 {+ } und T i : Ω (X0 =i) N 0 {+ }. ZÜ DWT 1 Thema: Markov-Ketten 9/25
Die Dichtefunktionen f Ti,j und f Ti haben also den Definitionsbereich N 0 {+ }. Im Allgemeinen gilt f Ti,j (+ ) 0 und f Ti (+ ) 0. ZÜ DWT 1 Thema: Markov-Ketten 10/25
1.1 Ankunfts- und Rückkehrwahrscheinlichkeit Auf die Zufallsvariablen T i,j und T i stützen sich die Begriffe Ankunftswahrscheinlichkeit bzw. Rückkehrwahrscheinlichkeit f i,j bzw. f i. Es gelten f i,j = Pr[T i,j < + ] und f i = Pr[T i < + ]. ZÜ DWT 1.1 Ankunfts- und Rückkehrwahrscheinlichkeit 11/25
Die folgenden Eigenschaften einer Markov-Kette hängen ausschließlich von der Struktur des Übergangsdiagramms ab. (Siehe auch Satz 32 der Vorlesung!) Man beachte, dass in das Übergangsdiagramm nur Pfeile mit positiven Übergangswahrscheinlichkeiten eingetragen werden dürfen. Eigenschaften: f i = 0, 0 < f i < 1, f i = 1, f i,j = 0, 0 < f i,j < 1, f i,j = 1. ZÜ DWT 1.1 Ankunfts- und Rückkehrwahrscheinlichkeit 12/25
f i,j = 0 bzw. f i = 0: Es gibt keinen Pfad vom Knoten i nach Knoten j bzw. von i zurück auf sich selbst. f i,j = 1 bzw. f i = 1: Jeder bei i beginnende Pfad kann zu einem Pfad bis zu j bzw. zu i zurück verlängert werden. 0 < f i,j < 1 bzw. 0 < f i < 1: Die vorausgegangenen Eigenschaften treffen nicht zu. ZÜ DWT 1.1 Ankunfts- und Rückkehrwahrscheinlichkeit 13/25
Abgeleitete Eigenschaften für Zustände i S: i ist transient, falls f i < 1. i ist rekurrent, falls f i = 1. i ist absorbierend, falls f i,j = 0 für alle j i gilt. Bemerkung: Auch die Eigenschaften,,irreduzibel,,,periodisch und,,aperiodisch hängen ausschließlich von der Struktur des Übergangsdiagramms ab. Folglich gilt Gleiches auch für die Eigenschaft,,ergodisch. ZÜ DWT 1.1 Ankunfts- und Rückkehrwahrscheinlichkeit 14/25
Berechnung der Ankunfts- und Rückkehrwahrscheinlichkeiten: Bei gegebener zeithomogener diskreter Markov-Kette (Übergangsmatrix) können alle f i,j und f i durch folgendes Verfahren gefunden werden: 1. Man bestimme, für welche i, j die Gleichungen f i,j = 0, f i,j = 1 bzw. f i = 0, f i = 1 gelten. 2. Man löse für die verbleibenden Wahrscheinlichkeiten die Gleichungen f i,j = p i,j + k j p i,k f k,j falls i j, f i = p i,i + k i p i,k f k,i. Bemerkung: Wir können die Gleichungen,,zeilenweise lösen. ZÜ DWT 1.1 Ankunfts- und Rückkehrwahrscheinlichkeit 15/25
1.2 Erwartungswerte von T i,j und T i Erwartete Übergangszeit: h i,j := E[T i,j ]. Erwartete Rückkehrzeit: h i := E[T i ]. Beispiel: HA 3.1(c), TA 4.2 Es gilt: Falls S <, dann existieren die Erwartungswerte h i,j bzw. h i genau dann, wenn f i,j = 1 bzw. f i = 1 gilt. Die Berechnung erfolgt mit Gleichungssystem h i,j = 1 + k j p i,k h k,j falls i j, h i = 1 + k i p i,k h k,i. ZÜ DWT 1.2 Erwartungswerte von T i,j und T i 16/25
2. Vorbereitung auf HA von Blatt 4 Markov-Diagramm HA 4.1 (siehe Beispiel 1) Tipps zu HA 4.1(b) Tipps zu HA 4.1(c), Berechnung mit Gleichungssystem ZÜ DWT 2 Vorbereitung auf HA von Blatt 4 17/25
2.1 Tipps zu HA 4.1(b) Für das Markov-Diagramm in Beispiel 1 berechnen wir mit Zuständen q 0 = 0, q 1 = 1, q 2 = 2, q 3 = 3 für alle n N 0 die Mengen bzw. Mengengrößen A 0 (n) = [q 0 q 0 ] n, A 1 (n) = [q 0 q 1 ] n, A 2 (n) = [q 0 q 2 ] n und A 3 (n) = [q 0 q 3 ] q 3=1 n wie folgt. ZÜ DWT 2.1 Tipps zu HA 4.1(b) 18/25
Einige Anfangswerte: A 0 (0) = 1, A 0 (1) = 1, A 0 (2) = 2, A 1 (0) = 0, A 1 (1) = 1, A 1 (2) = 2, A 2 (0) = 0, A 2 (1) = 0, A 2 (2) = 1, A 3 (0) = 0, A 3 (1) = 0, A 3 (2) = 0. Rekursionsgleichungen: A 0 (n) = A 0 (n 1) + A 1 (n 1), A 1 (n) = A 0 (n 1), A 2 (n) = A 1 (n 1) + A 2 (n 1), A 3 (n) = A 2 (n 1). ZÜ DWT 2.1 Tipps zu HA 4.1(b) 19/25
Eliminationsschritt nach: A 0 (n) = A 0 (n 1) + A 0 (n 2), A 2 (n) = A 2 (n 1) + A 0 (n 2). Mit Elimination des inhomonogenen Anteils A 0 für die Rekursion von A 2 nach Vorlesung DS folgt: A 2 (n) = A 2 (n 1) + A 0 (n 2), A 2 (n + 1) = A 2 (n) + A 0 (n 1), A 2 (n + 1) + A 2 (n) = A 2 (n) + A 2 (n 1) + A 0 (n), A 2 (n + 1) = A 2 (n 1) + A 0 (n), A 2 (n + 2) = A 2 (n + 1) + A 0 (n), A 2 (n + 2) A 2 (n + 1) = A 2 (n + 1) A 2 (n 1), A 2 (n + 3) = 2A 2 (n + 2) A 2 (n). ZÜ DWT 2.1 Tipps zu HA 4.1(b) 20/25
Zusammenfassung: A 0 (n) ist offenbar die Folge der Fibonacci-Zahlen. A 2 (n) genügt der Rekursion A 2 (n + 3) 2A 2 (n + 2) + A 2 (n) = 0. Diese homogene Rekursion 3. Ordnung löst man üblicherweise mit den Methoden aus DS wie folgt: Charakteristisches Polynom: z 3 2z 2 + 1 = 0 mit den Nullstellen 1 und α 1/2 = 1± 5 2 z 3 2z 2 + 1 = (z 1)(z 2 z 1) = (z 1)(z α 1 )(z α 1 ). ZÜ DWT 2.1 Tipps zu HA 4.1(b) 21/25
Es gibt nun die entsprechende geschlossene Darstellung aller Lösungen. Zu beachten ist, dass die Wahrscheinlichkeit für jeden Pfad der Länge n + 1 im obigen Fall des Markov-Diagramms gleich dem Wert ( 1 2) n+1 ist. ZÜ DWT 2.1 Tipps zu HA 4.1(b) 22/25
2.2 Tipps zu HA 4.1(c), Berechnung mit Gleichungssystem Zur Kontrolle berechnen wir h 0,3 = E[W ] wie in Abschnitt 1.2. h 0,3 = 1 + k 3 p 0,k h k,3 = 1 + p 0,0 h 0,3 + p 0,1 h 1,3 + p 0,2 h 2,3 d.h. = 1 + 1 2 h 0,3 + 1 2 h 1,3 + 0 h 2,3, h 0,3 = 1 + 1 2 h 0,3 + 1 2 h 1,3. ZÜ DWT 2.2 Tipps zu HA 4.1(c), Berechnung mit Gleichungssystem 23/25
Gleichung für h 1,3 : h 1,3 = 1 + k 3 p 1,k h k,3 = 1 + p 1,0 h 0,3 + p 1,1 h 1,3 + p 1,2 h 2,3 d.h. = 1 + 1 2 h 0,3 + 0 h 1,3 + 1 2 h 2,3, h 1,3 = 1 + 1 2 h 0,3 + 1 2 h 2,3. ZÜ DWT 2.2 Tipps zu HA 4.1(c), Berechnung mit Gleichungssystem 24/25
Gleichung für h 2,3 : h 2,3 = 1 + k 3 p 2,k h k,3 = 1 + p 2,0 h 0,3 + p 2,1 h 1,3 + p 2,2 h 2,3 = 1 + 0 h 0,3 + 0 h 1,3 + 1 2 h 2,3 = 1 + 1 2 h 2,3. Es folgt h 2,3 = 2. Durch Elimination folgt h 0,3 = 8. ZÜ DWT 2.2 Tipps zu HA 4.1(c), Berechnung mit Gleichungssystem 25/25