Bedingt unabhängige Zufallsvariablen

Transkript

1 7. Markov-Ketten 7. Definition und Eigenschaften von Markov-Ketten Benannt nach Andrei A. Markov [856-9] Einige Stichworte: Markov-Ketten Definition Eigenschaften Konvergenz Hidden Markov Modelle Sei X = (X 0, X, X,...) eine Folge von diskreten Zufallsvariablen, die alle Ausprägungen in einer endlichen bzw. abzählbaren Menge S haben. S heißt der Zustandsraum und s S ein Zustand. X heißt Markov-Kette (MK), falls P(X n = s X 0 = x 0, X = x,..., X n = x n ) = P(X n = s X n = x n ) Motivation und Inferenz Baum-Welch-Algorithmus Viterbi-Algorithmus für alle n und alle s, x 0, x,..., x n S. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Interpretation Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Bedingt unabhängige Zufallsvariablen Bedingt auf die gesamte Vergangenheit X 0, X,..., X n des Prozesses X hängt X n nur vom letzten Wert X n ab. Darstellung mit Pfeilen in einem graphischen Modell: Anders ausgedrückt: X 0 X X... X n X n Bedingt auf die Gegenwart (X n ) ist die Zukunft des Prozesses (X n, X n+,...) unabhängig von seiner Vergangenheit (X 0, X,..., X n ). Begriff der bedingten Unabhängigkeit Zwei diskrete Zufallsvariablen X und Y heißen bedingt unabhängig gegeben Z, wenn für die entsprechend definierten Wahrscheinlichkeitsfunktionen gilt: für alle x, y und z. f X,Y Z (x, y z) = f X Z (x z) f Y Z (y z) Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6

2 Übergangswahrscheinlichkeiten Die Übergangsmatrix Die Entwicklung einer Markov-Kette X ist gekennzeichnet durch die (Ein-Schritt) Übergangswahrscheinlichkeiten P(X n+ = j X n = i) für alle i, j S. Man nennt eine Markov-Kette homogen, wenn diese nicht von n abhängen und definiert p ij = P(X n+ = j X n = i) = P(X = j X 0 = i) Die Werte p ij werden in einer S S -Matrix P zusammengefasst, der sogenannten Übergangsmatrix. P beschreibt also die Kurzzeitentwicklung einer homogenen Markov-Kette X. P ist eine stochastische Matrix, d.h. sie hat folgende Eigenschaften: p ij 0 für alle i, j S j p ij = für alle i S Zeilensummen gleich eins für alle n und alle i, j S. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 Beispiele Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6 Gerichtete Graphen.Beispiel:.Beispiel: Telephon besetzt / frei mit S = {0, } und ( ) P = 0.6 Der Zustandsraum umfasst die vier Basen der DNA (Adenin, Cytosin, Guanin, Thymin): S = {A, C, G, T }. Die geschätzte Übergangsmatrix beim Ablaufen der DNA ist P = Durbin et al. (998) Biological sequence analysis, p. 50 Der von der Markov-Kette X mit Zustandsraum S und Übergansmatrix P erzeugte gerichtete Graph G besteht aus S Knoten und maximal S Kanten. Jeder Knoten bezieht sich auf einen Zustand und jede Kante (i, j) auf p ij für p ij > 0. Der Graph beschreibt also die Struktur aller direkten Verbindungen von Zustand i zu Zustand j i,j. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 7 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 8 / 6

3 Darstellung von MKs mit gerichteten Graphen Darstellung von MKs mit gerichteten Graphen II Ein Zusandsraum S = {A, B, C} und die dazugehörige Übergangsmatrix 0 P = erzeugen den folgenden gerichteten Graphen:. Beispiel: Aus Telephon besetzt / frei mit S = {0, } und ( ) P = 0.6 folgt der folgende gerichtete Graph: A B C Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 9 / 6 Die n-schritt-übergangsmatrix Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 0 / 6 Die Chapman-Kolmogorov-Gleichungen Die Langzeitentwicklung einer Markov-Kette X ist durch die n-schritt- Übergangsmatrix P(m, m + n) mit Elementen p ij (m, m + n) = P(X m+n = j X m = i) bzw. p ij (n) = P(X n = j X 0 = i) gegeben, wobei die letzte Gleichung für homogene Markov-Ketten gilt. In diesem Fall ergibt sich natürlich P(m, m + ) = P und wir schreiben P n = P(m, m + n). Für eine homogene Markov-Kette X gilt: p ij (m, m + n + r) = k p ik (m, m + n)p kj (m + n, m + n + r) () P(m, m + n + r) = P(m, m + n)p(m + n, m + n + r) () P n = P(m, m + n) = P n () Dabei ist () nur () in Matrizenform und () folgt durch Iteration. P n bezeichnet die n-te Potenz von P. Beweis zu () in Vorlesung. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6

4 Fortsetzung des. Beispiels Die Zeit bis zum Zustandswechsel Zwei-Schritt-Übergangsmatrix: ( P = P = 0.6 ) ( ) = Zum Beispiel ist also der Eintrag p () in P gleich p () = P(X n+ = X n = ) ( ) Eine Markov-Kette X mit Übergangsmatrix P sei zu einem Zeitpunkt t im Zustand i S. Dann ist die Dauer bis zum nächsten Zustandswechsel Z i geometrisch verteilt mit Parameter p ii. Vergleiche: Gedächtnislosigkeit der geometrischen Verteilung: P(Z i = n + k Z i > n) = P(Z i = k) = P(X n+ = X n = ) P(X n+ = X n+ = ) + P(X n+ = X n = ) P(X n+ = X n+ = ) = = 0.6 Nützliche Eigenschaft zum Test auf Modellanpassung: Vergleich der beobachteten und theoretischen Dauern bis zum nächsten Zustandswechsel. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Die Anfangsverteilung Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6 Folgerung Schließlich hat jede Markov-Kette auch eine Anfangsverteilung für X 0. Die entsprechende Wahrscheinlichkeitsfunktion bezeichnet man mit dem Zeilenvektor µ (0) mit Elementen µ (0) i = P(X 0 = i). Die (unbedingte) Wahrscheinlichkeitsfunktion von X n fasst man entsprechend in dem Zeilenvektor µ (n) zusammen und es gilt: µ (m+n) = µ (m) P n und daher µ (n) = µ (0) P n Durch µ (0) und P ist also die Entwicklung einer Markov-Kette vollständig bestimmt. Die gemeinsame Wahrscheinlichkeitsverteilung (wichtig für Likelihood-Inferenz!) von X 0,..., X n ist gegeben durch P(X 0 = x 0, X = x,..., X n = x n ) = P(X 0 = x 0 ) = µ (0) x 0 n t= n P(X t = x t X t = x t ) t= p xt,x t Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6

5 Beispiel: Inzucht Beispiel: Genhäufigkeit in Population konstanter Größe N Eine Pflanze mit Genotyp aus S = {aa, ab, bb} wird mit sich selbst gekreuzt. Die Zufallsvariable X n gibt den Genotyp in der n-ten Generation an. Daher: P = P n = ( n+ ( ) n ) ( 0 0 ) n+ n Letztendlich bleiben nur die Genotypen aa und bb übrig, die sich dann deterministisch reproduzieren. X n = i: Anzahl der Individuen einer Population mit bestimmtem Genotyp zum Zeitpunkt n Einfaches Modell: Zu jedem Zeitpunkt stirbt ein zufällig ausgewähltes Mitglied. Das nachrückende Mitglied hat den Genotyp mit Wahrscheinlichkeit i N. Beachte: i(n i) für j = i ± N p ij = i(n i) für j = i N 0 sonst P ist tridiagonal. Formulierung beinhaltet Grenzfälle X n = 0 und X n = N. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 7 / 6 Beispiel: Modelle für Epidemien Verzweigungsprozesse Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 8 / 6 7. Klassifikation von Zuständen und Markov-Ketten X n := Anzahl der Infizierten in einer Generation n S = {0,,...} Idee: Jeder Infizierte erzeugt (unabhängig von den anderen) eine zufällige Anzahl Infizierter in der nächsten Generation mit Erwartungswert λ. Die Anzahl könnte z.b. Poissonverteilt sein. Dann ist X n X n P(λ X n ). Theorem: Für λ < wird die Epidemie mit Wahrscheinlichkeit irgendwann aussterben. Für λ > ist die Wahrscheinlichkeit, dass die Epidemie explodiert, echt größer 0. Ein Zustand i S heißt rekurrent oder auch persistent, falls für die Rekurrenzzeit T i = min{n : X n = i X 0 = i} gilt P(T i < ) = Wenn P(T i < ) < heißt der Zustand transient. Eine Markov-Kette X kehrt also in einen rekurrenten Zustand mit Wahrscheinlichkeit zurück. Ein Zustand i heißt absorbierend, falls dieser nicht mehr verlassen werden kann, also p ii =. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 9 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 0 / 6

6 Graphische Beispiele für Zustandsklassen. Die Rekuzzenzzeit von Zustand A ist T A = : A B 0.6 Graphische Beispiele für Zustandsklassen II. Zustand B ist transient: A B C C Die minimale Anzahl an Schritten bis X von A nach A zurückkehrt ist.. Alle Zustände sind rekurrent/persistent: A B 0.6 Die Rückkehr nach B aus anderen Zuständen ist nicht möglich. 4. Zustand B ist absorbierend: A B C C Die Markov-Kette kehrt mit Wahrscheinlichkeit in alle Zustände zurück. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Beispiel Die Markov-Kette verlässt den Zustand B nicht mehr. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Die erwartete Rekurrenzzeit Betrachte den Poisson-Verzweigungsprozess X n X n P(λ X n ) Dann ist der Zustand 0 rekurrent, ja sogar absorbierend, da X diesen Zustand nie verläßt. Alle anderen Zustände sind transient. Man definiert die erwartete Rekurrenzzeit eines Zustands i wie folgt: { µ i = E(T i ) = n nf i(n) falls i rekurrent ist falls i transient ist mit f i (n) = P(X i,..., X n i, X n = i X 0 = i). Ein rekurrenter Zustand i heißt nicht-leer, falls seine erwartete Rekurrenzzeit endlich ist. Ansonsten heißt er leer. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6

7 Zusammenhang zu den Übergangswahrscheinlichkeiten Die Periode Ein rekurrenter Zustand i ist genau dann leer, wenn p ii (n) 0 für n Dann gilt sogar p ji (n) 0 für n für alle j S Die Periode eines Zustandes i ist der größte gemeinsame Teiler der Menge {n : p ii (n) > 0} Man nennt den Zustand i periodisch, falls dessen Periode größer eins ist, ansonsten heißt i aperiodisch. Haben alle Zustände einer Markov-Kette Periode, so heißt sie aperiodisch. Ein Zustand i heißt ergodisch, falls er rekurrent, nicht-leer und aperiodisch ist. Sind alle Zustände von X ergodisch, so heißt X ergodisch. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 Beispiel Eine Markov-Kette habe die Zustände S = {A, B, C} und folgende Übergangsmatrix: A B 0 0 P = C Es gilt nun: jeder Zustand hat Periode die Markov-Kette ist nicht aperiodisch Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6 Irreduzible Zustände Zustand j heißt erreichbar durch Zustand i, falls p ij (n) > 0 für mindestens ein n N. (Schreibweise: i j) Zwei Zustände i j einer Markov-Kette X kommunizieren miteinander, falls die Zustände gegenseitig erreichbar sind, also falls p ij (n) > 0 und p ji (n ) > 0 für mindestens ein n N 0 bzw. n N 0. (Schreibweise: i j) Ein Zustand i kommuniziert per Definition immer mit sich selbst: i i Die angenommenen Zustände zwischen i und j werden Pfad genannt. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 7 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 8 / 6

8 Irreduzible Zustände II Beispiele Es gilt: Wenn i k und k j, dann auch i j Ist i rekurrent und i j, so ist auch j rekurrent Ist i transient und i j, so ist auch j transient Erreichbarkeit entspricht einer Äquivalenzrelation Es können Äquivalenzklassen gebildet werden Eine Menge C S heißt irreduzibel, falls i j für alle i, j C. Eine Menge C S heißt geschlossen, falls p ij = 0 für alle i C und j C. Eine MK heißt stark verbunden falls i j, also wenn für mindestens ein n N gilt: p ij (n) > 0 i,j. Eine MK ist also irreduzibel, g.d.w. sie stark verbunden ist. Markov-Ketten mit reduziblem Zustandsraum S P = P = Im folgenden Beispiel ist S irreduzibel: P = Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 9 / 6 Beispiele für reduzible Zustandsräume in graphischer Form P : Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 0 / 6 Essentielle/finale Zustände P : A C B Zustand i heißt essentiell/final, falls j j i, also wenn er mit allen andernen Zuständen kommuniziert. Graphisches Beispiel: 0.7 A B C A C B 0. Alle Zunstände sind essentiell, da sie miteinander kommunizieren. Eine irreduzible bzw. stark verbundene MK besteht also aus essentiellen/finalen Zuständen. Zustandsraum S = {A, B, C} kann auf C = {A, B} (rot markiert) reduziert werden, C ist dann irreduzibel. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6

9 Der Zerlegungssatz Der Zustandsraum S einer Markov-Kette X lässt sich zerlegen in eine Menge T mit transienten Zuständen Mengen C k, die irreduzibel und geschlossen sind Ferner gilt folgendes Lemma: S = T C C... Wenn S endlich ist, dann ist mindestens ein Zustand rekurrent und alle rekurrenten Zustände sind nicht-leer. Beispiel Eine Markov-Kette mit Zustandsraum S = {,,, 4, 5, 6} habe die Übergangsmatrix Man bestimme: P = die Periode jedes Zustands die Zerlegung des Zustandsraumes transiente Zustände ergodische Zustände Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 / 6 7. Die stationäre Verteilung und das Grenzwerttheorem Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6 Interpretation der stationären Verteilung Eine Wahrscheinlichkeitsverteilung π (Zeilenvektor) mit Einträgen (π j : j S) heißt stationäre Verteilung einer Markov-Kette X mit Übergangsmatrix P, falls gilt: Hat die Markov-Kette X die Verteilung π zu einem gewissen Zeitpunkt n, dann auch im nächsten Zeitpunkt n + und sogar in allen nachfolgenden Zeitpunkten i = n +, n +,... Betrachte z.b. i = n + : π j = i π i p ij π P = (πp)p = πp = π oder in Matrixnotation: π = π P Oft wählt man für die Anfangsverteilung µ 0 die stationäre Verteilung, d.h. µ 0 = π. Im Folgenden betrachten wir ausschließlich irreduzible Markov-Ketten, d.h. Markov-Ketten mit irreduziblem Zustandsraum S. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6

10 Satz über die stationäre Verteilung Bestimmung der stationären Verteilung bei S = Eine irreduzible Markov-Ketten hat eine stationäre Verteilung π mit π i > 0 i. Dann ist π eindeutig und gegeben durch π i = /µ i wobei µ i die erwartete Rekurrenzzeit des Zustands i ist. Unter diesen Voraussetzungen gilt bei endlichem Zustandsraum: π = (I P + U) wobei I die Einheitsmatrix und ein Zeilenvektor mit Einsen ist und U nur Elemente gleich eins hat. Stationäre Verteilung und Übergangsmatrix haben bei Markov-Ketten mit zwei Zuständen folgende allgemeine Formen: ( ) p p π = (π, π ) P = p p Die erste Spalte der Gleichung π = π P ist π = π π p + p π p π = p p + p und π = Die zweite Spalte ergibt die gleiche Lösung. p p + p Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 7 / 6 Beispiel Wie lautet die stationäre Verteilung für die Markov-Kette mit folgender Übergangsmatrix: ( ) P = 0.6 Mit der eben bestimmten Formel erhält man: ( π = (π, π ) =, 0. ) = (0.8, 0.) Die erwarteten Rekurrenzzeiten sind demnach µ = 5/4 für Zustand und µ = 5 für Zustand. Wie verhält es sich bei 0 0 P = 0 0? 0 0 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 8 / 6 Reversible Markov-Ketten Sei X = (X 0,..., X N ) eine reguläre Markov-Kette mit Übergangsmatrix P und stationärer Verteilung π, die X auch zu jedem Zeitpunkt n = 0,..., N besitze. Definiere nun Y = (X N,..., X 0 ) mit Y n = X N n. Dann ist Y auch eine Markov-Kette mit Übergangswahrscheinlichkeiten P(Y n+ = j Y n = i) = (π j /π i )p ji Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 9 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6

11 Reversible Markov-Ketten II Beispiele für reversible Markov-Ketten Man sagt nun X ist reversibel, falls X und Y identische Übergangswahrscheinlichkeiten haben, d.h. falls für alle i, j S gilt. π i p ij = π j p ji Alle irreduziblen Markov-Ketten mit zwei Zuständen sind reversibel (Beweis in Vorlesung). Markov-Ketten mit tri-diagonaler Übergangsmatrix P sind reversibel, z.b. der random walk auf endlichem Zustandsraum S = {0,,..., b} der Prozess aus Beispiel (Stichwort: Genhäufigkeit) Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6 Satz über die stationäre Verteilung Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6 Das Grenzwerttheorem Sei X eine irreduzible Markov-Kette mit Übergangsmatrix P. Ferner gebe es eine Verteilung π mit π i p ij = π j p ji für alle i, j S. Dann ist π die stationäre Verteilung und X ist bzgl. π reversibel. Beweis: π i p ij = π j p ji = π j p ji = π j i i i Eine irreduzible und aperiodische Markov-Kette konvergiert gegen ihre stationäre Verteilung π bzw. p ij (n) π j = µ j P n = P n für n und alle i π π... π Daher gilt µ (0) P n π für alle µ (0). Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 4 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6

12 Ein Gegenbeispiel 7.4 Inferenz für Markov-Ketten Eine Markov-Kette X mit Übergangsmatrix 0 0 P = hat zwar die stationäre Verteilung π = (/, /, /), konvergiert aber nicht gegen diese, da die Kette periodisch ist. Schätzung der Übergangswahrscheinlichkeiten Test auf Modellanpassung Allgemeinere Markov-Modelle: Markov-Ketten höherer Ordnung Hidden-Markov Modelle Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Schätzung der Übergangswahrscheinlichkeiten Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 ML-Schätzung der Übergangswahrscheinlichkeiten Ziel: Schätzung der Übergangswahrscheinlichkeiten basierend auf einer (oder mehrerer) Realisationen einer Markov-Kette X. Es erscheint plausibel, die Übergangswahrscheinlichkeiten p ij durch die entsprechenden Übergangshäufigkeiten ˆp ij = n ij n i zu schätzen, wobei n ij die Anzahl der beobachteten Übergänge von i nach j ist und n i = j n ij. Im Folgenden zeigen wir, dass dies auch die ML-Schätzer sind. Grundlage: Realisation X 0 = x 0, X = x,..., X N = x N einer Markov-Kette X. Die Likelihood ist somit (vergleiche Folie S. ) L(P) = µ (0) x 0 n t= p xt,x t = µ (0) x 0 wobei n ij die Anzahl der beobachteten Übergänge von i nach j ist. Die Log-Likelihood ist dann l(p) = log(µ (0) x 0 ) + i,j i,j n ij log(p ij ) p n ij ij Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6

13 ML-Schätzung der Übergangswahrscheinlichkeiten II ML-Schätzung der Übergangswahrscheinlichkeiten III Problem: Es sind mehrerer Parameter in θ = P durch Maximierung der Log-Likelihood l(p) zu schätzen, wobei noch die Restriktion p ij = für alle i zu berücksichtigen ist. Lagrangesche Multiplikatorenmethode: Maximiere l (P) = log(µ (0) x 0 ) + i,j j n ij log(p ij ) i λ i j p ij Die partiellen Ableitungen nach p ij sind somit dl (P) p ij = n ij p ij λ i Nullsetzen liefert n ij = λ i p ij. Durch Summation über j folgt und schließlich λ i = j n ij = n i ˆp ij = n ij n i. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Beispiel: Regen bei den Snoqualmie Wasserfällen Über eine Zeitreihe von N = 49 Tagen wurde an den Snoqualmie Wasserfällen registriert, ob es am jeweiligen Tag geregnet hat oder nicht. Erstellung eines Markov-Modells: Der Zustandsraum ist S = {0, } mit } 0 : Kein Regen am Tag t =,..., N : Regen Es ergibt sich n 0 = 69 (Tage ohne Regen) und n = 690. Übergangsmatrix mit relativen Übergangshäufigkeiten (ML-Schätzer): ˆP = ( Frage: Passt sich das Markov-Modell den Daten gut an? Betrachtung der Verweildauern (Wartezeiten bis zum nächsten Zustandswechsel) Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 ) Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Verweildauern bei den Snoqualmie Wasserfällen Haeufigkeit Verweildauer im Zustand 0 (kein Regen) Zeit bis zum Zustandswechsel Haeufigkeit Verweildauer im Zustand (Regen) Zeit bis zum Zustandswechsel Theoretische (schwarz) und empirische (rot) Verweildauern in den beiden Zuständen. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6

14 Markov-Ketten höherer Ordnung Strukturelle Nullen Zum Beispiel Markov-Kette zweiter Ordnung: Die Regenwahrscheinlichkeit hängt nun von den letzten zwei Tagen ab. Die Übergangswahrscheinlichkeiten sind P(X n = s X n = x n, X n = x n ). Diese Markov-Kette kann auch als Markov-Kette erster Ordnung dargestellt werden, indem man den Zustandsraum zu S = {00, 0, 0, } erweitert, wobei der erste Eintrag x n und der zweite Eintrag x n darstellt. In der Übergangsmatrix ergeben sich dann strukturelle Nullen. Im Beispiel ergibt sich: P = da z.b. auf X n = 0 und X n = 0 nicht X n = und X n = 0 folgen kann etc. die Anzahl der Spalten kann reduziert werden Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 5 / 6 Regen bei den Snoqualmie Wasserfällen Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / Hidden Markov Modelle Mit reduzierten Spalten ergibt sich im Beispiel ˆP = Alternativer Ansatz: Hidden Markov-Modell Mischverteilungsmodell mit zusätzlichem Zeitreihencharakter Anwendungen in verschiedenen Bereichen: Ökonometrie, Genetik (DNA-Sequenzierung, Stammbaumanalyse), Spracherkennung,... Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6

15 Das Modell Beispiel: Ein verrauschtes binäres Signal Latente Parameter X = (X,..., X N ) folgen einer (homogenen) Markov-Kette mit diskretem Zustandsraum S: Übergangsmatrix P mit p ij = P(X t = j X t = i) Anfangsverteilung π mit π i = P(X 0 = i) (oft impliziert durch π = πp) Die Beobachtungen y t x t = s sind bedingt unabhängig aus einer Verteilung mit Wahrscheinlichkeitsfunktion f s (y t ) mit Parametern θ s. Beispielsweise: diskret mit Missklassifizierungswahrscheinlichkeiten p s Poisson mit Raten λ s Daten: y = ( ) S = N = 0 P = ( ) π = ( f (y t = x t = ) = 0.8 f (y t = x t = ) = 0. f (y t = x t = ) = 0. f (y t = x t = ) = 0.8 Ziel der statistischen Inferenz: Restauration der Sequenz X ) Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Inferenz bei festen Hyperparametern Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Posteriori-Modus Schätzung Hyperparameter: P, π, θ fest Ziel: Schätzung der latenten Zustände x = (x,..., x N ) Posteriori-Verteilung f (x y) = f (x, y)/f (y) mit: f (x y) f (x, y) = π x N p xt x t t= } {{ } f (x) N f xt (y t ) t= } {{ } f (y x) Viterbi-Algorithmus [Viterbi (967)] Rekursiver Algorithmus zur Maximierung von f (x, y) bzgl. x liefert (einen) MAP-(posteriori Modus)-Schätzer von f (x y) f (x, y) Algorithmus ist numerisch effizient: O( S N) Simulated annealing [Kirkpatrick, Gelatt & Vecchi (98)] Problem: Es gibt S N (!) unterschiedliche Sequenzen x. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe / 6

16 Rekonstruktion des verrauschten binären Signals Inferenz bei unbekannten Hyperparametern Das empfangene Signal war y = ( ) Daraus kann man Schätzer für das zugrundeliegende Signal x berechnen: Schätzer von x post. Wkeit P(x y) ˆx MAP = ( ) ˆx MAP = ( ) ˆx MPM = ( ) 0.05 y = ( ) Hierbei bezeichnet ˆx MPM den marginalen Posteriori Modus, d.h. jedes x i, i =,..., 0, in ˆx MPM hat marginale Posteriori-Wahrscheinlichkeit P(x i y) >. Seinen nun bestimmte Hyperparameter θ unbekannt, wie beispielsweise die Übergangsmatrix P oder die Verteilung f (y i x i ). Klassische Likelihood-Ansätze maximieren die (marginale) Likelihood L(θ) = f (y θ) bezüglich θ, z.b. mit dem Baum-Welch-Algorithmus, der einen Spezialfall des EM-Algorithmus darstellt. Problem: Berechnung von f (y θ) = x f (x, y θ) Bayesianische Ansätze verwenden zusätzliche priori-verteilungen f (θ) und simulieren aus der posteriori-verteilung f (x, θ y) f (x, y θ) f (θ) mit Markov-Ketten Monte Carlo (MCMC) Verfahren. Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6 Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6 Beispiel zur Likelihood-Inferenz Seinen nun die Einträge der Übergangsmatrix P unbekannt. Die marginale Likelihood L(p, p ) der Diagonalelemente p und p ist in folgender Graphik dargestellt. Die ML-Schätzungen sind ˆp = 0.85 und ˆp = p e 07 8e 07 e 06.e 06 e 07 4e 07 4e 07.4e 06 e p Fabian Scheipl, Bernd Bischl Stochastik und Statistik SoSe 06 6 / 6