Diskrete Markov-Prozesse

Transkript

1 Kapitel 4 Diskrete Markov-Prozesse Bei Markov-Ketten ist T = N 0, dh die Zeit wird als diskret betrachtet Bei Markov-Prozessen läuft die Zeit kontinuierlich mit T = R + Ist S diskret, wie in diesem Kapitel, sprechen wir von diskreten Markov-Prozessen Inhalt: Allgemeine Eigenschaften Poisson-Prozess, Geburts- und Todesprozesse Abriss der allgemeinen Theorie für reguläre Prozesse, insbesondere mit endlichem S 4 Definition und elementare Eigenschaften Beispiele Klinische Studien, Krankenverläufe Markenwahlprozess genetische Evolution (Liò, P & Goldmann, N(998 Models of Molecular Evolution and Phylogeny Genome Research 8, Fragestellung: Gesucht sind stochastische Modelle für die molekulare Evolution, dh die durch Mutation verursachte Veränderung der Nukleotide A, T, C, G an bestimmten Positionen der DNA (oder analog für 20 Basen in Aminosäuren Vereinfachende Annahme: Die Evolution an verschiedenen Positionen verläuft unabhängig Dann 85

2 KAPITEL 4 DISKRETE MARKOV-PROZESSE 86 genügt es, Modelle separat für die Positionen zu entwickeln Weitere Annahme: Homogenität und Stationarität Verschiedene Modelle unterscheiden sich durch Annahme über die Raten λ ij für Übergänge i j Poisson-Prozess Diskrete Markov-Prozesse sind einfache stochastische Modelle für zeitstetige stochastische Vorgänge In Anwendungen können die Voraussetzungen zu restriktiv sein: Kapitel 5 und 7 Definition 4 Diskreter Markov-Prozess Ein SP X = {X(t, t 0} mit abzählbarem Zustandsraum heißt (diskreter Markov-Prozess (MP : n 0 t s > s n > > s 0 0 gilt P {X(t = j X(s = i, X(s n = i n,, X(s 0 = i 0 } = P {X(t = j X(s = i} (4 für beliebige j, i, i n,, i 0 S p ij (s, t := P {X(t = j X(s = i} heißt Übergangswahrscheinlichkeit(-sfunktion (ÜW, P (s, t = (p ij (s, t Übergangsmatrix (ÜM Der MP heißt homogen (oder besitzt stationäre ÜW : P {X(t + s = j X(s = i} = P {X(t = j X(0 = i} = p ij (0, t =: p ij (t, dh für die ÜW ist nur die Zeitdifferenz maßgeblich Vereinbarung: Wie bei den MK wollen wir uns im folgenden meist auf homogene MP beschränken Bemerkung: p ij (t entspricht p (t ij (t-schrittige ÜW bei MK

3 KAPITEL 4 DISKRETE MARKOV-PROZESSE 87 Satz 4 Chapman-Kolmogorov-Gleichung Für die ÜW gilt p ij (t 0, p ij (t = j S p ij (s + t = k S p ik (sp kj (t (42 bzw: P (s + t = P (sp (t Beweis: P {X(s + t = j X(0 = i} = k = k = k P {X(s + t = j, X(s = k X(0 = i} P {X(s = k X(0 = i} P {X(s + t = j X(s = k, X(0 = i} P {X(s = k X(0 = i} P {X(s + t = j X(s = k} Für homogene MP erhält man daraus (42 Satz 42 Gemeinsame Verteilung n N 0 t 0 < t < < t n, i 0, i,, i n S gilt P {X(t n = i n,, X(t = i X(t 0 = i 0 } = p i0 i (t t 0 p in i n (t n t n P {X(t n = i n,, X(t = i, X(t 0 = i 0 } = = P {X(t 0 = i 0 } p i0 i (t t 0 p in i n (t n t n Beweis: Völlig analog zum zeitdiskreten Fall bei MK

4 KAPITEL 4 DISKRETE MARKOV-PROZESSE 88 Das bedeutet, dass die gemeinsame Verteilung von X(t 0,, X(t n nach Vorgabe einer Anfangsverteilung bestimmt werden kann Über den Satz von Kolmogorov lässt sich auch entsprechend wie für MK zeigen, dass durch Vorgabe einer Anfangsverteilung und von ÜW ein MP, der die vorgegebenen ÜW besitzt, konstruiert werden kann Für die statistische Inferenz ist Satz 42 wichtig, da er die Likelihoodfunktion bei gegebenen Daten i,, i n zu den Zeitpunkten t,, t n liefert In Anwendungen werden statt der ÜW oft sogenannte (Übergangs-Intensitäten bzw Raten zugrundegelegt oder aus Daten geschätzt Für die Definition setzen wir voraus i = j p ij (0 = lim p ij (h = δ ij = h 0 0 i j dh dass ein Übergang von i nach j (i j eine positive Zeitspanne beansprucht Es lässt sich dann die Stetigkeit der p ij (t für t 0 und die Existenz der folgenden Grenzwerte bzw Ableitungen zeigen Definition 42 (Übergangs-Intensität, Rate Für i, j S, i j, heißt p ij (h P (X(t + h = j X(t = i λ ij = lim = lim h 0 h h 0 h P (X(t + h = j X(t = i, Vorgeschichte = lim = p h 0 h ij(0 Übergangsintensität bzw Rate von i nach j Für i = j definieren wir Zusammenfassend gilt für i, j S Dabei gilt 0 λ ij < für i j, aber λ ii 0 Λ = (λ ij heißt Intensitätsmatrix p ii (h p ii (0 p ii (h λ ii = lim = lim h 0 h h 0 h λ ij = p p ij (h p ij (0 ij(0 = lim h 0 h In o(h-schreibweise gilt also für i j p ij (h = P (X(t + h = j X(t = i = λ ij h + o(h, und p ii (h = + λ ii h + o(h

5 KAPITEL 4 DISKRETE MARKOV-PROZESSE 89 Beispiel: Poisson-Prozess Für den PP {N(t, t 0} gilt P (N(t + h N(t 2 = o(h P (N(t + h N(t = = λh + o(h p i,i+ (h = λh + o(h, also λ i,i+ = λ { 0, 0 j i p ij (h = o(h, j i + 2 also λ ij = 0 für j i und j i + 2, p ii (h = λh + o(h, also λ ii = λ Damit erhält man die Intensitätsmatrix also eine Bandmatrix mit Zeilensumme = 0 Die Definition 42 und das Beispiel zeigen, wie aus ÜW die Intensitäten erhalten werden können Die schwierigere Fragestellung, wie aus Λ die ÜM P (t zu berechnen sind, wird in den folgenden Abschnitten behandelt 42 Geburts- und Todesprozesse 42 Geburtsprozesse Pfad: Treppenfunktion wie beim Poisson-Prozess Aber: Intensität λ zustandsabhängige Intensität λ i

6 KAPITEL 4 DISKRETE MARKOV-PROZESSE 90 Definition 4 Geburtsprozess Ein SP X = {X(t, t 0} mit Zustandsraum S N 0 heißt Geburtsprozess : X ist ein homogener, diskreter MP mit p i,i+ (h = λ i h + o(h, p i,i (h = λ i h + o(h, λ i 0, i i 0 { 0, 0 j i p i,j (h = o(h, j i + 2 Damit sind analog zum Poisson-Prozess die Intensitäten bestimmt durch λ i,i+ = λ i, λ ii = λ i und λ ij = 0 sonst Damit hat auch Λ die gleiche Bandstruktur; es ist nur λ durch λ i zu ersetzen Aus der Definition 4, dh aus den Intensitäten, lassen sich mit Hilfe der Chapman-Kolmogorov- Gleichungen ÜW (mit i 0 = 0 herleiten: bzw p 0n (t + h = p 0n (t = P (X(t = n X(0 = 0 p 0k (tp kn (h k=0 Grenzübergang h 0 ergibt n 2 = p 0n (t( λ n h + o(h + p 0,n (t(λ n h + o(h + p 0k (tp kn (h = p 0n (t( λ n h + p 0,n (tλ n h + o(h für n, p 00 (t + h = p 00 (t( λ 0 h + o(h für n = 0 p 00(t = λ 0 p 00 (t Unter Berücksichtigung der Anfangsbedingungen p 0n(t = λ n p 0n (t + λ n p 0,n (t, n p 00 (0 =, p 0n (0 = 0 für n > 0, k=0 lässt sich das DGL-System lösen mit falls λ i λ j für i j gilt Dabei ist p 0n (t = n i=0 A (i n e λ it, n 0, A (i n = λ 0 λ λ n (λ 0 λ i (λ i λ i (λ i+ λ i (λ n λ i

7 KAPITEL 4 DISKRETE MARKOV-PROZESSE 9 Man sieht, dass die Herleitung der ÜW aus den Intensitäten bereits in diesem einfachen Spezialfall eines MP aufwendig ist Im allgemeinen existiert keine analytische Lösung, vgl Abschnitt 4 Eine Wahrscheinlichkeitsverteilung, dh ergibt sich genau dann (Feller, wenn p 0n (t = t 0 n=0 i=0 λ i = Das bedeutet, dass der Geburtsprozess nicht zu rasch anwachsen, nicht explodieren darf Beispielsweise ist für λ i = 2 i die Summe endlich, und X(t wächst mit positiver Wahrscheinlichkeit in endlicher Zeit über alle Grenzen Führen wir für dieses Verhalten den zusätzlichen Zustand ein, so lässt sich dieses Phänomen auch mit dem folgenden Satz plausibel machen Satz 4 Exponentialverteilte Verweildauern Die Verweildauern T i, i N, sind unabhängig und exponentialverteilt mit Parameter λ i, dh T i Ex(λ i Beweis: Spezialfall eines allgemeinen Satzes in Abschnitt 4 Es gilt also E(T i = λ i Daher ist i=0 λ i die erwartete Zeit bevor {X(t = } eintritt Falls die Summe divergiert scheint plausibel, dass dann P {X(t = } = 0 ist Andernfalls ist P {X(t = } = n=0 p 0n(t Beispiel: Yule-Prozess (linearer Wachstumsprozess Eine Population bestehe aus einem Anfangsbestand von X(0 = i 0 Individuen Diese vermehren sich unabhängig voneinander, wobei jedes Individuum im Zeitintervall h mit Wahrscheinlichkeit λh + o(h ein weiteres Mitglied der Population erzeugt, die Wahrscheinlichkeit für die Erzeugung mehrerer

8 KAPITEL 4 DISKRETE MARKOV-PROZESSE 92 Individuen sei o(h Der binomische Lehrsatz liefert p i,i+ (h = p i,j (h = ( i ( i j i (λh + o(h( λh + o(h i = iλh + o(h und (λh + o(h j i ( λh + o(h i (j i = o(h für j i 2 Es handelt sich also um einen Geburtsprozess mit der Rate λ i = iλ Man kann zeigen, dass X(t i 0 eine negative Binomialverteilung mit den Parametern i 0 und exp( λt besitzt Also gilt E(X(t i 0 = i 0( exp( λt, Var(X(t i 0 = i 0( exp( λt exp( λt exp( 2λt und damit ergibt sich ein exponentielles Wachstum : E(X(t = i 0 exp(λt, Var(X(t = i 0 exp(λt(exp(λt 422 Geburts- und Todesprozesse Pfad: Treppenfunktion mit Sprunghöhe ± Die Definition erfolgt wieder über die Intensitäten nach oben oder unten zu springen

9 KAPITEL 4 DISKRETE MARKOV-PROZESSE 9 Definition 44 Geburts- und Todesprozess Ein SP X = {X(t, t 0} mit Zustandsraum S N 0 heißt Geburts- und Todesprozess : X ist ein homogener, diskreter MP mit mit p i,i+ (h = λ i h + o(h, i 0 p i,i (h = µ i h + o(h, i p ii (h = (λ i + µ i h + o(h, i 0 p ij (h = o(h, i j 2, i, j 0 ( p ij (0 = 0, j i, p ii (0 = µ 0 = 0, λ 0 > 0 (> 0 reflektierend, = 0 absorbierend, (= µ i, λ i 0 für i Für die Intensitäten gilt also λ i,i+ = λ i, λ i,i = µ i, λ ij = 0 für i j 2, λ ii = (λ i + µ i Λ = ist tridiagonal Die explizite Berechnung der ÜM P (t aus Λ ist ia nicht möglich, vgl FKO S 96 ff Spezielle GT-Prozesse spielen eine Rolle in der Warteschlangen- und Bedienungstheorie (vgl FKO S 0 ff Das Wartesystem M/M// Poisson-Prozess mit Rate λ Bedienungszeit Ex(µ X(t

10 KAPITEL 4 DISKRETE MARKOV-PROZESSE 94 X(t: Anzahl der im System befindlichen Kunden X(t ist spezieller GT-Prozess mit λ i = λ und µ i = µ Für λ < µ existiert Grenzverteilung p j : p j = lim t p ij (t = ( rr j, r = λ µ Also: Variante lim X(t = X( geometrisch verteilt t Erwartungswert = r r, Varianz = r ( r 2 begrenzte Kapazität N des Warteraums λ, 0 i < N λ i = 0, i N von der Länge der angetroffenen Warteschlange verursachte Entmutigung, zb Das Wartesystem M/M/s/ Nun: s Schalter verfügbar; jeweils Rate µ X(t GT-Prozess mit Grenzverteilung existiert für λ sµ < Bevölkerungsentwicklung λ i = λ, i = 0,, (i + µi, i =,, s λ i = λ und µ i = µs, i = s +, Verallgemeinerung des Yule-Prozesses, zum Zeitpunkt t: i Individuen Geburtsrate λ i = iλ, Sterberate µ i = iµ Für X(0 = kann man verschiedene Resultate zeigen, zb E(X(t = exp((λ µt ( für λ µ oder, λ µ Wahrscheinlichkeit des Aussterbens = µ λ, λ > µ Abschließend gehen wir kurz ein auf

11 KAPITEL 4 DISKRETE MARKOV-PROZESSE 95 Struktur und Simulation der Pfade von Geburts- und Todesprozessen Es ist (λ i +µ i h+o(h die Wahrscheinlichkeit dafür, dass im Zeitraum (t, t+h] der Zustand i verlassen wird Gegenüber dem Poisson-Prozess tritt also λ i + µ i an die Stelle von λ und es lässt sich zeigen, dass die Verweildauer im Zustand i exponentialverteilt mit Erwartungswert (λ i +µ i ist Während des Zeitraums h findet eine Zustandsänderung i i + mit der Wahrscheinlichkeit λ i h + o(h, eine Änderung i i mit der Wahrscheilichkeit µ i h + o(h statt Deshalb ist es plausibel, dass bzw µ i (λ i +µ i λ i (λ i +µ i die bedingte Wahrscheinlichkeit (unter der Bedingung, dass eine Änderung stattfindet für einen Übergang i i + bzw i i ist Damit kann man sich die Entstehung der Pfade von Geburts- und Todesprozessen folgendermaßen veranschaulichen: Der momentane Zustand sei i Es wird eine Realisation einer (λ i + µ i - exponentialverteilten Zufallsvariablen erzeugt Diese Realisierung ist die Verweildauer in i Anschließend wird ein Bernoulli-Experiment durchgeführt mit p i = λ i λ i +µ i, das entscheidet, ob (mit Wahrscheinlichkeit p i nach i + oder nach i (mit Wahrscheinlichkeit p i gesprungen wird, usw 4 Diskrete MP: Skizze der allgemeinen Theorie Die Definition 4 lässt noch Pfade mit sehr irregulären Eigenschaften zu, zb Geburtsprozesse mit Explosion Deshalb stellen wir Zusatzforderungen: p ij (0 = lim h 0 p ij (h =, i = j 0, i j Pfade (m Wkeit rechtsseitig stetig Bezeichnungen: S n Zeitpunkt der n-ten Zustandsänderung, S 0 = 0, Y n = X(S n zum Zeitpunkt S n angenommener Zustand,

12 KAPITEL 4 DISKRETE MARKOV-PROZESSE 96 T n+ = S n+ S n Verweildauer in Y n, S n+ = S n + T n+ Falls absorbierende Zustände Y n möglich sind, dh S n+ =, definieren wir Y n, S n+ = Y n+ = X(S n+, S n+ < V (t Dauer (vom Zeitpunkt t bis zur nächsten Zustandsänderung, Vorwärtsrekurrenzzeit Für die Vorwärtsrekurrenzzeit gilt in Verallgemeinerung des entsprechenden Ergebnisses für den Poisson-Prozess: Satz 44 Exponentialverteilte Dauern Die Verweildauern T n, n N sind exponentialverteilt mit Parameter λ i, sodass gilt T n Y n = i Exp(λ i Für jeden Zeitpunkt t ist P (V (t s X(t = i = e λ is, s 0, also ebenfalls exponentialverteilt mit Parameter λ i Beweis: (für V(t Sei f i (s := P (V (t > s X(t = i Wegen der Homogenität des MP ist f i (s von t unabhängig und es gilt für alle r, s 0 f i (s + r = P (V (t > s + r X(t = i = P (V (t > s, V (t + s > r X(t = i = P (V (t > s X(t = i P (V (t + s > r X(t = i, V (t > s = P (V (t > s X(t = i P (V (t + s > r X(t + s = i = f i (s f i (r Wegen 0 f i (s muss f i (s = e λ is mit λ i 0 sein Für λ i = ist f i (s 0 Definition 45 Zustände Ein Zustand i heißt absorbierend : λ i = 0 stabil : 0 < λ i < instabil : λ i =

13 KAPITEL 4 DISKRETE MARKOV-PROZESSE 97 Falls i absorbierend ist, gilt also für alle s 0 P (V (t > s X(t = i = P (X(t + s = i X(t = i =, der Zustand i wird also m Wkeit nicht mehr verlassen Falls i stabil ist, gilt P (0 < V (t < X(t = i =, dh falls X zur Zeit t in i ist, verweilt X dort eine positive, aber endliche Zeit (m Wkeit Falls i instabil ist, gilt P (V (t = 0 X(t = i =, dh der MP verlässt einen instabilen Zustand sofort wieder Dass ein solches Verhalten zu irregulären Pfaden führt, erscheint plausibel Man sieht leicht ein, dass insbesondere die Pfade nicht rechtsseitig stetig sein können Da dies gegen unsere Vereinbarung verstößt, sind instabile Zustände im weiteren ausgeschlossen Durch den folgenden wichtigen Satz wird die Struktur von MP mit rechtsseitig stetigen Pfaden weitgehend aufgeklärt Er zeigt, dass die nacheinander besuchten Zustände Y n eine MK bilden und die Verweildauern exponentialverteilt sind Satz 45 Struktursatz Sei X ein MP mit rechtsseitig stetigen Pfaden Dann gilt n N 0 j, i,, i 0 S t, t,, t n R 0 < s < s n P (Y n+ = j, T n+ > t Y n = i,, Y 0 = i 0, S n = s n,, S 0 = 0 = q ij e λ it mit q ij 0, 0, i stabil q ij =, q ii = j S, i absorbierend 2 {Y n, n N} ist eine MK mit der ÜM Q = (q ij P (T n+ > t Y n = i, Y n+ = j = P (T n+ > t Y n = i = e λ it 4 P (T > t,, T n > t n Y n = i,, Y 0 = i 0 = e λ i 0 t e λ i n t n

14 KAPITEL 4 DISKRETE MARKOV-PROZESSE 98 Bemerkungen: (a {Y n, n N} heißt eingebettete MK, Erreichbarkeits-/Rekurrenzeigenschaften der eingebetteten MK übertragen sich auf diskreten MP (b Aussage besagt, dass λ i nur vom eben besuchten Zustand, nicht aber vom nächsten abhängt (c Aussage 4 besagt, dass die Verweildauern exponentialverteilt und bedingt unabhängig sind, falls die Folge der besuchten Zusände gegeben ist (d Der Struktursatz liefert auch die gemeinsame Verteilung von {T n, Y n } und damit die Grundlage für die Likelihood zur ML-Schätzung der Strukturparameter λ i und q ij (bzw der Intensitäten λ ij P (T > t,, T n > t n, Y 0 = i 0, Y = i,, Y n = i n = P (T > t,, T n > t n Y 0 = i 0, Y = i,, Y n = i n P (Y 0 = i 0, Y = i,, Y n = i n = e λ 0t e λ i tn n P (Y 0 = i 0 q i0 i q in i n Beweis: Die linke Seite von ist gleich P {X(S n + T n+ = j, T n+ > t X(S n = i,, X(0 = i 0, S n = s n,, S 0 = 0} Wegen der (starken Markov-Eigenschaft und der Homogenität ist dies gleich P {X(T = j, T > t X(0 = i} = P {T > t X(0 = i} P {X(T = j X(0 = i, T > t} Satz 44 = e λ it P {X(T = j X(0 = i, T > t} = e λ it P {X(t + V (t = j X(t = i} = e λ it P {Y = j Y 0 = i} = e λ it q ij Daraus folgt Setzt man in t = 0, so ergibt sich 2; ergibt sich ebenfalls aus ; 4 aus durch Induktion Satz 45 liefert folgende Konstruktion bzw Simulation der Pfade eines MP Man gibt einen Startwert X(ω, 0 = Y 0 (ω = i 0 vor Befindet man sich im Zustand Y n (ω = i n, n N 0, so würfelt man gemäß der Verteilung q inj, j S, den nächsten Zustand Y n+ (ω = i n+ Die Verweil-

15 KAPITEL 4 DISKRETE MARKOV-PROZESSE 99 dauer T n+ (ω = t n+ in i n bis zum Sprung nach i n+ wird gemäß einer λ in -Exponentialverteilung realisiert Zu klären bleibt noch, in welcher Weise die ÜW p ij (t die Strukturparameter q ij, λ i bestimmen und umgekehrt Dies soll im folgenden geschehen Dazu wollen wir noch sicherstellen, dass sich die Sprungstellen S n nicht im Endlichen häufen; dann können auch keine Explosionen in endlicher Zeit stattfinden Deshalb fordern wir sup S n = + m Wkeit n X(t lässt sich dann durch die Y n, S n bzw T n festlegen: Zusammenfassend kommen wir so zur X(t = Y n für t [S n, S n+ Definition 46 Regulärer MP Ein diskreter (homogener MP heißt regulär :, i = j p ij (0 = lim p ij (h = h 0 0, i j 2 Die Pfade sind (m Wkeit rechtsseitig stetig sup S n = + m Wkeit n Vereinbarung: Im weiteren betrachten wir nur reguläre MP Reguläre MP werden ausführlicher in Cinlar, Kap 8 behandelt Eine grundlegende Darstellung der Theorie nicht notwendig regulärer MP bietet Chung Einige der folgenden Ergebnisse gelten auch für derartige allgemeinere Fälle Satz 46 Regularitätskriterien Für einen MP X gelten und 2 der Definition 46 Dann ist X regulär, falls eines der folgenden Kriterien zutrifft: S endlich 2 λ i c für alle i S Alle Zustände der eingebetteten MK Y sind rekurrent 4 Die MK Y verbleibt mit Wahrscheinlichkeit 0 in einer transienten Klasse Beweis: FKO S Der folgende Satz zeigt, wie sich aus vorgegebenen ÜW p ij (t die Intensitäten λ ij bestimmen lassen und wie sie mit den λ i und q ij zusammenhängen

16 KAPITEL 4 DISKRETE MARKOV-PROZESSE 00 Satz 47 Intensitäten und Strukturparameter X sei ein regulärer MP Dann sind die ÜW p ij (t stetig differenzierbar und es gilt p p ij (h p ij (0 ij(0 = lim = λ ij = h 0 h λ i, i = j λ i q ij, i j, bzw in o(h-schreibweise P (X(t + h = j X(t = i = h λ i q ij }{{} λ ij +o(h, i j P (X(t + h = i X(t = i = λ i h + o(h ( q ij = λ ij, falls λ i > 0 λ i In Matrixschreibweise (S endlich: P (h = I + Λh + o(h bzw P (h I lim h h = P (0 = Λ Beweis: Wir zeigen nur die Hauptaussage, jedoch nicht, dass die ÜW stetig differenzierbar sind Da die Verweildauern exponentialverteilt sind, ist die Wahrscheinlichkeit für mehr als einen Übergang im Zeitraum h gleich o(h Deshalb gilt p ii (h = P {V (t > h X(t = i} + o(h Satz 44 = e λ ih + o(h = λ i h + o(h also p ii (h p ii (0 h Grenzübergang h 0 liefert p ii (0 = λ ii = λ i = λ i + o(h h Für i j gilt entsprechend p ij (h = P {Y n+ = j, T n+ h Y n = i} + o(h Satz 45, = q ij q ij e λ ih + o(h = q ij λ i h + o(h, h 0 liefert p ij (0 = λ ij = λ i q ij für i j Da 0, i stabil (0 < λ i < q ii =, i absorbierend (λ i = 0,

17 KAPITEL 4 DISKRETE MARKOV-PROZESSE 0 ergibt sich für reguläre MP die Folgerung Die Zeilensummen der Intensitätsmatrix Λ sind gleich 0, dh für alle i S gilt λ ii = λ i = j S,j i λ ij Beispiel: Molekulare Evolution S = {A, T, G, C} Beispiel: Poisson-/Geburtsprozess

18 KAPITEL 4 DISKRETE MARKOV-PROZESSE 02 In Anwendungenen sind meist λ ij bzw λ i und q ij vorgegeben oder aus Daten geschätzt, und die ÜW p ij (t sind daraus zu berechnen Prinzipiell, jedoch selten analytisch, lässt sich diese Aufgabe mit Hilfe des folgenden Satzes lösen Satz 48 Λ P (t Sei X ein regulärer MP Dann ist die ÜM P (t = (p ij (t durch die ÜM Q der eingebetteten MK Y und die Erwartungswerte λ i der Verweildauern bzw die Intensitätsmatrix Λ eindeutig bestimmt Die ÜW p ij (t sind Lösung von p ij(t = λ ik p kj (t bzw P (t = ΛP (t, P (0 = I k S (Rückwärtsgleichungen von Kolmogorov 2 p ij(t = p ik (tλ kj bzw P (t = P (tλ, P (0 = I k S (Vorwärtsgleichungen von Kolmogorov Für endliches S ist die Lösung gegeben durch P (t = e tλ = I + tλ + (tλ2 2! + (tλ! + Die (numerische Berechnung erfolgt mit Hilfe der Spektralzerlegung von Λ Λ = U diag(d,, d m U, mit den Eigenwerten d,, d m und der Matrix U der Eigenvektoren Dann gilt P (t = U diag(e dt,, e dmt U Beweis: Nur zu bzw 2; informell, in Matrixdarstellung (vgl FKO S Die Beziehung zwischen p ij (0 und λ ij in Satz 47 lässt sich in Matrizenform durch P (h I lim h 0 h darstellen Dann folgt mit Hilfe der Chapman-Kolmogorov-Gleichungen (Satz 4 bzw Grenzübergang h 0 liefert P (t + h P (t h = P (t + h P (t h = Λ P (tp (h P (t h = = (P (h IP (t h P (t(p (h I h P (t = P (tλ bzw P (t = ΛP (t

19 KAPITEL 4 DISKRETE MARKOV-PROZESSE 0 mit P (0 = I Die Lösung in ergibt sich aus der Theorie linearer Differentialgleichungssysteme Beispiel: MP mit 2 Zuständen ( Λ = 2 2 Eigenwertzerlegung von Λ: EW sind 0 und ; es ist ( ( 0 0 D = diag(d, d 2 =, U = 0 2, U = ( 2 P (t = U diag(e dt, e d2t U ( 0 = U U 0 e t = = ( e t ( 2 2 Bemerkung: Es existiert der Grenzwert lim P (t = t ( 2 2 Beispiel: Allgemeiner MP mit 2 Zuständen ( λ λ Λ = µ µ Die Kolmogorov-Gleichung P (t = P (tλ ergibt ( p 00 (t p 0 (t ( p00 (t p 0 (t p 0 (t p (t = p 0 (t p (t ( λ λ µ µ p 00(t = λp 00 (t + µp 0 (t, p 0 (t = p 00 (t, p 00(t = +µ (λ + µp 00 (t Lösung: p 00 (t = µ λ + µ + λ λ + µ e (λ+µt p 0 (t = p 00 (t = λ λ + µ λ λ + µ e (λ+µt

20 KAPITEL 4 DISKRETE MARKOV-PROZESSE 04 Aus Symmetriegründen p (t = p 0 (t = λ λ + µ + µ λ + µ e (λ+µt µ λ + µ µ λ + µ e (λ+µt Grenzwert: lim P (t = t ( µ λ+µ µ λ+µ λ λ+µ λ λ+µ Grenzwertsätze Die Klassifizierung der Zustände des MP X erfolgt durch die zugrundeliegende MK Y mit der ÜM Q Mit den t-schrittigen ÜW q (t ij folgt zunächst für transientes j aus lim t q (t ij lim p ij(t = 0 t = 0 sofort Deshalb beschränken wir uns wie bei MK auf irreduzible, rekurrente MP (dh die zugrundeliegende MK Y sei irreduzibel rekurrent Dann gilt

21 KAPITEL 4 DISKRETE MARKOV-PROZESSE 05 Satz 49 Grenzwertsatz Der MP X sei regulär und irreduzibel positiv-rekurrent Dann gilt: lim t P (X(t = j = π j existiert j S, und ist von der Anfangsverteilung unabhängig 2 Die Grenzverteilung π lässt sich berechnen über (a π j = (b π j = η j i η mit ηλ = 0 bzw über i ν j/λ j i ν mit ν = νq i/λ i lim t P (t = π π π 4 π = (, π j, ist strikt positiv 5 π ist die einzige stationäre Verteilung von X, dh es gilt π = π P (t t 0 Bemerkungen: (η j = (ν j /λ j ist die unnormierte Grenzverteilung 2 (ν j = ν ist die Grenzverteilung der eingebetteten MK Y Plausibilitätsbeweis zu 2: (vgl auch FKO S 6 Kolmogorov sche Vorwärtsgleichung: P (t = P (t Λ Annahme: lim t P (t existiert Dann folgt offensichtlich da lim P (t = t ( π π lim P (t = 0 t d dt π j = d dt lim t p ij(t = 0

22 KAPITEL 4 DISKRETE MARKOV-PROZESSE 06 (π j hängt ja nicht von t ab, da Grenzverteilung Insgesamt folgt 0 = ( π π Λ, in jeder Zeile steht also 2(a π Λ = 0 Die Äquivalenz zu 2(b gilt wegen ν = ν Q ν(q I = 0 Erweiterung mit λ i λ i : ( ν, ν λ λ q 2 2, λ λ }{{ 2 λ 2 q 2 λ 2 = 0 } µ }{{} Λ 2(b ist plausibel: Grenzverteilung ist proportional zu ( λ j }{{} durchschnittliche Aufenthaltsdauer in j ν j }{{} Wahrscheinlichkeit sich in j aufzuhalten Beispiel: 2-Zustands-MP ( λ λ Λ = λ 2 λ 2 oder alternativ über eingebettete MK Y (2(b: Y hat ÜM η λ + η 2 λ 2 = 0 η λ + ( η λ 2 = 0 η λ η 2 λ 2 = 0 λ 2 η (λ + λ 2 = 0 η = λ 2 λ + λ 2, η 2 = λ λ + λ 2 Q = ( 0 0 mit stationärer Verteilung (ν = νq ( ν = 2, Grenzverteilung (π, π 2 ist proportional zu 2 ( λ, λ 2 Normieren liefert (π, π 2 = π = ( λ λ 2, = λ + λ 2 λ λ 2 λ + λ 2 ( ( λ2 λ + λ 2, λ, λ 2 λ λ + λ 2

23 KAPITEL 4 DISKRETE MARKOV-PROZESSE 07 Beispiel: Peter Prinzip (Taylor/Karlin, S 66 Betrieb: berufliche Kategorien T Trainee, J Junior-Pos, S Senior-Pos Λ = T J S T J S λ T λ T 0 λ JT λ J λ JS λ S 0 λ S J bleibt in J Pos mit Ex(λ J = Ex(λ JT + λ JS -verteilter Verweildauer; dann verlässt er die Position und wird durch Trainee ersetzt mit Wahrscheinlichkeit q JT = λ JT λ J mit Wahrscheinlichkeit q JS = λ JS λ J Alternative Beschreibung: Grenzverteilung: π = (π T, π J, π S P (X(t + h = J X(t = T = λ T h + o(h P (X(t + h = T X(t = J = λ JT h + o(h P (X(t + h = S X(t = J = λ JS h + o(h P (X(t + h = T X(t = S = λ S h + o(h P (X(t + h = i X(t = i = λ i h + o(h für i = T, J, S, oder er bekommt eine S-Position Lösung ist mit N = λ S λ J + λ S λ T + λ T λ JS λ T π T = λ JT π J + λ S π S λ J π J = λ T π T λ S π S = λ JS π J = π T + π J + π S π T = λ Sλ J N, π J = λ Sλ T N, π S = λ T λ JS N 44 Zur statistischen Analyse Zwei Situationen treten in Anwendungen auf

24 KAPITEL 4 DISKRETE MARKOV-PROZESSE 08 Vollständige Kenntnis über einen oder mehrere Pfade Bemerkung: Hier keine Links-oder Rechtszensierungen berücksichtigt 2 Beobachtungen nur zu Zeitpunkten t < t 2 < < t n, dh Pfade nicht vollständig beobachtet In beiden Situationen: Likelihood-basierte Inferenz für die Strukturparameter Λ = {λ ij } bzw Q = {q ij }, λ = {λ i }, bzw Λ = Λ(θ, Q = Q(θ, λ = λ(θ Situation Die Likelihood wird gemäß Struktursatz 45 bestimmt: P (Y n = i n, T n > t n Y n = i n, S n = s n,, Y 0 = i 0, S 0 = 0 = q in i n e λ i n t n }{{} = Exponential -Survivorfkt F (t n Gemeinsame (bedingte Dichte für Y n diskret, T n stetig (bezüglich Produktmaß von λ, mit ν Abzählmaß, λ Lebeguemaß: q in i n λ in e λ i n t n Damit:

25 KAPITEL 4 DISKRETE MARKOV-PROZESSE 09 Likelihood L(λ ij i 0, i,, i n, i n ; t,, t n = Produkt bedingter Dichten wie im zeitdiskreten Fall λ = p i0 (0 q i0 i λ }{{ i0 e i0 t q } i i 2 λ i e λ i t2 λ i0 i q ij λ i e λ itj q in i n λ in e λ i n t n = p i0 (0 exp( λ i γ i (q ij λ i n ij i S i,j S,i j γ i gesamte Verweildauer in i, n ij Gesamtzahl der Übergänge i j Loglikelihood: (p i0 (0 kann ignoriert werden l(λ ij = λ i = P j i λ ij = λ i γ i + n ij log(λ ij i S i,j;i j i,j S,i j ( λ ij γ i + n ij log(λ ij l(λ ij λ ij = γ i + n ij λ ij! = 0 ˆλ ij = = n ij γ i Anzahl der Übergänge von i nach j gesamte Verweildauer in i Es gilt: ˆλ ij ist konsistent für λ ij mit asymptotischer Varianz n ij γi 2 Korrolar: Sei n i = j n ij die Anzahl der Sprünge weg von i Dann ist ˆλ i = n i γ i und ˆq ij = n ij n i Beweis: Invarianz des ML-Schätzers bzgl Reparametrisierung; hier λ i = j i λ ij ˆλ i = j i ˆλ ij = j i n ij γ i = n i γ i Schließlich folgt für ÜW der eingebetteten MK Y : ˆq ij = ˆλ ij ˆλ i = n ij/γ i n i /γ i = n ij n i

26 KAPITEL 4 DISKRETE MARKOV-PROZESSE 0 Beispiel: (aus Guttorp Pavian Stamm im Amboseli NP, Kenya Veränderung der Mitgliederanzahl durch Geburt (B, Einwanderung (I, Auswanderung (E, Tod (D Annahme eines Geburts-Tod-Prozesses Tabelle -4 Tabelle : Ereignisse im Pavian Stamm nach so vielen Tagen Anzahl Ereignis 4 40 B 5 4 B B 2 4 D 7 42 D 26 4 I 0 42 I 55 4 B 5 44 I E 5 44 D 6 4 E 2 42 D 4 4 D 0 40 D 22 9 D 0 8 B 0 9 B 7 40 D 4 9 B 7 40 D 9 E 8 B 4 9 D 8 8 D 2 7 D 5 6 B 0 7 B Tabelle 2 i, j n ij λij i, j n ij λij 6, 7 5 = 02 7, 6 2 7, 8 2 8, 7 2 8, , 8 4 9, , , , , , , , , , , , Tabelle : γ i γ 6 = 5 = 5 γ 7 = 2+0 = 2 γ 8 = 0++8 = 2 γ 9 = = 4 γ 40 = = 65 γ 4 = = 5 γ 42 = = 7 γ 4 = = 6 γ 44 = 5+5 = 40 γ 45 = 20 = 20 Tabelle 4: λ i ˆλ 6 = 5 = 02 ˆλ 7 = 2 2 = 07 ˆλ 8 = 2 = 04 ˆλ 9 = 5 4 = 02 ˆλ 40 = 4 65 = 006 ˆλ 4 = 5 = 009 ˆλ 42 = 4 7 = 006 ˆλ 4 = 6 = 00 ˆλ 44 = 2 40 = 0025 ˆλ 45 = 20 = 005

27 KAPITEL 4 DISKRETE MARKOV-PROZESSE Situation 2 Daten X(t = i,, X(t n = i n Likelihood L(λ ij X(t = i,, X(t n = i n = p i0 (0p i i 2 (t 2 t p in i n (t n t n Die ÜW auf der rechten Seite müssen dabei aus den Kolmogorov-Gleichungen bzw über die Spektralzerlegung von Λ bestimmt werden numerisch aufwendig Also: Falls möglich, dieses Studiendesign vermeiden; gesamten Pfadverlauf retrospektiv erfragen Dies ist allerdings in Beobachtungsstudien nicht immer möglich