Kapitel 4 Diskrete Markov-Prozesse

Transkript

1 Kapitel 4 Diskrete Markov-Prozesse

2 4.1 Definition und grundlegende Eigenschaften 4.1 Definition und grundlegende Eigenschaften Stetige Zeit aber weiterhin diskreter Zustandsraum. Beispiele: Klinische Studien, Krankenverläufe Markenwahlprozesse Poisson-Prozess Stochastische Modelle für die molekulare Evolution, d.h. die durch Mutation verursachte Veränderung der Nukleotide A, T, C, G an bestimmten Positionen der DNA. Vereinfachende Annahme: Die Evolution an verschiedenen Positionen verläuft unabhängig. Dann genügt es, Modelle separat für die Positionen zu entwickeln. Weitere Annahme: Homogenität und Stationarität. Verschiedene Modelle unterscheiden sich durch Annahmen an die Raten λ ij für Übergänge i j. Sommersemester

3 Definition: Diskreter Markov-Prozess 4.1 Definition und grundlegende Eigenschaften Ein stochastischer Prozess X = {X(t), t 0} mit abzählbarem Zustandsraum heißt (diskreter) Markov-Prozess : n 0, t > s > s n >... > s 0 0 gilt P (X(t) = j X(s) = i, X(s n ) = i n,..., X(s 0 ) = i 0 ) = P (X(t) = j X(s) = i) für beliebige j, i, i n,..., i 0 S. p ij (s, t) := P (X(t) = j X(s) = i) heißt Übergangswahrscheinlichkeit(-sfunktion) und P (s, t) = (p ij (s, t)) Übergangsmatrix. Ein Markov-Prozess heißt homogen (oder besitzt stationäre Übergangswahrscheinlichkeiten) : P (X(t + s) = j X(s) = i) = P (X(t) = j X(0) = i) = p ij (0, t) =: p ij (t), d.h. nur die Zeitdifferenz ist maßgeblich. Sommersemester

4 Bemerkungen: 4.1 Definition und grundlegende Eigenschaften Wie bei den Markov-Ketten werden wir uns im Folgenden meist auf homogene Markov-Prozesse beschränken. p ij (t) entspricht p (t) ij (t-schrittige Übergangswahrscheinlichkeit) bei Markov-Ketten. Für die Übergangswahrscheinlichkeiten gilt p ij (t) 0, p ij (t) = 1 j S Chapman-Kolmogorov-Gleichung (für homogene Markov-Prozesse) p ij (s + t) = k S p ik (s)p kj (t) P (s + t) = P (s)p (t) Sommersemester

5 4.1 Definition und grundlegende Eigenschaften Gemeinsame Verteilung: n N, 0 t 0 < t 1 <... < t n R +, i 0, i 1,..., i n S gilt P (X(t n ) = i n,..., X(t 1 ) = i 1 X(t 0 ) = i 0 ) = p i0 i 1 (t 1 t 0 )... p in 1 i n (t n t n 1 ) P (X(t n ) = i n,..., X(t 1 ) = i 1, X(t 0 ) = i 0 ) = P (X(t 0 ) = i 0 ) p i0 i 1 (t 1 t 0 )... p in 1 i n (t n t n 1 ). Satz von Kolmogorov & Likelihood. Im Folgenden setzen wir stets voraus p ij (0) = lim h 0 p ij (h) = δ ij = { 1 i = j 0 i j d.h. ein Übergang von i nach j (i j) beansprucht eine positive Zeitspanne. Sommersemester

6 4.1 Definition und grundlegende Eigenschaften Definition: (Übergangs-)Intensität, Rate Für i, j S, i j, heißt λ ij = lim h 0 p ij (h) h = lim h 0 P (X(t + h) = j X(t) = i) h = lim h 0 P (X(t + h) = j X(t) = i, Vorgeschichte) h = p ij(0) Übergangsintensität bzw. Rate für den Übergang von i nach j. Für i = j definieren wir λ ii = lim h 0 p ii (h) p ii (0) h p ii (h) 1 = lim. h 0 h Allgemein gilt also für i, j S mit 0 λ ij < für i j, aber λ ii 0. λ ij = p ij(0) = lim h 0 p ij (h) p ij (0) h Sommersemester

7 4.1 Definition und grundlegende Eigenschaften Λ = (λ ij ) heißt Intensitätsmatrix. In o(h) Schreibweise gilt also für i j p ij (h) = P (X(t + h) = j X(t) = i) = λ ij h + o(h), p ii (h) = 1 + λ ii h + o(h). Beispiel: Poisson-Prozess p i,i+1 (h) = λh + o(h) { 0, 0 j i 1 p ij (h) = o(h), j i + 2 p ii (h) = 1 λh + o(h) λ i,i+1 = λ { 0, 0 j i 1 λ ij = 0, j i + 2 λ ii = λ Sommersemester

8 4.2 Geburts- und Todesprozesse 4.2 Geburts- und Todesprozesse Definition: Geburtsprozess Ein stochastischer Prozess X = {X(t), t 0} mit Zustandsraum S N 0 heißt Geburtsprozess : X ist ein homogener, diskreter MP mit p i,i+1 (h) = λ i h + o(h), p i,i (h) = 1 λ i h + o(h), λ i 0 i i 0 p i,j (h) = { 0, 0 j i 1 o(h), j i + 2 Datenstruktur wie beim Poisson-Prozess, aber zustandsabhängige Intensitäten λ i. Analog zum Poisson-Prozess gilt λ i,i+1 = λ i, λ ii = λ i, λ ij = 0 für j / {i, i + 1}. Sommersemester

9 4.2 Geburts- und Todesprozesse Herleitung der Übergangswahrscheinlichkeiten p 0n (t) = P (X(t) = n X(0) = 0) aus den Intensitäten. Eine Wahrscheinlichkeitsverteilung p 0n (t) = 1 t 0 n=0 ergibt sich genau dann, wenn Gegenbeispiel: Rate λ i = 2 i. i=0 1 λ i =. Sommersemester

10 Exponentialverteilte Verweildauern 4.2 Geburts- und Todesprozesse Die Verweildauern T i, i N, sind unabhängig und exponentialverteilt mit Parameter λ i, d.h. T i Ex(λ i ). Interpretation: i=0 1 λ i ist die erwartete Zeit bevor {X(t) = } eintritt. Falls die Summe divergiert scheint plausibel, dass P {X(t) = } = 0 gilt. Yule-Prozess: Population mit Anfangsbestand von X(0) = i 0 Individuen. Unabhängige Vermehrung, wobei jedes Individuum im Zeitintervall h mit Wahrscheinlichkeit λh + o(h) ein weiteres Mitglied der Population erzeugt und die Wahrscheinlichkeit für die Erzeugung mehrerer Individuen o(h) sei. Der binomische Lehrsatz liefert ( ) i p i,i+1 (h) = (λh + o(h))(1 λh + o(h)) i 1 = iλh + o(h) 1 ( ) i p i,j (h) = (λh + o(h)) j i (1 λh + o(h)) i (j i) = o(h) für j i 2. j i Sommersemester

11 4.2 Geburts- und Todesprozesse Geburtsprozess mit Rate λ i = iλ. X(t) i 0 besitzt eine negative Binomialverteilung mit Parametern i 0 und exp( λt). E(X(t) i 0 ) = i 0(1 exp( λt)), exp( λt) V ar(x(t) i 0 ) = i 0(1 exp( λt)) exp( 2λt) exponentielles Wachstum: E(X(t)) = i 0 exp(λt), V ar(x(t)) = i 0 exp(λt)(exp(λt) 1). Sommersemester

12 Definition: Geburts- und Todesprozess 4.2 Geburts- und Todesprozesse Ein stochastischer Prozess X = {X(t), t 0} mit Zustandsraum S N 0 heißt Geburts- und Todesprozess : X ist ein homogener, diskreter MP mit mit p i,i+1 (h) = λ i h + o(h) i 0 p i,i 1 (h) = µ i h + o(h) i 1 p ii (h) = 1 (λ i + µ i )h + o(h) i 0 p ij (h) = o(h) i j 2, i, j 0 µ 0 = 0, λ 0 0 (> 0 reflektierend, = 0 absorbierend), µ i, λ i 0 für i 1. Sommersemester

13 Für die Intensitäten gilt also 4.2 Geburts- und Todesprozesse λ i,i+1 = λ i, λ i,i 1 = µ i, λ ij = 0 für i j 2, λ ii = (λ i + µ i ) Die explizite Berechnung der Übergangsmatrix P (t) aus Λ ist i.a. nicht möglich. Das Wartesystem M/M/1/ Poisson-Prozess mit Rate λ Bedienungszeit Ex(µ) X(t) Die Anzahl der im System befindlichen Kunden X(t) ist ein spezieller Geburts-Todes- Prozess mit λ i = λ und µ i = µ. Sommersemester

14 Für λ < µ existiert die Grenzverteilung p j : 4.2 Geburts- und Todesprozesse p j = lim t p ij (t) = (1 r)r j, r = λ µ lim t X(t) = X( ) geometrisch verteilt mit E(X( )) = r 1 r, V ar(x( )) = r (1 r) 2 Varianten: begrenzte Kapazität N des Warteraums (M/M/1/N) { λ 0 i N λ i = 0 i > N von der Länge der angetroffenen Warteschlange verursachte Entmutigung, z.b. λ i = λ (i + 1), i = 0, 1,... Sommersemester

15 4.2 Geburts- und Todesprozesse Das Wartesystem M/M/s/ : s Schalter jeweils mit Rate µ X(t) Geburts-Todes-Prozess mit λ i = λ und µ = { µi, i = 1,..., s µs, i = s + 1,... Grenzverteilung existiert für λ < sµ. Modelle zur Bevölkerungsentwicklung Verallgemeinerung des Yule-Prozess mit Geburtsrate λ i = iλ und Sterberate µ i = iµ Für X(0) = 1 kann man zeigen: E(X(t)) = exp((λ µ)t) (für λ µ) Wahrscheinlichkeit des Aussterbens = { 1, λ µ µ λ, λ > µ Sommersemester

16 Struktur der Pfade von Geburts- und Todesprozessen 4.2 Geburts- und Todesprozesse Wahrscheinlichkeit für Verlassen des Zustands i im Intervall (t, t + h]: (λ i + µ i )h + o(h). Exp(λ i + µ i )-verteilte Verweildauern (analog zum Poisson-Prozess). Wahrscheinlichkeit für Zustandsänderung i i + 1: λ i h + o(h) Wahrscheinlichkeit für Zustandsänderung i i 1: µ i h + o(h) Unter der Bedingung, dass eine Zustandsänderung stattfindet, erhält man also die bedingten Wahrscheinlichkeiten λ i (λ i + µ i ) µ i (λ i + µ i ) Übergang i i + 1 Übergang i i 1 Sommersemester

17 Vorgehen zur Simulation: 4.2 Geburts- und Todesprozesse Der aktuelle Zustand sei i. Realisiere eine Exp(λ i + µ i )-verteilte Zufallsvariable, um die Verweildauer in i zu erhalten. Entscheide dann anhand eines Bernoulli- Experiments mit den obigen Wahrscheinlichkeiten, welcher der zwei möglichen Zustandswechsel eintritt. Sommersemester

18 4.3 Skizze der allgemeinen Theorie 4.3 Skizze der allgemeinen Theorie Voraussetzungen: p ij (0) = δ ij, Pfade (mit W keit 1) rechtsseitig stetig. Bezeichnungen: S n Zeitpunkt der n-ten Zustandsänderung, S 0 = 0, Y n = X(S n ) zum Zeitpunkt S n angenommener Zustand, T n+1 = S n+1 S n Verweildauer in Y n, S n+1 = S n + T n+1. Falls absorbierende Zustände Y n möglich sind, d.h. S n+1 =, { Y n, S n+1 = Y n+1 = X(S n+1 ), S n+1 <. λ ij Rate für Übergang i j. λ i = j λ ij. V (t) Vorwärtsrekurrenzzeit: Dauer von t an bis zur nächsten Zustandsänderung Sommersemester

19 Exponentialverteilte Verweildauern: 4.3 Skizze der allgemeinen Theorie Die Verweildauern T i, i N sind exponentialverteilt mit Parameter λ i. Für jeden Zeitpunkt t gilt P (V (t) s X(t) = i) = 1 e λ is, s 0, die Vorwärtsrekurrenzzeit ist also ebenfalls exponentialverteilt mit Parameter λ i. Definition: Zustand i ist absorbierend : λ i = 0 stabil : 0 < λ i < instabil : λ i = Sommersemester

20 4.3 Skizze der allgemeinen Theorie Falls i absorbierend ist, gilt für alle s 0 P (V (t) > s X(t) = i) = P (X(t + s) = i X(t) = i) = 1. Der Zustand i wird mit W keit 1 nicht mehr verlassen. Falls i stabil ist, gilt P (0 < V (t) < X(t) = i) = 1. X verweilt in i eine positive, aber endliche Zeit (mit W keit 1). Falls i instabil ist, gilt P (V (t) = 0 X(t) = i) = 1. Der MP verlässt einen instabilen Zustand sofort wieder. Dies führt zu nicht rechtsseitig stetigen Pfaden. Daher sind instabile Zustände im weiteren ausgeschlossen. Sommersemester

21 4.3 Skizze der allgemeinen Theorie Struktursatz: Sei X ein Markov-Prozess mit rechtsseitig stetigen Pfaden. Dann gilt n N 0 j, i,..., i 0 S t, t 1,..., t n R 0 < s 1... < s n 1. P (Y n+1 = j, T n+1 > t Y n = i,..., Y 0 = i 0, S n = s n,..., S 0 = 0) = q ij e λ it mit q ij 0, { 0, i stabil q ij = 1, q ii = 1, i absorbierend j S 2. {Y n, n N} ist eine Markov-Kette mit Übergangsmatrix Q = (q ij) 3. P (T n+1 > t Y n = i, Y n+1 = j) = P (T n+1 > t Y n = i) = e λ it 4. P (T 1 > t 1,..., T n > t n Y n = i,..., Y 0 = i 0 ) = e λ i 0 t 1... e λ i n 1 t n Sommersemester

22 Bemerkungen: 4.3 Skizze der allgemeinen Theorie (a) {Y n, n N} heißt eingebettete Markov-Kette. Erreichbarkeits- / Rekurrenzeigenschaften der eingebetteten Markov-Kette übertragen sich auf diskreten Markov- Prozess. (b) Aussage 3 besagt, dass λ i nächsten abhängt. nur vom eben besuchten Zustand, nicht aber vom (c) Aussage 4 besagt, dass die Verweildauern exponentialverteilt und bedingt unabhängig sind, wenn die Folge der besuchten Zusände gegeben ist. (d) Der Struktursatz liefert auch die gemeinsame Verteilung von {T n, Y n } und damit die Likelihood zur ML-Schätzung der Strukturparameter λ i und q ij (bzw. der Intensitäten λ ij ): P (T 1 > t 1,..., T n > t n, Y 0 = i 0, Y 1 = i 1,..., Y n = i n ) = P (T 1 > t 1,..., T n > t n Y 0 = i 0, Y 1 = i 1,..., Y n = i n ) P (Y 0 = i 0, Y 1 = i 1,..., Y n = i n ) = e λ 0t1... e λ i n 1 tn P (Y 0 = i 0 ) q i0 i 1... q in 1 i n Sommersemester

23 Konstruktion bzw. Simulation der Pfade eines Markov-Prozesses: 4.3 Skizze der allgemeinen Theorie Startwert X(ω, 0) = Y 0 (ω) = i 0 Im Zustand Y n (ω) = i n, n N 0, bestimmt man gemäß der Verteilung q in j, j S, den nächsten Zustand Y n+1 (ω) = i n+1. Die Verweildauer T n+1 (ω) = t n+1 in i n bis zum Sprung nach i n+1 wird gemäß einer λ in -Exponentialverteilung realisiert. Definition: Regulärer Markov-Prozess Ein Markov-Prozess heißt regulär, wenn er die folgenden Eigenschaften besitzt: { 1, i = j 1. p ij (0) = lim p ij (h) = δ ij = h 0 0, i j 2. Pfade (mit Wahrscheinlichkeit 1) rechtsseitig stetig. 3. sup n S n = +. Sommersemester

24 4.3 Skizze der allgemeinen Theorie Regularitätskriterien Ein Markov-Prozess, der die Eigenschaften 1. und 2. erfüllt ist regulär, falls eine der folgenden Eigenschaften gilt: 1. S ist endlich. 2. λ i c für alle i S. 3. Alle Zustände der eingebetteten Markov-Kette Y sind rekurrent. 4. Die Markov-Kette Y verbleibt mit Wahrscheinlichkeit 0 in einer transienten Klasse. Intensitäten und Strukturparameter X sei ein regulärer MP. Dann sind die Übergangswahrscheinlichkeiten p ij(t) stetig differenzierbar und es gilt p ij(0) = lim h 0 p ij (h) p ij (0) h = λ ij = { λ i, i = j λ i q ij, i j, Sommersemester

25 4.3 Skizze der allgemeinen Theorie bzw. in o(h)-schreibweise P (X(t + h) = j X(t) = i) = hλ i q ij + o(h), i j P (X(t + h) = i X(t) = i) = 1 λ i h + o(h). In Matrixschreibweise (S endlich): bzw. lim h P (h) = I + Λh + o(h). P (h) I h = P (0) = Λ. Die Zeilensummen der Intensitätsmatrix Λ sind gleich 0, d.h. für alle i S gilt λ ii = λ i = j S,j i λ ij. Sommersemester

26 4.3 Skizze der allgemeinen Theorie Bestimmung der Übergangswahrscheinlichkeiten P (t) aus Λ Sei X ein regulärer Markov-Prozess. Dann ist die Übergangsmatrix P (t) = (p ij(t)) durch die Übergangsmatrix Q der eingebetteten Markov-Kette Y und die Parameter λ i der Verweildauern bzw. die Intensitätsmatrix Λ eindeutig bestimmt. Die Übergangswahrscheinlichkeiten p ij (t) sind Lösung von 1. p ij(t) = k S λ ik p kj (t) bzw. P (t) = ΛP (t), P (0) = I (Rückwärtsgleichungen von Kolmogorov) 2. p ij(t) = k S p ik (t)λ kj bzw. P (t) = P (t)λ, P (0) = I (Vorwärtsgleichungen von Kolmogorov) 3. Für endliches S ist die Lösung gegeben durch P (t) = e tλ = I + tλ + (tλ)2 2! + (tλ)3 3! +... Sommersemester

27 4.3 Skizze der allgemeinen Theorie Die (numerische) Berechnung erfolgt mit Hilfe der Spektralzerlegung von Λ Λ = U diag(d 1,..., d m )U 1, mit den Eigenwerten d 1,..., d m und der Matrix U der Eigenvektoren. Dann gilt P (t) = U diag(e d1t,..., e dmt )U 1. Beispiel: Markov-Prozess mit 2 Zuständen Λ = ( ) Eigenwertzerlegung von Λ: D = ( ), U = ( ), U 1 = ( ). Sommersemester

28 4.3 Skizze der allgemeinen Theorie P (t) = U diag(e d 1t, e d 2t )U 1 =... = ( ) + e 3t ( ) Bemerkung: Es existiert der Grenzwert lim P (t) = t ( ). Beispiel: Allgemeiner Markov-Prozess mit 2 Zuständen Λ = ( λ λ µ µ ). Sommersemester

29 4.3 Skizze der allgemeinen Theorie Die Kolmogorov-Gleichung P (t) = P (t)λ ergibt ( p 00 (t) p 01(t) p 10(t) p 11(t) ) = ( p00 (t) p 01 (t) p 10 (t) p 11 (t) ) ( λ λ µ µ ). p 00(t) = λp 00 (t) + µp 01 (t), p 01 (t) = 1 p 00 (t), p 00(t) = +µ (λ + µ)p 00 (t). Lösung: p 00 (t) = µ λ + µ + p 01 (t) = 1 p 00 (t) = λ λ + µ λ λ + µ e (λ+µ)t λ λ + µ e (λ+µ)t Sommersemester

30 Aus Symmetriegründen erhält man 4.3 Skizze der allgemeinen Theorie p 11 (t) = p 10 (t) = λ λ + µ + µ λ + µ e (λ+µ)t µ λ + µ µ λ + µ e (λ+µ)t Grenzwert: lim P (t) = t ( µ λ+µ µ λ+µ λ λ+µ λ λ+µ ). Die Zustände eines Markov-Prozesses werden anhand der eingebetteten Markov-Kette klassifiziert (Rekurrenz, Erreichbarkeit, Periodizität, etc.). Für transientes j folgt aus lim t q (t) ij = 0 für die t-schritt ÜW q (t) ij auch lim t p ij (t) = 0. Für Grenzwertsätze daher Beschränkung auf irreduzible, rekurrente MP. Sommersemester

31 Grenzwertsatz: 4.3 Skizze der allgemeinen Theorie Sei X ein regulärer, positiv-rekurrenter und irreduzibler Markov-Prozess. Dann gilt: 1. lim P (X(t) = j) = π j t unabhängig. existiert j S, und ist von der Anfangsverteilung 2. Die Grenzverteilung π läßt sich berechnen über (a) π j = µ j i µ i mit µλ = 0 bzw. (b) π j = 3. lim t P (t) = ν j/λ j i ν i/λ i mit ν = νq. π. π. π 4. π = (..., π j,...) ist strikt positiv. Sommersemester

32 5. π ist die einzige stationäre Verteilung von X, d.h. es gilt 4.3 Skizze der allgemeinen Theorie π = π P (t) t 0. Beispiel: Markov-Prozess mit zwei Zuständen Λ = ( ) λ1 λ 1 λ 2 λ 2 Möglichkeit 1: Über die Intensitätsmatrix µλ = 0 µ 1 λ 1 + µ 2 λ 2 = 0 µ 1 λ 1 + (1 µ 1 )λ 2 = 0 µ 1 λ 1 µ 2 λ 2 = 0 λ 2 µ 1 (λ 1 + λ 2 ) = 0 µ 1 = λ 2 λ 1 + λ 2, µ 2 = λ 1 λ 1 + λ 2. Sommersemester

33 4.3 Skizze der allgemeinen Theorie Möglichkeit 2: Über die eingebettete Markov-Kette ν = νq Q = ( ) stationäre Verteilung: Grenzverteilung ist proportional zu (π 1, π 2 ) = ( 1 ν = 2, 1 ). 2 ( 1, 1 ) : λ 1 λ 2 ( λ2 λ 1 + λ 2, ) λ 1. λ 1 + λ 2 Sommersemester

34 4.3 Skizze der allgemeinen Theorie Peter Prinzip: Drei berufliche Kategorien in einem Betrieb: T Trainee, J Junior, S Senior T J S T Λ = J λ T λ T 0 λ JT λ J λ JS. S λ S 0 λ S Grenzverteilung: π = (π T, π J, π S ) Lösung ist mit N = λ S λ J + λ S λ T + λ T λ JS. λ T π T = λ JT π J + λ S π S λ J π J = λ T π T λ S π S = λ JS π J 1 = π T + π J + π S. π T = λ Sλ J N, π J = λ Sλ T N, π S = λ T λ JS N. Sommersemester

35 4.4 Inferenz 4.4 Inferenz Zwei mögliche Situationen in Anwendungen: 1. Vollständige Kenntnis über einen oder mehrere Pfade. 2. Beobachtungen nur zu Zeitpunkten t 1 < t 2 <... < t n, d.h. Pfade nicht vollständig beobachtet. In beiden Situationen: Likelihood basierte Inferenz für die Strukturparameter Λ = {λ ij } bzw. Q = {q ij }, λ = {λ i }. Situation 1: Die Likelihood wird gemäß Struktursatz bestimmt: P (Y n = i n, T n > t n Y n 1 = i n 1, S n 1 = s n 1,..., Y 0 = i 0, S 0 = 0) = q in 1 i n e λ i n 1 t n. Gemeinsame (bedingte) Dichte für Y n diskret, T n stetig (bezüglich Produktmaß aus Zählmaß und Lebesgue-Maß): q in 1 i n λ in 1 e λ i n 1 t n. Sommersemester

36 4.4 Inferenz Likelihood L(λ ij i 0, i 1,..., i n 1, i n, t 1,..., t n ): L(λ ij ) = p i0 (0) q i0 i 1 λ i0 e λ i t q ij λ i e λ itj... q in 1 i n λ in 1 e λ i n 1 t n = p i0 (0) i S{exp( λ i γ i ) (q ij λ i ) n ij } j S,j i mit γ i gesamte Verweildauer in i und n ij Gesamtzahl der Übergänge i j. Log-Likelihood (ohne p i0 (0)): l(λ ij ) = i S = i,j;i j λ i γ i + l(λ ij ) λ ij = γ i + n ij λ ij! = 0 i,j S,i j n ij log(λ ij ) ( λ ij γ i + n ij log(λ ij )) Sommersemester

37 Damit ergeben sich die ML-Schätzer 4.4 Inferenz ˆλ ij = n ij γ i ˆλ i = n i γ i, mit n i = j n ij ˆq ij = ˆλ ij ˆλ i = n ij/γ i n i /γ i = n ij n i ˆλ ij ist konsistent für λ ij mit asymptotischer Varianz n ij. γ i 2 Situation 2: Daten X(t 1 ) = i 1,..., X(t n ) = i n Likelihood L(λ ij X(t 1 ) = i 1,..., X(t n ) = i n ) = p i0 (0)p i1 i 2 (t 2 t 1 )... p in 1 i n (t n t n 1 ) Die Übergangswahrscheinlichkeiten müssen dabei aus den Kolmogorov-Gleichungen bzw. über die Spektralzerlegung von Λ bestimmt werden. Numerisch aufwendig. Sommersemester