Werner Sandmann: Modellierung und Analyse 4 1. Kapitel 4. Markovketten

Werner Sandmann: Modellierung und Analyse 4 1 Kapitel 4 Markovketten

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 2 Abschnitt 4.1 Grundlagen

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 3 Einordnung Abstrakte Modellbeschreibung High-Level Modellierungsparadigma Warteschlangenmodell, Petrinetz, Prozeßalgebra Automatenmodell, Transitionssystem Analyse Stochastischer Prozeß Nicht Markovscher stochastischer Prozeß Gedächtnislos? Nein Ja Markovprozeß Markovkette Zustandsraum diskret Analyse Analyse

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 4 Stochastischer Prozeß Definition: Stochastischer Prozeß Ein stochastischer Prozeß ist eine Familie von Zufallsvariablen (X t ) t T auf einem Wahrscheinlichkeitsraum (Ω, A, P) mit Werten in einer Menge S. Menge T heißt Indexmenge oder Parametermenge. Indizes t T interpretiert als Zeiten Indexmenge T überabzählbar: Prozess (zeit)stetig = (zeit)kontinuierlich, Indexmenge T abzählbar: Prozeß (zeit)diskret. Menge S heißt Zustandsraum. Werte der ZV X t interpretiert als Zustände eines Systems Zustandsraum S überabzählbar: Prozeß zustandsstetig Zustandsraum S abzählbar: Prozeß zustandsdiskret, heißt Kette. Abbildung t X t (ω) heißt Pfad oder Trajektorie oder Realisierung.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 5 Klassen stochastischer Prozesse Einfache weitere Klassifizierung möglich gemäß der Abhängigkeiten der X t : Einfachster Fall: Folge unabhängiger (ggf. identisch verteilter) Zufallsvariablen. Zweiteinfachster Fall: Abhängigkeit nur vom aktuellen Zustand Markovprozeß. Diverse weitere Klassifizierungsmöglichkeiten... Wichtige Klassen stochastischer Prozesse (z.t. überlappend) Markovprozesse, Markovketten, Semi Markovprozesse Zählprozesse Ankunftsprozesse Kapitel 4 (Konventionelle Lastmodelle) Erneuerungsprozesse Ankunftsprozesse Kapitel 4 (Konv. Lastmodelle) Markovsche Zähl-/Erneuerungsprozesse Kapitel 5 (Netzlastmodelle) Fraktale Prozesse, Autoregressive Prozesse Kapitel 5 (Netzlastmodelle) Geburts-/Todesprozesse Kapitel 6 (Elementare Markovsche Modelle) Quasi-Geburts-/Todesprozesse Kapitel 10 (Matrixanalytische Methoden) Regenerative Prozesse Kapitel 11 (Diskrete Simulation)

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 6 Markoveigenschaft Definition: Markoveigenschaft, Markovprozeß Ein stochastischer Prozeß (X t ) t T heißt Markovprozeß (MP), genau dann, wenn für alle t 0 < t 1 <... < t n+1, t i T und x 0,..., x n+1 S, n IN : P(X tn+1 = x n+1 X tn = x n,..., X t0 = x 0 ) = P(X tn+1 = x n+1 X tn = x n ). Diese Eigenschaft heißt Markoveigenschaft. Definition: Markovkette Ein Markovprozeß mit endlichem oder abzählbarem (also diskretem) Zustandsraum heißt Markovkette (MK). Interpretationen Markovprozesse (insbesondere Markovketten) sind gedächtnislos. Der Folgezustand hängt nur vom aktuellen Zustand ab. Die Vorgeschichte des Prozesses spielt keine Rolle.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 7 Klassifizierung von Markovprozessen Markovprozesse klassifiziert nach Parametermenge und Zustandsraum Parameter- Zustandsraum menge diskret stetig (Zeit ) Diskrete Markovkette (Zeit ) Diskreter Markovprozeß diskret Discrete Time Markov Chain Discrete Time Markov Process stetig (DTMC) (Zeit ) Stetige Markovkette (DTMP) (Zeit ) Stetiger Markovprozeß Continuous Time Markov Chain Continuous Time Markov Process (CTMC) Zustandsraum endlich: endliche Markovkette Für Markovketten zur Vereinfachung oft OBdA S IN (CTMP) endlich: typischerweise S = {0, 1,..., S} oder S = {1, 2,..., S} abzählbar unendlich: typischerweise S = IN 0 oder S = IN +

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 8 Zustandswahrscheinlichkeiten Sprechweise/Interpretation Falls X t = i für t T, i S, ist die Markovkette zur Zeit t im Zustand i. Definition: Transiente Zustandswahrscheinlichkeit Die Wahrscheinlichkeit, daß eine Markovkette zur Zeit t T in einem Zustand i S ist, heißt transiente Zustandswahrscheinlichkeit von i zur Zeit t, π (t) i := P(X t = i). Definition: Transiente Verteilung Der Vektor π (t) = (π (t) 0, π(t) 1,...) der transienten Zustandswahrscheinlichkeiten heißt transiente Wahrscheinlichkeitsverteilung oder kürzer transiente Verteilung der Markovkette zur Zeit t.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 9 Übergangswahrscheinlichkeiten Definition: Transiente Übergangswahrscheinlichkeiten Für beliebige t 1, t 2 T mit t 1 < t 2 heißen die Wahrscheinlichkeiten, daß die Markovkette zur Zeit t 1 in einem Zustand i S und zur Zeit t 2 in einem Zustand j S ist, transiente Übergangswahrscheinlichkeiten (ÜWK) p ij (t 1, t 2 ) := P(X t2 = j X t1 = i). Beachte insbesondere: Übergangswahrscheinlichkeiten sind bedingte Wahrscheinlichkeiten. WK nichtnegativ, also für t 1, t 2 T mit t 1 < t 2 und i, j S : p ij (t 1, t 2 ) 0. Bedingte WK ist W Verteilung, also j S p ij (t 1, t 2 ) = 1.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 10 Pfadwahrscheinlichkeiten Pfade/Realisierungen/Trajektorien Direkte Folgerung aus der Markoveigenschaft Pfadwahrscheinlichkeiten: WK für Pfade (x 0, x 1,..., x n ), n 0 sind gegeben durch und bilden die Verteilung der (n + 1)-dimensionalen ZV (X t0, X t1,..., X tn ) Für alle x 0,..., x n S und t 0, t 1,..., t n, n IN mit t 0 < t 1 < < t n P(X t0 = x 0,..., X tn = x n ) = π x (0) n 1 0 k=0 p xk x k+1 (t k, t k+1 ) = P(X t0 = x 0 )p x0 x 1 (t 0, t 1 )p x1 x 2 (t 1, t 2 ) p xn 1 x n (t n 1, t n ).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 11 Reisen über Zwischenstationen Einfache Überlegungen Reist man in einer gewissen Zeit von einem Zustand zu einem anderen Zustand, dann besucht man zwischendurch weitere Zustände. Startet man zur Zeit t 1 in i und landet man zur Zeit t 2 in j, war man also zu einer Zwischenzeit s, t 1 < s < t 2 in irgendeinem Zwischenzustand k. Die WK, zur Zeit t 1 in i und zur Zeit t 2 in j zu sein, kann also zusammengesetzt werden: WK zur Zeit t 1 in i und zur Zeit s in irgendeinem k zu sein multipliziert mit WK zur Zeit s in besagtem k und zur Zeit t 2 in j zu sein. Zwischenzustand k ist beliebig und auf verschiedenen Wegen sind verschiedene Zwischenzustände möglich Produkt der WK muß über alle Zwischenzustände summiert werden. Genau dieser Zusammenhang wird in den Chapman Kolmogorov Gleichungen ausgedrückt.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4 12 Chapman Kolmogorov Gleichungen Satz: Chapman Kolmogorov Gleichungen Für beliebige i, j S und t 1, s, t 2 T mit t 1 < s < t 2 gilt p ij (t 1, t 2 ) = k S p ik (t 1, s)p kj (s, t 2 ). Beweis: später für spezielle Markovketten. Oder als Übung ;-) Beachte aber Chapman Kolmogorov Gleichungen gelten für jede Art von Markovketten.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 13 Abschnitt 4.2 Diskrete Markovketten

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 14 4.2.1 Grundbegriffe Bereits eingeführt Markovkette (MK): Markovprozeß mit diskretem Zustandsraum. (Zeit ) Diskrete MK: MK mit diskreter Indexmenge (Parametermenge). Wir lassen den Zusatz (Zeit ) meist weg, da 1. klar ist, daß diskrete MK eine MK mit diskreter Indexmenge ist, 2. die Interpretation als Zeiten zwar üblich und nützlich, formal aber nicht notwendig ist. Üblicherweise Parametermenge T = IN und Zeitparameter n IN. Damit Definition: Diskrete Markovkette Ein stochastischer Prozeß (X n ) n IN mit diskretem Zustandsraum S heißt zeitdiskrete Markovkette (Discrete Time Markov Chain, DTMC) oder kurz diskrete Markovkette, falls für alle n IN und x 0,..., x n+1 S gilt P(X n+1 = x n+1 X n = x n,..., X 0 = x 0 ) = P(X n+1 = x n+1 X n = x n ).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 15 Zustandswahrscheinlichkeiten Analog zum allgemeinen Fall jetzt mit den Notationen für diskrete MK: Transiente Zustandswahrscheinlichkeit von j zur Zeit n : π (n) j := P(X n = j). Transiente Verteilung zur Zeit n : π (n) = (π (n) 0, π(n) 1,...). Speziell Anfangszustandswahrscheinlichkeiten π (0) 0, π(0) 1,... ; Anfangsverteilung π(0). Zustandsübergänge (Transitionen) finden zu diskreten Zeitpunkten statt Interpretationen für diskrete Markovkette: Zeitliche Entwicklung einer diskreten MK verläuft in Schritten. Zustand zur Zeit n IN ist Zustand nach n Übergängen nach n Schritten.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 16 Übergangswahrscheinlichkeiten Wiederum analog zum allgemeinen Fall, nun in diskreten Schritten: Wahrscheinlichkeit dafür, zur Zeit n (also nach n Schritten) im Zustand i und zur Zeit n + m (also nach m weiteren Schritten) im Zustand j zu sein. Für diskrete Markovketten mit Zustandsraum S und i, j S, n, m IN Transiente m Schritt Übergangswahrscheinlichkeiten p (m) ij (n) := p ij (n, n + m) = P(X n+m = j X n = i). Transiente 1 Schritt Übergangswahrscheinlichkeiten p ij (n) := p (1) ij (n) = P(X n+1 = j X n = i). Kurz: Transiente Übergangswahrscheinlichkeiten.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 17 Homogene diskrete Markovketten Definition: Stationäre Übergangswahrscheinlichkeiten Übergangswahrscheinlichkeiten einer diskreten Markovkette heißen stationär, wenn sie nicht von der Zeit abhängen. Stationäre m Schritt ÜWK: für alle n, m IN 0 P(X n+m = j X n = i) = P(X m = j X 0 = i) =: p (m) ij. Stationäre 1 Schritt ÜWK: für alle n IN 0 P(X n+1 = j X n = i) = P(X 1 = j X 0 = i) =: p ij. Definition: Homogene diskrete Markovkette Eine diskrete Markovkette heißt homogen, wenn alle Übergangswahrscheinlichkeiten stationär sind.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 18 Übergangsmatrizen Stationäre ÜWK werden zusammengefaßt in Übergangsmatrizen. m Schritt Übergangsmatrix Matrix der m Schritt ÜWK (1 Schritt ) Übergangsmatrix Matrix der 1 Schritt ÜWK P (m) = (p (m) ij ) i,j S : P (m) = p (m) 00 p (m) 01 p (m) 02... p (m) 10 p (m) 11 p (m) 12......... P = (p ij ) i,j S : p 00 p 01 p 02... P = p 10 p 11 p 12......... Unendlicher Zustandsraum: Übergangsmatrix unendlich. Endlicher Zustandsraum S : Übergangsmatrix endliche S S Matrix.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 19 Stochastische Matrizen Nach Definition von ÜWK gilt: Übergangsmatrizen haben nur nichtnegative Elemente und Zeilensumme 1. Matrizen mit dieser Eigenschaft heißen stochastische Matrizen. Also: Übergangsmatrizen homogener diskreter Markovketten sind stochastische Matrizen. Für m Schritt-Übergangsmatrizen P (m) p (m) ij 0, i, j S und Für Übergangsmatrix P analog p ij 0, i, j S und j S p (m) ij = 1, i S. p ij = 1, i S. j S Übergangsmatrizen bilden eine Halbgruppe bezüglich der Matrixmultiplikation, d.h. das Produkt von Übergangsmatrizen ist wieder eine Übergangsmatrix (Beweis: Übung?).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 20 Graphische Darstellung Homogene diskrete Markovketten können als gerichtete Graphen interpretiert werden. Knoten: Zustände Kanten: von i S nach j S, falls p ij > 0; beschriftet mit p ij. Direkte Interpretation als beschriftetes Transitionssystem (Labelled Transition System, LTS) Graphische Darstellung durch Zustandsübergangsdiagramm in der für Graphen üblichen Weise, hier Beispiel ohne Beschriftung: 3 4 0 1 2 5

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 21 Chapman Kolmogorov Gleichungen Satz: Chapman Kolmogorov Gleichungen Mit den eingeführten Notationen für homogene diskrete MK p (l+m) ij = k S p (l) ik p(m) kj, l, m IN 0. Spezialfall p (m) ij = k S p (m 1) ik p kj, m IN +. In Matrixschreibweise P (l+m) = P (l) P (m) bzw. P (m) = P (m 1) P. Somit ist die Matrix der m Schritt Übergangswahrscheinlichkeiten die m te Potenz der 1 Schritt Übergangsmatrix, und wir können daher P m schreiben.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 22 Beweis p (l+m) ij = P(X l+m = j X 0 = i) = k S P(X l+m = j, X l = k X 0 = i) = k S P(X l+m = j X l = k, X 0 = i)p(x l = k X 0 = i) Markov = k S P(X l+m = j X l = k)p(x l = k X 0 = i) = k S p (l) ik p(m) kj

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 23 Pfadwahrscheinlichkeiten Es folgt direkt eine Vorschrift zur Berechnung der Verteilung von X n, also der transienten Zustandswahrscheinlichkeiten π (n) i zur Zeit n : Vektoriteration oder Potenzmethode ( numerische Verfahren). Pfadwahrscheinlichkeiten π (n) = π (0) P n = π (n 1) P. WK eines Pfadsegmentes (x i,..., x n ) P(X i = x i,..., X n = x n ) = P(X i = x i ) n 1 k=i p xk,x k+1, 0 i n, WK eines zur Zeit 0 beginnenden Pfades (x 0,..., x n ) p(x 0,..., x n ) := P(X 0 = x 0,..., X n = x n ) = π x (0) n 1 0 k=0 p xk,x k+1.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 24 Verweildauern Fragestellung: Wie lange (wieviele Schritte) verweilt die Markovkette in einem Zustand? Das Verweilen in einem Zustand i S läßt sich als Bernoulli Experiment mit Erfolgswahrscheinlichkeit p ii interpretieren. Verweildauer ist also geometrisch verteilt mit Parameter p ii. Dies ist auch plausibel, da die Übergangswahrscheinlichkeiten nur vom aktuellen Zustand und nicht von der Vorgeschichte und insbesondere auch nicht von der bereits im Zustand verweilten Zeit abhängen. Zur Erinnerung Die geometrische Verteilung ist die einzige diskrete Verteilung mit der Eigenschaft der Gedächtnislosigkeit.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 25 Eindeutige Beschreibung Wodurch wird eine homogene diskrete Markovkette beschrieben? Gestartet wird in einem Anfangszustand gemäß einer Anfangsverteilung. Zustände ändern sich gemäß der stationären ÜWK. Damit klar, daß zur Beschreibung die Angabe der Übergangswahrscheinlichkeiten und der Anfangsverteilung ausreichen. Somit gilt Satz: Eine homogene diskrete Markovkette ist eindeutig beschrieben durch eine Anfangsverteilung und eine Übergangsmatrix.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 26 Langzeitverhalten Gegeben sei homogene diskrete Markovkette mit Zustandsraum S, Übergangsmatrix P und beliebiger Anfangsverteilung. Definition: Grenzverteilung Die Markovkette hat eine Grenzverteilung π = (π 0, π 1,...), falls j S : lim n π (n) j = π j. Definition: Stationäre Verteilung Die Markovkette hat eine stationäre Verteilung π = (π 0, π 1,...), falls π = πp, also j S : π j = π i p ij und i S π i = 1. i S

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 27 Zusammenhänge Plausibilität Langzeitverhalten und stationäre Verteilung? Sei π = (π 0, π 1,...) stationäre Verteilung. Dann gilt offensichtlich für die transienten Zustandswahrscheinlichkeiten π (0) j = π j, j S = π (n) j = π j für alle n IN. Eine Grenzverteilung ist immer stationär, die Umkehrung gilt im allgemeinen nicht. Stationäre Verteilungen sind im allgemeinen nicht eindeutig. Gesucht: Bedingungen für die Existenz von Grenzverteilungen, die Eindeutigkeit stationärer Verteilungen. abhängig von bestimmten Eigenschaften der Markovkette Klassifizierungen.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 28 4.2.2 Klassifizierungen Definition: Erreichbarer Zustand Ein Zustand j S heißt erreichbar von einem Zustand i S, in Zeichen i j, falls es möglich ist, in einer endlichen Anzahl von Schritten vom Zustand i in den Zustand j zu gelangen, also i j : n IN : p (n) ij > 0. Die Relation ist offensichtlich transitiv. Definition: Kommunizierende Zustände Zwei Zustände i, j S kommunizieren, in Zeichen i j, falls sie wechselseitig voneinander erreichbar sind, also i j : i j j i.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 29 Irreduzible Markovketten Definition: Irreduzible Markovkette Eine homogene diskrete Markovkette heißt irreduzibel, falls alle Zustände kommunizieren, d.h. jeder Zustand von jedem anderen Zustand erreichbar ist, also (i, j) S 2 n IN : p (n) ij > 0. Bemerkung Die Relation ist eine Äquivalenzrelation. Zustandsraum kann in Äquivalenzklassen partitioniert werden. Alternative Definition irreduzibler Markovketten: eine Markovkette ist genau dann irreduzibel, wenn es genau eine Äquivalenzklasse bezüglich gibt.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 30 Rekurrenz Definition: n Schritt Rekurrenzwahrscheinlichkeit Für alle Zustände i S heißt die Wahrscheinlichkeit für die erste Rückkehr nach i in genau n IN Schritten, also f (n) i := P(X n = i X n 1 i,..., X 1 i, X 0 = i), die n Schritt Rekurrenzwahrscheinlichkeit von i. Definition: Rekurrenzwahrscheinlichkeit Die Wahrscheinlichkeit, nach Verlassen eines Zustands i jemals wieder zurückzukehren, heißt Rekurrenzwahrscheinlichkeit und ist gegeben durch f i := f (n) i. n=1

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 31 Zustandsklassifizierungen Definition: Transienter/Rekurrenter Zustand Ein Zustand i S heißt transient, falls f i < 1 und rekurrent, falls f i = 1. Definition: Mittlere Rekurrenzzeit Für rekurrente Zustände i S heißt die mittlere Rekurrenzzeit. m i := n=1 nf (n) i Definition: Positiv rekurrenter Zustand, Nullrekurrenter Zustand Ein Zustand i S heißt positiv rekurrent, falls m i < und nullrekurrent sonst.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 32 Charakterisierung der Markovkette Satz: Für irreduzible homogene diskrete Markovketten gilt genau eine der Aussagen alle Zustände sind positiv rekurrent, alle Zustände sind nullrekurrent, alle Zustände sind transient. Folgerungen Die Eigenschaften eines einzelnen Zustands charakterisieren also den gesamten Zustandsraum. Bei der Untersuchung von Rekurrenz und Transienz genügt es also, nur einen leicht handhabbaren Zustand zu betrachten. Man spricht daher auch von rekurrenten, positiv rekurrenten, nullrekurrenten und transienten Markovketten.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 33 Periodizität Definition: Periode eines Zustands Für einen Zustand i S heißt die Periode von i. Falls n IN + : p (n) ii transient. ggt({n IN : p (n) ii > 0}) = 0, dann sei d(i) := 0. Der Zustand i ist dann Definition: Periodischer/Aperiodischer/Ergodischer Zustand Ein rekurrenter Zustand i S heißt periodisch, falls d(i) > 1 und aperiodisch, falls d(i) = 1. Er heißt ergodisch, falls er aperiodisch und positiv rekurrent ist. Bemerkung: Ein Zustand i S mit p ii > 0 hat Periode 1, ist also aperiodisch.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 34 Ergodisch und Absorbierend Definition: Periodische/Aperiodische/Ergodische Markovkette Eine homogene DTMC heißt aperiodisch, falls alle Zustände aperiodisch sind und periodisch, sonst. Sie heißt ergodisch, falls sie irreduzibel und aperiodisch ist und alle Zustände positiv rekurrent sind. Bemerkung: Eine endliche irreduzible aperiodische homogene DTMC ist also immer ergodisch, da alle Zustände positiv rekurrent sind. Definition: Absorbierender Zustand, Absorbierende Markovkette Ein Zustand i S heißt absorbierend, falls kein anderer Zustand von i aus erreicht werden kann, also p ii = 1. Eine homogene DTMC heißt absorbierend, falls ihr Zustandsraum mindestens einen absorbierenden Zustand enthält. Bemerkung: Es ist klar, daß eine absorbierende Markovkette nicht irreduzibel und somit auch nicht ergodisch ist.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 35 Zusammenhänge Satz: Für jede aperiodische homogene DTMC existiert eine Grenzverteilung π. Für jede irreduzible aperiodische homogene DTMC ist die Grenzverteilung π unabhängig von der Anfangsverteilung. Für jede ergodische homogene DTMC ist die Grenzverteilung π eindeutige stationäre Verteilung. Diese eindeutige stationäre Verteilung kann mittels des Gleichungssystems π = πp mit Normierungsbedingung, also j S : π j = π i p ij, und π i = 1 i S i S berechnet werden oder, falls die (endlichen) mittleren Rekurrenzzeiten m i bekannt sind, über die Beziehung j S : π j = 1 m j.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 36 4.2.3 Absorbierende diskrete Markovketten Absorbierende diskrete Markovketten Offensichtlich keine eindeutige stationäre Verteilung. Man landet irgendwann in einem absorbierenden Zustand. Häufig eingesetzt zur Modellierung von Systemen mit Fehlern. Beispiel: Ruin eines Spielers (Gambler s Ruin) Spieler A hat Startkapital a Euro, Spieler B hat Startkapital b Euro. Spieler A gewinnt eine Spielrunde mit WK p, Spieler B mit WK q := 1 p. Der Verlierer einer Runde zahlt dem Gewinner jeweils 1 Euro. Das Spiel dauert so lange, bis einer der Spieler ruiniert ist; aus der Sicht von Spieler A also bis er 0 oder c := a + b Euro besitzt.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 37 Random Walk Das Spiel kann modelliert werden als Random Walk mit zwei absorbierenden Rändern: Homogene diskrete Markovkette (X n ) n IN mit Zustandsraum S = {0,..., c} Absorbierende Zustände 0 und c bzw. rekurrente Klassen {0} und {c}, X n = Kapital von Spieler A nach n Spielrunden. { +1 mit WK p, Sei Z n+1 = (Bernoulli-verteilte ZV). 1 mit WK q X n+1 = X n + Z n+1. Sei T die Spieldauer, also der erste Zeitpunkt n, an dem X n = 0 oder X n = c gilt. Gewinn-WK für Spieler A bei Startkapital a f a = P(X T = c X 0 = a), die Absorptionswahrscheinlichkeit für den Zustand c bei Start in Zustand a. Dies können wir leicht von Hand berechnen.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 38 Berechnung der Gewinn-WK für Spieler A Idee: Berechne f i für alle i {0,..., c}. Rekurrenz: Also f 0 = 0, f c = 1, f i = pf i+1 + qf i 1 für i {1,..., c 1}. f i+1 f i = q p (f i f i 1 ) für i {1,..., c 1}. Im Einzelnen f 2 f 1 = q p (f 1 f 0 ) = q p f 1, f 3 f 2 = q p (f 2 f 1 ) = ( ) 2 q f 1, p. f c f c 1 = q p (f c 1 f c 2 ) = ( ) c 1 q f 1. p

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 39 Berechnung der Gewinn-WK Fortsetzung Addition ergibt für i > 1 bzw. f i f 1 = f i = ( q p + ( ) 2 q + + p 1 ( q p )i 1 q f 1, falls p q, p i f 1, falls p = q. ( ) ) i 1 q f 1 p f c f 1 = 1 f 1 = ( q p + ( ) 2 q + + p ( ) ) i 1 q f 1 f 1 = p 1 q p 1 ( q p q, p )c, 1 c, p = q.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 40 Gewinn-WK und Spieldauer Damit f i = 1 ( q p )i 1 ( q falls p q p )c, i c falls p = q. Die WK für Gewinn von Spieler A und Gewinn von Spieler B summieren sich zu 1 WK, daß das Spiel unendlich lange dauert, ist 0 (Übung?). Wie lange dauert das Spiel? Mittlere Spieldauer: m i = E[T X 0 = i] (Spieler A beginnt mit Startkapital i). Rekurrenz: m 0 = m c = 0, m i = 1 + p m i+1 + q m i 1 für i {1,..., c 1}. Ähnlich zur Berechnung der Absorptionswahrscheinlichkeiten erhält man Mittlere Zeit bis zur Absorption: m i = i(c i) (Übung?).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 41 Verallgemeinerung Unterteilung der Übergangsmatrix P einer absorbierenden Markovkette so, daß ( ) I 0 P =, R Q wobei die Zustände nach absorbierenden und transienten sortiert werden (also ggf. Umnumerierung von Zuständen). R beschreibt Übergänge von transienten zu absorbierenden Zuständen. Q beschreibt Übergänge zwischen transienten Zustände. I ist die Einheitsmatrix (da man aus einem absorbierenden Zustand nicht wieder herauskommt ). Offensichtlich Man landet nach endlich vielen Schritten in einem absorbierenden Zustand. lim Q k = 0. k

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 42 Fundamentalmatrix absorbierender Markovketten Bezeichnungen Sei n ij die mittlere Anzahl von Besuchen im transienten Zustand j, bevor die Markovkette in den absorbierenden Zustand übergeht, wenn im Zustand i gestartet wurde. Sei T die Menge der transienten Zustände. Sei A die Menge der absorbierenden Zustände. Dann gilt n ij = δ ij + k T p ik n kj. In Matrixschreibweise (I Q) N = I N = I + Q N N = (I Q) 1. Definition: N heißt Fundamentalmatrix der absorbierenden Markovkette.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 43 Bamberger Wetter In Bamberg sind an einem Tag drei Wetterlagen möglich Regen(R), schöner Tag(D) und Schnee(S). Es gibt niemals zwei aufeinanderfolgende schöne Tage. Modelliert mit einer Markovkette erhält man folgende Übergangsmatrix: R 1 2 R D S 1 4 1 4 D 1 2 0 1 2 S 1 4 1 4 1 2 Wieviele Tage dauert es im Mittel bis zum ersten Regentag? (von einem beliebigen Starttag aus)

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 44 Mittlere Zeit bis Regen Markovkette mit Übergangsmatrix und nun absorbierendem Zustand R R D S R 1 0 0 D 1 2 0 1 2 S 1 4 1 4 1 2 Dabei ergibt sich N durch D D 4 3 S 4 3. S 2 3 8 3 Also ist z.b. die mittlere Anzahl von schönen Tagen bis zu einem Regentag 4 3 schönem Wetter gestartet wurde., wenn mit

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 45 Bamberger Wetter Absorptionszeiten Mittlere Absorptionszeiten Sei τ i die mittlere Anzahl von Schritten bis zur Absorption, wenn im Zustand i gestartet wurde. Es gilt τ i = n ij. j T Im Beispiel ergibt sich (Vektor der τ i ) Also τ = ( 8 3 10 3 ). Es regnet im Mittel nach 8 3 ausgegangen wurde. Es regnet im Mittel nach 10 3 wurde. Tagen zum ersten Mal, wenn von einem schönen Tag Tagen zum ersten Mal, wenn von Schnee ausgegangen

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4 46 Absorptionswahrscheinlichkeiten Absorptionswahrscheinlichkeiten Sei b ij die Wahrscheinlichkeit, daß die Markovkette im transienten Zustand i startet und im absorbierenden Zustand j endet. Dann gilt b ij = p ij p ik b kj, i T, j A. k T B = R + Q B B = (I Q) 1 R = N R = k T n ik p kj. Sei m ij die mittlere Anzahl von Schritten, die man braucht, um den Zustand j zum ersten Mal zu erreichen, wenn man im Zustand i gestartet ist. Diese Werte ergeben sich leicht für alle j, wenn man aus j einen absorbierenden Zustand macht, denn dann gilt m ij = τ i.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 47 Abschnitt 4.3 Stetige Markovketten

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 48 4.3.1 Grundbegriffe Wir erinnern uns Markovkette (MK): Markovprozeß mit diskretem Zustandsraum. (Zeit ) Stetige MK: MK mit stetiger (kontinuierlicher) Indexmenge (Parametermenge). Üblicherweise Parametermenge T = IR + und Zeitparameter t IR +. Weitere Bezeichnungen (ZWK, ÜWK) dann genau wie bei den allgemeinen Definitionen. Zustandsübergänge (Transitionen) also zu beliebigen Zeitpunkten möglich Interpretation für stetige Markovkette: Zeitentwicklung einer stetigen MK verläuft stetig (kontinuierlich). MK verweilt gewisse Zeit in einem Zustand und springt dann in anderen Zustand, Markoveigenschaft (Gedächtnislosigkeit) exponentiell verteilte Verweildauer. Im Unterschied zu diskreten MK nicht festgelegt, wieviele Übergänge nach einer bestimmten Zeit auftreten, keine diskreten Schritte.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 49 Homogene stetige Markovketten Definition: Stationäre Übergangswahrscheinlichkeiten Übergangswahrscheinlichkeiten einer stetigen Markovkette heißen stationär, wenn sie nicht von den Zeitpunkten sondern nur von der Länge des betrachteten Zeitraums, also der Zeitdifferenz, abhängen, d.h. t 1, t 2, h IR + p ij (t 1, t 1 + h) = P(X t1 +h = j X t1 = i) = P(X t2 +h = j X t2 = i) = p ij (t 2, t 2 + h). WK, in einem Zeitraum der Länge h vom Zustand i in den Zustand j zu gelangen: p ij (h) := p ij (t, t + h) = P(X t+h = j X t = i), i, j S, t, h IR +. Definition: Homogene stetige Markovkette Eine stetige Markovkette heißt homogen, falls alle Übergangswahrscheinlichkeiten stationär sind.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 50 Übergangsmatrizen WK, in einem Zeitraum der Länge h vom Zustand i in den Zustand j zu gelangen (s.o.): p ij (h) := p ij (t, t + h) = P(X t+h = j X t = i), i, j S, t, h IR +. Analog zum diskreten Fall (vergleichbar mit m Schritt ÜWK) ÜWK zusammengefaßt in Übergangsmatrizen (jetzt abhängig von Zeitdauer) P(h) = p 00 (h) p 01 (h) p 02 (h)... p 10 (h) p 11 (h) p 12 (h)......... Übergangsmatrizen sind stochastische Matrizen, es gilt also p ij (h) 0, i, j S und. p ij (h) = 1, i S. j S

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 51 Chapman Kolmogorov Gleichungen Chapman Kolmogorov Gleichungen Für h 1, h 2 IR + In Matrixschreibweise p ij(h 1 + h 2 ) = p ik (h 1 )p kj (h 2 ). k S P(h 1 + h 2 ) = P(h 1 )P(h 2 ). Definition: Stetige Halbgruppe von Übergangsmatrizen Eine Menge {P(h) : h 0} von Übergangsmatrizen heißt stetige Halbgruppe von Übergangsmatrizen (Transition Semigroup), falls alle darin enthaltenen Matrizen die Chapman Kolmogorov Gleichungen erfüllen und lim P(h) = P(0) = I h 0 (I ist Einheitsmatrix).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 52 Lokale Charakteristika Satz: Ist {P(h) : h 0} stetige Halbgruppe von Übergangsmatrizen einer stetigen Markovkette, dann existieren für alle Zustände i, j S die Grenzwerte 1 p q i := lim ii (h) h 0 h [0, ], p ij (h) q ij := lim h 0 h [0, ), i j. Definition: Lokale Charakteristika Mit q ii := q i heißen die q ij lokale Charakteristika der Halbgruppe oder der stetigen Markovkette.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 53 Generatormatrix Definition: Generatormatrix, Ratenmatrix, Intensitätsmatrix Die Matrix Q = (q ij ) i,j S heißt Generatormatrix, Ratenmatrix, infinitesimaler Generator oder Intensitätsmatrix der stetigen Markovkette, also Q = lim h 0 P(h) P(0) h = lim h 0 1 (P(h) I). h Sind alle Einträge von Q endlich, dann Generatormatrix/Ratenmatrix/Intensitätsmatrix beschränkt, zugrundeliegende Halbgruppe und stetige Markovkette stabil. Zugrundeliegende Halbgruppe und stetige Markovkette konservativ, wenn für alle Zustände i S : q ii = q i = j S,j i Im folgenden nur stabile konservative stetige Markovketten. q ij ( Zeilensumme 0).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 54 Interpretationen Warum Generatormatrix? Für Q gilt exp((h 1 + h 2 )Q) = exp(h 1 Q) exp(h 2 Q) eine stetige Halbgruppe von Übergangsmatrizen mit (exp ist Exponentialfunktion) P(h) = exp(hq) und h = h 1 + h 2 erfüllt die Chapman Kolmogorov Gleichungen ( Übung). In diesem Sinne generiert Q also die Übergangsmatrizen. Warum Ratenmatrix? Stetige Markovkette betritt Zustand i zur Zeit t, verweilt exponentiell mit Parameter (Rate) q i verteilte Zeitdauer, wechselt dann mit Sprung-WK p ij in den Zustand j.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 55 Weitere Interpretation: Race Stetige Markovkette betritt Zustand i zur Zeit t, wechselt zur Zeit t + T ij in den Zustand j, T ij exponentiell verteilte ZV mit Parameter (Rate) q ij, alle ZV T ij, i j unabhängig, ebenso unabhängig von Vorgeschichte, Wettrennen (Race) zur Bestimmung des nächsten Zustands (vgl. Wecker bei PN): j ist Zustand mit T ij = min i k {T ik }. Daher heißen die q ij, i j auch Übergangsraten. Beachte Minimum exponentiell verteilter ZV ist wieder exponentiell verteilt. Parameter ist Summe der einzelnen Parameter. konsistent mit vorheriger Interpretation.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 56 Eindeutige Beschreibung und Graphische Darstellung Analog zum diskreten Fall Eine homogene stetige Markovkette ist eindeutig bestimmt durch eine Generatormatrix und eine Anfangsverteilung. Graphische Darstellung als gerichteter Graph Knoten: Zustände Kanten: von i S nach j S, falls q ij > 0; beschriftet mit q ij. Direkte Interpretation als beschriftetes Transitionssystem (Labelled Transition System, LTS) Graphische Darstellung auch hier durch Zustandsübergangsdiagramm. Beachte Anders als im diskreten Fall Gemäß Definition der Generatormatrix mit q ii 0 für alle i S keine Kanten, die Schleifen von einem Zustand in sich selbst (self loops) darstellen. (Es gibt aber auch Varianten der Definition mit self loops.)

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 57 Struktursatz Homogene stetige Markovkette mit Generatormatrix Q, X 0, X 1, X 2,... die Zustände, die nacheinander angenommen werden, τ 0, τ 1, τ 2,... die Verweildauern in den Zuständen. Dann gilt (X n ) n IN ist eine homogene diskrete Markovkette mit den ÜWK q ij, falls i j, q ii < 0, q ii p ij = 0, falls i j, q ii = 0 oder i = j, q ii < 0, 1, falls i = j, q ii = 0. Die τ i sind unabhängig, und τ i hängt nur von X i ab. Ist der erreichte Zustand j, also X i = j, dann ist τ i exponentiell verteilt mit Parameter q jj. (X n ) n IN heißt (die der stetigen Markovkette) eingebettete diskrete Markovkette. Die ÜWK p ij sind die Verzweigungswahrscheinlichkeiten in die möglichen Folgezustände, wenn in ein Übergang aus einem Zustand i heraus stattfindet.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 58 Anmerkungen und Eigenschaften Aus Q kann für alle h die Matrix P(h) berechnet werden. Die stetige Halbgruppe von Übergangsmatrizen ist das stetige Analogon zu den Iterierten der Übergangsmatrix im diskreten Fall. Die Generatormatrix hat in dem Sinne kein direktes Analogon, sie ist eine stetige Notation, die Ableitungen enthält. Nach Definition P(h) P(0) Q = lim, h 0 h d.h. Generatormatrix ist die Ableitung der Matrixfunktion h P(h) an der Stelle 0. Im Gegensatz zum diskreten Fall ist die direkte Berechnung transienter Zustandswahrscheinlichkeiten aus den Chapman Kolmogorov Gleichungen schwierig. Stattdessen: Transformation in lineares Differentialgleichungssystem (DGS) und Berechnung unter Zuhilfenahme der Generatormatrix.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 59 Beweis des Struktursatzes Der im Struktursatz definierte Prozeß ist eine stetige Markovkette stetige Zeit (stetige Parametermenge) diskreter Zustandsraum Dazu: Nachweis der Gedächtnislosigkeit Generatormatrix Q ist die im Struktursatz definierten Generatormatrix überein. Gedächtnislosigkeit Sei τ i exponentiell verteilt mit Parameter q > 0. ( ) ( P(τ i > t + h τ i t) = qe qx dx / t+h = e q(t+h) e qt = e qh = P(τ i > h). t ) qe qx dx

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 60 Beweis Fortsetzung Seien nun P(h) die Übergangsmatrizen des Prozesses. Zu zeigen lim h 0 1 (P(h) I) = Q. h OBdA starte Prozeß zur Zeit 0 in Zustand i. Sei A(0, h) die Anzahl der Sprünge im Intervall [0, h]. Dann gilt mit q i = q ii p ii (h) = P(A(0, h) = 0) = P(τ 1 > h) = q i e q ix dx = e q ih. h

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 61 Beweis Fortsetzung P(A(0, h) = 1) = j i q ij q i P(τ 1 h, τ 1 + τ 2 > h) = j i q ij h e q is q j e q ju du ds 0 h s = hq ij e qih + j i,q i =q j = hq ij e qih + j i,q j =q i q i q j q ij q j q i (e q ih e q jh ) q j q i q ij he min(qi,qj) h + o(h) = h j q ij + o(h) = q i h + o(h).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 62 Beweis Fortsetzung Einschub: Bemerkungen o(h) Restfunktion mit Es gilt e ah e bh b a lim h 0 o(h) h = 0. = h e min(a,b) h + o(h). Wegen des bisher Gezeigten und e ax = 1 + ax + o(h) gilt P(A(0, h) > 1) = 1 P(A(0, h) = 0) P(A(0, h) = 1) = 1 e qih q i h + o(h) = o(h).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 63 Beweis Fortsetzung p ij (h) = k 1 P(X(h) = u j A(0, h) = k) = q ij q i P(A(0, h) = 1) + = q ij h + o(h) + o(h). P(X(h) = u j A(0, h) = k) k=2 Insgesamt also jetzt (endlich) lim h 0 1 h p ij(h) = q ij, lim h 0 1 h (p ii(h) 1) = q i = q ii.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 64 Kolmogorov Vorwärts/Rückwärts DGS Aus den Eigenschaften stetiger Halbgruppen von Übergangsmatrizen Für alle t, h 0 P(t + h) P(t) h = P(t) P(h) P(t) h = P(t) P(h) I }{{ h } Q Übergang zum Grenzwert für h 0 = P(h) I P(t). }{{ h } Q Kolmogorov Vorwärts DGS P(t) = P(t) Q. t Kolmogorov Rückwärts DGS P(t) = Q P(t). t

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 65 Kolmogorov Vorwärts/Rückwärts Gleichungen In expliziter Form Kolmogorov-Vorwärts-Gleichungen t p ij(t) = k S p ik (t)q kj. Kolmogorov-Rückwärts-Gleichungen t p ij(t) = k S q ik p kj (t). Differentialgleichungssystem für transiente Zustandswahrscheinlichkeiten j S : t π(t) j = i S q ij π (t) i. Vektor Matrix Schreibweise t π(t) = π (t) Q.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 66 Langzeitverhalten Grenzverteilungen und stationäre Verteilungen analog zum diskreten Fall definiert. Unterschied: Stationaritätsbedingung muß für alle h 0 gelten. Stationäre Verteilung für stetige MK π = (π 0, π 1,...) mit h 0 : πp(h) = π. Direkte Berechnung stationärer Verteilungen über die P(h) unmöglich. Äquivalente Formulierung unter Verwendung der Generatormatrix Q : ) h2 πp(h) = π exp(hq) = π (I + Q + h1! 2! Q2 h2 + = π + πq + h1! 2! πq2 +. Also πp(h) = π πq = 0. In expliziter Form (zusammen mit Normierungsbedingung für W Verteilungen) j S : π j q ij = 0 und π i = 1. i S i S

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 67 Stationäre Verteilung per Einbettung Satz: Seien Q Generatormatrix einer homogenen CTMC, P die Übergangsmatrix und µ die stationäre Verteilung der eingebetteten DTMC. Dann sind die stationären Zustandswahrscheinlichkeiten der CTMC gegeben durch µ i π i = q ii j S µ j. q jj Beachte Dazu ist natürlich notwendig, die stationäre Verteilung der eingebetteten DTMC zu kennen, also zu berechnen.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 68 4.3.2 Klassifizierungen Ähnlich wie im diskreten Fall Klassifizierung von homogenen stetige Markovketten und deren Zuständen. Die meisten Eigenschaften sind analog zum diskreten Fall definiert, daher hier nur informell. Zustandseigenschaften Periodizität ist im stetigen Fall nicht möglich, Erreichbare und kommunizierende Zustände sowie Rekurrenzbegriffe sind im wesentlichen wie für diskrete MK definiert, Unterschied: Zeitdauern anstatt Schrittzahlen. Absorbierende Zustände i S : h 0 p ii (h) = 1 Einträge der Generatormatrix in der zum Zustand korrespondierenden Zeile j S : q ij = 0.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 69 Klassifizierung homogener stetiger Markovketten Eigenschaften homogener CTMC irreduzibel, falls jeder Zustand von jedem anderen Zustand erreichbar ist, absorbierend, falls es mindestens einen absorbierenden Zustand gibt, ergodisch, wenn positiv rekurrent ist, insbesondere: jede endliche irreduzible homogene CTMC ist ergodisch. Zusammenhang mit eingebetteter DTMC CTMC irreduzibel oder Zustände rekurrent, wenn die entsprechende Eigenschaft für die eingebettete DTMC erfüllt ist. Positiv rekurrenter Zustand der CTMC nicht notwendigerweise auch positiv rekurrent in der eingebetteten DTMC. Die einer ergodischen CTMC eingebettete DTMC ist nicht notwendigerweise ebenfalls ergodisch, nämlich dann nicht, wenn sie nullrekurrent oder periodisch ist.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 70 Zusammenhänge Satz: Für jede irreduzible homogene CTMC existiert eine von der Anfangsverteilung unabhängige Grenzverteilung π. Für jede ergodische homogene CTMC ist die Grenzverteilung π eindeutige stationäre Verteilung. Diese eindeutige stationäre Verteilung kann mittels des Gleichungssystems πq = 0 mit Normierungsbedingung, also j S : π j = π i q ij, und π i = 1 i S i S berechnet werden oder, falls die (endlichen) mittleren Rekurrenzzeiten m i bekannt sind, über die Beziehung j S : π j = 1 m j q jj.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 71 4.3.3 Stetige Phasenverteilungen Prinzip Verteilungen von ZV definiert durch Matrizen, Dichte, Momente etc. ausgedrückt durch diese Matrix, Rahmen zur Erweiterung der Exponentialverteilung. Einfache Verallgemeinerungen der Exponentialverteilung Konstruktion komplexerer Verteilungen aus der Exponentialverteilung Einfache Operationen wie Faltung, endliche Kompositionen. Laplace Stieltjes Transformierte (LST) der Exponentialverteilung ist rational LST von Faltungen und endlichen Kompositionen ebenfalls rational. Verallgemeinerung: Verteilungen mit rationaler LST. Zusammenhang zu Markovketten Verteilung der Absorptionszeit Vorteil: zur Definition keine Transformierte nötig.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 72 Summe exponentiell verteilter ZV Gegeben: X 1,..., X n unabhängig exponentiell verteilt mit Parameter λ > 0. Betrachte Summe (Faltung) X 1 +... + X n. Erwartungswert Varianz E[X 1 + + X n ] = E[X 1 ] + + E[X n ] = 1 λ + + 1 λ }{{} n-fach = n λ. VAR[X 1 + + X n ] = VAR[X 1 ] + + VAR[X n ] = 1 λ 2 + + 1 λ 2 }{{} n-fach Laplace Stieltjes Transformierte (X 1 + + X n ) (ϑ) = X 1(ϑ) X n(ϑ) = λ ϑ + λ λ }{{ ϑ + λ} n-fach = = n λ 2. ( ) n λ. ϑ + λ

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 73 Verteilung der Summe Ermittlung von Kenngrößen der Summe war leicht. Wie ist die Summe X 1 + + X n verteilt? Wie sieht die Dichte aus? Wie sieht die Verteilungsfunktion aus? Wir wissen ( W Rechnung, Faltungsformel) Die Dichte der Summe zweier unabhängiger stetiger Zufallsvariablen X und Y mit Dichten f X und f Y ist gegeben durch die Faltung f X+Y = f X f Y mit f X+Y (z) = f X (x) f Y (z x)dx = f X (z y) f Y (y)dy Also: Dichte der Summe von n unabhängigen ZV durch n fache Faltung. In unserem Fall: jeweils exponentiell verteilte ZV mit Parameter λ > 0.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 74 Falten f X1 +X 2 (z) = f X1 (x) f X2 (z x) dx = z λe λx λe λ(z x) dx 0 = z 0 λ 2 e λz dx = λ 2 e λz z 0 1 dx = λ 2 e λz [ x ] z 0 = λ2 e λz z. f X1 +X 2 +X 3 (z) = f X1 +X 2 (x) f X3 (z x) dx = z λ 2 e λx x λe λ(z x) dx 0 = z 0 λ 3 e λz x dx = λ 3 e λz z 0 x dx = λ 3 e λz [ x 2 2 ] z 0 = λ3 2 e λz z 2.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 75 Weiterfalten f X1 +X 2 +X 3 +X 4 (z) = f X1 +X 2 +X 3 (x) f X4 (z x) dx = z 0 λ 3 2 e λz x 2 λe λ(z x) dx = z 0 λ 4 2 e λz x 2 dx = λ4 2 e λz z 0 [ x 2 dx = λ4 x 3 2 e λz 3 ] z 0 = λ4 6 e λz z 3. Gibt es eine Regelmäßigkeit? n 1 2 3 4 f X1 + +Xn (z) λe λz λ 2 e λz z λ 3 2 e λz z 2 λ 4 6 e λz z 3 Vermutung f X1 + +Xn (z) = λ n (n 1)! e λz z n 1. Das muß bewiesen werden!

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 76 Beweis Wir wollen zeigen Unsere Vermutung gilt für alle n IN. Vollständige Induktion über n n = 1 klar (Exponentialverteilung), außerdem bereits klar für n 4. Induktionsvoraussetzung f X1 + +Xn (z) = λ n (n 1)! e λz z n 1. n n + 1 Zu zeigen ist: (Induktionsschritt) aus der Induktionsvoraussetzung folgt f X1 + +X n+1 (z) = λn+1 e λz z n. n!

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 77 Induktionsschritt f X1 + +X n+1 (z) = f X1 + +Xn (x) f X n+1 (z x) dx = = z 0 z 0 λ n (n 1)! e λx x n 1 λe λ(z x) dx λ n+1 (n 1)! e λz x n 1 dx = λn+1 (n 1)! e λz z 0 x n 1 dx [ = λn+1 x n (n 1)! e λz n ] z = λ n+1 0 n (n 1)! e λz z n = λn+1 e λz z n n!

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 78 Erlang Verteilung Die Verteilung der Summe hat einen eigenen Namen. Definition: Erlang Verteilung Die Verteilung der Summe von n unabhängigen Exponentialverteilungen mit Parameter λ > 0 heißt Erlang Verteilung mit n Phasen und Parameter λ. Kurzschreibweisen: Erlang(n, λ), Erlang n (λ), E n (λ). Variante: k Exponentialverteilungen mit Parameter kµ Erlang(k, µ) = n Exponentialverteilungen mit Parameter λ Erlang(n, λ n ) Also: Aufpassen, was jeweils mit Parameter der Erlang Verteilung bezeichnet ist. (#Expverteilungen oder Parameter der Expverteilung dividiert durch #Expverteilungen) Wir brauchen noch die Verteilungsfunktion...

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 79 Zusammenhang mit Markovketten Warum heißt es Erlang Verteilung mit n Phasen? Interpretation als Absorptionszeit in stetiger Markovkette mit n + 1 Zuständen Zustandsraum S = {1, 2,..., n + 1} Anfangsverteilung (1, 0, 0,, 0) (oder S = {0, 1,..., n}) 1 λ λ λ λ λ Q = λ λ 0 0 0 0 λ λ 0 0 0 0 λ... 0 0.......... 0 0 0 λ λ 0 0 0 0 0 Da Verweilzeiten in jedem Zustand expverteilt mit Parameter λ sind, ist die Absorptionszeit gerade Erlang verteilt mit n Phasen und Parameter λ. Vor der Absorption werden genau n Zustände durchlaufen, alle mit gleicher exponentieller Verweilzeitverteilung.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 80 Phasenverteilungen Für Erlang Verteilung hat Markovkette spezielle Struktur. Gleiches geht für andere spezielle Strukturen. Allgemein: beliebige endliche homogene absorbierende stetige MK. Phasenverteilungen damit also Verallgemeinerung der Exponentialverteilung, Verteilung der Zeit bis zur Absorption in einer stetigen MK mit Zustandsraum S = {1,..., n, n + 1}, Anfangsverteilung (α, α n+1 ), ( T t ) Generatormatrix Q = 0 0, T IR n n, T e + t = 0, Zustand n + 1 absorbierend, Zustände 1,..., n transient ( T nichtsingulär).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 81 Formale Definition Definition: Stetige Phasenverteilung Eine Wahrscheinlichkeitsverteilung auf IR + = [0, ) ist (stetig) phasenverteilt, genau dann, wenn sie die Verteilung der Zeit bis zur Absorption in einer endlichen homogenen stetigen Markovkette ist. Darstellung (α, T), Verteilung: F (α,t)(x) = 1 α exp(tx)e, x 0 Dichte: f (α,t)(x) = α exp(tx)t, x 0 Momente: E[X i ] = ( 1) i i! (αt i e) Spezialfälle: Exponential, Erlang, Hyperexponential, Hypoexponential, Cox,... Anzahl der Phasen = Ordnung von (α,t), Ordnung von F = minimale Ordnung aller (α,t) mit F (α,t) = F,

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 82 Spezialfälle Wie die Erlang Verteilung gibt es weitere bekannte Spezialfälle. Der einfachste Fall ist die Exponentialverteilung selbst. Exponentialverteilung Dichte: f(x) = λe λx, λ > 0. Verteilungsfunktion: F(x) = 1 e λx, λ > 0. Graphische Phasendarstellung 1 λ Q = ( λ λ 0 0 )

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 83 Spezialfall Hypoexponentialverteilung Dichte: f(x) = λ 1λ 2 λ 1 λ 2 ( e λ 2 x e λ 1x ), λ, x > 0. Verteilungsfunktion: F(x) = 1 λ 2 λ 2 λ 1 e λ 1x + λ 1 λ 2 λ 1 e λ 2x, λ, x > 0. 1 λ 1 λ 2 λ 3 λ n 1 λ n OBdA λ 1 λ 2... λ n > 0 α = ( 1 0... 0 ) λ 1 λ 1 0 0 0 λ 2 λ 2 0 T = 0 0 λ 3... 0......... 0 0 0 λ n t = ( 0 0... λ n )

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 84 Spezialfall Hyperexponentialverteilung Dichte: f(x) = k α i λ i (e λix ), λ, x > 0. i=1 Verteilungsfunktion: F(x) = k (1 e λix ), λ, x > 0. i=1 α 1 α 2 α 3. α n. λ 1 λ 2 λ 3. λ n α = ( α 1 α 2... α n ) λ 1 0 0 0 0 λ 2 0 0 T = 0 0 λ 3... 0......... 0 0 0 λ n t = ( λ 1 λ 2... λ n )

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4 85 Nutzen von Phasenverteilungen Phasenverteilungen sind algorithmisch handhabbar ( matrixanalytische Methoden), sind einfach stochastisch interpretierbar, erhalten zugrundeliegende Markovstruktur der Modelle, unterstützen strukturierte Modellierung. Phasenverteilungen sind abgeschlossen unter Faltung, endlicher Auswahl, Minimum und Maximum (Ordnung mn + m + n für Einzelordnungen n und m). Phasenverteilungen ermöglichen Integration nichtexponentieller Verteilungen in Markovmodelle (prinzipiell für jede Verteilung mit rationaler Laplace Transformierten).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.4 Erzeugung von Markovketten 4 86 Abschnitt 4.4 Erzeugung von Markovketten

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.4 Erzeugung von Markovketten 4 87 4.4.1 Vom Warteschlangenmodell zur Markovkette Was bestimmt den Zustand eines Warteschlangennetzes? Wieviele Kunden sind in den einzelnen Stationen (Warteraum+Bediener)? Falls gerade Bedienung im Gange ist, wie lange schon/noch? Für Exponentialverteilung wegen Gedächtnislosigkeit egal Wann finden Zustandsübergänge statt? Bei Ankunft eines neuen Kunden im System (nur für offene Systeme) Bei Fertigstellung einer Bedienung Übergang des bedienten Kunden in andere Station Abgang des bedienten Kunden aus dem System (nur für offene Systeme) Welche Zustandsübergänge können stattfinden? bestimmt durch die Struktur des Warteschlangennetzes. Welche Raten/Wahrscheinlichkeiten haben die Zustandsübergänge? bestimmt durch Zwischenankunftszeiten, Bedienzeiten und Routing WK.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.4 Erzeugung von Markovketten 4 88 Elementare Wartesysteme Elementares M/M/1/ System λ µ Bedienzeiten exponentiell verteilt mit Parameter µ > 0, Zwischenankunftszeiten exponentiell verteilt mit Parameter λ > 0 Ankunftsprozeß ist ein Poissonprozeß ( Lastmodelle). Systemkapazität endlich K <, M/M/1/K Zustände 0, 1, 2,..., K. Systemkapazität unendlich, M/M/1 Zustände 0, 1, 2,.... Unendlicher Zustandsraum bei unendlicher Systemkapazität. Ankunft Zustandsübergang von n nach n + 1 mit Rate λ. Bedienung Zustandsübergang von n nach n 1 mit Rate µ.