1 A dp = P(A B). (1.3)

Transkript

1 Markov-etten Seminar Stochastik vom Version Oktober 00 Markus Penz Vorbemerkungen zu bedingten Wahrscheinlichkeiten Sei (Ω, F,P) ein Wahrscheinlichkeitsraum und X : Ω R eine F-messbare sowie integrierbare Zufallsvariable Der bedingte Erwartungswert E(X G) unter einer Sigma- Algebra G F als G-messbare Zufallsvariable ist implizit durch G : XdP = E(X G)dP () definiert Es besteht folgender einfacher Zusammenhang zu bedingten Wahrscheinlichkeiten unter einer gegebenen Sigma-Algebra: P(A G) := E( A G) () Aus der Definition des bedingten Erwartungswertes folgt für alle G P(A G)dP = E( A G)dP = P(A G)( ) ist damit wieder eine G-messbare Zufallsvariable A dp = P(A ) (3) Mit σ(x) sei die durch die Zufallsvariable X erzeugte Sigma-Algbra bezeichnet Damit definiert man bedingte Wahrscheinlichkeiten unter einer Zufallsvariable: P(A X) := P(A σ(x)), (4) was wieder eine G-messbare Zufallsvariable liefert Grundlegende Definition Definition Sei (Ω, F,P) ein Wahrscheinlichkeitsraum mit einer Filtration (F n ), F 0 F F und die Zufallsvariablen X n : Ω R alle F n -messbar Eine stochastische Folge X = (X n, F n ) heißt Markov-ette zu P, falls sie für alle m n 0 und für alle (R) die sog Markov-Eigenschaft erfüllt: P(X m F n ) = P(X m X n ) (P-fs) (5) Im Spezialfall einer natürlichen Filtration F n = Fn X kurz von (X n ) als Markov-ette Es gilt: := σ({x 0,, X n }) spricht man (X n, F n ) Markov-ette (X n, F X n ) Markov-ette (6) In diesem Fall entspricht die Markov-Eigenschaft der edingung, dass für alle i (R) mit P(X i i i =,, n) > 0 gilt P(X m X i i, i =,, n) = P(X m X n n ) (7) Das Wissen um zusätzliche Ereignisse in der Vergangenheit X i i, i =,, n trägt also nichts zur Vorhersage für X m bei, wenn man auch X n n weiß

2 Markov-etten Satz Sei A i := {X i i } mit i (R) so, dass P(A i ) > 0 Dann ist die Markov-Eigenschaft für (X n ) äquivalent zu P(A k, A k+ A k ) = P(A k A k ) P(A k+ A k ) (8) eweis : Mit dem Satz von ayes und der Markov-Eigenschaft für n = : P(A k, A k+ A k ) = P(A k A k ) P(A k+ A k, A k ) = P(A k A k ) P(A k+ A k ) : Wir starten mit k = Im ersten Schritt wendet man wieder den Satz von ayes und dann die Aussage des Satzes an: P(A 3 A, A ) P(A A ) = P(A, A 3 A ) = P(A A ) P(A 3 A ) P(A 3 A, A ) = P(A 3 A ) (Induktion) P(A n A,, A n ) = P(A n A n ) Dies entspricht genau der Markov-Eigenschaft und beschließt damit den eweis Die Markov-Eigenschaft bedeutet in Worten also: ei fixierter Gegenwart sind Vergangenheit und Zukunft stochastisch unabhängig 3 Diskrete Markov-etten Definition Ein weiterer wichtiger Spezialfall sind sogenannte diskrete Markov- etten, dh X = (X n ), X n : Ω E = {,, 3, } (E ist die Menge der Zustände) mit fester Übergangsfunktion P (i; ) := P(X n+ X n = i) für alle n 0 Man schreibt kurz p := P (i; {j}), also für die Wahrscheinlichkeit, dass es einen Übergang vom Zustand i in den Zustand j gibt Definition 3 Als Anfangsverteilung einer diskreten Markov-ette (X n ) wird das Maß π() := P(X 0 ) mit E bezeichnet Satz (π, P ) bestimmt vollständig die wahrscheinlichkeitstheoretischen Eigenschaften der Folge X eweis Sei A E n+ für ein n 0 beliebig Dann ist die Wahrscheinlichkeit des Ereignisses {(X 0,, X n ) A} gegeben durch: P((X 0,, X n ) A) = P(X 0 = x 0,, X n = x n ) (39) = (x 0,,x n) A (x 0,,x n) A P(X n = x n X n = x n ) P(X 0 = x 0 ) (30) }{{}}{{} P (x n ;{x n}) π({x 0}) Das Wissen um (π, P ) legt also alle Wahrscheinlichkeiten fest emerkung Ein Paar (π, P ) mit einem Wahrscheinlichkeitsmaß π und P (, ) messbar sowie P (x; ) ein Wahrscheinlichkeitsmaß erzeugt also eindeutig eine Markov- ette Im Fall π({x}) = für ein x E nennt man diese eine im Punkt x beginnende ette Mit einem P ist also eine ganze Familie von Markov-etten mit verschiedenen Anfangsverteilungen verknüpft

3 Markov-etten 3 Definition 4 (Übergangswahrscheinlichkeit in n Schritten) := p ii p ii 3 p inj (3) i E,,i n E Satz 3 (Chapman-olmogorov) Fragen: p (n+m) = k E ik p(m) kj (3) (i) Existiert ein Grenzwert π j = lim n unabhängig von i? (ii) ilden diese (π, π, ) eine Wahrscheinlichkeitsverteilung auf E? (iii) Ist die ette ergodisch? Dh gilt π j 0, also jeder Zustand kann im Limes erreicht werden (iv) Existiert eine eindeutige, stationäre Verteilung (q, q, ) mit q j = i E q ip? Zur eantwortung dieser Fragen empfiehlt es sich, eine lassifikation von Zuständen einer Markov-ette zu entwerfen, abhängig von den arithmetischen und asymptotischen Eigenschaften von 4 lassifikation nach arithmetischen Eigenschaften Definition 5 Ein Zustand i E heißt unwesentlich, falls er nach endlich vielen Schritten verlassen wird und man nie zu ihm zurückkehrt, dh j i m > 0 : p (m) Ansonsten heißt er wesentlich eispiel In der Markov-ette mit der Übergangsmatrix (p ) = (44) sind die Zustände und unwesentlich, 3 und 4 dagegen wesentlich Sobald die wesentlichen Zustände erreicht sind, werden diese nicht mehr verlassen ei der Frage nach dem asymptotischen Verhalten kommt es also nur auf die wesentlichen Zustände an > 0 und n > 0 : ji = 0 (43) 3 Definition 6 Ein wesentlicher Zustand j E heißt erreichbar von i E, falls m 0 : p (m) > 0 Für m = 0 wird die onvention p (0) = δ getroffen Ist j von i aus erreichbar, notiert man kurz i j Zustände i und j heißen verbunden, wenn i j j i gilt, man notiert i j Diese eziehung zwischen Zuständen definiert eine Äquivalenzrelation Daraus folgt, dass alle wesentlichen Zustände in Äquivalenzklassen sog unzerlegbare lassen zerfallen, die nicht wechselseitig verbunden sind: E = U E E (45) 4

4 Markov-etten 4 (Hier wurden die unwesentlichen Zustände in U zusammengefasst und die unzerlegbaren lassen als E, E, bezeichnet) Im nächsten Schritt wird eine weitere Zerlegung dieser lassen angestrebt, auch wenn diese als unzerlegbar bezeichnet werden Diese fußt auf dem egriff der Periode für Zustände bzw unzerlegbare lassen Dazu sei zuerst ein eispiel angegeben eispiel etrachtet wird eine unzerlegbare Markov-ette mit Übergangsmatrix 0 0 / / (p ) = 0 0 / / / / 0 0 (46) / / Man kann die Zustände in die Mengen C 0 = {, } und C = {3, 4} (E = C 0 C ) mit zyklischer Eigenschaft aufteilen, dh ein Zustand aus C 0 geht immer in einen in C über und umgekehrt Da es genau zwei solche Mengen gibt, weisen wir der unzerlegbaren lasse die Periode zu Zuerst sei die Periode aber für Zustände definiert Definition 7 j E hat Periode d = d(j), wenn d der größte gemeinsame Teiler aller n mit jj > 0 ist Satz 4 Alle Zustände einer unzerlegbaren lasse E haben die gleiche Periode d = d(e) eweis Für alle i, j E findet man positive Übergangswahrscheinlichkeiten in beide Richtungen, also existieren k, l so, dass p (k) > 0 und p (l) ji > 0 Mittels Chapman- olmogorov folgern wir p (k+l) ii p (k) p(l) ji > 0 und damit d(i) k + l Sei n > 0 mit jj > 0 (d(j) ist ggt aller dieser n) dann gilt p (k+l+n) ii p (k) p(n) jj p(l) ji > 0 und damit wiederum d(i) k + l + n Zusammen mit dem oberen Ergebnis zeigt dies d(i) n für alle solchen n und deshalb d(i) d(j) Aus Symmetriegründen folgt auch d(i) d(j) und damit d(i) = d(j) orollar Startet man in irgendeinem j E mit E einer unzerlegbaren lasse, so ist man in frühestens d = d(e) Schritten wieder dort Definition 8 Über die Wahl eines beliebigen Zustandes i 0 E einer unzerlegbaren lasse E mit d = d(e) definiert man nun zyklische Unterklassen: C p = {j E n N 0 : p (n d+p) i 0j > 0} mit p {0,, d } (47) Ein solches j ist von i 0 aus also in p mod d Schritten zu erreichen Damit diese Definition sinnvoll ist, ist noch zu zeigen: p (n d+p) i 0j > 0 p (n d+p ) i 0j = 0 für p p mod d (48) Reductio ad absurdum: Sei p (n d+p ) i 0j ein m mit p (m) ji 0 gilt also p (n d+p+m) i 0i 0 > 0 Da alle Zustände in E verbunden sind gibt es > 0 Zusammen mit den oberen Annahmen und Chapman-olmogorov > 0 Daraus folgern wir d n d + p + m und d n d + p + m Es folgt d p + m sowie d p + m und damit d p p, was einen Widerspruch darstellt > 0 sowie p (n d+p +m) i 0i 0

5 Markov-etten 5 emerkung Im Fall der obigen Definition gilt für i, j E: i C p p > 0 j C p+(mod d) (49) C 0 C d C C 3 C Definition 9 Eine unzerlegbare lasse E ist aperiodisch, wenn d(e) = orollar Jeder ( zyklischen ) Unterklasse C p kann man eine neue Markov-ette mit Übergangsmatrix zuordnen, die unzerlegbar und aperiodisch ist Es genügt p (d) i,j C p also, das Grenzverhalten für solche Markov-etten zu untersuchen Aus diesen etrachtungen folgt also folgendes lassifizierungsschema: E unwesentlich wesentlich E E E 3 C 0 C C d eispiel 3 (Strahlungsschaden-Modell nach Reid und Landau) Der Zustand eines Organismus, der radioaktiver Strahlung ausgesetzt ist, soll mit den Stufen 0 (gesund) bis (irreparabler Strahlungsschaden) gleichgesetzt werden Der Zustandsraum ist also E = {0,,, } In jedem Zeitschritt wird ein Organismus im Zustand i mit einer Wahrscheinlichkeit von q i um eine Stufe gesünder, verbleibt mit Wahrscheinlichkeit r i statisch oder die Strahlenkrankheit schreitet mit Wahrscheinlichkeit p i fort Es muss also q i + r i + p i = gelten p p p p 0 q q q 3 p r r r

6 Markov-etten q r p q r p 0 0 (p ) = (40) r p Reid und Landau wählten das noch einfachere Modell r i = 0, p i = i und q i = i (p ) = 0 0 (4) Hier zerfällt der Zustandsraum in drei unzerlegbare lassen E = {0}, E = {,, } und E 3 = {} mit den Perioden d(e ) = d(e 3 ) =, d(e ) = Als Heilungswahrscheinlichkeit λ 0 sei die Wahrscheinlichkeit bezeichnet, dass man ausgehend vom Zustand den Zustand 0 erreicht λ 0 = p,0 n=0, (4) 5 lassifikation nach asymptotischen Eigenschaften Definition 0 Mit f (k) ii bezeichnet man die Wahrscheinlichkeit für die erste Rückkehr in einen Zustand i innerhalb von k Schritten und analog dazu mit f (k) (i j) das erste Erreichen eine Zustands j von i ausgehend in k Schritten eide Definitionen lassen sich so zusammenfassen: f (k) := P(X k = j, X l j, l k X 0 = i) (53) Es gilt indem man erstes Erreichen und die restlichen Schritte trennt = n k= f (k) p(n k) jj (54) Die Wahrscheinlichkeit, dass man in i startend in beliebig vielen Zeitschritten zurückkehrt, ist f ii := f (n) ii (55) n= Definition Mit der obigen Definition kann man nun zwischen rekurrenten und transienten Zuständen unterscheiden i E rekurrent genau dann, wenn f ii = (56) transient genau dann, wenn f ii < (57) Ein rekurrenter Zustand i dh sichere Rückkehr zu diesem Zustand kann zusätzlich danach klassifiziert werden, ob die mittlere Rückkehrzeit µ i := nf (n) ii (58) n=

7 Markov-etten 7 endlich oder unendlich ist Im Fall µ i bei µ i = 0 null-rekurrent Lemma (ohne eweis) (i) Aus j E transient folgt für alle i E, dass (ii) Aus j E rekurrent und i j folgt i rekurrent > 0 heißt er positiv-rekurrent, ansonsten n 0 (iii) Aus j E rekurrent, i j und d(j) = (also aperiodisch) folgt { n µ = 0 falls j null-rekurrent j > 0 falls j positiv-rekurrent orollar 3 Eine Markov-ette sei unzerlegbar und aperiodisch (i) Falls alle Zustände null-rekurrent oder transient sind, gilt: i, j E : (ii) Falls alle Zustände positiv-rekurrent sind, gilt: i, j E : (59) n 0 (530) n µ j > 0 (53) Satz 5 In einer unzerlegbaren, aperiodischen Markov-ette mit endlich vielen Zuständen E = {,, r} sind alle Zustände positiv-rekurrent eweis Reductio ad absurdum: Wir nehmen an, alle Zustände seien transient Nach Lemma (-i) gilt für alle i, j E, dass n 0 Natürlich gilt r = (53) j= Lässt man nun n gehen und vertauscht den Limes mit der Summe folgt der Widerspruch r lim = 0 (533) n p(n) j= Demzufolge gibt es mindestens einen rekurrenten Zustand, nach Lemma (-ii) sind damit aber alle Zustände rekurrent, da wir eine unzerlegbare ette betrachten, in der alle Zustände wechselseitig verbunden sind Falls man nun annimmt, dass alle Zustände null-rekurrent sind, folgt genau derselbe Widerspruch Es existiert also auch mindestens ein positiv-rekurrenter Zustand i 0 und für alle i E mit i i 0 gilt so dass Damit gilt µ i s, t : p (s) i 0i > 0, p(t) ii 0 > 0 (534) p (n+s+t) ii > 0 p (t) ii 0 i 0i 0 p (s) n i 0i p (t) p (s) i µ 0i > 0 (535) i0 ii 0 orollar 4 (zu Fragen (i), (ii)) Aus dem eweis von Satz (5) folgt sofort, dass bei einer unzerlegbaren, aperiodischen Markov-ette mit endlich vielen Zuständen für die Grenzwerte π j = lim n gilt, dass π + + π r = Sie bilden also eine Wahrscheinlichkeitsverteilung auf E orollar 5 (zu Frage (iii)) Eine unzerlegbare, aperiodische Markov-ette mit endlich vielen Zuständen ist stets ergodisch

8 Markov-etten 8 eweis Für die Ergodizität ist zu zeigen, dass die Limites π j = lim n existieren und π j > 0 gilt Nach Satz (5) sind alle Zustände positiv-rekurrent und somit folgt mit Lemma (-iii) π j = µ j > 0 emerkung 3 Tatsächlich gilt für endlich viele Zustände auch die Umkehrung, also die Äquivalenz zwischen Ergodizität auf der einen und Unzerlegbarkeit und Aperiodizität auf der anderen Seite, was wir hier jedoch nicht zeigen wollen Satz 6 (zu Frage (iv)) Für eine endliche, ergodische Markov-ette mit E = {,, r} existiert eine eindeutige, stationäre Verteilung q = (q,, q r ) eweis Zuerst soll die Existenz gezeigt werden Wir definieren A als den Grenzwert ( ) π π r P n = n =: A (536) π π r Damit folgt A P = lim n P n P = A (537) Die Zeilen von A liefern also genau die stationäre Verteilung q = (q,, q r ) := (π,, π r ) mit q P = q bzw wie gefordert r q j = q i p (538) i= Zu zeigen bleibt noch die Eindeutigkeit Sei dazu q eine zweite stationäre Verteilung Dann folgt aus q P = q, dass q P n = q ilden wir nun den Grenzwert n folgt q A = q und somit für alle l, dass (q + + q r )q l = q l = q }{{} l (539) emerkung 4 Die Umkehrung dieses Satzes gilt allerdings nicht Mit diesen Aussagen zur Existenz von stationären Verteilungen in endlichen, ergodischen Markov-etten soll die kurze Einführung in das Gebiet der Markov-etten geschlossen werden Referenzen [] AN Širjaev, Probability, vol 95 Graduate Texts in Mathematics, Springer (984) [] P Guttorp, Stochastic Modeling of Scientific Data, Chapman and Hall/CRC (995) [3] S Geiß, Stochastic processes in discrete time (009) [4] Ch Geiß, Stochastic Modeling (009)