Trennende Markov Ketten

Transkript

1 Trennende Markov Ketten (in Zusammenarbeit mit A. Martinsson) Timo Hirscher Chalmers Tekniska Högskola Seminarvortrag KIT 8. Mai 206

2 Übersicht Der Seminarvortrag ist wie folgt gegliedert: Einleitung Denitionen und Häggströms Beispiel Treue Koppelungen Koppelungsungleichung Die obere Schranke Schlieÿen der Lücke Ein weiteres Beispiel 2 ist die wahre Antwort Auf irreduzible basierte, reduzible Ketten Das Konzept der Separation Beweisskizze Übersicht Timo Hirscher - Trennende Markov Ketten 2/25

3 Trennende Markov Ketten Existenz Proposition (Häggström, 200) Es existiert eine zeitdiskrete Markov Kette mit endlichem Zustandsraum, so dass für zwei Zustände x und y folgendes gilt: Einerseits existiert eine Markovsche Koppelung zweier Versionen X = (X n ) n N0 und Y = (Y n ) n N0 der Kette, gestartet in X 0 = x bzw. Y 0 = y, mit der Eigenschaft, dass der Zeitpunkt des ersten Treens τ = inf{n 0; X n = Y n } mit W. endlich ist, andererseits lim n P n (x,.) P n (y,.) TV > 0, Einleitung Denitionen und Häggströms Beispiel Timo Hirscher - Trennende Markov Ketten 3/25

4 Häggströms Beispiel x p p p p p p y p p Für p 2 gilt P 2 (x,.) P 2 (y,.) TV > 0 2 2, 2 2 ] und für p [ existiert eine Koppelung mit der die beiden Versionen sich mit W. treen. Die Wahl p = 2 2 maximiert den Totalvariationsabstand, mit dem Wert Einleitung Denitionen und Häggströms Beispiel Timo Hirscher - Trennende Markov Ketten 4/25

5 Einleitung Denitionen Wir betrachten homogene Markov Ketten in diskreter Zeit mit endlichem Zustandsraum S. Mit X = (X n ) n N0 und Y = (Y n ) n N0 bezeichnen wir zwei Versionen der Kette, die in den Zuständen x bzw. y gestartet werden. Die Verteilung von X n wird mit P n (x,.) bezeichnet. Der Totalvariationsabstand zweier Wahrscheinlichkeitsmaÿe µ und ν auf S ist deniert durch µ ν TV := sup µ(a) ν(a). A S Einleitung Denitionen und Häggströms Beispiel Timo Hirscher - Trennende Markov Ketten 5/25

6 Einleitung Koppelungen Eine Koppelung von X und Y ist ein stochastischer Prozess ((X n, Y n )) n N0 auf S S, dessen zwei Koordinaten Versionen der Markov Kette darstellen, gestartet in x bzw. y. Eine Koppelung, die selbst eine Markov Kette ist, wird als Markovsche Koppelung bezeichnet. Eine Markovsche Koppelung von X und Y wird als treu bezeichnet, falls für beliebige n N 0 und x n, x n+, y n, y n+ S P ( X n+ = x n+ (X n, Y n ) = (x n, y n ) ) = P(X n+ = x n+ X n = x n ) = P (x n, x n+ ) und P ( Y n+ = y n+ (X n, Y n ) = (x n, y n ) ) = P (y n, y n+ ). Einleitung Koppelungen Timo Hirscher - Trennende Markov Ketten 6/25

7 Koppelungsungleichung Für eine Koppelung von X und Y bezeichnet τ := inf{n 0; X n = Y n } den Zeitpunkt des ersten Treens der beiden Versionen. Handelt es sich um eine treue Koppelung gilt damit P n (x,.) P n (y,.) TV P(τ > n) = P(τ n). Einleitung Koppelungen Timo Hirscher - Trennende Markov Ketten 7/25

8 Die obere Schranke Obere Schranke Timo Hirscher - Trennende Markov Ketten 8/25

9 mehr als 2 ist nicht drin Theorem Seien X = (X n ) n N0, Y = (Y n ) n N0 deniert. Dann gilt für alle n N 0 : und τ gegeben wie eben P n (x,.) P n (y,.) TV 2 P(τ n). Obere Schranke Timo Hirscher - Trennende Markov Ketten 9/25

10 Beweis Für festes n N 0 und A S denieren wir für 0 t n die beiden Martingale M t := P (X n A X t ) = P n t (X t, A) N t := P (Y n A Y t ) = P n t (Y t, A). und Desweiteren bezeichnen B x und B y die Ereignisse M t 2 bzw. N t < 2 für alle 0 t n. Da M t = N t von X t = Y t impliziert wird, folgt hiermit {τ n} B c x B c y. Als nächstes denieren wir τ x := inf{0 t n; M t < 2 }, τ y := inf{0 t n; N t 2 }, wobei das Inmum per Denition den Wert n annehmen soll, falls es über die leere Menge gebildet wird. Beachte, dass es sich bei τ x und τ y um Stoppzeiten für M t bzw. N t handelt. Obere Schranke Timo Hirscher - Trennende Markov Ketten 0/25

11 Beweis (fortgesetzt) Da (M t ) n t=0 und (N t) n t=0 dem OST beschränkte Martingale sind, folgt aus P n (x, A) = E M 0 = E M τx 2 P(Bc x) + P(B x ) = 2 P(Bc x) sowie P n (y, A) = E N 0 = E N τy 2 P(Bc y). Eine Kombination beider Ungleichungen ergibt P n (x, A) P n (y, A) ( 2 P(B c x ) + P(By) c ) 2 P(τ n). Maximiert man den Ausdruck auf der linken Seite über alle A S folgt schlieÿlich P n (x, ) P n (y, ) T V 2 P(τ n). Obere Schranke Timo Hirscher - Trennende Markov Ketten /25

12 Schlieÿen der Lücke Schlieÿen der Lücke Timo Hirscher - Trennende Markov Ketten 2/25

13 Verbessertes Beispiel x p p y 0. p p p p p p p p p p m p >. p 2 Auf {0,..., m} stimmen die Verteilungen P m+2 (x,.) und P m+2 (y,.) mit NB(, p) bzw. NB(2, p) überein. Wählt man p = m m+ ergibt sich ein Totalvariationsabstand von p p. Dieser Wert konvergiert gegen e für m. Schlieÿen der Lücke Timo Hirscher - Trennende Markov Ketten 3/25

14 2 ist die wahre Antwort Theorem Das Supremum von lim n P n (x,.) P n (y,.) TV über alle trennenden Markov Ketten sowie Zustände x und y hat den Wert 2. Schlieÿen der Lücke Untere Schranke Timo Hirscher - Trennende Markov Ketten 4/25

15 reduzible Ketten, basierend auf irreduziblen p x p p y p p x p p y p Aus einem anderen Blickwinkel betrachtet ist die reduzible Markov Kette auf der rechten Seite eine irreduzible Kette mit zwei Zuständen und endlichem Zeithorizont t {0,, 2}. p p p p Schlieÿen der Lücke Untere Schranke Timo Hirscher - Trennende Markov Ketten 5/25

16 2 ist die wahre Antwort Theorem Für beliebiges ε > 0 existiert eine Markov Kette, zwei Zustände x und y sowie eine positive ganze Zahl T, für welche P T (x,.) P T (y,.) TV 2 ε gilt und eine Koppelung von X und Y existiert, für die gilt P (X t = Y t für ein 0 t T ) =. Schlieÿen der Lücke Untere Schranke Timo Hirscher - Trennende Markov Ketten 6/25

17 Optimale Trewahrscheinlichkeit Die Trewahrscheinlichkeit für eine beliebige Koppelung von X und Y sei deniert als P (X t = Y t für ein 0 t T ). () Für festes T, bezeichnen wir den maximalen Wert von () mit C T (x, y) und sprechen von der optimalen Trewahrscheinlichkeit. Schlieÿen der Lücke Separation Timo Hirscher - Trennende Markov Ketten 7/25

18 Separation Für eine Folge A = (A t ) T t=0 ihre Separation durch von Teilmengen von S denieren wir S A T (x, y) = P (X t A t für alle 0 t T ) + P (Y t A t für alle 0 t T ). Die separierende Folge wird als nicht-trivial bezeichnet, falls beide Summanden der rechten Seite positiv sind. Wir denieren die optimale Separation S T (x, y) als die maximale Separation unter allen Mengenfolgen. Schlieÿen der Lücke Separation Timo Hirscher - Trennende Markov Ketten 8/25

19 Dualität Theorem Die optimale Trewahrscheinlichkeit und optimale Separation stehen wie folgt zueinander in Beziehung: C T (x, y) = 2 S T (x, y). Einfache Richtung: P (X t = Y t für ein 0 t T ) P (X t A t oder Y t A t für ein 0 t T ) P (X t A t für ein 0 t T ) + P (Y t A t für ein 0 t T ) = 2 ST A (x, y). Schlieÿen der Lücke Separation Timo Hirscher - Trennende Markov Ketten 9/25

20 umgekehrte Ungleichung: x x y y P(X = x) P(Y = y) s t X Y Wir wenden das max-ow min-cut Theorem an und betrachten einen minimalen Schnitt (B, B c ), mit s B, t B c, der keine Kanten zwischen X und Y trennt. Mit A t := {x t ; x = (x s ) T s=0 X B}, für 0 t T, gilt: P(X X B c ) + P(Y Y B) P(X t A t, 0 t T ) + P(Y t A t, 0 t T ) = 2 ST A (x, y) 2 S T (x, y) Schlieÿen der Lücke Separation Timo Hirscher - Trennende Markov Ketten 20/25

21 zentraler Baustein α 2 2 α L L α α Lemma Für beliebige L N, 0 k L und t 0 gilt: (a) P t (0, k + ) 2α (b) P t (0, 0) = 2 + ( ) 2 2α t L + O(Lα), und daraus folgend P t (0,.) P t (L,.) TV = ( 2α ) t L + O(Lα) ( t (c) P (X t k für alle 0 t t X 0 = 0) = k+) α + O(kα) Schlieÿen der Lücke Beweisskizze Timo Hirscher - Trennende Markov Ketten 2/25

22 Abschätzen der Separation Proposition Sei L fest gewählt, und α = α(t ) = Θ ( ) T. Dann hat für hinreichend groÿes T jede nicht-triviale separierende Mengenfolge A = (A t ) T t=0 mit Separation SA T (0, L) > (wenn solche existieren) die Eigenschaft 0 A t und L / A t für alle 0 t T. Proposition Zu jeder separierenden Folge A = (A t ) T t=0, mit 0 A t und L A t für alle 0 t T, existiert ein k {0,..., L} so dass ST A (0, L) S k T (0, L) + 2 Lα, wobei k die konstante separierende Folge, deren Glieder alle durch die Menge {0,,..., k} gegeben sind, bezeichnet. Schlieÿen der Lücke Beweisskizze Timo Hirscher - Trennende Markov Ketten 22/25

23 Letzte Zutaten Eine Kombination beider Propositionen zeigt: S T (0, L) max {, e αt/(k+) + e αt/(l k) + O(Lα) }, für geeignetes 0 k < L. Lemma Für gegebenes c > 0 sei die Funktion f c deniert durch f c (x) := e c/x + e c/( x), x (0, ). Dann gilt: sup f c (x) = max ( e c, 2 e 2c). 0<x< Schlieÿen der Lücke Beweisskizze Timo Hirscher - Trennende Markov Ketten 23/25

24 Zusammenfassung Das Lemma mit der Wahl c = αt/(l + ) zeigt, dass δ > 0 beliebig klein und α = α(t ) = 2 ( ln(2) + δ ) L + T gewählt werden kann, so dass die optimale Separation der Zustände 0 und L in unserer Kette auf [0, T ] den Wert annimmt, wenn T hinreichend groÿ gewählt wird (nachdem zuerst L gewählt wurde). Desweiteren gilt für festes L: P T (0,.) P T (L,.) TV = e ( ln(2)+δ) L+ L o T (). Gegeben ε > 0, wählen wir δ > 0 klein, L groÿ genug und können die rechte Seite für hinreichend groÿes T so gröÿer als 2 ε machen. Schlieÿen der Lücke Beweisskizze Timo Hirscher - Trennende Markov Ketten 24/25

25 Literatur Häggström, O., A Note on Disagreement Percolation, Random Structures & Algorithms, Vol. 8 (3), pp , 200. Hirscher, T. und Martinsson, A., Segregating Markov chains, eingereicht bei Journal of Theoretical Probability, arxiv: , 205. Rosenthal, J.S., Faithful Couplings of Markov Chains: Now Equals Forever, Advances in Applied Mathematics, Vol. 8 (3), pp , 997. Bibliographie Timo Hirscher - Trennende Markov Ketten 25/25