Die Kopplung von Markovketten und die Irrfahrt auf dem Torus

Transkript

1 Die Kopplung von Markovketten und die Irrfahrt auf dem Torus Verena Monschang Vortrag Dieser Seminarvortrag thematisiert in erster Linie die Kopplung von Markovketten. Zu deren besseren Verständnis werden wir vorbereitend die Irrfahrt auf dem n-kreis betrachen und darauf folgend die Irrfahrt auf dem Torus als wesentliches Beispiel heranziehen, in welchem wir versuchen werden eine obere Schranke für die Mischzeit auf diesem zu finden. Als maßgebliche Grundlage dieser Ausarbeitung ist [LPW09] Kapitel 5 zu nennen. Kopplung von Markovketten Die Kopplung zweier Wahrscheinlichkeitsverteilungen µ und ν haben wir bereits kennengelernt, sie wurde definiert als ein Paar von Zufallsvariablen X und Y, die auf dem gleichen Wahrscheinlichkeitsraum definiert sind, sodass µ die Randverteilung von X und ν die Randverteilung von Y ist. Wir wollen nun einen Schritt weiter gehen und Markovketten koppeln, dazu betrachten wir zunächst ein einfaches Beispiel zur Einführung. Beispiel.. Eine einfache Irrfahrt auf einem Pfad mit Knotenmenge {0,,...,n} ist eine Markovkette, die sich bei jedem Schritt mit gleicher Wahrscheinlichkeit entweder um eins nach oben oder um eins nach unten bewegt. Versucht die Irrfahrt einen der Endzustände 0 oder n zu überschreiten, so verweilt die Fahrt in diesem. Es ist auf einen Blick klar, dass für alle x, y {0,,.., n} mit x y immer P t (x, n) P t (y, n) gilt. Vereinfacht sagt dies, dass die Wahrscheinlichkeit, sich nach t Schritten auf dem Spitzenwert zu befinden nicht verringert, wenn man für den Startzustand einen höheren Wert wählt. Dies wollen wir nun mathematisch belegen, dazu sei, 2,... eine Folge von u.i.v. {, -}-wertigen Zufallsvariabeln mit Erwartungswert 0, sodass i mit i {0,,...,n} die Werte bzw. - mit gleicher Wahrscheinlichkeit annimmt. Weiter seien (X t ) mit Startwert x und (Y t ) mit Startwert y zwei auf {0,,...,n} definierte Irrfahrten. Es bezeichne P t (x, ) die Verteilung von X t und P t (y, ) die Verteilung von Y t, welche wir koppeln wollen. Dabei bewegen wir beide Ketten wenn möglich um einen Wert nach oben,

2 falls t = +, und um einen Wert nach unten, falls t = ist. Auf diese Weise bewegen wir die beiden Ketten im Gleichschritt, was zur Folge hat, dass sich die Ketten, wenn sie sich einmal getroffen haben, zusammen weiterbewegen. Ein Aufeinandertreffen ist dabei nur an den Endzuständen, d.h. bei 0 oder n, möglich. Es ist also offensichtlich, dass X t Y t gilt, wenn x y ist. Das bedeutet insbesondere aber, dass X t = n nicht gelten kann, ohne dass auch Y t = n gilt. Mit dieser Überlegung erhalten wir schließlich, dass wirklich gilt. P t (x, n) = P{X t = n} P{Y t = n} = P t (y, n) Anhand dieses Beispieles motivieren wir nun die Definition der Kopplung zweier Markovketten: Definition.2. Ein Prozess (X t, Y t ) t=0 heißt Kopplung zweier Markovketten mit Übergangsmatrix P, falls (X t ) und (Y t ) zwei auf dem selben Wahrscheinlichkeitsraum definierte Markovketten mit Übergangsmatrix P sind. Es ist zu beachten, dass die Markovketten dabei verschiedene Startverteilungen haben können. An dieser Stelle sei bemerkt, dass man jede Kopplung von Markovketten mit Übergangsmatrix P so modifizieren kann, dass die beiden Ketten, nachdem sie sich zum ersten Mal gleichzeitig auf einer Position befunden haben, dauerhaft simultan bewegen. Etwas präziser formuliert: X s = Y s X t = Y t t s. (.) Um eine Kopplung zu konstruieren, die dem genügt, können wir die Ketten nach der originalen Kopplung laufen lassen, bis sie sich treffen, danach lassen wir sie gemeinsam weiterlaufen. Notation: Für den Fall, dass (X t ) und (Y t ) gekoppelte Markovketten mit X 0 = x und Y 0 = y sind, schreiben wir oft P x,y für die Wahrscheinlichkeit auf dem Raum, auf dem (X t ) und (Y t ) beide definiert sind. 2

3 2 Beschränkung des Totalvariationsabstandes Es seien (X t ) und (Y t ) weiterhin Markovketten mit irreduzibler Übergangsmatrix P auf dem Zustandsraum Ω und zugehöriger stationärer Verteilung π. Wir wollen nun den Totalvariationsabstand der Verteilungen P t (x, ) und P t (y, ) betrachten und im folgenden Theorem eine obere Grenze für diesen Abstand finden und somit ein Schlüsselwerkzeug für dieses Kapitel liefern. Theorem 2.. Es sei {(X t, Y t )} eine Kopplung der beiden Markovketten (X t ) und (Y t ) mit X 0 = x und Y 0 = y, die (.) genügt. Dann definieren wir τ couple als die erste Zeit, bei der sich die beiden Markovketten (X t ) und (Y t ) treffen, also: τ couple := min{t : X t = Y t }. (2.) Dann gilt: P t (x, ) P t (y, ) T V P x,y {τ couple > t}. (2.2) Beweis. Sei t N 0 fest, aber beliebig gewählt. Dann ist (X t, Y t ) eine Kopplung von P t (x, ) und P t (y, ), denn es gilt P t (x, z) = P x,y {X t = z} und P t (y, z) = P x,y {Y t = z}. Nach Proposition.7 [LPW09] gilt: P t (x, ) P t (y, ) T V = inf {P{X Y } : (X,Y) ist Kopplung von P t (x, )und P t (y, )}. (X,Y) Damit folgt sofort, dass P t (x, ) P t (y, ) T V P x,y {X t Y t } (2.3) ist, wobei nach (.) P x,y {X t Y t } = P x,y {τ couple > t} gilt. Wir erhalten insgesamt somit (2.2), d.h. P t (x, ) P t (y, ) T V P x,y {τ couple > t}, also das, was zu zeigen war. Mit Hilfe dieses Theorems können wir nun den maximalen Abstand der Verteilung P t (x, ) zur zugehörigen stationären Verteilung π nach oben beschränken: Korollar 2.2. Man nehme an, dass für jedes Paar von Zuständen x,y Ω eine Kopplung (X t, Y t ) mit X 0 = x und Y 0 = y existiert. Dann gilt: d(t) max x,y Ω P x,y{τ couple > t}. 3

4 Beweis. Folgt sofort aus der Verknüpfung von Lemma. [LPW09] mit Theorem Die Irrfahrt auf dem Torus Bevor wir uns der Irrfahrt auf dem Torus, einem der Hauptaugenmerke dieses Vortrages zuwenden, müssen wir ein wenig Vorarbeit leisten, indem wir uns die Irrfahrt auf dem Kreis anschauen. Beispiel 3.. (Die Irrfahrt auf dem Kreis) Wir betrachten den Zustandsraum Ω = Z n = {0,..., n }. Die Irrfahrt auf dem n-kreis ist nun eine Markovkette mit Übergangsmatrix 2, falls k j+ (mod n) P (j, k) = 2, falls k j- (mod n) 0, sonst. Der dieser Irrfahrt zugrunde liegende Graph hat die Knotenmenge {,...,n} und Kanten zwischen j und k genau dann, wenn j k± (mod n) gilt. Wie man leicht einsieht, ist diese Irrfahrt für gerades n periodisch. Um dieses Problem zu umgehen betrachten wir die zugehörige träge Irrfahrt. Dabei ist die träge Irrfahrt auf dem n-kreis eine Markovkette mit Übergangsmatrix, falls k j+ (mod n) P (j, k) =, falls k j- (mod n) 2, falls k j (mod n) 0, sonst. Theorem 3.2. Für die träge Irrfahrt auf dem n-kreis gilt t mix n 2. Beweis. Wir konstruieren eine Kopplung (X t, Y t ) zweier Markovketten (X t ) und (Y t ), die die träge Irrfahrt auf Z n durchführen. Dabei lassen wir (X t ) auf Position x und (Y t ) auf Position y starten. In dieser Kopplung werden wir die beiden Ketten getrennt voneinander bewegen, damit sie nicht übereinander springen können, wenn sie sich auf benachbarten Positionen befinden. Um dies zu bewerkstelligen werden wir bei jeder Bewegung eine faire Münze werfen, um zu entscheiden welche Kette bewegt werden soll. Wir wollen die Kette (X t ) einen Schritt bewegen, wenn die Münze Kopf zeigt und die

5 Kette (Y t ), wenn die Münze Zahl zeigt. Dabei setzen wir voraus, dass die Münzwürfe unabhängig voneinander sind. Nachdem wir auf diese Weise entschieden haben welche Kette bewegt wird, werfen wir die Münze ein weiteres Mal, um zu entscheiden in welche Richtung sich die ausgewählte Kette bewegen soll. Befinden sich die Ketten einmal zum selben Zeitpunkt auf der selben Position im n-kreis, dann bewegen sie sich fortan gemeinsam. Wir definieren nun D t als die im Uhrzeigersinn betrachtete Distanz zwischen X t und Y t. Dann ist D t eine Irrfahrt auf einem Pfad mit der Knotenmenge {0,,...,n}. Die Fahrt bewegt sich auf allen inneren Knoten mit gleicher Wahrscheinlichkeit um nach oben oder um nach unten. Die Zustände 0 oder n sind jeweils absorbierend, was bedeutet, dass die Fahrt, wenn sie einmal einen dieser beiden Zustände erreicht hat, für immer in ihm verbleibt. Damit stellt sich uns die Frage, wie lange es dauern wird, bis diese Irrfahrt einen der Zustände 0 oder n erreicht hat. Eine Antwort darauf gibt Proposition 2. [LPW09], dort wird gezeigt, dass E x,y (τ) = k(n k) ist, wobei k der im Uhrzeigersinn betrachtete Abstand zwischen den Startpositionen x und y ist und τ = min{t 0 : D t {0, n}}. Nun ist offensichtlich, dass τ = min{t 0 : X t = Y t } =: τ couple gilt. t t Mit Hilfe von Korollar 2.2. und der Markovungleichung erhalten wir also: d(t) max P x,y {τ > t} max E x,y(τ) n2 x,y Z n t t. Wie man leicht einsieht, ist die rechte Seite dieser Ungleichung genau dann gleich, wenn t = n2 ist und somit gilt t mix n 2. Mit den im vorherigen Theorem gesammelten Resultaten können wir uns nun der Irrfahrt auf dem Torus zuwenden. Beispiel 3.3. (Die Irrfahrt auf dem Torus) Wir betrachten zunächst den Graphen des d-dimensionalen Torus; dessen Knotenmenge ist das Kartesische- Produkt Z d n = Z n... Z }{{ n. Zwei Punkte x = (x },..., x d ) und y = (y,..., y d ) d mal aus der Knotenmenge sind dabei benachbart, wenn für ein j {,..., n} gilt, dass x i = y i i j und x j y j ± (mod n) ist, d.h. wenn sich die beiden Punkte in genau einer Koordinate um den Wert unterscheiden. Wie man sich leicht überlegt, ist die einfache Irrfahrt auf dem Graphen Z d n periodisch, wenn n gerade ist. Dieses Problem werden wir umgehen, indem wir die träge Irrfahrt auf Z d n betrachten. 5

6 Theorem 3.. Für die träge Irrfahrt auf dem d-dim. Torus Z d n gilt t mix (ɛ) c(d)n 2 log 2 (ɛ ), wobei c(d) eine von der Dimension d abhängige Konstante ist. Beweis. Wir konstruieren zunächst eine Kopplung für jedes Paar (x,y) von Startpositionen und beschränken den Erwartungswert der Kopplungszeit τ = τ couple, im Hinblick darauf Korollar 2.2. anwenden zu können. Es seien nun also (X t ) = (Xt,..., Xt d ) und (Y t ) = (Yt,..., Yt d ) träge Irrfahrten auf Z d n mit X 0 = x und Y 0 = y. Um diese zu koppeln, wählen wir zufällig und mit gleicher Wahrscheinlichkeit eine der d Koordinaten aus. Stimmen die beiden Irrfahrten in der ausgewählten Koordinate überein, so bewegen wir die beiden Fahrten simultan in dieser Koordinate jeweils mit Wahrscheinlichkeit um + bzw. - oder lassen sie mit Wahrscheinlichkeit 2 auf ihrer Position verweilen. Unterscheidet sich die Position in der ausgewählten Koordinate, so wählen wir durch einen fairen Münzwurf eine der beiden Ketten aus sich zu bewegen und lassen die andere währendessen fixiert. Durch einen weiteren fairen Münzwurf entscheiden wir dann über die Richtung, in die die ausgewählte Kette entsprechen mit + oder - bewegt werden soll. Sei nun τ i die erforderliche Zeit, bis die beiden Ketten in der Koordinate i übereinstimmen, und Dt i der im Uhrzeigersinn betrachtete Abstand zwischen Xt i und Yt i, zu den Zeiten betrachtet, wenn die Koordinate i gewählt worden ist. Dann verhält sich Dt i i {,..., d} genauso wie der Abstand D t aus dem vorherigentheorem 3.2. in der Kopplung der trägen Irrfahrt auf dem n-kreis Z n. Die erforderliche Zeit bis sich die beiden Ketten in Koordinate i auf der selben Position befinden, ist folglich, wenn wir zunächst die Wartezeit zwischen den Koordinaten außer Acht lassen kleiner als n2 Sei nun Zk i die Wartezeit zwischen den Bewegungen in Koordinate i, dann ist Zk i geometrisch( d ) verteilt, da Koordinate i bei jeder Bewegung mit Wahrscheinlichkeit d ausgewählt wird, außerdem sind die Zi k natürlich für alle i identisch verteilt. Daraus folgend erhalten wir für Zk i den Erwartungswert d. Damit können wir die erforderliche Zeit bis die beiden Ketten in Koordinate i übereinstimmen als τ i = τ (i) k= Zi k schreiben mit τ (i) τ, wobei τ aus Theorem 3.2. entnommen, die benötigte Zeit ist, bis D t die 0 oder n erreicht. Mit der Formel von Wald ( ) und der Schranke an die Mischzeit aus dem vorherigen Theorem 3.2. erhalten wir somit: E x,y (τ i ) = E x,y ( τ k=. Z i k ) ( ) = E x,y (τ) E x,y (Z i ) = d E x,y (τ) 3.2. dn2. Wir sind des Weiteren an der erwarteten Kopplungszeit der Irrfahrt auf Z d n interessiert, sie ist gegeben durch τ couple = max τ i, da die beiden gekoppelten i d 6

7 Ketten am Ende in jeder Koordinate übereinstimmen sollen. Wir betrachten also E x,y (τ couple ) = E x,y ( max i d τ i) E x,y ( d τ i ) = d E x,y (τ ) d2 n 2 und erhalten damit eine von der Startposition unabhängige Schranke. Mit Hilfe der Markovungleichung können wir nun zeigen, dass i= P x,y {τ couple > t} E x,y(τ couple ) t d2 n 2 t ist. Die rechte Seite der Ungleichung ist gleich, falls t = n2 d 2 ist und somit gilt t mix d 2 n 2. Nach (.36) [LPW09] gilt aber t mix (ɛ) (log 2 (ɛ )) t mix, sodass wir daraus sofort t mix (ɛ) d 2 n 2 (log 2 (ɛ )) erhalten. Literaturverzeichnis [LPW09] D.A. Levin, Y. Peres, and E. L. Wilmer. Markov chains and mixing times.american Mathematical Society, Providence, RI, With a chapter by James G. Propp and David B. Wilson. 7