9 Schnell mischende Markov-Ketten

9 Schnell mischende Markov-Ketten Allgemeines zu schnell mischenden Markov-Ketten findet man zum Beispiel in dem Buch Introduction to Markov Chains von Behrends (2000). Außerdem haben wir von einem Teil eines Vorlesungsskriptes von Steger (2001) über schnell mischende Markov-Ketten profitiert. Außerdem ist der Überblick von Randall (2006) empfehlenswert. 9.1 Der Metropolis-Algorithmus 9.1 Definition Eine ergodische Markov-Kette heißt (zeit-)reversibel (im Englischen mitunter auch in detailed balance), wenn für die stationäre Verteilung w und alle Zustände i und gilt: w i P i = w P i. Zur Begründung dieses Namens mache man sich klar, dass w i P i die Wahrscheinlichkeit ist, dass man bei einer Markov-Kette im stationären Zustand bei einem Schritt gerade einen Übergang von Zustand i nach Zustand beobachtet, und w P i die Wahrscheinlichkeit, dass man bei einem Schritt umgekehrt einen Übergang von Zustand nach Zustand i. Als Beispiele können die folgenden Ketten dienen: 9.2 Definition Es sei G = (V, E) ein zusammenhängender ungerichteter Graph ohne Schlingen und 0 < β 1 eine reelle Zahl. Mit d(i) bezeichnen wir den Grad von Knoten i und es sei d = max i V d(i). Die Übergangswahrscheinlichkeiten P i der Markov-Kette M G,β sind dann wie folgt definiert: β/d falls i und (i, ) E P i = 0 falls i und (i, ) / E 1 d(i)β/d falls i = 9.3 Man kann sich überlegen, dass für die so definierten Markov-Ketten die Gleichverteilung die stationäre Verteilung ist. Da der Graph zusammenhängend ist, ist die Kette irreduzibel. Für β < 1 ist sie außerdem aperiodisch und reversibel. 9.4 Eine kleine Verallgemeinerung liefert schon eine ganz einfache Variante des sogenannten Metropolis-Hastings-Algorithmus. Sei dazu p eine Wahrscheinlichkeitsverteilung auf V, die nirgends 0 ist. Dann betrachte man folgende Festlegungen: min(1, p p i ) β/d falls i und (i, ) E P i = 0 falls i und (i, ) / E 1 i k P ik falls i = 78

9. Schnell mischende Markov-Ketten 79 Auch diese Markov-Kette ist reversibel, was man zum Beispiel so sieht. Sei i und (i, ) E (die anderen Fälle sind trivial). Dann gilt: p i P i = p p i min(1, p i ) β/d p i p P i p min(1, p i p ) β/d = p / p i p falls p i p p i p p p i falls p i > p Wegen des folgenden Lemmas kennt man auch sofort die stationäre Verteilung dieser Markov- Kette: Es ist p. 9.5 Lemma. Ist M eine ergodische Markov-Kette und q eine Verteilung mit der Eigenschaft, dass für alle Zustände i und gilt, dass q i P i = q P i ist, dann ist q die (eindeutig bestimmte) stationäre Verteilung von M. 9.6 Beweis. Für alle i ist (qp) i = q P i = q i P i = q i P i = q i. 9.7 Für den klassischen Algorithmus von Metropolis u. a. (1953) ist eine zeilenstochastische Matrix Q gegeben, die symmetrisch ist (diese Einschränkung wurde von Hastings (1970) beseitigt). Ziel ist aber eine reversible Markov-Kette mit Übergangsmatrix P, deren stationäre Verteilung w nur indirekt gegeben ist. Festgelegt ist nämlich nur eine Funktion H: S R mit der Eigenschaft, dass e H(i) proportional zur Wahrscheinlichkeit von Zustand i in w ist. Der Proportionalitätsfaktor ist natürlich Z = i S e H(i). Q heißt üblicherweise proposal matrix, H energy function und Z partition function. Das Schöne am Metropolis-Algorithmus ist, dass man Z gar nicht kennen muss. (In manchen Anwendungen in der Physik ist S sehr groß.) 9.8 Algorithmus. Der Metropolis-Algorithmus, oder auch Metropolis sampler, funktioniert wie folgt: Man startet in einem beliebigen Zustand i 0 S. Ist man nach t Schritten in Zustand i t S, dann ergibt sich i t+1 in zwei Teilschritten: Zunächst wird gemäß der Verteilung Q(i t, ) zufällig ein S bestimmt. Dann gibt es zwei Möglichkeiten: Falls H() H(i t ) ist, also w w it, dann wählt man i t+1 =. Falls H() > H(i t ) ist, also w < w it, wählt man { mit Wahrscheinlichkeit w /w it = e H(i t) H() i t+1 = i t sonst 9.9 Satz. Die durch den Metropolis-Algorithmus festgelegte Markov-Kette auf S ist reversibel und in ihrer stationären Verteilung hat Zustand i Wahrscheinlichkeit e H(i) /Z. 9.10 Beweis. Sei P die durch den Algorithmus festgelegte Übergangsmatrix. Es genügt zu beweisen, dass für alle i, S Balancierheit vorliegt, d. h.: e H(i) /Z P i = e H() /Z P i Das ist eine einfache Rechnung analog zu der in Punkt 9.4.

9. Schnell mischende Markov-Ketten 80 9.2 Anmerkungen zu Eigenwerten 9.11 Lemma. Es sei P eine zeilenstochastische Matrix. Dann ist 1 ein Eigenwert von P und für eden Eigenwert λ von P gilt: λ 1. 9.12 Beweis. Der erste Teil der Aussage ist wegen P(1,..., 1) = (1,..., 1) klar. Sei nun λ C Eigenwert und P(x 1,..., x n ) = λ(x 1,..., x n ). Es sei i 0 ein Index mit x i0 = max x. Es liegen also alle x im Kreis um den Ursprung mit Radius x i0. Es gilt: λ x i0 = λ x i0 = P i0 x P i0 x P i0 x i0 = x i0 P i0 = x i0. Also ist λ 1. Für reversible Markov-Ketten kann man die Aussage von Lemma 9.11 verschärfen. 9.13 Lemma. Ist P die stochastische Matrix einer reversiblen Markov-Kette, dann hat P nur reelle Eigenwerte. Für einen Beweis konsultiere man z. B. das Vorlesungsskript von Steger (2001) oder Kapitel 3 im Manuskript von Aldous und Fill (1999) 9.14 Im folgenden benutzen wir die Abkürzung λ max = max{ λ λ ist Eigenwert von P und λ 1}. Auf Grund des Vorangegangenen ist klar, dass λ max 1 ist. 9.15 Falls λ N < 0 ist geht man auf bewährte Weise von P zur Matrix P 2 (P + I) über. Für deren Eigenwerte gilt dann λ i 2 (λ i + 1), so dass alle Eigenwerte echt größer 0 sind. In diesem Fall ist dann also λ max = λ 2. 9.3 Schnell mischende Markov-Ketten Wir interessieren uns nun für die Frage, wie lange es dauert, bis man bei einer Markov-Kette, die man mit einer Verteilung oder in einem bestimmten Zustand begonnen hat, davon ausgehen kann, dass die Wahrscheinlichkeiten, in bestimmten Zuständen zu sein, denen der stationären Verteilung sehr nahe sind. Dazu definieren wir als erstes eine Art Abstandsbegriff für diskrete Wahrscheinlichkeitsverteilungen. 9.16 Definition Für zwei Verteilungen p und q ist die totale Variationsdistanz p q tv p q. 2 S Man kann sich überlegen, dass p q tv = max T S p(t) q(t) ist, wobei p(t) zu verstehen ist als T p (und analog q(t)).

9. Schnell mischende Markov-Ketten 81 9.17 Definition Für eine ergodische Markov-Kette mit Matrix P und stationärer Verteilung w und für alle Verteilungen p sei δ p (t) = pp t w tv die totale Variationsdistanz zwischen w und der Verteilung, die man nach t Schritten ausgehend von p erreicht hat. Als Variationsdistanz zum Zeitpunkt t bezeichnen wir das Maximum (t) = max p δ p (t). Man kann zeigen, dass das Maximum für einen Einheitsvektor e i = (0,..., 0, 1, 0,..., 0) angenommen wird. Also gilt: (t) = max Pi t w tv i wobei P t i die i-te Zeile von Pt sei. 9.18 Satz. Für eine ergodische Markov-Kette mit Matrix P und stationärer Verteilung w existieren Konstanten C und α < 1 so, dass gilt: (t) = max P t i w tv Cαt i Der nachfolgende Beweis stammt aus dem Buch von Levin, Peres und Wilmer (2009). 9.19 Beweis. Wegen der Ergodizität existiert ein t 0 so, dass in P t 0 nur echt positive Einträge vorkommen. Bezeichnet w die stationäre Verteilung (und W die Matrix, deren Zeilen alle gleich w sind), dann gibt es ein δ mit 0 < δ < 1 so, dass für alle i, S gilt: Es sei ϑ δ, also auch 0 < ϑ < 1. Durch P t 0 i δw P t 0 = (1 ϑ)w + ϑq wird eine Matrix Q festgelegt. Q ist eine zeilenstochastische Matrix. Die Überlegungen in Abschnitt 8.2 zeigen, dass für ede stochastische Matrix M gilt, dass MW = W ist. Zum Beispiel gilt für edes k N 0 : (i) Q k W = W. Außerdem ist (ii) WP t 0 = W. Durch Induktion zeigt man nun: Für edes k N + ist P t 0k = (1 ϑ k )W + ϑ k Q k Der Induktionsanfang ist klar. Für den Induktionsschritt rechnet man P t0(k+1) = P t0k P t 0 ( = (1 ϑ k )W + ϑ k Q k) P t 0 nach Induktionsvoraussetzung = (1 ϑ k )WP t 0 + ϑ k Q k P t 0 = (1 ϑ k )W + ϑ k Q k P t 0 nach Bemerkung (ii) oben = (1 ϑ k )W + ϑ k Q k ((1 ϑ)w + ϑq) = (1 ϑ k )W + ϑ k (1 ϑ)q k W + ϑ k+1 Q k+1 = (1 ϑ k )W + ϑ k (1 ϑ)w + ϑ k+1 Q k+1 nach Bemerkung (i) oben = (1 ϑ k+1 )W + ϑ k+1 Q k+1 Die Tatsache, dass P t0k = (1 ϑ k )W + ϑ k Q k ist, nutzt man wie folgt. Multiplikation mit P und Umordnen liefert ( ) P t0k+ W = ϑ k Q k P W

9. Schnell mischende Markov-Ketten 82 Man betrachtet nun eine beliebige Zeile i dieser Matrizengleichung, summiert die Beträge der Einträge in dieser Zeile und dividiert durch 2. Auf der linken Seite ergibt sich P t 0k+ i w tv. Auf der rechten Seite ergibt sich ϑ k (Q k P ) i w tv, was man durch ϑ k nach oben abschätzen kann. Für beliebiges t N + sei nun k = t div t 0 und = t mod t 0 (also t = t 0 k + ). Dann ist P t i w = tv Pt 0k+ i w tv ϑ k ( ) ϑ 1/t t0 ( 0 ϑ ( 1 ϑ ϑ ) ϑ 1/t +t0 k 0 ( ϑ 1/t 0 ) t ) ϑ 1/t t0 k 0 da < t 0 und ϑ < 1 9.20 Im folgenden benutzen wir die Abkürzung w min = min w 9.21 Satz. Für ede reversible Markov-Kette mit stationärer Verteilung w gilt: (t) λt max w min. Wenn also λ max < 1 ist (was bei reversiblen Markov-Ketten der Fall ist), dann nähert sich die Markov-Kette in einem gewissen Sinne schnell der stationären Verteilung. Wir präzisieren das noch wie folgt: 9.22 Häufig ist man an einer ganzen Familie von Markov-Ketten M(I) interessiert. Dabei ergibt sich edes M(I) auf Grund einer Instanz I des eigentlich zu lösenden Problems. Zum Beispiel könnte edes I ein Graph sein, und die Zustände von M(I) sind gerade die Matchings von I. 9.23 Definition Es sei M eine ergodische Markov-Kette mit stationärer Verteilung w. Für ε > 0 sei die ε-konvergenzzeit der Markov-Kette M. τ(ε) = min{t t t : (t ) ε} 9.24 Definition Eine Familie von Markov-Ketten M(I) heißt schnell mischend, falls die ε-konvergenzzeit polynomiell in I und ln 1/ε ist. 9.25 Wegen Satz 9.21 ist eine reversible Markov-Kette edenfalls dann schnell mischend, wenn für ein t, das polynomiell in I und log 1/ε ist, gilt: Äquivalente Umformungen ergeben λ t max w min ε. λ t max εw min ( ) 1 t 1 λ max εw min t ln ε 1 + ln w 1 min ln λ 1 max

9. Schnell mischende Markov-Ketten 83 Wegen 1 x ln x 1 für 0 < x < 1 ist das edenfalls dann der Fall, wenn t ln ε 1 + ln w 1 min 1 λ max Schnelles Mischen liegt also edenfalls dann vor, wenn ln w 1 min und 1/(1 λ max) polynomiell in I sind. Damit haben wir zumindest eine Hälfte des folgenden Satzes bewiesen, der obere und untere Schranken für τ(ε) angibt: 9.26 Satz. 1 1 τ(ε) log 1 λ max w min ε 1 τ(ε) 2(1 λ max ) log 1 2ε Es stellt sich die Frage, woher man (zumindest näherungsweise) Kenntnis von λ max bzw. im Falle von reversiblen Markov-Ketten von λ 2 bekommen kann. Eine Möglichkeit ist der sogenannte Leitwert einer Markov-Kette. Wir werden ihn mit Hilfe gewichteter Graphen einführen, die später selbst noch nützlich sein werden. 9.27 Definition Für eine reversible Markov-Kette M = (S, P) mit stationärer Verteilung w sei F M der gerichtete gewichtete Graph mit Knotenmenge S und Kantenmenge E F = {(i, ) i P i > 0}. Jede Kante (i, ) ist gewichtet mit der reellen Zahl c(i, ) = w i P i. 9.28 Definition Für eine reversible Markov-Kette mit Zustandsmenge S und stationärer Verteilung w definieren wir für ede Teilmenge T S die Kapazität C(T) = w i i T den Fluß F(T) = w i P i i T,/ T und Φ(T) = F(T)/C(T) Der Leitwert Φ der Markov-Kette ist dann Φ = min max{φ(t), Φ(S T)}. T S Eine kurze Überlegung zeigt, dass Φ(T) die bedingte Wahrscheinlichkeit ist, dass man bei der Markov-Kette mit stationärer Verteilung einen Übergang von innerhalb von T nach außerhalb von T beobachtet. Wenn Φ(T) klein ist, dann ist T sozusagen eine Art Falle, aus der die Markov-Kette schlecht heraus kommt. Man kann nun mit einigem technischen Aufwand zeigen: 9.29 Satz. Für ede reversible Markov-Kette gilt: Zusammen mit Punkt 9.25 ergibt sich: 1 2Φ 2 λ 2 1 Φ2 2.

9. Schnell mischende Markov-Ketten 84 9.30 Korollar. Für reversible Markov-Ketten (mit λ 2 = λ max ) ist τ(ε) 2 Φ 2 (ln ε 1 + ln w 1 min ) Man kennt mehrere Methoden, um den Leitwert edenfalls mancher Markov-Ketten zu berechnen. Die folgende Definition ist eine Art graphentheoretische Version des Leitwertes: 9.31 Definition Für einen ungerichteten Graphen (V, E) ist die Kantenvervielfachung µ das Minimum der Zahlen {(i, ) i T / T (i, ) E} T wobei über alle Teilmengen T V minimiert werde mit T V /2. 9.32 Man kann sich überlegen, dass für die Markov-Ketten M G,β aus Definition 9.2 gilt: Φ = βµ/d. Damit ist man bei der Aufgabe gelandet, die Kantenvervielfachung von Graphen zu bestimmen. Das kann man zum Beispiel mit Hilfe der Methode der sogenannten kanonischen Pfade von Sinclair machen. Die Verallgemeinerung für beliebige reversible Markov-Ketten betrachtet Mehrgüterflüsse. 9.33 Definition Für edes Paar (i, ) von Knoten in F M soll von einem Gut g i die Menge w i w von i nach transportiert werden. Dazu werden Flüsse f i : E F R + gesucht, so dass die folgenden naheliegenden Forderungen erfüllt sind: f i (i, k) = w i w k für alle l i, : f i (k, l) = f i (l, m) k m f i (k, ) = w i w k Der Gesamtfluss durch eine Kante e sei f(e) = i f i (e) und die relative Kantenauslastung ρ(f) = max e E F f(e)/c(e). Dann gilt die folgende Aussage, die wir hier nicht beweisen: 9.34 Lemma. Für ede Markov-Kette mit Flüssen f i gilt: Φ 1 2ρ(f). Um auf einen großen Leitwert schließen zu können, muss man daher versuchen, Flüsse mit kleiner (i. e. polynomieller) relativer Kantenauslastung zu finden. Wir wollen dies nun auf Random Walks im Hyperwürfel anwenden.

9. Schnell mischende Markov-Ketten 85 9.35 Beispiel. Dazu sei eine Dimensionalität n beliebig aber fest gewählt und M die Markov-Kette, die sich gemäß Definition 9.2 für β /2 aus dem n-dimensionalen Hyperwürfel H n als zu Grunde liegenden Graphen ergibt. Das n sei per definitionem die Größe der Probleminstanz. M ist reversibel gemäß Punkt 9.3. Da in H n eder Knoten Grad n hat, sind die Übergangswahrscheinlichkeiten also P ii /2 und P i /2n für i. Aus Symmetriegründen ist klar, dass die stationäre Verteilung die Gleichverteilung ist mit w i /2 n ; damit ist natürlich auch w min /2 n. Offensichtlich ist ln 1/w min Θ(n) polynomiell in n. Um einzusehen, dass M schnell mischend ist, genügt es folglich wegen Lemma 9.34, Flüsse f i zu finden, so dass ρ(f) polynomiell (in n) ist. Dazu gehen wir wie folgt vor. Jeder Fluss f i muss gerade die Menge 1/2 2n transportieren. Sie wird wie folgt verteilt: Zwischen i und gibt es d! kürzeste Pfade, wobei d die Hammingdistanz zwischen i und ist. Auf edem dieser Pfade transportieren wir den gleichen Anteil der Gesamtmenge. Die Bestimmung der relativen Kantenauslastung wird dadurch erleichtert, dass aus Symmetriegründen auf eder Kante der gleiche Gesamtfluss vorliegt. Für edes d gibt es 2 n (n d) Paare (i, ) mit Abstand d. Für ein festes Paar (i, ) haben alle für den Fluss f i verwendeten Pfade Länge d und es ist folglich f i (e) = dw i w. e E F Also ist f(e) E F n2 n 2 2n 2 2n 2 2n n ( ) n 2 n d w i w d d=1 n ( ) n 2 n 1 d d 2 2n n ( ) n d d n n ( ) n 1 d 1 d=1 d=1 d=1 n 1 d=0 ( ) n 1 d = 2n 1 2 2n 2 2 n Andererseits ist für alle Kanten c(e) = w i P i /(2n 2 n ) und somit ρ(f) /(2 2n ) 1/(2n 2 n ) = n. Wegen Korollar 9.30 sind diese Markov-Ketten also schnell mischend. Man mache sich noch einmal klar, was das bedeutet (siehe Definition 9.24): Es sei p = e 0 die Anfangs- Verteilung bei der man sicher im Knoten (0, 0,..., 0) des n-dimensionalen Hyperwürfels startet. Es sei p t die nach t Schritten erreichte Wahrscheinlichkeitsverteilung. Für edes ε = 2 k ist dann die ε-konvergenzzeit, also die Anzahl Schritte nach der p t w tv < ε immer gilt, polynomiell in ln 1/ε = k und n. Und das, obwohl der Hyperwürfel 2 n Knoten hat!

9. Schnell mischende Markov-Ketten 86 Zusammenfassung Oft hat man es mit ergodischen Markov-Ketten zu tun, die sogar reversibel sind. In diesem Fall gibt es Kriterien, um festzustellen, ob sie schnell mischend sind. Literatur Aldous, David und James Allen Fill (1999). Reversible Markov Chains and Random Walks on Graphs. In: url: http://www.stat.berkeley.edu/~aldous/rwg/book.html (siehe S. 80). Behrends, Ehrhard (2000). Introduction to Markov Chains. Advanced Lectures in Mathematics. Vieweg (siehe S. 78). Hastings (1970). Monte Carlo Sampling Methods Using Markov Chains and Their Applications. In: Biometrika 57.1, S. 97 109. doi: 10.1093/biomet/57.1.97 (siehe S. 79). Levin, Davind A., Yuval Peres und Elizabeth L. Wilmer (2009). Markov Chains and Mixing Times. AMS (siehe S. 81). Metropolis, Nicholas u. a. (1953). Equations of State Calculations by Fast Computing Machines. In: Journal of Chemical Physics 21.6, S. 1087 1092 (siehe S. 79). Randall, Dana (2006). Rapidly Mixing Markov Chains with Applications in Computer Science and Physics. In: Computing in Science and Engineering 8.2, S. 30 41 (siehe S. 78). Steger, Angelika (2001). Schnell mischende Markov-Ketten. In: url: http://wwwmayr.informatik. tu-muenchen.de/lehre/2001ss/ra/slides/markov-skript.ps (siehe S. 78, 80).