Randomisierte Algorithmen

Transkript

1 Randomisierte Algorithmen Randomisierte Algorithmen Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2018/ / 25

2 Überblick Überblick Metropolis-Algorithmus Simulated Annealing 2 / 25

3 Überblick Metropolis-Algorithmus Simulated Annealing 3 / 25

4 Definition Zeitreversibilität ergodische Markov-Kette ist (zeit-)reversibel (in detailed balance), wenn es Wahrscheinlichkeitsverteilung w auf der Zustandsmenge S gibt so, dass für alle i, j S gilt: w i P ij = w j P ji. 4 / 25

5 Lemma wenn M Markov-Kette und q Verteilung mit q i P ij = q j P ji für alle Zustände i und j, dann ist q eine stationäre Verteilung von M. 5 / 25

6 Beweis Für alle i ist (qp) i = q j P ji = q i P ij = q i P ij = q i. j j j 6 / 25

7 Mitteilung: Kriterium von Kolmogorov Satz Eine ergodische Markov-Kette ist genau dann(zeit-)reversibel, wenn für alle Folgen (i 0, i 1,..., i n, i 0 ) von Zuständen gilt: P i0 i 1 P i1 i 2 P in 1 i n P in i 0 = P i0 i n P in i n 1 P i2 i 1 P i1 i 0 ohne Beweis 7 / 25

8 Von ungerichteten Graphen zu reversible Markovketten G = (V, E) ein zusammenhängender ungerichteter Graph ohne Schlingen 0 < β 1 eine reelle Zahl d(i) Grad von Knoten i und d = max i V d(i) definiere Markov-Kette M G,β : β/d falls i j und (i, j) E P ij = 0 falls i j und (i, j) E 1 d(i)β/d falls i = j 8 / 25

9 Von ungerichteten Graphen zu reversible Markovketten Beispiel d = 3 1/3 1/3 1/3 1/3 1/3 β = 1 1/3 1/3 1/3 1/3 1/3 2/3 9 / 25

10 Von ungerichteten Graphen zu reversible Markovketten Beispiel d = 3 6/8 1/8 1/8 1/8 1/8 β = 3/8 6/8 1/8 1/8 5/8 1/8 1/8 7/8 10 / 25

11 Beobachtung/Übung Kette irreduzibel, da Graph zusammenhängend für β < 1 Kette aperiodisch stationäre Verteilung M G,β : Gleichverteilung für β < 1 Kette reversibel 11 / 25

12 Verallgemeinerung: reversible Markovketten mit frei wählbarer Wahrscheinlichkeitsverteilung G = (V, E) ein zusammenhängender ungerichteter Graph 0 < β < 1 eine reelle Zahl d(i) Grad von Knoten i und d = max i V d(i) p eine W.verteilung auf V, nirgends 0, sonst beliebig definiere Markov-Kette M G,β,p : min(1, p j p i ) β/d falls i j und (i, j) E P ij = 0 falls i j und (i, j) E 1 i k P ik falls i = j 12 / 25

13 Verallgemeinerung: reversible Markovketten mit frei wählbarer Wahrscheinlichkeitsverteilung G = (V, E) ein zusammenhängender ungerichteter Graph 0 < β < 1 eine reelle Zahl d(i) Grad von Knoten i und d = max i V d(i) p eine W.verteilung auf V, nirgends 0, sonst beliebig definiere Markov-Kette M G,β,p : min(1, p j p i ) β/d falls i j und (i, j) E P ij = 0 falls i j und (i, j) E 1 i k P ik falls i = j Lemma M G,β,p ist zeitreversibel mit stationärer Verteilung p. 12 / 25

14 Verallgemeinerung Beweis Sei i j und (i, j) E (alles andere trivial): p i P ij = p p i min(1, j p i ) β/d p j P ji p j min(1, p i p j ) β/d = { pi p j / p i p j p i p j pj p i = 1 falls p i p j falls p i > p j 13 / 25

15 Metropolis-Algorithmus Überblick Metropolis-Algorithmus Simulated Annealing 14 / 25

16 Metropolis-Algorithmus MCMC: Markov Chain Monte Carlo eine Methode für Sampling zufällige Auswahl von Elementen aus einer Grundmenge S gemäß einer Wahrscheinlichkeitsverteilung p Idee von MCMC konstruiere Markovkette P mit Zustandsmenge S so, dass p die stationäre Verteilung ist, und mache Random Walk mit Übergangswahrscheinlichkeiten P ij Probleme woher P? was, wenn p nicht explizit gegeben sondern nur Zahlen z i proportional zu den p i und M extrem groß und Normalisierungsfaktor Z = i M z i nicht handhabbar 15 / 25

17 Metropolis-Algorithmus Originalliteratur: Metropolis et al. und Hastings Metropolis, N., Rosenbluth, A.W., Rosenbluth, M.N., Teller, A.H.; Teller, E.: Equations of State Calculations by Fast Computing Machines Journal of Chemical Physics. 21 (6): Hastings, W.K. Monte Carlo Sampling Methods Using Markov Chains and Their Applications Biometrika. 57 (1): , laut https: //en.wikipedia.org/wiki/metropolis-hastings_algorithm#history und dort angegebenen Quellen sind die Ursprünge nicht ganz so klar 16 / 25

18 Metropolis-Algorithmus Metropolis-Hastings: die Markovkette gegeben Zustandsmenge S Zahlen z i für i S und damit (implizit) Wahrscheinlichkeiten p i = z i /Z mit Z = i S z i proposal matrix Q Übergangsmatrix einer irreduziblen Markovkette definiere für alle i, j S: Akzeptanzwahrscheinlichkeiten α ij für i j und { Q ij 0: α ij = min 1, p } j Q ji p i Q i j anderfalls α ij = 0 Übergangswahrscheinlichkeiten: { α ij Q ij, falls i j P ij = 1 k i P ik, sonst 17 / 25

19 Metropolis-Algorithmus Metropolis-Hastings: die Markovkette gegeben Zustandsmenge S Zahlen z i für i S und damit (implizit) Wahrscheinlichkeiten p i = z i /Z mit Z = i S z i proposal matrix Q Übergangsmatrix einer irreduziblen Markovkette definiere für alle i, j S: Akzeptanzwahrscheinlichkeiten α ij für i j und { Q ij 0: α ij = min 1, p } { j Q ji p i Q i j = min 1, z } j Q ji z i Q i j anderfalls α ij = 0 Übergangswahrscheinlichkeiten: { α ij Q ij, falls i j P ij = 1 k i P ik, sonst 17 / 25

20 Metropolis-Algorithmus Metropolis-Hastings: als Algorithmus starte in beliebigem i 0 S Schritt von Zustand i t S zu i t+1 in zwei Phasen: wähle gemäß Verteilung q j = Q(i t, j) zufällig j S berechne α ij = { min { 1, p j Q ji p i Q i j } 0, sonst, falls i j und Q ij 0 wähle i t+1 = { j i t mit Wahrscheinlichkeit α ij Q ij sonst 18 / 25

21 Metropolis-Algorithmus Ising Modell Modell für Ferromagnetismus gegeben (vereinfacht) Gitter L an jedem Knoten i ein Spin σ i { 1, 1} Konfiguration σ : L { 1, 1} Energie H(σ) = ij J ij σ i σ j { 1, falls i und j direkte Nachbarn typisch J ij = 0, sonst (Konfigurations-)Wahrscheinlichkeit von σ ist proportional zu e βh (σ ) für ein β 0 «inverse Temperatur» gewünscht: Sampling von σ mit Wahrscheinlichkeiten P β (σ) = e βh (σ ) /Z(β) wobei Z(β) = σ e βh (σ ) 19 / 25

22 Metropolis-Algorithmus Ising Modell: Metropolis-Hastings starte mit zufälligem σ 0 zu gegebenem σ t nutze Q: flippe einen zufällig gewählten Spin σ Metropolis-Hastings falls H(σ ) H(σ), wähle σ t+1 = σ. falls H(σ ) > H(σ), wähle { σ t+1 σ mit Wahrscheinlichkeit e β(h (σ t ) H (σ )) = σ sonst 20 / 25

23 Simulated Annealing Überblick Metropolis-Algorithmus Simulated Annealing 21 / 25

24 Simulated Annealing Optimierungsproblem gegeben: f : S R f = max{f (x) x S} gesucht: ein x mit f (x) = f möge existieren (z. B. S endlich) 22 / 25

25 Simulated Annealing Markovketten M λ sei 1 λ R + («inverse Temperatur») definiere stationäre Verteilungen w λ durch w λx = λf (x) Z(λ) mit Z(λ) = x S λ f (x) Markovkette M λ Metropolis-Algorithmus mit stationärer Verteilung w λ falls f (x) > f (y), Übergang von Zustand x nach y mit Wahrscheinlichkeit (f (x) f (y)) λ 23 / 25

26 Simulated Annealing Simulated Annealing Random Walk auf sich ändernder Markovkette beginne mit λ = 1, d. h. «zielloses Umherirren» erhöhe λ langsam d. h. vermeide zunehmend neue Zustände y, für die f (y) kleiner als der aktuelle Wert für λ ergibt sich stationäre Verteilung, in nur noch Zustände x mit maximalem f (x) = f vorkommen. 24 / 25

27 Simulated Annealing Simulated Annealing (2) Es sei S = {x f (x) = f } w λx = λf (x) Z(λ) = = = λ f (x) x S λ f (x) λ f (x) /λ f x S λ f (x) /λ f λ f (x) /λ f S + x S S λf (x) /λ f Also lim w λx = λ { 1/ S 0 sonst falls x S 25 / 25