DisMod-Repetitorium Tag 3

Transkript

1 DisMod-Repetitorium Tag 3 Markov-Ketten 21. März 2018

2 1 Markov-Ketten Was ist eine Markov-Kette? Was gehört alles dazu? Darstellung als Graph und als Matrix Stationäre Verteilung und Grenzverteilung Ergodizität Page-Rank und Zufallssurfer-Interpretation 2

3 Was ist eine Markov-Kette? Was gehört alles dazu? Markov-Kette Eine Markov-Kette (G,P) ist ein Tupel: G := (V, E) ein gerichteter Graph ohne Senke, also ohne Knoten mit Aus-Grad 0, und P eine stochastische Matrix (Übergangsmatrix) mit P ij = 0 (i, j) / E Die einzelnen Kanten geben Übergangswahrscheinlichkeiten an. Der Prozess startet mit einer bestimmten Startverteilung Ein Schritt in der Markov-Kette führt zu einer neuen Wahrscheinlichkeitsverteilung, die nur von der vorherigen Verteilung und der Übergangsmatrix abhängt.

4 Darstellung als Graph und als Matrix Wenn die Startverteilung am Anfang ( ) ist, also die gesamte Wahrscheinlichkeit in Knoten 3 konzentriert ist, ist die Verteilung nach einem Schritt ( )

5 Darstellung als Graph und als Matrix Ein Schritt in der Markov-Kette entspricht das Multiplizieren eines Verteilungsvektors σ mit der Übergangsmatrix P. k Schritte in der Markov-Kette entsprechen ((σ P) P) = σ P k Markov-Ketten beschrieben also Änderungen von Wahrscheinlichkeitsverteilungen in Form von einzelnen Schritten. Verteilungen haben Summe 1, und Übergangsmatrizen (stochastische Matrizen) Zeilensummen von 1! Da die Matrix P eine stochastische Matrix ist, ist das Vektor-Matrix-Produkts einer Verteilung mit der Übergangsmatrix auch wieder eine Verteilung.

6 Stationäre Verteilung und Grenzverteilung Stationäre Verteilung Eine Verteilung σ R n heißt stationär für die Markov-Kette (G, P) mit n Zuständen, wenn gilt: σ = σ P Grenzverteilung Sofern die Verteilung konvergiert, bezeichnet π ( ) die Grenzverteilung zu π: π ( ) := lim k π(k)

7 Irreduzibel und Aperiodisch Irreduzibel und Aperiodisch Ein gerichteter Graph G ist irreduzibel G ist stark zusammenhängend. Periode p eines Zustands i V ist der größtmögliche Wert durch den die Längen aller Wege von i nach i teilbar sind. Ein gerichteter Graph G ist aperiodisch Kein Zustand hat eine Periode p > 1.

8 Ergodizität Ergodizität Eine Markov-Kette (G, P) ist genau dann ergodisch, wenn G irreduzibel und aperiodisch ist. Der Hammer: Sei (G, P) eine ergodische Markov-Kette, dann existiert genau eine stationäre Verteilung σ = ( lim k (P k ) 1,1,..., lim k (P k ) 1,n ) Sofern die Kette (G, P) ergodisch ist, stehen in der Matrix lim k (P k ) in jeder Zeile die selben Einträge. Das führt dazu ist, dass die Anfangsverteilung egal ist: nach unendlich vielen Schritten kommen wir für eine beliebige Anfangsverteilung in die Grenzverteilung der Kette. Die Grenzverteilungen beim Start in verschiedenen Anfangsverteilungen sind identisch, und entsprechen alle einer stationären Verteilung!

9 Random Walk/Zufallssurfer-Interpretation Random Walk: starte an einem beliebigen Knoten, beuspielsweise der zweite Knoten. Setze also als Startverteilung den Vektor ( ) In jedem Schritt entscheidet sich der Zufallssurfer, der in dem Knoten v steht, für einen Nachbarknoten u mit Wahrscheinlichkeit P uv, also der Wahrscheinlichkeit, der der Kante (u, v) zugewiesen ist und die in der Spalte u und Zeile v in der Übergangsmatrix steht.

10 Random Walk/Zufallssurfer-Interpretation Die Frage In welchem Knoten befindet sich der Zufallssurfer gerade mit welcher Wahrscheinlichkeit? entspricht der Frage nach der aktuellen Wahrscheinlichkeitsverteilung σ, und ein Schritt des Zufallssurfers verändert die Wahrscheinlichkeitsverteilung ebenfalls mit. σ = σp Nach k Schritten gibt die Wahrscheinlichkeitsverteilung σ (k) = σ (0) P k an, in welchem Knoten sich der Zufallssufer wie wahrscheinlich aufhält.

11 Page-Rank Idee: Modell des Internets als ergodische Markovkette mit einem unendlich oft klickenden Zufallssurfer Einführen eines gegebenen Dämpfungsfaktors 0 d < 1, um die Markov-Kette ergodisch zu machen. Der ursprüngliche Webgraph (oft gegeben) wird zu einer ergodischen Markov-Kette transformiert, siehe nächste Folie. Oft auch eine Aufgabe: Wie sieht der Webgraph für diese gegebene Markov-Kette aus? In jedem Schritt entscheidet sich der Zufallssurfer mit Wahrscheinlichkeit 1 d das Springen zu irgendeinem anderen Knoten, mit Wahrscheinlichkeit d verwendet er einen Link des ursprünglichen Webgraphen.

12 Page-Rank Übergangsmatrix P := P d (G) mit P ij := { 1 d n + d a i, falls (i, j) E, falls (i, j) / E 1 d n Der Page-Rank einer Seite j ist PR j := 1 d n + d i Vor G (j) PR i a i (die Wahrscheinlichkeit nach unendlich vielen Schritten auf der Seite j zu landen; Formel gemäß dem Satz von der totalen Wahrscheinlichkeit)

13 Page-Rank Wie berechnet man den Page-Rank? Einfach mit Stift und Papier: Löse das Gleichungssystem PR j := 1 d n + d i Vor G (j) PR i a i Damit erhält man eine stationäre Verteilung für die Web-Kette. Einfach für Computer und Menschen mit Zugang zu diesen: Die Markov-Kette Web-Kette (definiert durch die Übergangsmatrix P d (G)) ist ergodisch. Deshalb genügt es, die k-te Potenz von P d (G) für ein genügend großes k zu berechnen; die so erhaltene Grenzverteilung entspricht immer der stationären Verteilung, die man mit der ersten Methode erhält.

14 Aufgabe: Modellierung von Markov-Ketten

15 Aufgabe: Induktionen über Markov-Ketten Ist diese Markov-Kette ergodisch? Wenn ja, warum, wenn nein, warum nicht? Berechnen sie eine stationäre Verteilung der Markov-Kette aus der letzten Aufgabe.

16 Aufgabe: Irreduzibel und/oder aperiodisch?

17 Aufgabe: Induktionen über Markov-Ketten M = (G, P) Stellen Sie die Übergangsmatrix P auf. Die Markov-Kette beginne mit der Verteilung X (0) = ( 4 5, 1 5). Zeigen Sie mithilfe vollständiger Induktion, dass für alle k N gilt: Die Markov-Kette M besitzt nach k Schritten die Verteilung ( 1 X (k) = 5 (3 + 6 k ), 1 ) 5 (2 6 k ) Bestimmen sie alle stationären Verteilungen der Markov-Kette M.

18 Aufgabe: Stationäre Verteilungen mit Parameter

19 Aufgabe: Web-Graph 1

20 Aufgabe: Web-Graph 2