Markovketten. Bsp. Page Ranking für Suchmaschinen. Wahlfach Entscheidung unter Risiko und stat. Datenanalyse

Größe: px

Ab Seite anzeigen:

Download "Markovketten. Bsp. Page Ranking für Suchmaschinen. Wahlfach Entscheidung unter Risiko und stat. Datenanalyse 07.01.2015"

Ilse Kaufer
vor 8 Jahren
Abrufe

1 Markovketten Markovketten sind ein häufig verwendetes Modell zur Beschreibung von Systemen, deren Verhalten durch einen zufälligen Übergang von einem Systemzustand zu einem anderen Systemzustand gekennzeichnet ist. Bsp. Page Ranking für Suchmaschinen Netz mit 5 Internetseiten und entsprechenden Hyperlinks Melanie Kaspar, Prof. Dr. B. Grabowski 1

einem anderen Systemzustand gekennzeichnet ist. Bsp.

2 Wir betrachten das System zu diskreten Zeitpunkten n=1,2,3... Dabei befindet sich das System zu jedem dieser Zeitpunkte in einem der möglichen zustände i1, i2,... im. Ein möglicher Pfad / Zustandsverlauf kann durch eine Folge von Zuständen beschrieben werden: X(0) = i0, X(1) = i1,... X(n) = in Zur Analyse des Systems ist es wesentlich, die Wahrscheinlichkeiten der einzelnen Pfade zu bestimmen. Startet ein Pfad der Länge 1 im Zustand i0 und geht dann über in den Zustand i1, so kann die Wahrscheinlichkeit des Pfades bestimmt werden: Für einen Pfad der Läng 2 gilt: Melanie Kaspar, Prof. Dr. B. Grabowski 2

Ein möglicher Pfad / Zustandsverlauf kann durch eine Folge von Zuständen beschrieben werden: X(0) = i0, X(1) = i1,.

3 Def.: Eine stochastische Kette heißt Markovkette erster Ordnung, wenn gilt: X(n): zufälliger Zustand, den eine Variable zur Zeit n annimmt E: abzählbarer Zustandsraum pij(n,n+k)=p(x(n+k)=j X(n)=i): Übergangswahrscheinlichkeit Die Wahrscheinlichkeit eines Ereignisses / Zustandes einer Markovkette erster Ordnung zu irgend einem Zeitpunkt nm+1hängt nur vom Zustand im vorherigen Zeittakt nm ab. Oder: die Zukunft einer Markovkette erster Ordnung hängt nur von der Gegenwart und nicht von der Vergangenheit ab. = Markoveigenschaft Melanie Kaspar, Prof. Dr. B. Grabowski 3

Markovkette erster Ordnung zu irgend einem Zeitpunkt nm+1hängt nur vom Zustand im vorherigen Zeittakt nm ab.

4 Für eine Markovkette muss also bekannt sein: die Übergangswahrscheinlichkeiten von einem Zustand zu einem anderen Zustand zu den einzelnen Zeitpunkten Wahrscheinlichkeit der Zustände zum Zeitpunkt 0 Def.: Eine Markovkette heißt homogen, falls die Übergangswahrscheinlichkeiten pij(n,n+k) nicht vom Zeitpunkt t abhängen, also gilt: pij(n,n+k) = pij(0,k) := pij(k) pij(k) wird als k-schritt-übergangswahrscheinlichkeit bezeichnet Für die 1-Schritt-Übergangswahrscheinlichkeit verwenden wir die Bezeichnung pij(1)=pij Melanie Kaspar, Prof. Dr. B. Grabowski 4

: Eine Markovkette heißt homogen, falls die Übergangswahrscheinlichkeiten pij(n,n+k) nicht vom Zeitpunkt t abhängen, also gilt: pij(n,n+k)

5 Die Übergangswahrscheinlichkeit einer homogenen Markovkette für einen Zeitschritt können in einer Übergangsmatrix P zusammengefasst werden: Die Übergangswahrscheinlichkeit einer homogenen Markovkette können grafisch als sog. Markov-Graf dargestellt werden: Zustände: Übergänge vom Zustand i in den Zustand j: Melanie Kaspar, Prof. Dr. B. Grabowski 5

Übergangswahrscheinlichkeit einer homogenen Markovkette können grafisch als sog.

6 Bsp: Eine Nachricht der Form "Ja" oder "Nein" wird mündlich weitergegeben. Bei jeder Weitergabe wird mit der Wahrscheinlichkeit a "ja" in "Nein" umgewandelt und mit der Wahrscheinlichkeit b "Nein" in "Ja" verfälscht. Markov-Graf: Übergangsmatrix: Melanie Kaspar, Prof. Dr. B. Grabowski 6

7 Die Verteilung des Zustandes der Markovkette im Takt n wird als bezeichnet. Die Einzelwahrscheinlichkeiten lassen sich in einem Vektor zusammenfassen: ist die Wahrscheinlichkeitsverteilung von X(n). Die Verteilung bezeichnet. von X(0) wird als Anfangsverteilung der Markovkette Melanie Kaspar, Prof. Dr. B. Grabowski 7

die Wahrscheinlichkeitsverteilung von X(n). Die Verteilung bezeichnet.

8 Bsp: Eine Leitung hat folgende Zustände: (1) frei (2) besetzt (3) in wartung / nicht verfügbar Wir nehmen an, dass die Leitung ihre Zustände nur taktweise zu Beginn der Zeitpunkte nt = 1,2,3,... ändern kann. Zum Zeitpunkt t=0 ist die Leitung frei. Der Zustandsverlauf sei eine homogene Markovkette: a) Geben Sie die Übergangsmatrix P an. b) Mit welcher Wahrscheinlichkeit nimmt X(n) im Takt n den Zustand j an, d.h. wie groß ist P(X(n)=j)? Also wie groß ist die Wahrscheinlichkeit, das die Leitung nach n Takten frei, belegt oder in Wartung ist? Melanie Kaspar, Prof. Dr. B. Grabowski 8

Der Zustandsverlauf sei eine homogene Markovkette: 1 2 3 a) Geben Sie die Übergangsmatrix P an.

9 n p1(n) p2(n) p3(n) n Allgemeine Rekursionsformel: Melanie Kaspar, Prof. Dr. B. Grabowski 9

10 c) Schreiben Sie ein kleines rekursives Programm, welches pj(n) für große n (n-> ) berechnet. D.h. berechnen sie, wie groß die Auslastung der Leitung auf lange Sicht ist. ges: Geben Sie dabei die Wahrscheinlichkeiten pj(n) tabellarisch aus für n=0,1,..., 20, 100,200,300,1000,.... Was stellen Sie fest? d) Ändern Sie die Anfangsverteilung, d.h. die Leitung befindet sich zu Beginn im Wartungszustand. Nutzen Sie ihr Programm aus Teil c) erneut und geben Sie die Wahrscheinlichkeiten pj(n) ebenfalls tabellarisch aus. Was stellen Sie fest? Melanie Kaspar, Prof. Dr. B. Grabowski 10

d) Ändern Sie die Anfangsverteilung, d.h. die Leitung befindet sich zu Beginn im Wartungszustand.

11 Bsp: Werfen eines Spielwürfels. 1 Einsatz fällt eine Sechs, so bekommt man 2. fällt keine Sechs, so bekommt man nichts. Ziel: weitere 3 zu gewinnen. Abbruch: falls das Ziel erfüllt ist oder kein Geld mehr für den Einsatz zur Verfügung steht. a) Markov-Graf: Melanie Kaspar, Prof. Dr. B. Grabowski 11

12 b) Wie groß ist die Wahrscheinlichkeit, von 1 zu 4 zu kommen? D.h. wie groß sind p14(1), p14(2),... p14(n)? c) Wie groß ist die Wahrscheinlichkeit für einen erfolglosen Abbruch? d) Ist dieser Graf ergodisch? Ursache: Melanie Kaspar, Prof. Dr. B. Grabowski 12

c) Wie groß ist die Wahrscheinlichkeit für einen erfolglosen

13 1 2 3 Eine Markovkette heißt irreduzibel, falls Ein Zustand heißt transient, falls ein Zustand heißt absorbierend, falls Melanie Kaspar, Prof. Dr. B. Grabowski 13

14 1 3 2 Eine Markovkette heißt periodisch, falls Ein Zustand heißt rekurrent, falls Melanie Kaspar, Prof. Dr. B. Grabowski 14

Ähnliche Dokumente

Vorlesung HM2 - Master KI Melanie Kaspar, Prof. Dr. B. Grabowski 1

Vorlesung HM2 - Master KI Melanie Kaspar, Prof. Dr. B. Grabowski 1 Melanie Kaspar, Prof. Dr. B. Grabowski 1 Melanie Kaspar, Prof. Dr. B. Grabowski 2 Melanie Kaspar, Prof. Dr. B. Grabowski 3 Markovketten Markovketten sind ein häufig verwendetes Modell zur Beschreibung