10 Markow-Ketten. Themen: Lineare Differenzengleichungen Irrfahrten Warteschlangen

Transkript

1 10 Markow-Ketten Themen: Lineare Differenzengleichungen Irrfahrten Warteschlangen

2 10.1 Lineare Differenzengleichungen Unter einer homogenen linearen Differenzengleichung der Ordnung r verstehen wir eine Vorschrift der Form u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., mit a r 1,...,a 0 Ê.

3 10.1 Lineare Differenzengleichungen Unter einer homogenen linearen Differenzengleichung der Ordnung r verstehen wir eine Vorschrift der Form u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., mit a r 1,...,a 0 Ê. Unter der Vorgabe von u 0,...,u r 1 Ê sind alle u j eindeutig bestimmt.

4 10.1 Lineare Differenzengleichungen Unter einer homogenen linearen Differenzengleichung der Ordnung r verstehen wir eine Vorschrift der Form u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., mit a r 1,...,a 0 Ê. Unter der Vorgabe von u 0,...,u r 1 Ê sind alle u j eindeutig bestimmt. Weiter hängen die Werte u j für j r linear von diesen Anfangswerten ab.

5 Lineare Differenzengleichungen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Betrachte die Differenzengleichung besser für u j.

6 Lineare Differenzengleichungen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Betrachte die Differenzengleichung besser für u j. Lösungsmenge der Differenzengleichung bildet einen linearen Raum.

7 Lineare Differenzengleichungen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Betrachte die Differenzengleichung besser für u j. Lösungsmenge der Differenzengleichung bildet einen linearen Raum. Nach Festlegung von u 0,...,u r 1 ist die Lösung eindeutig bestimmt.

8 Lineare Differenzengleichungen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Betrachte die Differenzengleichung besser für u j. Lösungsmenge der Differenzengleichung bildet einen linearen Raum. Nach Festlegung von u 0,...,u r 1 ist die Lösung eindeutig bestimmt. Die u 0,...,u r 1 sind frei wählbar. Der Lösungsraum der Differenzengleichung ist isomorph zum Raum r.

9 Zugeordnetes Polynom Ordne der Differenzengleichung das charakteristische Polynom zu: ψ(µ) = µ r + a r 1 µ r a 0.

10 Zugeordnetes Polynom Ordne der Differenzengleichung das charakteristische Polynom zu: ψ(µ) = µ r + a r 1 µ r a 0. Ansatz zur Lösung der Differenzengleichung: u j = λ j.

11 Zugeordnetes Polynom Ordne der Differenzengleichung das charakteristische Polynom zu: ψ(µ) = µ r + a r 1 µ r a 0. Ansatz zur Lösung der Differenzengleichung: u j = λ j. Dann u j+r + a r 1 u j+r a 0 u j = λ j (λ r + a r 1 λ r a 0 ) = λ j ψ(λ) = 0.

12 Achtung: Allgemeinbildung Satz Ist λ \{0} eine Nullstelle von ψ der Vielfachheit ν, so sind u (l) j = j l λ j, l = 0, 1,...,ν 1 Lösungen der Differenzengleichung.

13 Achtung: Allgemeinbildung Satz Ist λ \{0} eine Nullstelle von ψ der Vielfachheit ν, so sind u (l) j = j l λ j, l = 0, 1,...,ν 1 Lösungen der Differenzengleichung. Ist λ = 0 eine Nullstelle der Vielfachheit ν, so sind u (l) j = { v beliebig in für j = l 0 sonst, l = 0,...,ν 1 Lösungen.

14 Achtung: Allgemeinbildung Satz Ist λ \{0} eine Nullstelle von ψ der Vielfachheit ν, so sind u (l) j = j l λ j, l = 0, 1,...,ν 1 Lösungen der Differenzengleichung. Ist λ = 0 eine Nullstelle der Vielfachheit ν, so sind u (l) j = { v beliebig in für j = l 0 sonst, l = 0,...,ν 1 Lösungen. Die Gesamtheit dieser Lösungen für λ 1,...,λ k bilden eine Basis des Lösungsraums.

15 Beweis: Einfache Nullstellen Ist λ eine Nullstelle von ψ, so ist u j = λ j eine Lösung der Differenzengleichung, u j+r + a r 1 u j+r a 0 u j = λ j (λ r + a r 1 λ r a 0 )) = λ j ψ(λ) = 0.

16 Beweis: Mehrfache Nullstellen Ist λ eine mehrfache Nullstelle, so ist auch u j = jλ j eine Lösung der Differenzengleichung wegen u j+r +a r 1 u j+r a 0 u j =jλ j (λ r + a r 1 λ r a 0 ) +λ j+1 (rλ r 1 +(r 1)a r 1 λ r a 1 )

17 Beweis: Mehrfache Nullstellen Ist λ eine mehrfache Nullstelle, so ist auch u j = jλ j eine Lösung der Differenzengleichung wegen u j+r +a r 1 u j+r a 0 u j =jλ j (λ r + a r 1 λ r a 0 ) +λ j+1 (rλ r 1 +(r 1)a r 1 λ r a 1 ) =jλ j ψ(λ)+λ j+1 ψ (λ) = 0.

18 Beweis: Mehrfache Nullstellen Ist λ eine mehrfache Nullstelle, so ist auch u j = jλ j eine Lösung der Differenzengleichung wegen u j+r +a r 1 u j+r a 0 u j =jλ j (λ r + a r 1 λ r a 0 ) +λ j+1 (rλ r 1 +(r 1)a r 1 λ r a 1 ) =jλ j ψ(λ)+λ j+1 ψ (λ) = 0. Auf die gleiche Weise zeigt man, dass bei einer ν-fachen Nullstelle λ 0 u (l) j = j l λ j, l = 0, 1,...,ν 1 Lösungen sind.

19 Beweis: λ = 0 ist mehrfache Nullstellen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Ist λ = 0 eine ν-fache Nullstelle, so ist a 0,...,a ν 1 = 0.

20 Beweis: λ = 0 ist mehrfache Nullstellen u j+r + a r 1 u j+r a 0 u j = 0, j = 0, 1,..., Ist λ = 0 eine ν-fache Nullstelle, so ist a 0,...,a ν 1 = 0. Erhalte den Satz von Lösungen u (l) j = δ lj, l = 0, 1,...,ν 1.

21 Beweis Alle diese Lösungen sind linear unabhängig, weil sie ein unterschiedliches Wachstumsverhalten haben.

22 Beweis Alle diese Lösungen sind linear unabhängig, weil sie ein unterschiedliches Wachstumsverhalten haben. Da ψ genau r Nullstellen besitzt, wenn man mehrfache Nullstellen auch mehrfach zählt, bilden die u (l) j eine Basis des Lösungsraums.

23 Beispiel: Fibonacci-Zahlen Die Fibonacci-Zahlen F n sind definiert durch F n+1 = F n + F n 1 für alle n Æ, F 0 = 0, F 1 = 1,

24 Beispiel: Fibonacci-Zahlen Die Fibonacci-Zahlen F n sind definiert durch F n+1 = F n + F n 1 für alle n Æ, F 0 = 0, F 1 = 1, Daher F 0 = 0, F 1 = 1, F 2 = 1, F 3 = 2, F 4 = 3, F 5 = 5, F 6 = 8, F 7 = 13, F 8 = 21, F 9 = 34.

25 Die Kaninchenaufgabe Leonardo von Pisa (ca ) wurde später Fibonacci genannt.

26 Die Kaninchenaufgabe Leonardo von Pisa (ca ) wurde später Fibonacci genannt. Kaninchenaufgabe: Wie viele Kaninchen entstehen im Laufe einer Zeitspanne aus einem Paar? Jedes Paar setzt allmonatlich ein neues Paar in die Welt.

27 Die Kaninchenaufgabe Leonardo von Pisa (ca ) wurde später Fibonacci genannt. Kaninchenaufgabe: Wie viele Kaninchen entstehen im Laufe einer Zeitspanne aus einem Paar? Jedes Paar setzt allmonatlich ein neues Paar in die Welt. Das neue Paar produziert nach zwei Monaten ein weiteres Paar.

28 Die Kaninchenaufgabe Leonardo von Pisa (ca ) wurde später Fibonacci genannt. Kaninchenaufgabe: Wie viele Kaninchen entstehen im Laufe einer Zeitspanne aus einem Paar? Jedes Paar setzt allmonatlich ein neues Paar in die Welt. Das neue Paar produziert nach zwei Monaten ein weiteres Paar. Man nimmt also an, dass die neugeborenen Kaninchen nicht sofort geschlechtsreif sind.

29 Die Kaninchenaufgabe Leonardo von Pisa (ca ) wurde später Fibonacci genannt. Kaninchenaufgabe: Wie viele Kaninchen entstehen im Laufe einer Zeitspanne aus einem Paar? Jedes Paar setzt allmonatlich ein neues Paar in die Welt. Das neue Paar produziert nach zwei Monaten ein weiteres Paar. Man nimmt also an, dass die neugeborenen Kaninchen nicht sofort geschlechtsreif sind. Todesfälle werden nicht berücksichtigt.

30 Die Kaninchenaufgabe Hat man im ersten Monat ein neugeborenes Paar (N), so im zweiten Monat ein geschlechtsreifes Paar (G) und im dritten Monat 2 Paare, nämlich 1N+1G.

31 Die Kaninchenaufgabe Hat man im ersten Monat ein neugeborenes Paar (N), so im zweiten Monat ein geschlechtsreifes Paar (G) und im dritten Monat 2 Paare, nämlich 1N+1G. F n+1 = F n + F n 1 Paare in n+1 Paare in n geschlechtsreife Paare in n

32 Die Kaninchenaufgabe Hat man im ersten Monat ein neugeborenes Paar (N), so im zweiten Monat ein geschlechtsreifes Paar (G) und im dritten Monat 2 Paare, nämlich 1N+1G. F n+1 = F n + F n 1 Paare in n+1 Paare in n geschlechtsreife Paare in n Wäre jedes neugeborene Paar sofort geschlechtsreif, so hätte man stattdessen die Rekursion F n+1 = 2F n.

33 Beispiel: Fibonacci-Zahlen Bestimme die Nullstellen des charakteristischen Polynoms ψ(µ) = µ 2 µ 1.

34 Beispiel: Fibonacci-Zahlen Bestimme die Nullstellen des charakteristischen Polynoms ψ(µ) = µ 2 µ 1. λ ± = 1 2 (1± 5) F n = c + λ n + + c λ n.

35 Beispiel: Fibonacci-Zahlen Bestimme die Nullstellen des charakteristischen Polynoms ψ(µ) = µ 2 µ 1. λ ± = 1 2 (1± 5) F n = c + λ n + + c λ n. Aus den Anfangsbedingungen F 0 = 0 und F 1 = 1 erhalte F n = 1 (( 1+ 5 ) n ( 1 5 ) n )

36 Beispiel: Fibonacci-Zahlen Bestimme die Nullstellen des charakteristischen Polynoms ψ(µ) = µ 2 µ 1. λ ± = 1 2 (1± 5) F n = c + λ n + + c λ n. Aus den Anfangsbedingungen F 0 = 0 und F 1 = 1 erhalte F n = 1 (( 1+ 5 ) n ( 1 5 ) n ) Frage Nach New Yorck F 7 = 8 Meilen = F 8 = 13 km. Warum?

37 10.2 Irrfahrten Zwei Spieler besitzen ein Kapital von a bzw. b Geldeinheiten. Sie spielen ein reines Glücksspiel, bei dem der erste Spieler mit Wahrscheinlichkeit p und der zweite Spieler mit Wahrscheinlichkeit q = 1 p gewinnt.

38 10.2 Irrfahrten Zwei Spieler besitzen ein Kapital von a bzw. b Geldeinheiten. Sie spielen ein reines Glücksspiel, bei dem der erste Spieler mit Wahrscheinlichkeit p und der zweite Spieler mit Wahrscheinlichkeit q = 1 p gewinnt. Wie groß ist die Wahrscheinlichkeit, dass der erste oder der zweite Spieler sein Kapital vollständig verliert?

39 10.2 Irrfahrten Zwei Spieler besitzen ein Kapital von a bzw. b Geldeinheiten. Sie spielen ein reines Glücksspiel, bei dem der erste Spieler mit Wahrscheinlichkeit p und der zweite Spieler mit Wahrscheinlichkeit q = 1 p gewinnt. Wie groß ist die Wahrscheinlichkeit, dass der erste oder der zweite Spieler sein Kapital vollständig verliert? Dies ist das Ruin-Problem.

40 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a.

41 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a. In jedem Schritt wird nun das Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links gerückt.

42 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a. In jedem Schritt wird nun das Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links gerückt. Wird ein Randpunkt 0 oder c erreicht, ist das Spiel beendet.

43 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a. In jedem Schritt wird nun das Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links gerückt. Wird ein Randpunkt 0 oder c erreicht, ist das Spiel beendet. u j = Wahrscheinlichkeit, dass das Teilchen, wenn es von j aus gestartet wird, den linken Rand 0 vor dem rechten Rand c erreicht.

44 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a. In jedem Schritt wird nun das Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links gerückt. Wird ein Randpunkt 0 oder c erreicht, ist das Spiel beendet. u j = Wahrscheinlichkeit, dass das Teilchen, wenn es von j aus gestartet wird, den linken Rand 0 vor dem rechten Rand c erreicht. Mit Wahrscheinlichkeit p erreicht das Teilchen im nächsten Schritt j + 1 und mit Wahrscheinlichkeit q erreicht es j 1.

45 Ruin-Problem Betrachte das Intervall [0, c] mit c = a + b. Lege ein Teilchen auf die Stelle a. In jedem Schritt wird nun das Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links gerückt. Wird ein Randpunkt 0 oder c erreicht, ist das Spiel beendet. u j = Wahrscheinlichkeit, dass das Teilchen, wenn es von j aus gestartet wird, den linken Rand 0 vor dem rechten Rand c erreicht. Mit Wahrscheinlichkeit p erreicht das Teilchen im nächsten Schritt j + 1 und mit Wahrscheinlichkeit q erreicht es j 1. Daher u j = pu j+1 + qu j 1, u(0) = 1, u(c) = 0.

46 Ruin-Problem u j = pu j+1 + qu j 1, u(0) = 1, u(c) = 0.

47 Ruin-Problem u j = pu j+1 + qu j 1, u(0) = 1, u(c) = 0. Das zugehörige charakteristische Polynom ist ψ(µ) = pµ 2 µ+q ψ(1) = 0. Im Falle p = q = 1/2 ist diese Nullstelle doppelt, andernfalls ist die zweite Nullstelle r = q/p.

48 Ruin-Problem u j = pu j+1 + qu j 1, u(0) = 1, u(c) = 0. Das zugehörige charakteristische Polynom ist ψ(µ) = pµ 2 µ+q ψ(1) = 0. Im Falle p = q = 1/2 ist diese Nullstelle doppelt, andernfalls ist die zweite Nullstelle r = q/p. Lösung daher: u j = r j r c 1 r c für p 1/2 c j c für p = 1/2 0 j c.

49 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht.

50 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht. v j erfüllt die gleiche Differenzengleichung wie u j, aber mit Randbedingungen v(0) = 0, v(c) = 1.

51 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht. v j erfüllt die gleiche Differenzengleichung wie u j, aber mit Randbedingungen v(0) = 0, v(c) = 1. Es folgt dann v j = 1 r j 1 r c für p 1/2 j c für p = 1/2 0 j c.

52 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht. v j erfüllt die gleiche Differenzengleichung wie u j, aber mit Randbedingungen v(0) = 0, v(c) = 1. Es folgt dann v j = Damit gilt u j + v j = 1. 1 r j 1 r c für p 1/2 j c für p = 1/2 0 j c.

53 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht. v j erfüllt die gleiche Differenzengleichung wie u j, aber mit Randbedingungen v(0) = 0, v(c) = 1. Es folgt dann v j = Damit gilt u j + v j = 1. 1 r j 1 r c für p 1/2 j c für p = 1/2 0 j c. Man kann sich vorstellen, dass das Teilchen immer innerhalb des Intervalls verbleibt, Wahrscheinlichkeit dafür ist Null.

54 Ruin-Problem v j = Wahrscheinlichkeit, dass das Teilchen zuerst den rechten Rand erreicht. v j erfüllt die gleiche Differenzengleichung wie u j, aber mit Randbedingungen v(0) = 0, v(c) = 1. Es folgt dann v j = Damit gilt u j + v j = 1. 1 r j 1 r c für p 1/2 j c für p = 1/2 0 j c. Man kann sich vorstellen, dass das Teilchen immer innerhalb des Intervalls verbleibt, Wahrscheinlichkeit dafür ist Null. Bei Prozessen, die potenziell unendlich viele Schritte benötigen, bedeutet Wahrscheinlichkeit 1 immer fast sicher und Wahrscheinlichkeit 0 fast nie.

55 Irrfahrt Wir können eine analoge Irrfahrt auf ganz definieren, wobei in jedem Schritt ein Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links bewegt wird.

56 Irrfahrt Wir können eine analoge Irrfahrt auf ganz definieren, wobei in jedem Schritt ein Teilchen mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q nach links bewegt wird. Dann haben wir bewiesen, dass jedes beschränkte Teilintervall von fast sicher verlassen wird. Insbesondere ist jede Irrfahrt fast sicher unbeschränkt.

57 10.3 Markov-Ketten I = endlicher oder abzählbar unendlicher Zustandsraum, beispielsweise d.

58 10.3 Markov-Ketten I = endlicher oder abzählbar unendlicher Zustandsraum, beispielsweise d. Eine Zufallsvariable ist nun eine Abbildung eines Wahrscheinlichkeitsraums Ω nach I.

59 10.3 Markov-Ketten I = endlicher oder abzählbar unendlicher Zustandsraum, beispielsweise d. Eine Zufallsvariable ist nun eine Abbildung eines Wahrscheinlichkeitsraums Ω nach I. In diesem Fall müssen nicht unbedingt Summen oder Produkte von Zufallsvariablen existieren.

60 Markov-Kette Eine Folge von Zufallsvariablen X n, n Æ 0, heißt homogene Markow-Kette, wenn P(X n+1 = j X n = i, A) = P(X n+1 = j X n = i) = p ij für alle Ereignisse A, die von den früheren Zuständen X 0,...,X n 1 abhängen.

61 Markov-Kette Eine Folge von Zufallsvariablen X n, n Æ 0, heißt homogene Markow-Kette, wenn P(X n+1 = j X n = i, A) = P(X n+1 = j X n = i) = p ij für alle Ereignisse A, die von den früheren Zuständen X 0,...,X n 1 abhängen. A ist also von der Form X 0 = i 0,...,X n 1 = i n 1.

62 Übergangswahrscheinlichkeiten P(X n+1 = j X n = i, A) = P(X n+1 = j X n = i) = p ij Die Verteilung von X n+1 ist damit vollständig durch die Übergangswahrscheinlichkeiten p ij gegeben.

63 Übergangswahrscheinlichkeiten P(X n+1 = j X n = i, A) = P(X n+1 = j X n = i) = p ij Die Verteilung von X n+1 ist damit vollständig durch die Übergangswahrscheinlichkeiten p ij gegeben. Allgemein ist eine Markov-Kette ein stochastischer Prozess, der nicht von der Vorgeschichte X 0,...,X n 1 abhängt.

64 Übergangswahrscheinlichkeiten P(X n+1 = j X n = i, A) = P(X n+1 = j X n = i) = p ij Die Verteilung von X n+1 ist damit vollständig durch die Übergangswahrscheinlichkeiten p ij gegeben. Allgemein ist eine Markov-Kette ein stochastischer Prozess, der nicht von der Vorgeschichte X 0,...,X n 1 abhängt. In unserem Fall ist er zusätzlich homogen, die Übergangswahrscheinlichkeiten sind unabhängig von n.

65 Beispiel Allgemeine Irrfahrt : Seien X 0, Y 1, Y 2,... unabhängige Zufallsvariable in d = I. Dann ist durch X n = X 0 + Y Y n eine Markow-Kette gegeben:

66 Beispiel Allgemeine Irrfahrt : Seien X 0, Y 1, Y 2,... unabhängige Zufallsvariable in d = I. Dann ist durch X n = X 0 + Y Y n eine Markow-Kette gegeben: P(X n+1 = i n+1 X 0 = i 0,...,X n = i n ) = P(X 0 = i 0,...,X n+1 = i n+1 ) P(X 0 = i 0,...,X n = i n )

67 Beispiel Allgemeine Irrfahrt : Seien X 0, Y 1, Y 2,... unabhängige Zufallsvariable in d = I. Dann ist durch X n = X 0 + Y Y n eine Markow-Kette gegeben: P(X n+1 = i n+1 X 0 = i 0,...,X n = i n ) = P(X 0 = i 0,...,X n+1 = i n+1 ) P(X 0 = i 0,...,X n = i n ) = P(X 0 = i 0, Y 1 = i 1 i 0,...,Y n+1 = i n+1 i n ) P(X 0 = i 0, Y 1 = i 1 i 0,...,Y n = i n i n 1 ) = P(Y n+1 = i n+1 i n )

68 Beispiel Allgemeine Irrfahrt : Seien X 0, Y 1, Y 2,... unabhängige Zufallsvariable in d = I. Dann ist durch X n = X 0 + Y Y n eine Markow-Kette gegeben: P(X n+1 = i n+1 X 0 = i 0,...,X n = i n ) = P(X 0 = i 0,...,X n+1 = i n+1 ) P(X 0 = i 0,...,X n = i n ) = P(X 0 = i 0, Y 1 = i 1 i 0,...,Y n+1 = i n+1 i n ) P(X 0 = i 0, Y 1 = i 1 i 0,...,Y n = i n i n 1 ) = P(Y n+1 = i n+1 i n ) Diese Markow-Kette ist homogen, wenn alle Y i die gleiche Verteilung besitzen.

69 Gemeinsame Verteilung Mit Hilfe der Regeln für bedingte Wahrscheinlichkeiten und der Markow-Eigenschaft lässt sich die gemeinsame Verteilung der Zufallsvariablen X n leicht berechnen, zum Beispiel: P(X 4 = j, X 5 = k, X 6 = l X 3 = i) =P(X 4 = j X 3 = i) P(X 5 = k X 3 = i, X 4 = j) P(X 6 = l X 3 = i, X 4 = j, X 5 = k)

70 Gemeinsame Verteilung Mit Hilfe der Regeln für bedingte Wahrscheinlichkeiten und der Markow-Eigenschaft lässt sich die gemeinsame Verteilung der Zufallsvariablen X n leicht berechnen, zum Beispiel: P(X 4 = j, X 5 = k, X 6 = l X 3 = i) =P(X 4 = j X 3 = i) P(X 5 = k X 3 = i, X 4 = j) P(X 6 = l X 3 = i, X 4 = j, X 5 = k) =P(X 4 = j X 3 = i) P(X 5 = k X 4 = j) P(X 6 = l X 5 = k) =p ij p jk p kl.

71 Übergangswahrscheinlichkeiten Wir legen für X 0 eine Verteilung fest P(X 0 = i) = p i, i I.

72 Übergangswahrscheinlichkeiten Wir legen für X 0 eine Verteilung fest P(X 0 = i) = p i, i I. Dann P(X 0 = i 0,..., X n = i n ) = p i0 p i0 i 1...p in 1 i n.

73 Übergangswahrscheinlichkeiten Wir legen für X 0 eine Verteilung fest Dann P(X 0 = i) = p i, i I. P(X 0 = i 0,..., X n = i n ) = p i0 p i0 i 1...p in 1 i n. Die Übergangswahrscheinlichkeiten bestimmen die gesamte Struktur der Markow-Kette.

74 Stochastische Matrizen Die Übergangswahrscheinlichkeiten bilden eine Verteilung, p ij 0, p ij = 1. j I

75 Stochastische Matrizen Die Übergangswahrscheinlichkeiten bilden eine Verteilung, p ij 0, p ij = 1. Im Falle von endlich vielen Zuständen kann man die p ij zu einer Matrix Λ = (p ij ) i,j I zusammenstellen. j I

76 Stochastische Matrizen Die Übergangswahrscheinlichkeiten bilden eine Verteilung, p ij 0, p ij = 1. Im Falle von endlich vielen Zuständen kann man die p ij zu einer Matrix Λ = (p ij ) i,j I zusammenstellen. Solche Matrizen, die nur nichtnegative Einträge besitzen und deren Zeilensummen gleich Eins sind, bezeichnet man als stochastische Matrizen. j I

77 Stochastische Matrizen Die Übergangswahrscheinlichkeiten bilden eine Verteilung, p ij 0, p ij = 1. Im Falle von endlich vielen Zuständen kann man die p ij zu einer Matrix Λ = (p ij ) i,j I zusammenstellen. Solche Matrizen, die nur nichtnegative Einträge besitzen und deren Zeilensummen gleich Eins sind, bezeichnet man als stochastische Matrizen. Wir verwenden aber auch im Fall unendlich vieler Zustände die Bezeichnung Λ und den Namen Matrix für ein zweidimensionales Schema, in denen die p ij analog eingetragen werden. j I

78 Chapman-Kolmogorow-Gleichung p (n) ik = Wahrscheinlichkeit, in n Schritten von i nach k zu kommen.

79 Chapman-Kolmogorow-Gleichung p (n) ik = Wahrscheinlichkeit, in n Schritten von i nach k zu kommen. In zwei Schritten kommen wir von i über j nach k mit Wahrscheinlichkeit p ij p jk. Summiere hier über alle j ( ) p (2) ik = j I p ij p jk.

80 Chapman-Kolmogorow-Gleichung p (n) ik = Wahrscheinlichkeit, in n Schritten von i nach k zu kommen. In zwei Schritten kommen wir von i über j nach k mit Wahrscheinlichkeit p ij p jk. Summiere hier über alle j ( ) p (2) ik = j I p ij p jk. Dies ist aber gerade die Definition des Matrizenprodukts im Fall endlich vieler Zustände, p (2) ik = (Λ 2 ) ik.

81 Chapman-Kolmogorow-Gleichung p (n) ik = Wahrscheinlichkeit, in n Schritten von i nach k zu kommen. In zwei Schritten kommen wir von i über j nach k mit Wahrscheinlichkeit p ij p jk. Summiere hier über alle j ( ) p (2) ik = j I p ij p jk. Dies ist aber gerade die Definition des Matrizenprodukts im Fall endlich vieler Zustände, p (2) ik = (Λ 2 ) ik. Nehme ( ) als Definition der Multiplikation des zweidimensionalen Schemas Λ mit sich selbst, (p (n) ) i,j I = Λ n.

82 Chapman-Kolmogorow-Gleichung p (n) ik = Wahrscheinlichkeit, in n Schritten von i nach k zu kommen. In zwei Schritten kommen wir von i über j nach k mit Wahrscheinlichkeit p ij p jk. Summiere hier über alle j ( ) p (2) ik = j I p ij p jk. Dies ist aber gerade die Definition des Matrizenprodukts im Fall endlich vieler Zustände, p (2) ik = (Λ 2 ) ik. Nehme ( ) als Definition der Multiplikation des zweidimensionalen Schemas Λ mit sich selbst, (p (n) ) i,j I = Λ n. Da die Matrizenmultiplikation assoziativ ist, folgt die Chapman-Kolmogorow-Gleichung Λ n+m = Λ n Λ m.

83 Chapman-Kolmogorow-Gleichung Man nennt p (n) ij (p (n) ) i,j I = Λ n, Λ n+m = Λ n Λ m. die n-stufigen Übergangswahrscheinlichkeiten.

84 Chapman-Kolmogorow-Gleichung Man nennt p (n) ij Auch die p (n) ij (p (n) ) i,j I = Λ n, Λ n+m = Λ n Λ m. die n-stufigen Übergangswahrscheinlichkeiten. bilden eine Wahrscheinlichkeitsverteilung, p (n) ij 0, j I p (n) ij = 1.

85 Chapman-Kolmogorow-Gleichung Man nennt p (n) ij Auch die p (n) ij (p (n) ) i,j I = Λ n, Λ n+m = Λ n Λ m. die n-stufigen Übergangswahrscheinlichkeiten. bilden eine Wahrscheinlichkeitsverteilung, p (n) ij 0, j I p (n) ij = 1. Damit sind auch Λ n stochastische Matrizen.

86 Beispiel Zu I = {0, 1,...,c} mit c 2 setze q 0 p q 0 p 0... Λ = q 0 p

87 Beispiel Zu I = {0, 1,...,c} mit c 2 setze q 0 p q 0 p 0... Λ = q 0 p Dies ist gerade die Matrix des Ruin-Problems mit Wahrscheinlichkeiten p und q = (1 p).

88 Zugehöriger Graph Im Falle eines endlichen Zustandsraums I = {1,..., n} ordne dem Prozess einen gerichteten Graphen mit Knotenmenge I und Kanten (i, j) zu.

89 Zugehöriger Graph Im Falle eines endlichen Zustandsraums I = {1,..., n} ordne dem Prozess einen gerichteten Graphen mit Knotenmenge I und Kanten (i, j) zu. Kanten sind vorhanden für p ij > 0 und nicht vorhanden für p ij = 0.

90 Zugehöriger Graph Im Falle eines endlichen Zustandsraums I = {1,..., n} ordne dem Prozess einen gerichteten Graphen mit Knotenmenge I und Kanten (i, j) zu. Kanten sind vorhanden für p ij > 0 und nicht vorhanden für p ij = 0. Eine Kante ist damit genau dann vorhanden, wenn j von i aus mit positiver Wahrscheinlichkeit erreicht werden kann.

91 Zugehöriger Graph Im Falle eines endlichen Zustandsraums I = {1,..., n} ordne dem Prozess einen gerichteten Graphen mit Knotenmenge I und Kanten (i, j) zu. Kanten sind vorhanden für p ij > 0 und nicht vorhanden für p ij = 0. Eine Kante ist damit genau dann vorhanden, wenn j von i aus mit positiver Wahrscheinlichkeit erreicht werden kann. Aus dem Graphen lässt sich dann ersehen, welche Knoten j überhaupt von einem Knoten i erreicht werden können.

92 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0.

93 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0. Wir schreiben dann i j.

94 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0. Wir schreiben dann i j. Die Relation ist transitiv: i j, j k i k.

95 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0. Wir schreiben dann i j. Die Relation ist transitiv: i j, j k i k. Die Relation ist analog definiert.

96 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0. Wir schreiben dann i j. Die Relation ist transitiv: i j, j k i k. Die Relation ist analog definiert. Wir sagen i und j kommunizieren und schreiben i j, wenn sowohl i j als auch i j erfüllt sind.

97 Allgemeine Zustandsräume Allgemein setze: Ein Zustand j I ist von i I erreichbar, wenn es einen Weg i = i 0,...,i n = j gibt mit p ik i k+1 > 0. Wir schreiben dann i j. Die Relation ist transitiv: i j, j k i k. Die Relation ist analog definiert. Wir sagen i und j kommunizieren und schreiben i j, wenn sowohl i j als auch i j erfüllt sind. i heißt wesentlich, wenn jeder Zustand, der von i aus erreicht wird, auch i erreicht.

98 Allgemeine Zustandsräume Wir sagen i und j kommunizieren und schreiben i j, wenn sowohl i j als auch i j erfüllt sind.

99 Allgemeine Zustandsräume Wir sagen i und j kommunizieren und schreiben i j, wenn sowohl i j als auch i j erfüllt sind. i heißt wesentlich, wenn jeder Zustand, der von i aus erreicht wird, auch i erreicht.

100 Allgemeine Zustandsräume Wir sagen i und j kommunizieren und schreiben i j, wenn sowohl i j als auch i j erfüllt sind. i heißt wesentlich, wenn jeder Zustand, der von i aus erreicht wird, auch i erreicht. In der obigen Abbildung kommunizieren 1 und 2 sowie 3 und 4, ferner sind die Zustände 1 und 2 wesentlich.

101 Erstmaliger Besuch von j Mit welcher Wahrscheinlichkeit kommt man in einer Markow-Kette von einem Zustand i wieder zu i?

102 Erstmaliger Besuch von j Mit welcher Wahrscheinlichkeit kommt man in einer Markow-Kette von einem Zustand i wieder zu i? Dazu verwenden wir die Notation P i (A) = P(A X 0 = i).

103 Erstmaliger Besuch von j Mit welcher Wahrscheinlichkeit kommt man in einer Markow-Kette von einem Zustand i wieder zu i? Dazu verwenden wir die Notation Für n 1 sei P i (A) = P(A X 0 = i). f (n) ij = P i (X n = j, X n 1 j,..., X 1 j) die Wahrscheinlichkeit, bei Start in i in genau n Schritten zum ersten Mal den Zustand j zu ereichen.

104 Setze f ij = n=1 f (n) ij, p ij = n=1 p (n) ij.

105 Setze f ij = n=1 f (n) ij, p ij = n=1 p (n) ij. f ij = Wahrscheinlichkeit, bei Start in i jemals nach j zu kommen.

106 Setze f ij = n=1 f (n) ij, p ij = n=1 p (n) ij. f ij = Wahrscheinlichkeit, bei Start in i jemals nach j zu kommen. p (n) ij i. = Wahrscheinlichkeit eines Besuchs zur Zeit n in j bei Start in

107 Setze f ij = n=1 f (n) ij, p ij = n=1 p (n) ij. f ij = Wahrscheinlichkeit, bei Start in i jemals nach j zu kommen. p (n) ij i. = Wahrscheinlichkeit eines Besuchs zur Zeit n in j bei Start in Mehrfache Besuche werden auch mehrfach gezählt.

108 Setze f ij = n=1 f (n) ij, p ij = n=1 p (n) ij. f ij = Wahrscheinlichkeit, bei Start in i jemals nach j zu kommen. p (n) ij i. = Wahrscheinlichkeit eines Besuchs zur Zeit n in j bei Start in Mehrfache Besuche werden auch mehrfach gezählt. p ij = Erwartungswert der Zahl der Besuche in j bei Start in i.

109 Beispiel I = {1, 2, 3}, p ii = 0, p ij = 1 für i j. 2

110 Beispiel I = {1, 2, 3}, p ii = 0, p ij = 1 2 für i j. Die Matrix der Übergangswahrscheinlichkeiten ist dann Λ =

111 Beispiel I = {1, 2, 3}, p ii = 0, p ij = 1 2 für i j. Die Matrix der Übergangswahrscheinlichkeiten ist dann Λ = Ê 3 3 = Matrix mit lauter Einser, E = E 3 = Einheitsmatrix.

112 Beispiel I = {1, 2, 3}, p ii = 0, p ij = 1 2 für i j. Die Matrix der Übergangswahrscheinlichkeiten ist dann Λ = Ê 3 3 = Matrix mit lauter Einser, E = E 3 = Einheitsmatrix. Es gilt Λ = 2 1 (1 E).

113 Beispiel Λ = 2 1 (1 E) Beachte 1 1 = 31.

114 Beispiel Λ = 2 1 (1 E) Beachte 1 1 = 31. (k1 E)(1 E) = k1 1 k1 1+E = (2k 1)1+E,

115 Beispiel Λ = 2 1 (1 E) Beachte 1 1 = 31. (k1 E)(1 E) = k1 1 k1 1+E = (2k 1)1+E, (k1+e)(1 E) = k1 1 k1+1 E = (2k + 1)1 E.

116 Beispiel Da auch die Λ n stochastische Matrizen sind, also Zeilensummen 1 besitzen, Λ n = 2 n (1 E) n 1 1 für n. 3

117 Beispiel Da auch die Λ n stochastische Matrizen sind, also Zeilensummen 1 besitzen, Wir schließen hieraus Λ n = 2 n (1 E) n 1 1 für n. 3 p (n) ii 1 3, p ii =.

118 Beispiel Es gilt f (1) 11 = 0.

119 Beispiel Es gilt f (1) 11 = 0. Für n > 1: Gehe nach dem Start in 1 nach 2 oder 3. Osziliere (n 2)-mal zwischen 2 und 3.

120 Beispiel Es gilt f (1) 11 = 0. Für n > 1: Gehe nach dem Start in 1 nach 2 oder 3. Osziliere (n 2)-mal zwischen 2 und 3. Gehe im n-ten Schritt nach 1 zurück. Die Wahrscheinlichkeit dafür ist n = 2 1 n f 11 = 1.

121 Beispiel Es gilt f (1) 11 = 0. Für n > 1: Gehe nach dem Start in 1 nach 2 oder 3. Osziliere (n 2)-mal zwischen 2 und 3. Gehe im n-ten Schritt nach 1 zurück. Die Wahrscheinlichkeit dafür ist n = 2 1 n f 11 = 1. Das ist nicht überraschend, denn nur unendliches Oszilieren zwischen 2 und 3 vermeidet einen Besuch in 1.

122 Zahl der Besuche Satz Sei B i die Zahl der Besuche von i bei Start in i. Dann gilt P(B i m) = (f ii ) m für alle m 1.

123 Zahl der Besuche Satz Sei B i die Zahl der Besuche von i bei Start in i. Dann gilt P(B i m) = (f ii ) m für alle m 1. f ii = Wahrscheinlichkeit eines Besuchs in i. Also alles klar?

124 Zahl der Besuche Satz Sei B i die Zahl der Besuche von i bei Start in i. Dann gilt P(B i m) = (f ii ) m für alle m 1. f ii = Wahrscheinlichkeit eines Besuchs in i. Also alles klar? Problem: Die erste Ankunft in i ist eine zufällige Zeit.

125 Zahl der Besuche Satz Sei B i die Zahl der Besuche von i bei Start in i. Dann gilt P(B i m) = (f ii ) m für alle m 1. f ii = Wahrscheinlichkeit eines Besuchs in i. Also alles klar? Problem: Die erste Ankunft in i ist eine zufällige Zeit. Ist T eine Zufallsvariable mit Werten in Æ 0 so bedeutet das Ereignis {X T = i} ausgeschrieben {ω Ω : X T(ω) (ω) = i}.

126 Zahl der Besuche Satz Sei B i die Zahl der Besuche von i bei Start in i. Dann gilt P(B i m) = (f ii ) m für alle m 1. f ii = Wahrscheinlichkeit eines Besuchs in i. Also alles klar? Problem: Die erste Ankunft in i ist eine zufällige Zeit. Ist T eine Zufallsvariable mit Werten in Æ 0 so bedeutet das Ereignis {X T = i} ausgeschrieben {ω Ω : X T(ω) (ω) = i}. Es dürfte klar sein, dass in dieser Allgemeinheit die Markow-Eigenschaft für X T nicht erfüllt ist.

127 Stopzeit Eine Abbildung τ : Ω Æ 0 { } heißt Stopzeit, wenn das Ereignis {ω : τ(ω) = n} nur von X 0,...,X n abhängt.

128 Stopzeit Eine Abbildung τ : Ω Æ 0 { } heißt Stopzeit, wenn das Ereignis {ω : τ(ω) = n} nur von X 0,...,X n abhängt. Gleichbedeutend damit ist, dass es eine Menge A I n+1 gibt mit {ω : τ(ω) = n} = {(X 0,...,X n ) A}.

129 Stopzeit Eine Abbildung τ : Ω Æ 0 { } heißt Stopzeit, wenn das Ereignis {ω : τ(ω) = n} nur von X 0,...,X n abhängt. Gleichbedeutend damit ist, dass es eine Menge A I n+1 gibt mit {ω : τ(ω) = n} = {(X 0,...,X n ) A}. In diesem Fall kann man nur durch Kenntnis von X 0,...,X n entscheiden, ob τ = n gilt oder nicht.

130 Beweis des Satzes Definiere induktiv die Zufallsvariablen τ 1 (ω) = inf{n 1 : X n (ω) = i}, τ m+1 (ω) = inf{n > τ m (ω) : X n (ω) = i}. Als Infimum der leeren Menge wird festgesetzt.

131 Beweis des Satzes Definiere induktiv die Zufallsvariablen τ 1 (ω) = inf{n 1 : X n (ω) = i}, τ m+1 (ω) = inf{n > τ m (ω) : X n (ω) = i}. Als Infimum der leeren Menge wird festgesetzt. τ m (ω) ist der Zeitpunkt des m-ten Besuchs in i.

132 Beweis des Satzes Definiere induktiv die Zufallsvariablen τ 1 (ω) = inf{n 1 : X n (ω) = i}, τ m+1 (ω) = inf{n > τ m (ω) : X n (ω) = i}. Als Infimum der leeren Menge wird festgesetzt. τ m (ω) ist der Zeitpunkt des m-ten Besuchs in i. A mn = Menge der Folgen i 0,...,i n 1 in I n, für die i 0 = i gilt und genau m 1 Indizes in der verbleibenden Folge ebenfalls den Wert i annehmen.

133 Beweis des Satzes Definiere induktiv die Zufallsvariablen τ 1 (ω) = inf{n 1 : X n (ω) = i}, τ m+1 (ω) = inf{n > τ m (ω) : X n (ω) = i}. Als Infimum der leeren Menge wird festgesetzt. τ m (ω) ist der Zeitpunkt des m-ten Besuchs in i. A mn = Menge der Folgen i 0,...,i n 1 in I n, für die i 0 = i gilt und genau m 1 Indizes in der verbleibenden Folge ebenfalls den Wert i annehmen. Dann {X 0 = i, τ m = n} = {(X 0,...,X n 1 ) A mn, X n = i}.

134 Beweis des Satzes Definiere induktiv die Zufallsvariablen τ 1 (ω) = inf{n 1 : X n (ω) = i}, τ m+1 (ω) = inf{n > τ m (ω) : X n (ω) = i}. Als Infimum der leeren Menge wird festgesetzt. τ m (ω) ist der Zeitpunkt des m-ten Besuchs in i. A mn = Menge der Folgen i 0,...,i n 1 in I n, für die i 0 = i gilt und genau m 1 Indizes in der verbleibenden Folge ebenfalls den Wert i annehmen. Dann {X 0 = i, τ m = n} = {(X 0,...,X n 1 ) A mn, X n = i}. Damit ist τ m Stopzeit, weil τ m = n aus der alleinigen Kenntnis von X 0,...,X n entschieden werden kann.

135 Beweis des Satzes {τ m < } = {B i m}.

136 Beweis des Satzes {τ m < } = {B i m}. Durch vollständige Induktion über m beweisen wir nun P i (τ m < ) = (f ii ) m.

137 Beweis des Satzes {τ m < } = {B i m}. Durch vollständige Induktion über m beweisen wir nun P i (τ m < ) = (f ii ) m. Für m = 1 folgt dies aus der Definition von f ii.

138 Beweis des Satzes {τ m < } = {B i m}. Durch vollständige Induktion über m beweisen wir nun P i (τ m < ) = (f ii ) m. Für m = 1 folgt dies aus der Definition von f ii. Sei die Gleichung für m bewiesen und sei D n+k n = {X n+1 i,..., X n+k 1 i, X n+k = i}.

139 Beweis des Satzes D n+k n = {X n+1 i,..., X n+k 1 i, X n+k = i}.

140 Beweis des Satzes D n+k n = {X n+1 i,..., X n+k 1 i, X n+k = i}. P i (τ m+1 < ) = P i (τ m+1 τ m = k, τ m = n) = k k=1 n=1 P i (τ m+1 τ m = k τ m = n)p i (τ m = n) n

141 Beweis des Satzes D n+k n = {X n+1 i,..., X n+k 1 i, X n+k = i}. P i (τ m+1 < ) = = k = k = k = k = k=1 k=1 n=1 P i (τ m+1 τ m = k, τ m = n) P i (τ m+1 τ m = k τ m = n)p i (τ m = n) n n n P i (D n+k n X n = i, (X 0,...,X n 1 ) A mn )P i (τ m = n) P i (D n+k n X n = i)p i (τ m = n) P i (D0 k X 0 = i)p i (τ m = n) n f (k) ii P i (τ m < ) = fii (fii ) m.

142 Rekurrente und transiente Zustände Ein Zustand i heißt rekurrent, wenn P i (B i = ) = 1, andernfalls heißt i transient.

143 Rekurrente und transiente Zustände Ein Zustand i heißt rekurrent, wenn P i (B i = ) = 1, andernfalls heißt i transient. Eine Markow-Kette heißt rekurrent (transient), falls alle Zustände rekurrent (transient) sind.

144 Rekurrente Zustände Satz Ein Zustand i ist genau dann rekurrent, wenn f ii = 1 gilt.

145 Rekurrente Zustände Satz Ein Zustand i ist genau dann rekurrent, wenn f ii = 1 gilt. Notwendig und hinreichend dafür ist p ii =.

146 Beweis Nach dem vorigen Satz ist f ii = 1 notwendig und hinreichend für die Rekurrenz von i.

147 Beweis Nach dem vorigen Satz ist f ii = 1 notwendig und hinreichend für die Rekurrenz von i. In diesem Fall ist P i (B i = ) = 1 und damit auch p ii =.

148 Beweis Nach dem vorigen Satz ist f ii = 1 notwendig und hinreichend für die Rekurrenz von i. In diesem Fall ist P i (B i = ) = 1 und damit auch p ii =. Ist umgekehrt f ii < 1, so folgt P i (B i m) = m=1 (fii ) m <. m=1

149 Beweis Nach dem vorigen Satz ist f ii = 1 notwendig und hinreichend für die Rekurrenz von i. In diesem Fall ist P i (B i = ) = 1 und damit auch p ii =. Ist umgekehrt f ii < 1, so folgt P i (B i m) = m=1 (fii ) m <. m=1 Auf der linken Seite kommt P(B i = k) für m = 1,...,k vor. Damit ist sie die Erwartung p ii von B i und es ist p ii <.

150 Rekurrente Zustände Satz (a) Alle mit einem rekurrenten Zustand kommunizierenden Zustände sind rekurrent.

151 Rekurrente Zustände Satz (a) Alle mit einem rekurrenten Zustand kommunizierenden Zustände sind rekurrent. (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich.

152 Beweis (a) Alle mit einem rekurrenten Zustand kommunizierenden Zustände sind rekurrent.

153 Beweis (a) Alle mit einem rekurrenten Zustand kommunizierenden Zustände sind rekurrent. ist anschaulich klar. Für ein m und ein k gilt nach Voraussetzung p (m) ij > 0, p (k) ji > 0.

154 Beweis (a) Alle mit einem rekurrenten Zustand kommunizierenden Zustände sind rekurrent. ist anschaulich klar. Für ein m und ein k gilt nach Voraussetzung Aus p (m) ij p (k+n+m) jj > 0, p (k) ji > 0. p (k) ji p (n) ii p (m) ij folgt daher durch Summation bezüglich n p jj =.

155 Beweis (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich.

156 Beweis (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich. Wegen i j existiert ein m mit p (m) ij > 0.

157 Beweis (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich. Wegen i j existiert ein m mit p (m) ij > 0. Da i rekurrent, folgt 1 = P i ( n > m X n = i) = k I P i ( n > m X n = i, X m = k)) = P i (X m = k)p i ( n > m X n = i X m = k)) k I

158 Beweis (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich. Wegen i j existiert ein m mit p (m) ij > 0. Da i rekurrent, folgt 1 = P i ( n > m X n = i) = k I P i ( n > m X n = i, X m = k)) = k I P i (X m = k)p i ( n > m X n = i X m = k)) = k I p (m) ik P k( n > 0 X n = i) = p (m) ik f ki k I

159 Beweis (b) Ist i rekurrent, so gilt für alle j mit i j, dass f ji = 1. Insbesondere ist jeder rekurrente Zustand wesentlich. Wegen i j existiert ein m mit p (m) ij > 0. Da i rekurrent, folgt 1 = P i ( n > m X n = i) = k I P i ( n > m X n = i, X m = k)) = k I P i (X m = k)p i ( n > m X n = i X m = k)) = k I p (m) ik P k( n > 0 X n = i) = p (m) ik f ki k I Wegen k p(m) ik gelten. = 1 muss daher f ki = 1 für alle k mit p (m) ik > 0

160 Beispiel Wir betrachten die Irrfahrt auf. Seien Y 1, Y 2,... unabhängige Zufallsvariable mit P(Y i = 1) = p, P(Y i = 1) = 1 p = q.

161 Beispiel Wir betrachten die Irrfahrt auf. Seien Y 1, Y 2,... unabhängige Zufallsvariable mit P(Y i = 1) = p, P(Y i = 1) = 1 p = q. Für X n = Y Y n ist dann p (2n+1) 00 = 0 und p (2n) 00 = ( 2n n ) (pq) n.

162 Beispiel Wir betrachten die Irrfahrt auf. Seien Y 1, Y 2,... unabhängige Zufallsvariable mit P(Y i = 1) = p, P(Y i = 1) = 1 p = q. Für X n = Y Y n ist dann p (2n+1) 00 = 0 und p (2n) 00 = ( 2n n ) (pq) n. Mit der im Anhang angegebenen Stirling-Formel gilt n! τn n+1/2 e n und daher ( 2n n ) = (2n)! (n!) 2 τ(2n)2n+1/2 e 2n τ 2 n 2n+1 e 2n 22n n 1/2.

163 Beispiel ( 2n n ) = (2n)! (n!) 2 τ(2n)2n+1/2 e 2n τ 2 n 2n+1 e 2n 22n n 1/2.

164 Beispiel Also ( 2n n ) = (2n)! (n!) 2 τ(2n)2n+1/2 e 2n τ 2 n 2n+1 e 2n p (2n) 00 1 n (4pq) n. 22n n 1/2.

165 Beispiel Also ( 2n n ) = (2n)! (n!) 2 τ(2n)2n+1/2 e 2n τ 2 n 2n+1 e 2n p (2n) 00 1 n (4pq) n. 22n n 1/2. Die Markov-Kette ist daher rekurrent für p = q = 1/2, andernfalls ist sie transient.

166 10.4 Warteschlangen Seien 0, 1, 2,... Zeitpunkte, in denen eine Aufgabe erledigt wird.

167 10.4 Warteschlangen Seien 0, 1, 2,... Zeitpunkte, in denen eine Aufgabe erledigt wird. Zum Beispiel Bedienung eines Kunden in einem Geschäft, Bearbeitung eines Jobs durch eine Maschine.

168 10.4 Warteschlangen Seien 0, 1, 2,... Zeitpunkte, in denen eine Aufgabe erledigt wird. Zum Beispiel Bedienung eines Kunden in einem Geschäft, Bearbeitung eines Jobs durch eine Maschine. Zwischen den Zeitpunkten n und n+1 kommen Y n 0 neue Aufgaben an mit Y n unabhängig.

169 10.4 Warteschlangen Seien 0, 1, 2,... Zeitpunkte, in denen eine Aufgabe erledigt wird. Zum Beispiel Bedienung eines Kunden in einem Geschäft, Bearbeitung eines Jobs durch eine Maschine. Zwischen den Zeitpunkten n und n+1 kommen Y n 0 neue Aufgaben an mit Y n unabhängig. Die Länge der entstehenden Warteschlange ist damit rekursiv gegeben durch X n = max(0, X n 1 1)+Y n 1, X 0 = i 0. Markow-Eigenschaft ist klar.

170 Beweis der Markov-Eigenschaft X n = max(0, X n 1 1)+Y n 1, X 0 = i 0.

171 Beweis der Markov-Eigenschaft X n = max(0, X n 1 1)+Y n 1, X 0 = i 0. Beweis für i n > 0: P(X n+1 = i n+1,x n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1, X n = i n,...,x 0 = i 0 )

172 Beweis der Markov-Eigenschaft X n = max(0, X n 1 1)+Y n 1, X 0 = i 0. Beweis für i n > 0: P(X n+1 = i n+1,x n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1, X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1)P(X n = i n,...,x 0 = i 0 ),

173 Beweis der Markov-Eigenschaft X n = max(0, X n 1 1)+Y n 1, X 0 = i 0. Beweis für i n > 0: P(X n+1 = i n+1,x n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1, X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1)P(X n = i n,...,x 0 = i 0 ), also P(X n+1 = i n+1 X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1).

174 Beweis der Markov-Eigenschaft X n = max(0, X n 1 1)+Y n 1, X 0 = i 0. Beweis für i n > 0: P(X n+1 = i n+1,x n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1, X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1)P(X n = i n,...,x 0 = i 0 ), also P(X n+1 = i n+1 X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 i n + 1). Auf die gleiche Weise beweist man im Falle i n = 0 P(X n+1 = i n+1 X n = i n,...,x 0 = i 0 ) = P(Y n = i n+1 ).

175 Verteilung der Y n Seien nun die Zufallsvariable Y n unabhängig von n verteilt, P(Y n = k) = p k für k Æ 0.

176 Verteilung der Y n Seien nun die Zufallsvariable Y n unabhängig von n verteilt, P(Y n = k) = p k für k Æ 0. Für die praktische Durchführung wird man die Poisson-Verteilung nehmen, die aus dem Erwartungswert berechnet wird. Dies wird aber im folgenden nicht vorausgesetzt.

177 Verteilung der Y n Seien nun die Zufallsvariable Y n unabhängig von n verteilt, P(Y n = k) = p k für k Æ 0. Für die praktische Durchführung wird man die Poisson-Verteilung nehmen, die aus dem Erwartungswert berechnet wird. Dies wird aber im folgenden nicht vorausgesetzt. Wir verwenden die erzeugenden Funktionen g(z) = p k z k, f ij (z) = k=0 n=1 f (n) ij z n.

178 Die grundlegende Funktionalgleichung Satz Für die Warteschlange X n gilt (a) (b) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, f 00 (z) = z g(f 00 (z)).

179 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1. Gleichgültig, ob man mit X 0 = 0 oder X 0 = 1 startet, gilt X 1 = Y 1.

180 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1. Gleichgültig, ob man mit X 0 = 0 oder X 0 = 1 startet, gilt X 1 = Y 1. Daher ist f (n) 00 = f (n) 10. (a) gilt daher für k = 1.

181 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, Sei nun k 2. Geht ein Weg von k nach 0, so wird er zu einem Zeitpunkt m mit 1 m n 1 zum ersten Mal k 1 erreichen.

182 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, Sei nun k 2. Geht ein Weg von k nach 0, so wird er zu einem Zeitpunkt m mit 1 m n 1 zum ersten Mal k 1 erreichen. Für diese Wege gilt P k (X 1 k,...,x m 1 k, X m = k 1, X m+1 > 0,...,X n 1 > 0, X n = 0) = f (m) k,k 1 f (n m) k 1,0. Daher f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1.

183 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1.

184 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. Die folgenden Wahrscheinlichkeiten sind gleich: Ein Weg geht von k aus und erreicht in genau m Schritten zum ersten Mal k 1.

185 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. Die folgenden Wahrscheinlichkeiten sind gleich: Ein Weg geht von k aus und erreicht in genau m Schritten zum ersten Mal k 1. Ein Weg geht von 1 aus und erreicht in genau m Schritten zum ersten Mal 0.

186 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. Die folgenden Wahrscheinlichkeiten sind gleich: Ein Weg geht von k aus und erreicht in genau m Schritten zum ersten Mal k 1. Ein Weg geht von 1 aus und erreicht in genau m Schritten zum ersten Mal 0. Daher gilt f (m) k,k 1 = f (m) 10.

187 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, Damit folgt f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. f (m) k,k 1 = f (m) 10. f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) 10.

188 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, Damit folgt f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. f (m) k,k 1 = f (m) 10. f (n) n 1 k0 = Das ist gleichbedeutend mit m=1 f (n m) k 1,0 f (m) 10. f k0 (z) = f k 1,0 (z)f 10 (z).

189 Beweis (a) (a) f k0 (z) = (f 10 (z)) k = (f 00 (z)) k, k 1, Damit folgt f (n) n 1 k0 = m=1 f (n m) k 1,0 f (m) k,k 1. f (m) k,k 1 = f (m) 10. f (n) n 1 k0 = Das ist gleichbedeutend mit m=1 f (n m) k 1,0 f (m) 10. f k0 (z) = f k 1,0 (z)f 10 (z). Die Behauptung folgt daher mit vollständiger Induktion.

190 Beweis (b) (b) f 00 (z) = z g(f 00 (z)).

191 Beweis (b) (b) f 00 (z) = z g(f 00 (z)). Es gilt f (1) 00 = p 0 und für n 2 f (n) 00 = P 0 (X 1 = k, X 2 > 0,...,X n 1 > 0, X n = 0) = k=1 k=1 p k f (n 1) k0.

192 Beweis (b) (b) f 00 (z) = z g(f 00 (z)). Es gilt f (1) 00 = p 0 und für n 2 f (n) 00 = Damit P 0 (X 1 = k, X 2 > 0,...,X n 1 > 0, X n = 0) = k=1 f 00 (z) = p 0 z + n=2 k=1 p k f (n 1) k0 z n = p 0 z + z k=1 p k f k0 (z) k=1 p k f (n 1) k0.

193 Beweis (b) (b) f 00 (z) = z g(f 00 (z)). Es gilt f (1) 00 = p 0 und für n 2 f (n) 00 = Damit P 0 (X 1 = k, X 2 > 0,...,X n 1 > 0, X n = 0) = k=1 f 00 (z) = p 0 z + = p 0 z + z n=2 k=1 p k f (n 1) k0 z n = p 0 z + z p k (f 00 (z)) k = zg(f 00 (z)). k=1 k=1 p k f k0 (z) k=1 p k f (n 1) k0.

194 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus.

195 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y).

196 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y). g(0) = p 0 > 0, g, g streng monoton steigend.

197 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y). g(0) = p 0 > 0, g, g streng monoton steigend. Ist g (1) 1, so gilt g(y) > y im Intervall [0, 1).

198 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y). g(0) = p 0 > 0, g, g streng monoton steigend. Ist g (1) 1, so gilt g(y) > y im Intervall [0, 1). Die Fixpunktgleichung besitzt nur die Lösung y = f00 = 1. Die Warteschlange ist in diesem Fall rekurrent.

199 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y). g(0) = p 0 > 0, g, g streng monoton steigend. Ist g (1) 1, so gilt g(y) > y im Intervall [0, 1). Die Fixpunktgleichung besitzt nur die Lösung y = f00 = 1. Die Warteschlange ist in diesem Fall rekurrent. Im Falle g (1) > 1 schneidet der Graph von g die Gerade h(y) = y in genau einem Punkt y mit 0 < y < 1.

200 Rückkehrwahrscheinlichkeit Untersuchen die möglichen Werte der Rückkehrwahrscheinlichkeit f 00 = f 00(1) und setzen dazu 0 < p 0 < 1 voraus. Nach dem letzten Satz (b) ist f 00 (1) die Lösung der Fixpunktgleichung y = g(y). g(0) = p 0 > 0, g, g streng monoton steigend. Ist g (1) 1, so gilt g(y) > y im Intervall [0, 1). Die Fixpunktgleichung besitzt nur die Lösung y = f00 = 1. Die Warteschlange ist in diesem Fall rekurrent. Im Falle g (1) > 1 schneidet der Graph von g die Gerade h(y) = y in genau einem Punkt y mit 0 < y < 1. Da g (1) = EY 1 die erwartete Zahl von Aufgaben pro Zeiteinheit ist, wird f00 die kleinere Lösung sein, was die Warteschlange transient macht.

201 Dauer der Rückkehr Im Falle g (1) 1 untersuchen wir d 00 = n nf (n) 00 = f 00(1 ), das ist die erwartete Dauer der Rückkehr der Schlange nach 0.

202 Dauer der Rückkehr Im Falle g (1) 1 untersuchen wir d 00 = n nf (n) 00 = f 00(1 ), das ist die erwartete Dauer der Rückkehr der Schlange nach 0. Aus der Kettenregel folgt f 00(z) = g(f 00 (z))+zg (f 00 (z))f 00(z),

203 Dauer der Rückkehr Im Falle g (1) 1 untersuchen wir d 00 = n nf (n) 00 = f 00(1 ), das ist die erwartete Dauer der Rückkehr der Schlange nach 0. Aus der Kettenregel folgt f 00(z) = g(f 00 (z))+zg (f 00 (z))f 00(z), daher { g(f 00 (z)) falls g d 00 = lim z 1 1 zg (f 00 (z)) = (1) = 1 < falls g (1) < 1.

204 10.5 Anhang: Die Stirlingsche Formel Zur Approximation von n! verwenden wir die Näherung von Stirling η n = 2πn ( n) n. e

205 10.5 Anhang: Die Stirlingsche Formel Zur Approximation von n! verwenden wir die Näherung von Stirling Es gilt dann η n = 2πn ( n) n. e n! lim = 1. n η n

206 10.5 Anhang: Die Stirlingsche Formel Zur Approximation von n! verwenden wir die Näherung von Stirling Es gilt dann η n = 2πn ( n) n. e n! lim = 1. n η n Da in unseren Anwendungen der genaue Vorfaktor 2π unbedeutend ist, beweisen wir: Es gibt eine Konstante τ mit n! τ = lim n n n+1/2 e n.

207 Beweis ln n! = ln 1+ln ln n.

208 Beweis ln n! = ln 1+ln ln n. Es gilt k+1/2 k 1/2 ln x dx ln k k+1 k ln x dx.

209 Beweis ln n! = ln 1+ln ln n. Es gilt Also k+1/2 k 1/2 n+1/2 1/2 ln x dx ln k ln x dx ln n! k+1 k n+1 1 ln x dx. ln x dx.

210 Beweis Es gilt Also k+1/2 k 1/2 n+1/2 1/2 ln n! = ln 1+ln ln n. ln x dx ln k ln x dx ln n! k+1 k n+1 1 ln x dx. ln x dx. Mit der Stammfunktion x ln x x von ln x folgt hieraus ( 1) ( 1) 1 n+ ln n+ n ln 1 ln n! (n+1) ln(n+1) n. 2

211 Beweis ( 1) ( 1) 1 n+ ln n+ n ln 1 ln n! (n+1) ln(n+1) n. 2 d n = ln n! ( n+ 1 2) ln n+n sind nach unten durch die positive Konstante (1/2) ln(1/2) beschränkt.

212 Beweis ( 1) ( 1) 1 n+ ln n+ n ln 1 ln n! (n+1) ln(n+1) n. 2 d n = ln n! ( n+ 1 2) ln n+n sind nach unten durch die positive Konstante (1/2) ln(1/2) beschränkt. Ferner gilt d n d n+1 = ln n! ln(n+1)! ( n+ 1 2 ) ( 3) ln n+ n+ ln(n+1) 1 2