Ausarbeitung. Seminar: Stochastische Modelle in Naturwissenschaft und Technik. Thema: Markowsche Ketten. Humboldt-Universität zu Berlin

Transkript

1 Ausarbeitung Seminar: Stochastische Modelle in Naturwissenschaft und Technik Thema: Markowsche Ketten Humboldt-Universität zu Berlin Hermann Schwarz

2 Inhaltsverzeichnis Motivation Kurze Wiederholung: Unabhängige Ereignisse Definition einer Markowschen Kette Irrfahrt eines Teilchens Stochastische Matrizen Beispiel einer stochastischen Matrix Stochastische Matrix der Irrfahrt mit Reflektion Klassifizierung der Zustände einer Markowschen Kette (Un)wesentliche, (nicht) kommutierende, (ir)reduzible Zustände Rekurrente und transiente Zustände Irrfahrt eines Teilchens als eine rekurrente oder transiente Markowsche Kette Warteschlangenmodell Anwendung in der Biologie i

3 Abbildungsverzeichnis ii

4 Kapitel Motivation Warum ist es interessant, sich mit Markowschen Ketten zu beschäftigen? Markov-Ketten werden unter anderem für Analyse oder sogar Prognose der künftigen Entwicklungen z.b. auf den (Produkt)märkten benutzt. So kann man z.b. mit Hilfe von Modellen, die auf Markowsche Ketten basieren, die Auswirkungen verschiedener Marketingmassnahmen auf die Produktwahl der Konsumenten untersuchen, um eine optimale Marketingstrategie zu entwickeln. Mittels der Markov-Ketten können auch Absatzprognosen oder Angaben zur Beeinflussung der Markentreue von Konsumenten gemacht werden. Oder aber auch Warteschlangenzeiten können beschrieben werden. Oder auch in der Biologie finden Markowsche Ketten eine Anwendung, da bei der Modellierung biologischer Vorgä viele Mechanismen unbekannt und zu komplex sind, um sie deterministisch zu modellieren. 1

5 Kapitel Kurze Wiederholung: Unabhängige Ereignisse Man spricht von der Unabhängigkeit zweier Ereignisse, wenn sich die Ereignisse gegenseitig nicht beeinflussen. Für eine mehr formale Definition brauchen wir den Begriff der bedingetn Wahrscheinlichkeit: Seien 2 Mengen A und B gegeben. Der Anteil der Menge A in der Menge B heisst bedingte Wahrscheinlichkeit von A unter der Bedingung B. P (A B) Zwei Ereignisse heißen unabhängig, wenn gilt: P (A, B) = P (A) P (B) Bayessche Formel P (A B) = P (A) P (B A) = P (B) 2

6 Kapitel Definition einer Markowschen Kette Woher kommt eigentlich die Bezeichnung Markowsche Ketten? Andrej A. Markov ( ), ein russischer Mathematiker,hat sich mit einem seiner Schüler als erster mit der Art der stochastischen Kettenprozessen befasst, die später als Markowsche Ketten bekannt wurden. Die Markowsche Prozesse gehören zu den Haupttypen stochastischer Prozesse. Zur Begrifflichkeit: Ein stochastischer Prozess ist eine Folge von Zufallsvariablen und sie beschreiben die zeitliche Entwicklung eines zufallsabhägigen Systems. Die Bezeichnung Kette wird verwendet, wenn die Zeit diskret ist. Was kann man sich unter einer Markowschen Kette vorstellen? Stellen wir uns vor, dass eine Folge von Versuchen oder Experimenten ausgeführt wird, wobei in jedem Versuch die Menge der möglichen Ausgänge (der sogenannte Raum der Elementarereignisse) {E 1,..., E k,..., E s } endlich oder abzählbar ist. Mit X n bezeichnen wir die Nummer des Ausganges des n-ten Versuches. Wenn also der Ausgang des n-ten Versuches E k ist, dann ist X n = k. Außerdem wird es vorausgesetzt, dass die durchgeführte Versuchsfolge unendlich ist. So eine Folge von Versuchen, die übrigens direkte Verallgemeinerung des Modells der Bernoulli-Versuche ist, bildet eine Markowsche Kette, falls die Wahrscheinlichkeit für das Eintreten des Ereignisses E i (i = 1, 2,...k) im (n + 1) - ten Versuch (n N) nur davon abhängt, welches Ereignis im n-ten Versuch eingetreten ist und unverändert bleibt, wenn man die Ereignisse der früheren Versuche kennt. Um eine exakte Definition einer Markowschen Kette zu geben [1], betrachten wir eine Folge von Zufallsgrössen 3

7 4 {X i } i=1 (n N). Wenn nun im i-ten Versuch das k-te Ereignis E k X i = k. eintritt, so setzten wir Die Folge {X i } i=1 bildet eine Markowsche Kette, falls Die Wahrscheinlichkeit für das Eintreten des k-ten Ereignisses im i-ten Versuch, wobei alle vorherige Ausgänge der Versuche bekannt sind, nicht nicht davon abhängt, welche Ereignisse in den Versuchen 0 bis i-2 eintraten: P (X i = k X 1 = k 1, X 2 = k 2,..., X i 2 = k i 2, X i 1 = k i 1 ) = P (X i = k X i 1 = k i 1 ) p (i) k i 1 k Diese Eigenschaft bezeichnet man als Markowsche und sie lässt sich auch in der Sprache der bedingten Wahrscheinlichkeiten schreiben: P (X i = k X 1,..., X i 1 ) = P (X i = k X i 1 ) Häufig wird aber auch eine andere Terminologie zur Darstellung der Markowschen Ketten gebraucht [2]: man kann sich eine Markowsche Kette als einen Zustandsautomaten oder als ein physikalisches System mit Zuständen {E 1,..., E k,..., E s } und zufälligen Zustandsübergängen vorstellen. Dabei wird eine gewisse Anfangsverteilung der Zufallsgrösse X 1 vorgegeben: (also die Verteilung der Nummer des Ergebnisses des 1. Versuches ) P (X 1 = k) = p (1) k, wobei s k=1 p 1 k = 1 bei s Zuständen. Die Zustandsübergänge geschähen dann in ganzzahligen Zeitpunkten. Wichtig ist, dass die Wahrscheinlichkeit, zum Zeitpunkt i den Zustand E k zu erreichen nur davon abhängt, in welchem Zustand sich das System zum Zeitpunkt (i 1) befand, und diese Wahrscheinlichkeit ändert sich nicht, wenn man die Zustände in noch früheren Zeitpunkten kennt.

8 Kapitel Irrfahrt eines Teilchens Bsp.1 Das bekannteste Beispiel für so ein System ist die sogenannte Irrfahrt eines Teilchens [2] 1. Ein Teichen, dass sich auf einer Geraden befindet, kann sich unter Einfluss zufälliger Stöße entlang dieser Geraden bewegen. 2. Die Bewegungen erfolgen nur zu ganzzahligen Zeitpunkten (um nur eine Maßeinheit) und das Teilchen kann sich nur in ganzzahligen Koordinaten befinden. 3. In den Punkten l und r befinden sich Wände, die einen möglichen Aufprall des Teilchens reflektieren, d.h. wenn sich das Teichen in l oder r befindet, so wird das Teichen im nächsten Zeitpunkt mit Wahrscheinlichkeit p = 1 ins Innere des Raumes gestoßen. 4. Wenn sich das Teilchen nicht an einer Wand befindet, dann kann es mit dem nächsten Stoß mit Wahrscheinlichkeit p nach rechts und mit Wahrscheinlichkeit q = 1 p nach links verschoben werden. Das beschriebene System bezeichnet man als eine Irrfahrt mit Reflextion. Man kann dieses System zu einer sogenannten Irrfahrt mit Absorbtion umwandeln, indem man die Wahrscheinlichkeit für einen Stoß ins Innere des Raums, wenn sich das Teilchen an einer Wand befindet, gleich Null setzt (p = 0, q = 0). Also bleibt das Teilchen in den nächsten Schritten mit Wahrscheinlichkeit 1 an einer der Wände. Nach diesem Beispiel ist es leicht zu sehen, dass sich dieses Modell auf eine 5

9 beliebige Teilmenge der reellen Achse R 1 oder des R n erweitern lässt. 6

10 Kapitel Stochastische Matrizen Im Folgenden werden wir nur homogene Markowsche Ketten betrachten. Eine Markowsche Kette heißt homogen, falls die Wahrscheinlichkeiten p (i) k i 1 k nicht von i, also nicht von der Nummer des Versuchs abhängen. Deswegen werde ich den oberen Index nicht mehr verwenden. Mann kann diese Wahrscheinlichkeiten in Form einer sxs-matrix aubschreiben (wobei s die Anzahl der möglichen Zustände oder Ausgänge der Versuche ist: P= p 11 p 1s p s1 p ss p mn 0, s n=1 p mn = 1, für ein m mit 1 m s denn das System mit einer Wahrscheinlichkeit 1 aus dem Zustand E m in einen der Zustände E 1,, E m wechselt. Diese Matrizen geben ein vollständiges wahrscheinlichkeitstheoretisches Bild der möglichen Änderungen der Zustände oder der Versuchsergebnisse bei 2 unmittelbar hintereinander folgenden Versuchen. Deswegen kann man diese Matrizen auch als Übergangsmatrizen bezeichnen. 7

11 Beispiel einer stochastischen Matrix Bsp.2 Sei ein System mit 4 Zuständen (Versuchsergebnissen) gegeben: E 1,, E 4 und die Übergangswahrscheinlichkeiten sind durch die stochastische Übergangsmatrix gegeben: P= p 11 p 14 p 41 p 44 = 0, 5 0 0, 25 0, 25 0, 25 0, 25 0, 25 0, 25 0, , Wenn sich das System im 1. Zustand befindet, dann bleibt es mit Wahrscheinlichkeit 0, 5 im selben Zustand, oder wechselt mit der jeweiligen Wahrscheinlichkeit 0,25 in die Zustände 3 oder Wenn das System im 2. Zustand war, so wird es entweder im 2. Zustand bleiben oder in die restlichen Zustände wechseln, alles mit gleicher Wahrscheinlichkeit (gleichverteilt). 3. Falls sich das System im 3. Zustand befand, so wird es weder im selben Zustand bleiben, noch in den 2. Zustand wechseln. Es wechselt entweder in den 1. oder 4. Zustand gleichverteilt. 4. Im 4. Zustand bleibt das System sicher stecken. Die obere Übergangsmatrix kann man auch in Form eines Übergangsgraphen darstellen : Abb.

12 Stochastische Matrix der Irrfahrt mit Reflektion Die Irrfahrt mit Reflektion kann man mit Hilfe einer stochastischen Übergangsmatrix folgendermassen beschreiben [2]: wenn die linke Wand im Punkt l und rechte im Punkt r liegen, so hat das System n := (r l) + 1 mögliche Zustände, wobei die Wahrscheinlichkeiten der Übergänge durch folgende Übergangsmatrix beschrieben werden: I = q 0 p q 0 p q 0 p Wenn sich das System im ersten oder letzten Zustand befindet, also wenn das Teilchen an der linken oder rechten Wand sich befindet, so wechselt es in den Nachbarzustand mit Wahrscheinlichkeit 1 (das Teilchen wird also reflektiert). Wenn sich das System im Zustand 2 i n 1 befindet, so wechselt es entweder mit der Wahrscheinlichkeit p in den nächsthöheren oder mit der Wahrscheinlichkeit q in den nächstniedrigeren Zustand (das Teilchen geht also entweder nach rechts oder links)

13 Kapitel Klassifizierung der Zustände einer Markowschen Kette Ich möchte euch mit einiegen Begriffen bekanntmachen, die zwar eng mit den Markowschen Ketten verbunden sind, aber zum ersten Mal in diesem Zusammenhang von Kolmogorow verwendet wurden (Un)wesentliche, (nicht) kommutierende, (ir)reduzible Zustände Wenn es für existierende Zustände E k, E l ein i N existiert, s.d. p kl (i) > 0 (also wenn es möglich ist zu irgendeinem Zeitpunkt aus dem Zustand E k in den Zustand E l zu wechselln) und wenn j N p lk (j) = 0 gilt (also wenn es jedoch unmöglich ist, aus dem Zustand E l wieder in den Zustand E k zurückzukommen), so heisst der Zustand E k unwesentlich. Anderenfalls heisst der Zustand E k wesentlich. [2], [1] Im Bsp. 2 sind die Zustände E 1, E 2 und E 3 unwesentlich. Erläuterung: z.b. E 1 ist unwesentlich, weil man aus E 1 zu E 4 wechselln kann (mit P = 0, 25 ), aber aus E 4 zu E 1 nicht. Jeweils zwei wesentliche Zustände kann man in kommutierende und nicht kommutierende unterteilen. Kommutierend heissen zwei Zustände E k, E l, falls i, j N existieren, s.d. p kl (i) > 0 und p lk (j) > 0, d.h. falls zu irgendwelchen Zeitpunkten sowohl der Wechsel von E k zu E l als auch zurück möglich ist. 10

14 Z.B. bei folgender stochastischen Übergangsmatrix: sind alle drei Zustände wesentlich, E 1 E 2 und E 2 E 3 sind jeweils kommutierend. E 1 E 3 sind aber nicht kommutierend. Wenn man sich die stochastische Matrix für die Irrfahrt mit Reflektion anguckt, sieht man, dass alle Zustände wesentlich und paarweise mit den nachbarn kommutierend sind. Die kommutierenden Zustände unterteilt man in disjunkte Klassen: in S E0 befinden sich die Zustände, die mit E 0 kommutieren, d.h. E 1 S E0, folglich S E1 = S E0, da die beiden Klassen nicht disjunkt sind. In diesem Beispiel sind alle Zustände in einer Klasse kommutierender Zustände untergebracht. Eine Markowsche Kette, die aus nur einer solchen Klasse wesentlicher kommutierender Zustände besteht heisst irreduzibel. Anderenfalls, also beim Vorhandensein von mehreren solchen Klassen spricht man von reduziblen Markowschen Ketten. Wenn so eine Klasse wesentlicher kommutierender Zustände nur einen Zustand enthält, dann bezeichnet man ihn absorbierend (er kommutiert sozusagen mit sich selbst). 11

15 Rekurrente und transiente Zustände Für eine weitere klassifizierung der Zustände einer Markowschen Kette brauchen wir folgende bezeichnung: r k (i) = P (X i = k, X i 1 k,, X 2 k X 1 = k) R k = i=1 r k (i) r k (i) ist also die Wahrscheinlichkeit eines wiederholten Erreichens des Zustandes E k nach i Schritten und R k ist die Wahrscheinlichkeit eines wiederholten Erreichens des Zustandes E k zu irgendeinem Zeitpunkt. Ein Zustand E k heisst nun rekurrent, falls R k = 1, also wenn das System sicher zu irgendeinem Zeitpunkt in den Zustand E k zurückkehren wird, und er heisst transient, falls R k < 1 [1] Wenn wir wieder das Bsp. der Irrfahrt mit Reflektion nehmen, so gilt folgendes für die Zustände l + 2 k r 2 : r k (2) = p q + q p (Wahrscheinlichkeit fürs Zurückkehren in den Zustand k nach 2 Schritten.) Wahrscheinlichkeit, in den Zustand E k irgendwann mal zurückzukehren: R k = i=2 r k (i) = r k (2) + r k (4) + r k (6) + (da das Wiederkehren nur nach einer geraden Anzahl von Schritten möglich ist.)

16 Irrfahrt eines Teilchens als eine rekurrente oder transiente Markowsche Kette Nun kann man sich die Frage stellen, ob die Irrfahrt eines Teilchens eine rekurrente oder transiente Markowsche Kette darstellt. Die Antwort liefert folgender Satz [1]: Die Irrfahrt eines Teilchens ist eine rekurrente Markowsche Kette p = q = 1/2 Beim Beweis benutzt man einen weiteren Satz: E k ist rekurrent n=1 p kk (n) = (Wahrscheinlichkeit, in den Zustand E k nach n Schritten zurückzukehren) Wobei n=1 p kk (n) R k, da p kk r k (n) Man untersucht das Konvergenzverhalten der Reihe n=1 p kk (n) (für den Zustand E k, man kann aber jeden beliebigen Zustand nehmen). Da das Zurückkehren nur nach einer geraden Anzahl von Schritten möglich ist, reicht es die Reihe n=1 p kk (2n) zu untersuchen. Wir nutzen hier aus, dass die Position des Teilchens nach 2n Schritten wie 1 πn (4pq) n verteilt ist p kk (2n) = 1 πn (4pq) n (4pq) hat Maximum in p = 1 mit dem Wert 1. 2 In allen anderen Punkten ist dieser Term < 1 Daraus folgt: für p = 1 2 gilt n=1 p kk (2n) = und für andere p s: n=1 p kk (2n) < Somit ist die Irrfahrt eines Teilchens eine rekurrente Markowsche Kette p = 1 2 und anderenfalls ist die Irrfahrt eines Teilchens eine transiente Markowsche Kette.

17 Kapitel Warteschlangenmodell Wir werden bei diesem Beispiel [?] die Bayessche Formel benutzen: P (A B = P (A,B) ) P (B) Seien 0, 1, 2, die Zeitpunkte, an denen ein Skilift, der pro Zeiteinheit eine Person befördern kann, abfährt. Zwischen den Zeitpunkten n und n + 1 kommen Y n neue Skifahrer an. Die Y n seien unabhängig. Die Länge der Warteschlange unmittelbar vor der Abfahrt zum Zeitpunkt n: X n bestimmt sich rekursiv: X n = max(0, X n 1 1) + Y n 1 X 0 = i 0 sei eine bekannte Zahl, z.b. X 0 = 0 (also am Anfang steht keiner in der Warteschlange) X 1 wäre dann 0 + Y 0 usw. Warum ist nun dieses Modell eine Markowsche Kette? Da Y n unabhängig von Y 0,, Y n 1 ist Y n unabhängig von X 0,, X n, denn die X 0,, X n sind Funktionen von Y 0,, Y n 1 Da die Warteschlange zum Zeitpunkt n entweder 0 oder 1 sein kann, betrachten wir 2 Fälle: Die Länge der Schlange X n = i n 1 : X n+1 = X n 1 + Y n (*) (Die Länge der Schlange zum Zeitpunkt n + 1 ) P (X n+1 = i n+1, X n = i n, X n 1 = i n 1, ) 14

18 15 (*) = P (Y n = i n+1 i n + 1, X n = i n, X n 1 = i n 1, ) (wegen Unabhängigkeit)= P (Y n = i n+1 i n +1) P (X n = i n, X n 1 = i n 1, ) n. Bayessche Formel: P (X n+1 = i n+1 X n = i n, X n 1 = i n 1, ) = P (Y n = i n+1 i n + 1) Fall X n = i n = 0 : X n+1 = 0 + Y n P (X n+1 = i n+1 X n = i n, X n 1 = i n 1, ) = P (Y n = i n+1 ) Die bedingten Wahrscheinlichkeiten sind also unabhängig von i 0,, i n 1 [2]

19 Kapitel Anwendung in der Biologie Eine Anwendung von Markowschen Ketten gibt es auch in der Pflanenzüchtung [3]. Es sein ein Pflanzengen gegeben, der die Allele A und a besitzt. Man möchte durch Zuchttechnik möglichst reinrassige (homozygote, zwei gleichen Allele) Ergebnisse, erzeugen. Es hat sich in der Botanik eine Methode bewährt, die dieses Ziel erreicht, nämlich die Methode der Selbstbefruchtung (Kreuzung der Pflanzen mit sich selbst). Mit Hilfe der Eigenschaften einer Markowschen Kette kann man zeigen, warum diese Mathode gut funktioniert. Sei (X n ) n>=0 eine Markowsche Kette mit Zustandsraum E = {AA, Aa, aa} und der Übergangsmatrix M = Die Übergangsmatrix ist so zu interpretieren: Eine homozygote Pflanze bleibt homozygot, denn die Zustände AA und aa sind absorbierende Zustände. Allerdings sind die Chancen der heterozygoten Genotypen heterozygot zu bleiben = 1, und für einen Wechsel zu einem der beiden homozygoten Fälle 2 AA oder aa beträgt sie je 1. Mit Hilfe von Mathematica oder auch auf Papier 4 kann nun die Wahrscheinlichkeit dafür berechnet werden, dass wenn man am Anfang eine heterozygote Pflanze nimmt und mit ihr mehrmals hintereinander die Methode der Selbstkreuzug durchführt, wieder ein heterozygoten Genotyp entsteht P (X n = Aa) = M n 16

20 Literaturverzeichnis [1] Georgii, H. O.: Stochastik. Einführung in Wahrscheinlichkeitstheorie und Stochastik. 2. Gruyter, August 2004 [2] Gnedenko, B. W.: Lehrbuch der Wahrscheinlichkeitsrechnung. 5. Akademie Verlag, Berlin, 1968 [3] Wiebke, Trost: Aspekte der mathematischen Modellierung in der Biologie. (2005) 17