Lösungen zu Übungen (I) Markov-Prozesse

Transkript

1 Lösungen zu Übungen (I) Markov-Prozesse Sommersemester 25 W. Huisinga, E. Meerbach Aufgabe 1 Betrachte einen homogenenen Markovprozess {X(t) : t } auf einem abzählbaren Zustandsraum S mit rechtsstetigen Pfaden und Übergangsfunktion p(t, x, y) [X(t) y X() x. Zeige, daß gilt a) p(t,x,x) > für alle t, b) p(t,x,y) > für ein t > p(t,x,y) > für alle t >. Bemerkung: Mit dem oben gezeigten wird der Begriff der Periode für zeitstetige Markovprozesse offensichtlich hinfällig. Lösung: a) Aus den Voraussetzung folgt, daß {X(t) : t } ein Markov Sprung Prozess ist. Damit ist die Aufenthaltszeit im Zustand x S exponentialverteilt zu einem Parameter λ(x) und aus der Rechtsstetigkeit folgt λ(x) <. Somit gilt p(t,x,x) x[x(t) x x [X(s) x, s t x[τ t exp( λ(x)t) >. b) Die Richtung ist trivial, also sei p(t,x,y) > für ein t >, damit ist < p(t,x,y) x [τ < t (1 exp( λ(x)t)) λ(x) >,p(x,y) >. Daraus folgt p(s,x,y) x[τ < s,x(t 1 ) y,τ 1 > s (1 exp( λ(x)s))p(x,y)exp( λ(y)s) > s >. Aufgabe 2 Es seien S und T zwei unabhängige exponential-verteilte Zufallsvariablen mit den Parametern λ und µ. a) Was ist die Verteilung von min(s,t)?

2 b) Was ist die Wahrscheinlichkeit für {S T } c) Zeige, dass die Ereignisse {S T } und {min(s,t) t} unabhängig voneinander sind. Bemerkung: Zwei Ereignisse A, B sind dann voneinander unabhängig, wenn [A B [A [B. Lösung: a) Aus der Unabhängigkeit von S und T folgt [min(s,t) > t [S > t [T > t exp( λt)exp( µt) exp( (λ+µ)t). Also ist min(s, T) ebenfalls exponentialverteilt zum Parameter λ + µ. b) Unter Beachtung der Unabhängigkeit von S und T ergibt sich [S T λ λ λ + µ. c) Definiere M min(s,t), dann ist [M t,s T λ t t [T S S td [S t [T S S tλexp( λt)dt [T tλ exp( λt)dt exp( (λ + µ)t)dt [M t,t S S ud [S u [M t,t S S uλexp( λu)du [T uλ exp( λu)du exp( (λ + µ)u)du λ exp( (λ + µ)t) λ + µ [M t [S T. Man mache sich klar, dass [M t,t S S u [T u, wenn u t.

3 Aufgabe 3 Es seien S,S 1,... unabhängige exponential-verteilte Zufallsvariablen mit den Parametern λ,λ 1,... a) Zeige, dass λ k S k exponential-verteilt zum Parameter 1 ist. b) Benutze das starke Gesetz der großen Zahl um zu zeigen, dass [ S k 1. Zeige dabei zuerst denn Spezialfall 1 λ λ 1... und benutze im allgemeinen Fall die zusätzliche Bedingung sup k {λ k } <. Ist diese Zusatzbedingung unabdingbar? Lösung: a) [λ k S k > t [S k > t λ k exp( (λ k ) t λ k ) exp( t). b) Das starke Gesetz der großen Zahl besagt, dass für eine unabhänigige und identisch verteilte Folge von Zufallsvariablen X,X 1,X 2,... mit [ X k < k gilt: 1 n [ lim X k [X 1, n n + 1 (fast sichere Konvergenz). Nun sei 1 λ λ 1... angenommen, dann gilt dass [ 1 n lim S k 1 1 n n + 1 [ 1 n lim S k 1 1 n n + 1 [ n S k 1. lim n Dabei wurde ausgenutzt, dass aus der fast sicheren Konvergenz die Konvergenz in Wahrscheinlichkeit folgt. Im Allgemeinen Fall setze λ : supλ k <. Dann ist λ S k λ k S k und S k λ S k.

4 Da nach a) λ k S k exponentialverteilt zum Parameter 1 ist folgt die Behauptung. Aufgabe 4 (Repairmen-Problem) Für n Maschinen stehen k < n MechanikerInnnen zur Verfügung. Fällt eine Maschine aus, so wird die Reparatur von einem der noch freien MechanikerInnen übernommen oder bis zum Freiwerden eines Mechanikers zurückgestellt. Die Zeit, die eine Maschine störungsfrei arbeitet, sei λ-exponentialverteilt; die Reparaturzeit einer Maschine sei µ-exponentialverteilt. Die einzelnen Zeiten seien jeweils unabhängig. Der Prozess {X(t) : t } auf dem Zustandsraum S {,...,n} gebe die Anzahl der ausgefallenen Maschinen zu den Zeiten t wieder. a) Bestimme die Aufenthaltsrate (jump rate) für einen Zustand x S. b) Bestimme die Übergangswahrscheinlichkeit von x nach y (genauer: die Übergangsmatrix der eingebetteten Markovkette). c) Warum ist {X(t) : t } ein Markov Prozess? Bemerkung: Benutze zur Lösung der Aufgabe die Ergebnisse aus Aufgabe 2. Lösung: a) Im Zustand x sind x Maschinen ausgefallen. Dieser Zustand wird verlassen, wenn eine weitere Maschine ausfällt oder wenn eine ausgefallene Maschine repariert wurde. Also ergibt sich die Aufenthaltszeit im Zustand x als T min{r 1,...,R min{x,k},a,a 1,...,A n x 1 }, wobei die Reparaturzeiten R i (die Ausfallzeiten A i ) exponentialverteilt zum Parameter µ (λ) sind. Nach Aufgabe 2 ist T also exponentialverteilt zum Parameter (n x)λ + min{x,k}µ, welches der Aufenthaltsrate im Zustand x entspricht. b) Der Zustand x geht nach x + 1 über, wenn T R min{r 1,...,R min{x,k} } > min{a,a 1,...,A n x 1 } T A. Dabei ist T R, bzw. T A, exponentialverteilt zum Parameter min{x,k}µ, bzw. (n x)λ. Somit ist Aufgabe 2 k(x,x + 1) (n x)λ (n x)λ + min{x,k}µ,

5 und entsprechend k(x,x 1) 1 k(x,x + 1) min{x, k}µ (n x)λ + min{x,k}µ. c) Nach Aufgabe 2 sind die Übergangswahrscheinlichkeiten der eingebetteten Markovkette und die (exponentialverteilten) Aufenthaltsraten voneinander unabhängig und definieren somit direkt einen Markovsprungprozess. Aufgabe 5 Betrachte den uniformen Markov Sprung Prozess auf S, 1 mit Übergangsmatrix ( ) 1 α α, α,β,1[, β 1 β und Intensiät λ >. a) Wie sieht die Übergangshalbgruppe {P(t) : t } aus? b) Welche Form hat der Generator? c) Es sei X(). Bestimme die gemeinsame Verteilung von (τ 1,τ 2,...,τ n ), d.i. [τ 1 < t 1,τ 2 < t 2,...,τ n < t n für t 1,t 2,...,t n, wobei τ k die Aufenthaltsdauer für den k-ten eingenommenen Zustand ist. Beachte dabei, dass auf Grund der Gestalt der Übergangsmatrix nicht jede Sprungzeit einen Zustandswechsel nach sich zieht! Lösung: a) Ist K die angegebne Übergangsmatrix, vgl. Vorlesung, P(t) exp( λt) (λt)k K n. k! b) Berechne lim t p(t,x,y) δ(x,y) t um den Generator A λ(k Id) zu erhalten (diese Form wurde auch schon allgemein in der Vorlesung gezeigt!). c) Es Wir suchen die Wahrscheinlichkeit [τ 1 < t 1,τ 2 < t 2,...,τ n < t n n [τ k < t k (1 exp( λt 1 ))α(1 exp( λt 2 ))β(1 exp( λt 3 ))α k1 { α n/2 β n/2 n k1 (1 exp( λt k)) für n gerade α (n 1)/2 β (2n 3)/2 n k1 (1 exp( λt k)) für n ungerade

6