Kapitel 2: Stochastische Prozesse. Copyright M. Gross, ETH Zürich 2006, 2007

Transkript

1 Kaitel 2: Coyright M. Gross, ETH Zürich 2006, 2007

2 Bedigte Verteiluge Ebeso a die Verbudwahrscheilicheit vo Zufallsvariable über bedigte Wahrscheilicheite ausgedrüct werde i i,, i,, Wiederum ommt eie Produtregel zur Awedug Summe- ud Produtregel sid i der Wahrscheilicheitsrechug vo zetraler Bedeutug Iformatiostheorie 2

3 Beisiel: Verbuds WS Bedigte Verbudswahrscheilicheite Sei A, B 2, C 3 2: Gesetz vo Bayes A, B A B A 3: A, B, C A B A C A, B Iformatiostheorie 3

4 Bayes Netz Vier biäre True, False Zufallsvariable B: Bewölt S: Sriler R: Rege S G: Gras ist ass B R P B T B F G B F T P S F S T B F T P R F R T Iformatiostheorie 4

5 Bayes Netz 2 S F R F P G F G T B F T T F S R T T G Verbudswahrscheilicheit S, B, R, G B S B S B R B R B, S G B, S, R B G S, R da R S R Iformatiostheorie 5

6 Bayes Netz 3 Beobachtug: Gras ist ass. Frage: Nass vom Sriler oder Rege? S S T, G T T G T G T B b, S T, R r, G b, r b, r, s B b, S s, R r, G T T Iformatiostheorie 6

7 Bayes Netz 4 Beobachtug: Gras ist ass. Frage: Nass vom Sriler oder Rege? R R T, G T T G T G T B b, S s, R T, G b, s b, r, s B b, S s, R r, G T T Iformatiostheorie 7

8 Erwartugswert Der Erwartugswert E eier disrete Zufallsvariable ist gegebe durch E Dieser wird oft auch Mittelwert vo geat Schwerut der Häufigeitsfutio i x i x i Erwartugswerte sid statistische Momete erster Ordug Aufgrud der Liearität erhalte wir Suerositio a + b E ae + b Iformatiostheorie 8

9 Iformatiostheorie 9 Geometrische Verteilug Produt ist defet mit Wahrscheilicheit Wie viele Produte müsse utersucht werde, bis ei defetes Produt gefude wird? : Azahl isizierter Produte q q q q q q q q q q q - q q 2 d d d d d d wobei E wobei P P

10 Variaz Die Variaz Var eier disrete Zufallsvariable ist gegebe durch Var Vorausgesetzt, dass E existiert E Für eie disrete Zufallsvariable mit x ergibt sich 2 Var x E Ebeso erhalte wir {[ E ] 2 } i i x i a + b Var a 2 Var Iformatiostheorie 0

11 Beroulli - Verteilug hat Beroulli - Verteilug 0 E 0 Var Maximum bei 2 Iformatiostheorie

12 Stadardabweichug Die Stadardabweichug σ ist gegebe durch σ Var ud beschreibt eie Art mittlere Abweichug Streuug der Date vom Mittelwert Die Variaz wird oft zur Fehlerberechug i Messuge verwedet Ma defiiert dazu de mittlere quadratische Fehler MSE E, [ ] 2 x 0 Iformatiostheorie 2

13 Kovariaz Die Kovariaz misst die Verbudvariabilität zweier Zufallsvariable ud Cov Oftmals wird folgede Notatio verwedet E Es gilt auch Cov oder auch Cov, μ E μ, E [ E E ] E E E Ud vieles mehr siehe Rice.3ff, + Z Cov, + Cov, Z Iformatiostheorie 3

14 Korrelatio Die Korrelatio zweier Zufallsvariable ud wird über Variaz ud Kovariaz defiiert ρ Sie ist vo grosser ratischer Bedeutug Schliesslich bleibt der bedigte Erwartugswert Es gilt auch Cov, Var Var E x y y y x E E x x E E Vergleiche Margialisierug x Iformatiostheorie 4

15 Ei stochastischer Prozess {t i } ist ei Wahrscheilicheitsrozess, welcher eie Sequez vo Zufallsvariable t i erzeugt. Zu jedem Zeitut t i existiert also eie Zufallsvariable, die eier bestimmte Verteilug uterliegt otiuierlich oder bestimmte Werte aehme a disret. Prozess { t x, t x, t x, t x } Iformatiostheorie 5

16 Disret bezieht sich also auf Zeit t i sowie auf mögliche Werte x Beisiel: Folge vo Müzwürfe mit Wahrscheilicheite für Kof ud q- für Zahl Hierbei gilt die statistische Uabhägigeit der eizele Ergebisse: { Kof Zahl} x, Es gilt also für zwei beliebige disrete Zeite t i ud t j t t i j t i Das muss icht so sei Marov-Kette! Iformatiostheorie 6

17 Statioarität Ei stochastischer Prozess, desse statistische Eigeschafte ivariat uter Traslatio der Zeit bleibe, heisst statioär. Dies bezieht sich auf Momete verschiedeer Ordug I der Praxis oft auf Erwartugswerte beschrät Da gilt also: E + t j E t j oder auch, dass die Verbudwahrscheilicheite ti, t j f ti t j ur vo der Zeitdifferez abhäge Iformatiostheorie 7

18 Ergodizität Um eie ergodische, stochastische Prozess zu defiiere, bedarf es eier eue Variable e ti + ti+ + ti lim r r + t i+ r Wir mittel also über die Werte der Zufallsvariable eier immer grössere Sequez Kovergiert dieser Grezwert gege eie Kostate e gilt für eie beliebige Zufallsvariable t i E t i E s Der Erwartugswert über die Zeit ist also gleich dem Erwartugswert der Eizelvariable Iformatiostheorie 8

19 Allgemei: Ergodische sid Utermege vo statioäre, stochastische ergodisch statioär stochastisch Iformatiostheorie 9

20 Marov- Ei stochastischer Prozess, welcher eie Sequez vo Zufallsvariable { i } ist, heisst Marov- Kette, we gilt x, x Die bedigte Wahrscheilicheit für eie Zufallsvariable ist also ur vo ihrem direte Vorgäger abhägig Marov-Kette werde mit eier Uebergagswahrscheilicheitsmatrix beschriebe, dere Elemete wie folgt gegebe sid P x xl l Iformatiostheorie 20

21 Iformatiostheorie 2 Marov-Kette Die Berechug der Verbudwahrscheilicheit erfolgt durch Produtbildug Ebeso öe bedigte Wahrscheilicheite zu Marov-Felder erweitert werde ,,, P P P P P

22 Iformatiostheorie 22 Bedigte Wahrscheilicheit Sezialfall eies Bayes-Netzes 3-stufige Marovette,, P Z Z Z,,,, Z P P Z Z Z

23 Marov Zustadsautomate Marov- eige sich zur verfeierte Modellierug eizeler disreter Zufallsvariable Dazu verwedet ma eie robabilistische, edliche Automate, welcher alle Zustäde {x i } eier Variable Z beschreibt Jeder Zustad x i bleibt etweder erhalte, oder wird i Richtug eies adere Zustades x j verlasse x j xi i xi xi Iformatiostheorie 23

24 Marovsche Modelle Dies wird mit Übergagswahrscheilicheite ausgedrüct Es gilt die folgede Bedigug für jede Kote N j x j Ferer gilt für die Wahrscheilicheit des Zustades x i x i Dies ist ei Eigewertroblem der Zustadsübergagsmatrix x i N j x i x j x Summe- ud Produtregel sid i der Wahrscheilicheitsrechug vo zetraler Bedeutug j Iformatiostheorie 24

25 Iformatiostheorie 25 Marovsche Modelle Allgemeie Formulierug Eigewertroblem j j i i x x x x Fazit: Die Verbudwahrscheilicheit eier Sequez hägt vom Wisse über ihre statistische Eigeschafte ab.

26 Marov Modell 0-ter Ordug a 0.5 c b 0. 3 Gegebe: Alhabet mit 3 Buchstabe 3 mögliche Werte der Zustadsvariable {a,b,c} Gesucht: Wahrscheilicheit des Strigs aacb aacb a a c b Iformatiostheorie 26

27 Marov Modell -ter Ordug 'a' a a 0.5 c a 0. a b 0.3 a c 0.2 b a 0. 4 c c ' c' c b b c aacb a a a a c a b c ' b' b b 0.4 Iformatiostheorie 27