Statistik und Wahrscheinlichkeitsrechnung

Transkript

1 Statistik ud Wahrscheilichkeitsrechug Statistik ud Wahrscheilichkeitsrechug 9. Vorlesug Joche Köhler 1

2 Statistik ud Wahrscheilichkeitsrechug Testatprüfug am Doerstag 5.Mai Wa? Doerstag, 5. Mai, 8:00 Uhr Dauer der Prüfug: 60 mi Wo? Die Raumaufteilug wird och auf userer Homepage veröffetlicht:

3 Statistik ud Wahrscheilichkeitsrechug Testatprüfug am Doerstag 5.Mai Ihalt 60 mi. Multiple Choice Gesamter Stoff bis eischliesslich Vorlesug 9 ud Übug 9. Hilfsmittel Eie DIN A4 Seite doppelseitig Formelsammlug erlaubt. Keie weitere Hilfsmittel erlaubt! 3

4 Statistik ud Wahrscheilichkeitsrechug Ihalte der heutige Vorlesug Bayes sche Methode der Parameterschätzug Mathematische Formulierug Kojugierte a priori Verteiluge Bayes sche Regressiosaalyse Formulierug eies Regressiosmodells Methode der kleiste Quadrate Aktualisierug der Regressioskoeffiziete 4

5 Statistik ud Wahrscheilichkeitsrechug Modellierug vo Usicherheite Übersicht Uterschiedliche Type a Iformatioe werde zur Bildug vo Igeieurmodelle verwedet Subjektive Iformatio Frequetistische Iformatio 5

6 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Bayes sche Methode der Parameterschätzug ermögliche die gleichzeitige Berücksichtigug vo a priori (subjektiver ud/oder frequetistischer) Iformatio ud Theorie Date Erfahrug A Priori Date zusätzlicher frequetistischer Iformatio (Versuchsergebisse oder Beobachtuge) So ka ei probabilistisches Modell aktualisiert werde a posteriori Modell Aktualisiere A Posteriori 6

7 Wir betrachte die Zufallsvariable X mit der Wahrscheilichkeitsdichtefuktio Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug f X ( x, θ) Die Parameter θ der Dichtefuktio werde als usicher ageomme mit der a priori Wahrscheilichkeitsdichte f θ Versuche / Beobachtuge werde gemacht: xˆ xˆ, xˆ,..., xˆ 1 T 7

8 Die Likelihood der Beobachtuge berechet sich zu: Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug L( θ xˆ) f ( ˆ X xi θ) i1 Mit dem Satz vo Bayes erhalte wir die a posteriori Wahrscheilichkeitsdichtefuktio für die usichere Parameter : Θ f θ x θ L( θ xˆ ) f L( θ xˆ ) f θ dθ Nu köe wir die Dichtefuktio für X aktualisiere. So erhalte wir die (a posteriori) prädiktive Dichtefuktio: f ( ) ( ) ( ˆ X x x f X x θ f θ x) dθ 8

9 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Es gibt eie grosse Zahl vo atürlich kojugierte Verteiluge für die a priori die a posteriori Wahrscheilichkeitsdichtefuktioe. Bei atürlich kojugierte Verteiluge gehöre sowohl die a priori als auch die a posteriori Wahrscheilichkeitsdichtefuktio zur selbe Verteilugsfamilie. 9

10 Illustratio: Aktualisiere eier Dichtefuktio Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug f θ x L( θ xˆ ) f θ L( θ xˆ ) f θ dθ Die Parameter Θ sid usicher, z.b. Mittelwert der Fliessgreze vo Stahl Stadardabweichug eier Scheelast stassche Usicherheit 10

11 Illustratio: Aktualisiere eier Dichtefuktio Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug f Likelihood a priori θ x a posteriori L( θ xˆ ) f θ L( θ xˆ ) f θ dθ =10 11

12 Illustratio: Aktualisiere eier Dichtefuktio Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug f Likelihood a priori θ x a posteriori L( θ xˆ ) f θ L( θ xˆ ) f θ dθ =15 Je grösser die Azahl Date, desto stärker ist der Eifluss der Likelihood 1

13 Illustratio: Aktualisiere eier Dichtefuktio Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug f Likelihood a priori θ x a posteriori L( θ xˆ ) f θ L( θ xˆ ) f θ dθ =0 Je grösser die Azahl Date, desto stärker ist der Eifluss der Likelihood 13

14 Beispiel: Fliessspaug vo Stahl Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Wir ehme a, die Fliessspaug f eies Baustahls i MPa sei y ormalverteilt mit Erwartugswert ud Stadardabweichug : f N( ; ) y f f y Die Stadardabweichug sei bekat, der Erwartugswert usicher: f 17.5 MPa ( ; ) mit y f N 350MPa y 10MPa Zusätzlich wurde 5 Zugversuche durchgeführt ud die folgede Fliessspauge gemesse: ˆ (365,347,354,36,348) f y y f y f y 14

15 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Beispiel: Fliessspaug vo Stahl Bei eier ormalverteilte Zufallsvariable mit bekater Stadardabweichug ud ubekatem, ormalverteiltem Erwartugswert ist die a posteriori Verteilug des Erwartugswerts ebefalls ormalverteilt: 1 1f y f ( ˆ f f ) ( ) exp y y f y Die Parameter der a posteriori Verteilug sid: f y f y ' ' 1 1 ' f y ' ' 15

16 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Beispiel: Fliessspaug vo Stahl Bei eier ormalverteilte Zufallsvariable mit bekater Stadardabweichug ud ubekatem, ormalverteiltem Erwartugswert ist die a posteriori Verteilug des Erwartugswerts ebefalls ormalverteilt: 1 ˆ 1f y f ( f f ) ( ) exp y y f y Im betrachtete Beispiel: MPa 6.16 MPa 16

17 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Beispiel: Fliessspaug vo Stahl Im Beispiel hat die Likelihood eie relativ starke Eifluss

18 Beispiel: Fliessspaug vo Stahl Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Schliesslich köe wir auch die (a posteriori) prädiktive Wahrscheilichkeitsdichtefuktio für die Stahl Fliessspaug bestimme: f y f fˆ f y y 1 1 f y exp f y Die prädiktive Verteilug kombiiert usere Iformatioe aus dem a priori Modell ud de 5 Testergebisse. 18

19 Statistik ud Wahrscheilichkeitsrechug Bayes sche Methode der Parameterschätzug Beispiel: Fliessspaug vo Stahl 19

20 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Im Igeieurwese werde oft verschiedee Arte vo Modelle miteiader kombiiert: 1) Physikalische Modelle C( x, t) t C(0, t) C s x D( x, t) C( x, t) x Diffusiosgleichug ) Empirische Modelle y f ( x) x Output Iput 0

21 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Lieare Regressio Wir ehme a, dass ei Zufallsvariable Y (Output) als lieare Fuktio eier Zufallsvariable X (Iput) gegebe ist. Y X 0 1 Aus paarweise Beobachtuge Regressiosgerade schätze. ( xy ˆ, ˆ) T möchte wir die Wir ehme a, dass der Residualwert (Fehler) eier Normalverteilug folgt: N(0, ) Oft ka eie ichtlieare Fuktio durch Trasformatio liearisiert werde. 1

22 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Modellparameter0 ud 1 köe mit der Methode der kleiste Quadrate geschätzt werde. ˆ ˆ i yi 0 1xi i1 i1 mi mi ( ( )) Achseabschitt Steigug

23 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Modellparameter0 ud 1 köe mit der Methode der kleiste Quadrate geschätzt werde. ˆ ˆ i yi 0 1xi i1 i1 mi mi ( ( )) Es ergibt sich folgedes Gleichugssystem: ( yˆ ˆ i ( 0 1xi)) 0 0 i1 ( yˆ ( ˆ i 0 1xi)) 0 1 i1 3

24 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Modellparameter0 ud 1 köe mit der Methode der kleiste Quadrate geschätzt werde. ˆ ˆ i yi 0 1xi i1 i1 mi mi ( ( )) Lösug des Gleichugssystems: 1 1 yˆ xˆ y x 0 i 1 i 1 i1 i1 1 i1 i1 xy ˆˆ i i xˆ x i xy S S XY X 4

25 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Usicherheit des Regressiosmodells ka mit eier Normalverteilug für de Modelloutput Y abgebildet werde: Y N 0 1X Schätzug der Modellparameter: S 0 y x1 1 S Stadardabweichug des Fehlers: ( ; ) i1 Mittelwert i k k Stadardabweichug XY X Azahl Beobachtuge Azahl Parameter i β Die gleiche Ergebisse erhält ma auch mit der Maximum Likelihood Methode 5

26 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Das Gleichugssystem für die Schätzug der Modellparameter lässt sich auch i Matrix Schreibweise formuliere: ˆ T ˆ ˆ T XyXXβ ˆ ˆ T ˆ 1 ˆ T ˆ β ( XX) Xy Hieri ist: β (, ) T yˆ ( yˆ, yˆ,.., yˆ ) T Xˆ xˆ xˆ xˆ 1 1 Diese Schreibweise ist isbesodere ützlich, um die Regressiosaalyse zu programmiere. 6

27 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Matrixschreibweise erleichtert auch die Verallgemeierug auf de mehrdimesioale Fall: y r 0 xj j j1 ˆ T ˆ 1 ˆ T ˆ β ( XX) Xy Da ist: β ( 0, 1,..., ) T r yˆ ( yˆ, yˆ,.., yˆ ) T Xˆ 1 1 xˆ xˆ 1 xˆ xˆ 1 xˆ ˆ 1 x 1 1r 1 r r 7

28 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die statistische Usicherheit des Regressiomodells lässt sich bei Verwedug der Matrixschreibweise wie folgt quatifiziere: 1 T ˆ ˆ ˆ ˆ yxβ y Xβ mit k k Variaz des Fehlers Azahl Beobachtuge Azahl Parameter i β Daraus ergibt sich die Usicherheit der Parameterschätzug: β V mit V ˆ T ˆ 1 Cov XX Kovariaz Matrix der Parameter Gegebe X ud β folgt Y eier Normalverteilug: EY β; X βx Var Y β; X 8

29 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Aktualisiere der Regressioskoeffiziete Ei bestehedes Regressiosmodell ka mit eue Date aktualisiert werde. Hierfür beötige wir Iformatioe über das a priori Modell: β ( 0, 1) T Cov β V ( ) Iformatioe zu de eue Beobachtuge: yˆ ( yˆ, yˆ,.., yˆ ) T 1 Xˆ 1 1 xˆ xˆ xˆ 1 1 9

30 Statistik ud Wahrscheilichkeitsrechug Bayes sche Regressiosaalyse Die Parameter des a posteriori Modells ergebe sich wie folgt: A posteriori Parameter 1 ˆ T β V V β X yˆ A priori Parameter Date Hieri ist 1 1 ( ) ( ) ˆ T V V X Xˆ 30

31 Statistik ud Wahrscheilichkeitsrechug Statistik ud Wahrscheilichkeitsrechug Joche Köhler 31