Wahrscheinlichkeitsrechnung

Transkript

1 Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber

2 Inhalt der heutigen Vorlesung Auswahl einer Verteilungsfunktion: Wahrscheinlichkeitspapier pp Schätzung und Modellentwicklung: Methode der Momente Methode der Maximum Likelihood Befragung g der Studierenden (ca. 5 min)

3 Schätzung und Modellentwicklung Auswahl von Wh Wahrscheinlichkeitsverteilungsfunktionen hilihki il ki Grundsätzlich müssen Verteilungsfunktionen für Zufallsvariablen oder prozesse auf Basis folgender Punkte ausgewählt werden: Frequentistische Information: Physikalische Argumente: Daten Verständnis Ingenieurproblemstellungen Derklassische Ansatzist folgender:. Bestimmen einer Hypothese für eine Wahrscheinlichkeitsverteilungsfamilie.. Schätzen der Funktionsparameter der bestimmten Wahrscheinlichkeitsverteilung. 3. Durchführeneines eines statistischen Tests, umdie Hypothese abzulehnen oderzu akzeptieren

4 Schätzung und Modellentwicklung Auswahl von Wh Wahrscheinlichkeitsverteilungsfunktionen hilihki il ki Im Ingenieurwesen tritt häufig der Fall ein, dass die verfügbaren Daten zu spärlich sind, um einen Hypothesentest für eine gegebene Wahrscheinlichkeitsverteilung durchzuführen zumindest mit einer vernünftigen Signifikanz. Deshalb ist ein einheitliches Vorgehen sehr wichtig: Zuerst werden physikalische Argumente herangezogen, um eine passende Verteilung zu identifizieren. Darauf aufbauend wird überprüft, ob die zur Verfügung stehenden Daten der gewählten Verteilungsfunktion widersprechen

5 Schätzung und Modellentwicklung Modellauswahl anhand von Wh Wahrscheinlichkeitspapier hilihki i Ein Wahrscheinlichkeitspapier ist so skaliert, dass eine bestimmte Funktion beim Aufzeichnen auf dieses Papier die Form einer geraden Linie erhält. > die Form eine geraden Linie ist z.b. gegeben durch: x a by

6 Schätzung und Modellentwicklung Modellauswahl anhand von Wh Wahrscheinlichkeitspapier hilihki i Beispiel: Wahrscheinlichkeitspapier für eine normalverteilte Wahrscheinlichkeitsverteilungsfunktion F X ( x) x X ( X ) x ( F X ( x)) X X Die y Achse ist nicht linear skaliert

7 Schätzung und Modellentwicklung Modellauswahl anhand von Wh Wahrscheinlichkeitspapier hilihki i Grafischer Ansatz: Normalverteilung

8 Schätzung und Modellentwicklung Modellauswahl anhand von Wh Wahrscheinlichkeitspapier hilihki i Die Stichproben Verteilungsfunktion kann anhand einer sortierten Messreihe abgeleitet werden: F X ( x i i ) N Beispiel: Druckfestigkeit von Beton Lösung: Normalverteilungs Wahrscheinlichkeitspapier pp

9 Schätzung und Modellentwicklung Modellauswahl anhand von Wh Wahrscheinlichkeitspapier hilihki i Zeichnet man die Stichproben Verteilungsfunktion in das Wahrscheinlichkeitspapier ein, erhält man

10 Kleine Denkaufgabe 0. Das Signifikanzniveau fk eines Hypothesentests entpricht: der Wahrscheinlichkeit eines Fehlers. Art der Wahrscheinlichkeit eines Fehlers. Art je nach Wahl der Null Hypothese entweder der Wahrscheinlichkeit eines Fehlers. Art oder eines Fehlers. Art.

11 Kleine Denkaufgabe 0. Lösung Das Signifikanzniveau eines Hypothesentests entpricht per Definition der Wahrscheinlichkeit eines Fehlers. Art Urteil Wahrheit H 0 trifft zu. H 0 trifft nicht zu. Akzeptanz von H 0. Richtiges Urteil. Fehler. Art. Ausschluss von H 0. Fehler. Art. Richtiges Urteil.

12 Schätzung und Modellentwicklung Übersicht Wenn man Modelle im Ingenieurbereich i entwickeln möchte, öht müssen unterschiedliche Typen von Informationen herangezogen werden. subjektive Informationen frequentistische Informationen

13 Hb Haben wir uns für ein Verteilungstyp entschieden, müssen die Parameter geschätzt werden. z.b. Normalverteilung Weibullverteilung f X ( x) exp x f X k k x x () x exp u u u k

14 Hb Haben wir uns für ein Verteilungstyp entschieden, müssen die Parameter geschätzt werden. z.b. Normalverteilung Weibullverteilung f X ( x) exp x f X k k x x () x exp u u u k Wahrscheinlichkeitsdichtefunktionen werden definiert durch ihre T Parameter θ,,..,. ( ) k Allgemein gibt mandichtefunktionen bedingt aufdie Parameter an: f ( x θ ) X

15 Es gibt eine Vielzahl von Methoden, Verteilungsparameter zu schätzen; generell wird unterschieden zwischen: Punktschätzern Intervallschätzern. Im Folgenden werden wir zwei Methoden Mthd näher betrachten: Methode der Momente Methode der Maximum Likelihood

16 Methode der Momente (MoM) Gegeben ist eine Stichprobe anhand dderer wir die T Verteilungsparameter schätzen: x (ˆ x, xˆ,..,ˆ ) ˆ, Das Prinzip der Methode der Momenten ist, die Parameter so abzuschätzen, dass die Momente der Verteilung und die Momente der Stichprobe identisch sind. x n

17 Methode der Momente (MoM) Gegeben ist eine Stichprobe anhand dderer wir die T Verteilungsparameter schätzen: x (ˆ x, xˆ,..,ˆ ) ˆ, Das Prinzip der Methode der Momenten ist, die Parameter so abzuschätzen, dass die Momente der Verteilung und die Momente der Stichprobe identisch sind. m n j j x i n i Stichprobe x n j j j k X (,,.., ) x f ( xθ) dx Verteilung

18 Methode der Momente (MoM) Angenommen, wir hb haben eine Verteilung mit k Parametern: Dann müssen wir k Gleichungen mit k Unbekannten lösen:

19 Methode der Momente (MoM) Angenommen, wir hb haben eine Verteilung mit k Parametern: Dann müssen wir k Gleichungen mit k Unbekannten lösen: m ( θ ), j,,.., k n j j n i X θ i j j x x f ( x ) dx, j,,.., k Stichprobe Verteilung

20 Betondruckfestigkeit Methode der Momente (MoM) [Mpa] Bi Beispiel: il 7.8 Druckfestigkeit von Beton, Annahme einer Normalverteilung: Die Normalverteilung hat zwei Parameter wir müssen also zwei 30.3 Gleichungen lösen: n 33.3 m ˆ xi = 33.5 x fx( x, ) dx 34. n i n 35.9 m ˆ x = 36.8 i x f ( X x, ) dx 37. n i

21 Methode der Momente (MoM) Die Stichprobenmomente sind: n ˆ n 3.67 ˆ 0 m x i m x i i 0 i Die Momente der Verteilung sind: (x x ) x exp( 0.5 ) dx (x x ) x exp( 0.5 ) dx

22 Methode der Momente (MoM) Bei Formulierung der folgenden Objektfunktion: k g (, ) ( m (, ) m ) ( (, ) ) Lassen sich die Parameter durch Optimierung finden. z.b. mit Hilfe von MS EXCEL

23 Methode der Momente (MoM) ODER: Alternativ und viel einfacher ist die Herangehensweise mit Hilfe der zentralen Momente:. Bestimmung des Stichprobenmittelwertes und der Stichprobenstandardabweichung.. Gleichsetzen mit dem Mittelwert und der Standardabweichung der Verteilungsfunktion. 3. Berechnung der Parameter

24 Methode der Momente (MoM) Log-Normalverteilung, Parameter Erwartungswert und Streuung F ( x ) X 0 x ln x, f ( x) exp 0 X x ln x exp exp Gumbel max. Parameter Erwartungswert und Streuung f ( x) exp xu exp xu x X u F ( x ) exp exp xu X 0 u,

25 Kleine Denkaufgabe 0. Welche der folgenden Aussagen in Bezug auf Hypothesentests ist richtig? Die Wahl der Null Hypothese ist subjektiv. Das Signifikanzniveau sollte so klein wie möglich gewählt werden. Wenn die Anzahl der Stichproben bekannt ist, kann das Signifikanzniveaubeliebig gewählt werden.

26 Kleine Denkaufgabe 0. Lösung Die Wahl der Null Hypothese ist subjektiv. Auf gleiche Weise kann auch die Wahl des Signifikanzniveaus subjektiv sein. Das subjektive Auswählen von Null Hypothesen und Signifikanzniveaus kann als Prozess der Entscheidungsfindung verstanden werden, der die ökonomischen Auswirkungen von Konsequenzen bedingt durch statistische Schlussfolgerungen mit einbezieht.

27 Maximum Likelihood Methode (MLM) Die Grundidee der MLM ist: die Parameter der Verteilung zu identifizieren, welche die maximale Likelihood besitzen welche also am wahrscheinlichsten sind

28 Maximum Likelihood Methode (MLM) Die Form einer Wahrscheinlichkeitsdichtefunktion h hk it ht kti ist itbestimmt tdurch hihre Parameter θ,,.., Ṭ ( k )

29 Maximum Likelihood Methode (MLM) Die Form einer Wahrscheinlichkeitsdichtefunktion h hk it ht kti ist itbestimmt tdurch hihre Parameter θ,,.., Ṭ ( k ) Wird nun eine Stichprobe xˆ ( xˆ, xˆ,,.., xˆ ) T n beobachtet, hat eine Realisation der Stichprobe ˆx die Likelihood : L f ( xˆ θ) X

30 Maximum Likelihood Methode (MLM) Die Form einer Wahrscheinlichkeitsdichtefunktion h hk it ht kti ist itbestimmt tdurch hihre Parameter θ,,.., Ṭ ( k ) Wird nun eine Stichprobe xˆ ( xˆ, xˆ,,.., xˆ ) T n beobachtet, hat eine Realisation der Stichprobe ˆx die Likelihood : L f ( xˆ θ) X Die Likelihood der gesamten Stichproben errechnet sich aus dem Produkt der Likelihoods der n Einzelbeobachtungen > L f ( xˆ θ) bei gegebenen Parametern X i i 30

31 Maximum Likelihood Methode (MLM) Die Form einer Wahrscheinlichkeitsdichtefunktion h hk it ht kti ist itbestimmt tdurch hihre Parameter θ,,.., Ṭ ( k ) Wird nun eine Stichprobe xˆ ( xˆ, xˆ,,.., xˆ ) T n beobachtet, hat eine Realisation der Stichprobe ˆx die Likelihood : L f ( xˆ θ) X Die Likelihood der gesamten Stichproben errechnet sich aus dem Produkt der Likelihoods der n Einzelbeobachtungen > L f ( xˆ θ) bei gegebenen Parametern X i i 3

32 Maximum Likelihood Methode (MLM) Wir maximieren i nun die Likelihood unter Veränderung der Parameter: max θ L θ xˆ i

33 Maximum Likelihood Methode (MLM) Wir maximieren i nun die Likelihood unter Veränderung der Parameter: max θ L θ xˆ i und erhalten die Parameter, welche am besten zu der Stichprobe passen

34 Maximum Likelihood Methode (MLM) Bi Beispiel ilnormalverteilung: Wir nehmen an, die unseren Beobachtungen zugrundeliegende Verteilungsfunktion sei die Normalverteilung. f X ( x ) exp x Die Likelihood der Beobachtungen der Stichprobe xˆ ( xˆ, xˆ,..., xˆ ) T ist dann; x x x n n L( θ xˆ ) exp i ˆ x i

35 Maximum Likelihood Methode (MLM) Bi Beispiel ilnormalverteilung: Die Parameter der Normalverteilung θ werden so gewählt, dass sie die Likelihoodfunktion maximieren: min θ ( L ( θ xˆ )) Es ist von Vorteil, die logarithmierte Likelihoodfunktion zu verwenden: n l( θ x) ln( f ( xˆ θ)) l( θ x) ln( f ( ˆ X xi θ)) X i i i n

36 Maximum Likelihood Methode (MLM) Bi Beispiel ilnormalverteilung: Wir wählen die Parameter θ so, dass sie die log Likelihoodfunktion maximieren: min( l ( θ xˆ )) θ Es kann gezeigt werden, dass die Parameter selbst zu normalverteilten Zufallsvariablen konvergieren: Mit Mittelwerten: μ ( (,,.., T n ) Und Kovarianzmatrix: C H wobei H ij l( θxˆ) i j θ θ

37 Maximum Likelihood Methode (MLM) Bi Beispiel ilnormalverteilung: Betrachten wir nun die Daten der Betondruckfestigkeit. Unter der Annahme, dass die Betondruckfestigkeit einer Normalverteilung folgt, ergibt sich für die log Likelihoodfunktion: ( θxˆ) nln n xˆ i l i Das Minimum kann analytisch wie folgt bestimmt werden: l n 3 l n i n i ˆ 0 x i ˆ 0 x i n i n xˆ i n i xˆ i n

38 Maximum Likelihood Methode (MLM) Bi Beispiel ilnormalverteilung: Gemäss Zahlenbeispiel Betondruckfestigkeit ergibt sich: n xˆ i Mittelwert der Standardabweichung n 0 i 4.05 nicht erwartungstreu (!) n ˆ xi 3.67 n 0 i Mittelwert des Mittelwertes

39 Maximum Likelihood Methode (MLM) Bi iln l t il Beispiel Normalverteilung: Gemäss Zahlenbeispiel Betondruckfestigkeit ergibt sich: Für die Kovarianzmatrix: x x n H n i i n i i 3 n x H n i i C H Varianz des Mittelwertes Varianz der Standardabweichung

40 Maximum Likelihood Methode (MLM) Das Problem lässt sich ebenfalls numerisch lösen z.b. mit MS EXCEL

41 Maximum Likelihood Methode (MLM) Illustration

42 Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber

43 Die folgenden Denkaufgaben könnten thematisch auch noch in diese Vorlesung reinpassen

44 Kleine Denkaufgabe 0. Das jährlich maximale Hochwasser eines Flusses hat eine Standardabweichung von 60 m 3 /s. Während der letzten 0 Jahre wurde das jährlich maximale Hochwasser des Flusses gemessen und aufgezeichnet. Die folgenden statistischen Werte konnten bestimmt werden: Stichproben Mittelwert = 305 m 3 /s Stichproben Varianz = 450 (m 3 /s) Was ist der Erwartungswert der Stichproben Varianz????? 340 0( (m 3 /s) 450 (m 3 /s) 3600 (m 3 /s)

45 Kleine Denkaufgabe 0. Lösung 340 (m 3 /s) Der Erwartungswert tder Stichproben Varianz i S itdfii ist definiert: E S ( n ) n X Dabei ist n = Anzahl der Stichproben und σ X die gemessene Standardabweichung. E S ( n ) n X (0 ) (60) 340 ( m / s ) 0 3

46 Kleine Denkaufgabe 0.3 Man weiss, dass die Druckfestigkeit von Beton eines bestimmten Betonwerkes eine Varianz von.56 (N/mm ) besitzt. Auf einer Baustelle, die diesen Beton verwendet, werden täglich 64 Stichproben gezogen, um die Druckfestigkeit zu beurteilen. Was könnte der grösste Fehler sein, den man mit einer Wahrscheinlichkeit von 0.9 erwarten kann, wenn man den Stichprobenmittelwert verwendet, um den wahren Mittelwert der Druckfestigkeit zu beurteilen???

47 Kleine Denkaufgabe 0.3 Lösung X - X Pk/ k/ n 64 X X N mm n k 645. X - X P Der grösste Fehler, bzw. die grösste Differenz zwischen X und ist demnach P0.33 X - X X

48 Kleine Denkaufgabe.3 Die Werte dreier Stichproben wurden auf das Wahrscheinlichkeitspapier einer Gumbel Verteilung aufgetragen (siehe Grafik). Welche Stichprobe(n) kann man als Realisation(en) einer Gumbel Verteilung betrachten? -ln(-ln(i i/(n+)) )) Stichprobe Stichprobe Stichprobe 3 x i

49 Kleine Denkaufgabe.3 Lösung Stichprobe -ln(-ln(i i/(n+)) )) x i