Wahrscheinlichkeitsrechnung

Transkript

1 Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber

2 Inhalt der heutigen Vorlesung Zusammenfassung der letzten Vorlesung Übersicht über Schätzung und Modellbildung Modellevaluation durch statistische Tests Der Test für die Güte der Anpassung Der Kolmogorov Smirnov Test für die Güte der Anpassung Modellvergleich

3 Zusammenfassung der letzten Vorlesung Wir betrachteten die Möglichkeit, die Parameter einer Verteilung basierend auf Beobachtungen/Daten abschätzen zu können. Was haben wir gelernt? DieParametereiner einer Verteilung können z. B. anhandfolgender Methoden geschätzt werden: Methode der Momente (MoM) Maximum Likelihood Methode Methode (MLM)

4 Zusammenfassung der letzten Vorlesung Methode der Momente (MoM) Punktschätzung DasPrinzipder MoMist: Wirschätzen die Parameter, indem wir die analytisch berechneten Momente mit den Stichprobenmomenten gleichsetzen. m 1 1 n n n i 1 ˆ x i 1 x fx ( x, ) dx m 1 n xˆ i n i 1 x f X ( x, ) Dies führt zu k Gleichungen, welche gelöst werden müssen, um k Parameter abzuschätzen dx

5 Zusammenfassung der letzten Vorlesung Maximum Likelihood Methode (MLM) Schätzung der Parameter und ihrer Verteilung Die Parameter werden geschätzt, indem die Likelihood, dass die Parameter die Beobachtungen/Daten repräsentieren, maximiert wird. n L( θ xˆ) f ( ˆ X xi θ) i1 n =å i= 1 l( θ xˆ) log( f ( xˆ θ)) X min( l ( θ xˆ )) θ i μ ( C H H i,,.., l( θ xˆ ) =- * = θ θ θ θ i ) T n

6 Übersicht Schätzung und Modellbildung Unterschiedliche Typen aninformationwerden genutzt, um Ingenieurmodelle zu entwickeln. Subektive Information Frequentistische Information Subektiv Physikalisches Verständnis Erfahrung Urteil Frequentistisch Daten Wahrscheinlichkeitspapier Verteilungsfamilie Verteilungsparameter Probabilistisches Modell Stichprobenstatistiken Konfidenzintervalle Statistische Signifikanz Methode der Momente Maximum Likelihood Methode

7 Kleine Denkaufgabe 11.3 Die Werte dreier Stichproben wurden auf das Wahrscheinlichkeitspapier einer Gumbel Verteilung aufgetragen (siehe Grafik). Welche Stichprobe(n) kann man als Realisation(en) einer Gumbel Verteilung betrachten? -ln(-ln(i i/(n+1)) )) Stichprobe 1 Stichprobe Stichprobe x i 7

8 Kleine Denkaufgabe 11.3 Lösung Stichprobe 1 -ln(-ln(i i/(n+1)) )) x i

9 Nehmen wiran, dass wireine bestimmteverteilungsfunktion gewählt haben, um die Unsicherheit eines unsicheren Ereignisses zu modellieren. Daten physikalische Gesetze Verteilungsfamilie f ( x) X Druckfestigkeit Beton Daten Verteilungsparameter θ x Nun wird die Wahl der Verteilung geprüft durch statistische Tests

10 Zwei unterschiedliche h Fälle werden bt betrachtet: htt Verifizierung von p x (x) 1 Diskreten Verteilungsfunktionen χ Test Kontinuierlichen Verteilungsfunktionen Kolmogorov Smirnov Test f x (x) x x

11 χ Der Test für diegüte der Anpassung Die Idee dahinter ist, dass die Differenzen zwischen der erwarteten und der beobachteten Datenverteilung klein sein sollten, wenn die gewählte Verteilungsfamilie die Stichprobe gut beschreiben kann Beob bachtunge en i beobachtete Häufigkeiten postulierte Häufigkeiten Druckfestigkeit Beton (MPa)

12 χ Der Test für diegüte der Anpassung Wie wir bereits wissen, ist eine diskrete kumulative i1 Wahrscheinlichkeitsverteilungsfunktion wie folgt gegeben: Px ( ) px ( ) i 1 Wahrscheinlichkeitsdichtefunktion Kumulative Wahrscheinlichkeitsverteilungsfunktion p X (x) B P X (x) A 1 x x

13 χ Der Test für diegüte der Anpassung Es sei n die Anzahl Beobachtungen einer diskreten Zufallsvariable X. Die Anzahl an Beobachtungen von X x ist N, eine binomial verteilte Zufallsvariable: E X np( x ) N p, Postulierte Häufigkeiten Var X np ( x )(1 p ( x )) N p, (1 p ( x ))

14 χ Der Test für diegüte der Anpassung Es sei n die Anzahl Beobachtungen einer diskreten Zufallsvariable X. Die Anzahl an Beobachtungen von X x ist N, eine binomial verteilte Zufallsvariable: E X np( x ) N p, Postulierte Häufigkeiten Var X np ( x )(1 p ( x )) N p, (1 p ( x )) Wenn das postulierte Modell korrekt und n gross genug ist, dann ist gemäss dem zentralen Grenzwertsatz die Differenz ε standard normalverteilt. N N N o, p,, (1 p( x)) p Beobachtete Häufigkeiten

15 Der χ Test für diegüte der Anpassung Statistik und Wahrscheinlichkeitsrechnung Werden die quadrierten Differenzen der beobachteten und erwarteten Häufigkeiten summiert, dann erhalten wir: k k ( N o, Np, ) 3 10 k 1 1 N ( N oi, Npi, ) p, (1 p( x)) 9 1 Beobachtun ngen Anzahl an 1 χ verteilt mit 0 k 1 Freiheitsgraden m N i1 pi, beobachtete Häufigkeiten postulierte Häufigkeiten Anzahl Unfälle pro Monat

16 Der χ Test für diegüte der Anpassung Es wird nun auf einem e Signifikanzniveau Sg eau getestet, ob die desumme aller ae beobachteten quadrierten Differenzen plausibel ist. Dafür wird die Nullhypothese H 0 aufgestellt, die besagt, dass die gewählte Verteilungsfunktion die beobachtete Stichprobe repräsentiert. Die Vorgehensregel lautet dann: P ( m ) Die Alternativhypothese h H 1 ist weit weniger informativ, weil mit ihr ausser der postulierten Verteilung alle anderen Verteilungen akzeptiert werden. v k1 ist der Fraktilwert der Verteilung mit Freiheitsgraden

17 Der χ Test für diegüte der Anpassung Wir betrachten folgendes Beispiel: Als Verteilungsfunktion für 0 Beobachtungen der Betondruckfestigkeit nehmen wir die Normalverteilung an. Der Mittelwert beträgt Die Standardabweichung 33 MPa. 5 MPa. Die Parameter werden nicht aus den vorhandenen Beobachtungen geschätzt. Die Normalverteilung l ist eine kontinuierliche Verteilung. Sie kann edoch ganz einfach diskretisiert werden

18 Der χ Test für die Güte der Anpassung Statistik und Wahrscheinlichkeitsrechnung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Gewählte Verteilungsfunktion Wah hrscheinlichkeit tsdichte Druckfestigkeit Beton (MPa)

19 Der χ Test für die Güte der Anpassung Statistik und Wahrscheinlichkeitsrechnung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Gewählte Verteilungsfunktion Wah hrscheinlichkeit tsdichte Druckfestigkeit Beton (MPa) Intervall 0 5: 0 ( ) ( ) Totale Anzahl an Versuchen

20 Der χ Test für die Güte der Anpassung Wah hrscheinlichkeit tsdichte Statistik und Wahrscheinlichkeitsrechnung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Gewählte Verteilungsfunktion Druckfestigkeit Beton (MPa) An nzahl Beobacht tungen Erwartetes Histogramm Druckfestigkeit Beton (MPa) Intervall 0 5: 0 ( ) ( ) Totale Anzahl an Versuchen

21 Der χ Test für diegüte der Anpassung Die beobachteten und erwarteten Histogramme können nun verglichen werden. Beobachtun ngen Anzahl an beobachtete Häufigkeiten postulierte Häufigkeiten Druckfestigkeit Beton (MPa)

22 Der χ Test für diegüte der Anpassung Beobachtun ngen Anzahl an Die beobachteten und erwarteten Histogramme können nun verglichen werden Aufgrund der kleinen Anzahl an Stichproben werden die zwei unteren Intervalle zusammengeführt beobachtete Häufigkeiten postulierte Häufigkeiten Druckfestigkeit Beton (MPa) Druckfestigkeit Beton (MPa) Beobachtun ngen Anzahl an

23 Der χ Test für diegüte der Anpassung Statistik und Wahrscheinlichkeitsrechnung Berechnungen zum genannten Beispiel k ( No, N p, ) m N 1 p, Intervall [MPa] x beobachtete Häufigkeiten vorausgesagte Wahrscheinlichkeiten postulierte Häufigkeiten N o,, Stichproben Statistik p( x ) N p Summe: Auf einem Signifikanzniveau von 5% erhalten wir für die χ Verteilung Mit N=3 1= Freiheitsgraden aus der Tabelle: = Da kleiner ist als 5.99, kann die Nullhypothese H 0 nicht verworfen werden

24 Der χ Test für diegüte der Anpassung Statistik und Wahrscheinlichkeitsrechnung Wird einer oder mehrere Parameter der gewählten Verteilung aus dem gleichen Datensatz bestimmt, welcher auch für den Test verwendet wurde, dann muss die Anzahl der Freiheitsgrade entsprechend reduziert werden: v k 1 Unter der Annahme, dass die Varianz aus den Daten bestimmt wurde, aber nicht der Mittelwert, erhalten wir n= 3-1-1=1 Freiheitsgrade

25 Der χ Test für diegüte der Anpassung Wenn wir eine Normalverteilung annehmen mit den Parametern = und = , erhalten hlt wir folgendes Ergebnis: Intervall x beobachtete vorausgesagte postulierte Stichproben [MPa] Häufigkeiten N Wahrscheinlichkeiten px ( ) Häufigkeiten N Statistik N o, N p, Summe:

26 Der χ Test für diegüte der Anpassung Wenn wir eine Normalverteilung annehmen mit den Parametern = und = , erhalten hlt wir folgendes Ergebnis: Intervall x beobachtete vorausgesagte postulierte Stichproben [MPa] Häufigkeiten N Wahrscheinlichkeiten px ( ) Häufigkeiten N Statistik N o, N p, Summe: Auf einem Signifikanzniveau von 5% erhalten wir für die χ Verteilung mit N=3 1 1=1 Freiheitsgraden aus der Tabelle: bll = Da kleiner ist als 3.84, kann die Nullhypothese H 0 nicht verworfen werden

27 Kleine Denkaufgabe 11. Welche Methode zur Schätzung der Verteilungsparameter gp ist in der Lage, die statistischen Unsicherheiten zu berücksichtigen? Methode der Momente Maximum Likelihood Methode keine der beiden genannten Methoden

28 Kleine Denkaufgabe 11. Lösung Welche Methode zur Schätzung der Verteilungsparameter gp ist in der Lage, die statistischen Unsicherheiten zu berücksichtigen? Maximum Likelihood Methode

29 Der Kolmogorov Smirnov Test für die Güte der Anpassung Die Idee hinter dem Kolmogorov Smirnov Test ist folgende: Wenn die kumulative Wahrscheinlichkeitsverteilungsfunktion der gewählten Verteilung für die Beobachtungen in Betracht Bt htkommt, dann sollte die maximale Differenz zwischen der beobachteten und der postulierten kumulativen Wahrscheinlichkeitsverteilungsfunktion max klein sein. max n,

30 Der Kolmogorov Smirnov Test für die Güte der Anpassung Die kumulative Wahrscheinlichkeitsverteilungsfunktion der Beobachtungen kann berechnet werden als: o i Fo ( xˆ i ) = n Folgende Stichprobenstatistik wird benutzt: max n n i max F xˆ F xˆ max F xˆ i1 i1 n o o o o i p i p i

31 Der Kolmogorov Smirnov Test für die Güte der Anpassung Die Kolmogorov Smirnov Stichprobenstatistik wird folgendermassen ermittelt: i x i F xo (x i ) F xp (x i ) i (F x (x)) F () x (x) x

32 Der Kolmogorov Smirnov Test für die Güte der Anpassung Die Kolmogorov Smirnov Statistik ist tabelliert: n Für n = 0 und = 5% erhalten wir 0.941, im Vergleich zur beobachteten Statistik von die Nullhypothese H 0 kann nicht verworfen werden auf einem Signifikanzniveau von 5%

33 Kleine Denkaufgabe 11.3 Welcher Schritt ist für die Berechnung der Fisher Informationsmatrix wesentlich? erste partielle ill Ableitung der logarithmierten i Likelihood Funktion erste partielle Ableitung der logarithmierten Verteilungsfunktion zweite partielle Ableitung der logarithmierten Likelihood Funktion

34 Kleine Denkaufgabe 11.3 Lösung Welcher Schritt ist für die Berechnung der Fisher Informationsmatrix notwendig? zweite partielle Ableitung der logarithmierten Likelihood Funktion

35 Modellvergleich Modellverifizierung durch statistische Tests kann genutzt werden, um die Plausibilität eines bestimmten Modells in Bezug auf einen bestimmten Datensatz zu quantifizieren. Zwei Fälle müssen in Betracht gezogen werden: 1. Es kann gezeigt werden, dass die Hypothese akzeptiert werden kann.. Es kann gezeigt werden, dass die Hypothese verworfen werden muss. Welche Information ist in diesen beiden Fällen enthalten?

36 Modellvergleich Wenn ein Signifikanztest zeigt, g, dass eine Hypothese akzeptiert werden kann: Wir müssen uns daran erinnern, dass auch andere Modelle (Verteilungen) in Frage kommen tatsächlich ist es oft der Fall, dass mehrere Modelle den Signifikanztest bestehen! Wenn ein Signifikanztest ifik zeigt, dass eine Hypothese verworfen werden muss: Dies heisst nicht unbedingt, dass das gewählte Modell schlecht ist es könnte bedeuten, dass der Beweis einfach nicht stark genug ist, um die entsprechende Signifikanz zu zeigen zu wenig Daten!

37 Modellvergleich dll l Wenn zwei Modellhypothesen akzeptiert werden können, dh d.h. beide Modelle plausibel sind, dann können wir die Güte der Anpassung der zwei Modelle testen: 1. Direkter Vergleich der Stichprobenstatistik kann nicht beweiskräftig sein, u.a. aufgrund unterschiedlicher Freiheitsgrade.. Vergleich der Stichproben Likelihood

38 Modellvergleich dll l Betrachten wir ein Beispiel mit zwei unterschiedlichen Modellen: Modell 1: N(33;5) Parameter nicht aus den gleichen Daten geschätzt n=3 1= 3 1 χ Stichprobenstatistik = Stichprobenwahrscheinlichkeit = Modell ll: N(33;4.05) Parameter aus den gleichen Daten geschätzt n=3 1 1=11 1=1 χ Stichprobenstatistik = Stichprobenwahrscheinlichkeit =

39 Zusammenfassung Statistik und Wahrscheinlichkeitsrechnung Die Wahl eines geeigneten probabilistischen Modells kann durch Signifikanztests unterstützt werden. Der χ Test wurde für diskrete Verteilungen entwickelt. Der Kolmogorov Smirnov Test wurde für kontinuierliche Verteilungen entwickelt. Die Güte der Anpassung verschiedener Modellalternativen kann durch den Vergleich verschiedenen Stichproben Likelihoods geprüft werden

40 Vielen Dank für die Aufmerksamkeit