Überblick und Ausblick

Transkript

1 Letzte Vorlesung Statistik Vorlesung Datenanalyse und Statistik

2 Gliederung 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

3 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Gliederung 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

4 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Daten Schätzung Test Mathe Die Datenminen Riesige Halde mit nichtrepräsentativen Daten Die unwegsamen Ausreißerberge Bayes-Land Gletscherspalte der gleichen Messwerte Klippe der unüberprüfbaren Voraussetzungen Rangviertel ML-City Vorhersagebereich Vertrauensbereich Schätzervorstadt Statistika Modell-Platz Aussichtsturm Grafingen Normalviertel Klippe der unüberprüfbaren Voraussetzungen Sequenzielle Passage Momentenmethoden u. Lineare Modelle t-dorf Steppe der unwesentlich verletzten Voraussetzungen Todeswüste, der nicht erfüllten Voraussetzungen Posthoc robuster Weg Steig der Nichtparametrik Bonferroni Passage Sümpfe des multiplen Testens Benjamini Passage Nacht der angenommen Hypothesen Schlaraffia oder das Land des gelungen statistischen Nachweis Land des offenen Betrugs

5 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Rückblick Daten: Representativität Datenmatrix Datentafel Skala Statistische Graphik Deskriptive Statistik Statistische Tests Lineare Modelle

6 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Rückblick Daten: Statistische Graphik Welche Graphik für welche Daten? Welche Graphik zeigt was? Wie interpretiert man das Ergebnis? Deskriptive Statistik Statistische Tests Lineare Modelle

7 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Rückblick Daten: Statistische Graphik Deskriptive Statistik Lageparameter: Mittelwert, Median Streuungsparameter: Varianz, IRQ Abhängigkeiten: Korrelation Schiefe, Verteilung Statistische Tests Lineare Modelle

8 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Rückblick Daten: Statistische Graphik Deskriptive Statistik Statistische Tests Hypothese, Alternative, Fehler 1. und 2. Art. Nachweis, α-niveau, p-werte Bonferroni Korrektur Auswahl der Tests parametrisch, nichtparametrisch, robust Lineare Modelle

9 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Rückblick Daten: Statistische Graphik Deskriptive Statistik Statistische Tests Lineare Modelle Modellgleichungen: +bt, +b G, +ǫ i Varianzanalysetabellen Voraussetzungen Diagnostik

10 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Gliederung 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

11 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Univariate Statistik Daten Univariate Parameter Univariate Graphiken Bivariate Statistik

12 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Univariate Statistik Bivariate Statistik Correlation, Kontingenztafeln Gepaarte, Zweistichproben, Mehrstichproben-Tests Bivariate Graphik ANOVA, Lineare Regression

13 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Univariate Statistik Bivariate Statistik Graphik: Streudiagrammmatrix, Mosaikplot Lineare Modell, multivariate lineare Modelle Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse, Independent Component Analysis Diskriminazanalyse

14 Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten Univariate Statistik Bivariate Statistik Zeitreihen Zufallsfelder...

15 Gliederung Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

16 Kovarianzmatrizen Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse var(x 1 ) cov(x 1,X 2 ) cov(x 1,X 3 ) cov(x 1,X 4 ) cov(x 2,X 1 ) var(x 2 ) cov(x 2,X 3 ) cov(x 2,X 4 ) cov(x 3,X 1 ) cov(x 3,X 2 ) var(x 3 ) cov(x 3,X 4 ) cov(x 4,X 1 ) cov(x 4,X 2 ) cov(x 4,X 3 ) var(x 4 )

17 Gliederung Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

18 Klusteranalyse I Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

19 Klusteranalyse II Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

20 Gliederung Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

21 Hauptkomponentenanalyse I Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

22 Hauptkomponentenanalyse II Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

23 Hauptkomponentenanalyse III Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

24 Hauptkomponentenanalyse IV Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

25 Hauptkomponentenanalyse IV Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

26 Hauptkomponentenanalyse IV Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y

27 X Rückblick Hauptkomponentenanalyse IV Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y

28 Gliederung Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

29 Faktorenanalyse Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse X Y Z Z X Y

30 Gliederung Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung

31 Diskriminazanalyse Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y ? X

32 Diskriminazanalyse Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

33 Diskriminazanalyse Rückblick Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Y X

34 Zusammenfassung MV-Statistik Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse Die Klusteranalyse versucht Gruppen in den Daten zu finden. Die Hauptkomponentenanalyse versucht die Hauptrichtung der Streuung im Datensatz aufzufinden. Die Faktorenanalyse versucht unbeobachtbare gemeinsame Ursachen in den Daten zu entdecken. Die Diskriminazanalyse versucht Individuen einer Gruppe zuzuordnen.

35 Gliederung Rückblick 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung Zusammenfassung

36 Zeitreihen Rückblick Zusammenfassung z Tage

37 Eigenschaften von Zeitreihen Zusammenfassung Daten werden in regelmäßigen Zeitabständen erhoben In kurzer Zeit ändert sich nicht so viel Daten sind also stochastisch abhängig Daten verhalten sich oft zyklisch (z.b. immer große Werte im Sommer)

38 Eigenschaften von Zeitreihen Zusammenfassung Daten werden in regelmäßigen Zeitabständen erhoben In kurzer Zeit ändert sich nicht so viel Daten sind also stochastisch abhängig Daten verhalten sich oft zyklisch (z.b. immer große Werte im Sommer)

39 Eigenschaften von Zeitreihen Zusammenfassung Daten werden in regelmäßigen Zeitabständen erhoben In kurzer Zeit ändert sich nicht so viel Daten sind also stochastisch abhängig Daten verhalten sich oft zyklisch (z.b. immer große Werte im Sommer)

40 Eigenschaften von Zeitreihen Zusammenfassung Daten werden in regelmäßigen Zeitabständen erhoben In kurzer Zeit ändert sich nicht so viel Daten sind also stochastisch abhängig Daten verhalten sich oft zyklisch (z.b. immer große Werte im Sommer)

41 Methoden für Zeitreihen Zusammenfassung Test ob Abhängigkeit tatsächlich vorliegt (z.b. Ansari-Friedmann) Abhängigkeit quantifizieren durch Autokovarianzfunktion: c(h) = cov(z(t + h),z(t)) Vorhersage: Wie geht es weiter? Welche Gesetze verbergen sich hinter der Zeitreihe?

42 Methoden für Zeitreihen Zusammenfassung Test ob Abhängigkeit tatsächlich vorliegt (z.b. Ansari-Friedmann) Abhängigkeit quantifizieren durch Autokovarianzfunktion: c(h) = cov(z(t + h),z(t)) Vorhersage: Wie geht es weiter? Welche Gesetze verbergen sich hinter der Zeitreihe?

43 Methoden für Zeitreihen Zusammenfassung Test ob Abhängigkeit tatsächlich vorliegt (z.b. Ansari-Friedmann) Abhängigkeit quantifizieren durch Autokovarianzfunktion: c(h) = cov(z(t + h),z(t)) Vorhersage: Wie geht es weiter? Welche Gesetze verbergen sich hinter der Zeitreihe?

44 Methoden für Zeitreihen Zusammenfassung Test ob Abhängigkeit tatsächlich vorliegt (z.b. Ansari-Friedmann) Abhängigkeit quantifizieren durch Autokovarianzfunktion: c(h) = cov(z(t + h),z(t)) Vorhersage: Wie geht es weiter? Welche Gesetze verbergen sich hinter der Zeitreihe?

45 Gliederung Rückblick 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung Zusammenfassung

46 Zusammenfassung Was ist eine geostatistische Vorhersage? y An unkown reality x Ẑ() = A ( n f i=1 Z(s) = grade at location s ) w i (s)z(s i ), i = 1,...,n ds

47 Zusammenfassung Was ist eine geostatistische Vorhersage? y Observation Locations x Ẑ() = A ( n f i=1 s i = Observation location ) w i (s)z(s i ), i = 1,...,n ds

48 Zusammenfassung Was ist eine geostatistische Vorhersage? y Observation Locations x Ẑ(s) = A ( n f i=1 Z(s i ) = True value at location s i ) w i (s)z(s i ), i = 1,...,n ds

49 Ẑ(s i ) = Infered value at location s i Rückblick Zusammenfassung Was ist eine geostatistische Vorhersage? What do we expect here? y? x Ẑ(s) = A ( n f i=1 ) w i (s)z(s i ), i = 1,...,n ds

50 Zusammenfassung Was ist eine geostatistische Vorhersage? What do we expect here? y? x Ẑ(s) = A ( n f i=1 w i (s) = Kriging weights ) w i (s)z(s i ), i = 1,...,n ds

51 Zusammenfassung Was ist eine geostatistische Vorhersage? What do we expect here? y? What in this block? ya x Ẑ(A) = A x ( n ) f w i (s)z(s i ), i = 1,...,n ds i=1 Z(A) = Average value in Block B

52 Zusammenfassung What ist geostatististische Simulation? y An unkown reality x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

53 Zusammenfassung What ist geostatististische Simulation? y Prediction x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

54 Zusammenfassung What ist geostatististische Simulation? y Prediction x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

55 Zusammenfassung What ist geostatististische Simulation? y Simulation x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

56 Zusammenfassung What ist geostatististische Simulation? y Simulation x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

57 Zusammenfassung What ist geostatististische Simulation? y Simulation x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

58 Zusammenfassung What ist geostatististische Simulation? y Simulation x reality is unkown prediction is to smooth predict conditional distribution simulating possible szenarios... many possible szenaries are qualitatively similar *but qualitatively different from reality

59 Gliederung Rückblick 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung Zusammenfassung

60 Rückblick Zusammenfassung NA20.K Fe2O3 MgO

61 Rückblick Zusammenfassung Fe2O NA20.K20 + MgO

62 Rückblick Zusammenfassung Komponenten addieren zu 100% Komponenten sind also abhängig und automatisch negativ korreliert. Komponenten sind einzeln Anteile, aber hängen zusammen.

63 Rückblick Zusammenfassung Komponenten addieren zu 100% Komponenten sind also abhängig und automatisch negativ korreliert. Komponenten sind einzeln Anteile, aber hängen zusammen.

64 Rückblick Zusammenfassung Komponenten addieren zu 100% Komponenten sind also abhängig und automatisch negativ korreliert. Komponenten sind einzeln Anteile, aber hängen zusammen.

65 Ternäre Diagramme Rückblick Zusammenfassung MgO NA20.K20 Fe2O3

66 Gliederung Rückblick 1 Rückblick Sortiert nach dem Inhalt der Vorlesung Sortiert nach Daten 2 Kovarianzmatrizen Klusteranalyse Hauptkomponentenanalyse Faktorenanalyse Diskriminazanalyse 3 Zusammenfassung Zusammenfassung

67 Zusammenfassung SD Rückblick Zusammenfassung Daten mit zeitlichen Abhängigkeiten Daten mit räumlichen Abhängigkeiten Werte addieren zu 1 bzw. Summe egal.

68 Zusammenfassung Daten Schätzung Test Mathe Die Datenminen Riesige Halde mit nichtrepräsentativen Daten Die unwegsamen Ausreißerberge Bayes-Land Gletscherspalte der gleichen Messwerte Klippe der unüberprüfbaren Voraussetzungen Rangviertel ML-City Vorhersagebereich Vertrauensbereich Schätzervorstadt Statistika Modell-Platz Aussichtsturm Grafingen Normalviertel Klippe der unüberprüfbaren Voraussetzungen Sequenzielle Passage Momentenmethoden u. Lineare Modelle t-dorf Steppe der unwesentlich verletzten Voraussetzungen Todeswüste, der nicht erfüllten Voraussetzungen Posthoc robuster Weg Steig der Nichtparametrik Bonferroni Passage Sümpfe des multiplen Testens Benjamini Passage Nacht der angenommen Hypothesen Schlaraffia oder das Land des gelungen statistischen Nachweis Land des offenen Betrugs

69 Die letzte Frage Rückblick Zusammenfassung

70 Ich wünsche Ihnen Rückblick Zusammenfassung eine bestandene Klausur schöne Ferien! ein erfolgreiches Leben

71 Ich wünsche Ihnen Rückblick Zusammenfassung eine bestandene Klausur schöne Ferien! ein erfolgreiches Leben

72 Ich wünsche Ihnen Rückblick Zusammenfassung eine bestandene Klausur schöne Ferien! ein erfolgreiches Leben