Umweltmonitoring Datenverarbeitung 1, Teil 2: Statistische Verfahren der Datenanalyse

Größe: px

Ab Seite anzeigen:

Download "Umweltmonitoring Datenverarbeitung 1, Teil 2: Statistische Verfahren der Datenanalyse"

Kornelius Meinhardt
vor 8 Jahren
Abrufe

1 Umweltmonitoring Datenverarbeitung 1, Teil 2: Statistische Verfahren der Datenanalyse Roland Stigge Humboldt Universität zu Berlin 9. Januar 2003

Roland Stigge stigge@informatik.hu-berlin.

2 Umweltmonitoring: Statistische Verfahren Statistische Verfahren: Überblick (Ausgewählte) Grundlagen Schätzverfahren Test- und Prüfverfahren Zeitreihenanalyse Moderne Verfahren der Geostatistik Clusteranalyse EOF-, Hauptkomponenten- und Faktorenanalyse Neuronale Netze Roland Stigge 1

Prüfverfahren Zeitreihenanalyse Moderne Verfahren der Geostatistik

3 Umweltmonitoring: Statistische Verfahren Grundlagen Roland Stigge 2

4 Umweltmonitoring: Statistische Verfahren: Grundlagen Schätzverfahren Stichprobeninformation Informationen über Grundgesamtheit Problemkreise der Schätztheorie: 1. Punktschätzung: Kenngrößen (Momente) 2. Intervallschätzung: Mutungsbereiche der Kenngrößen 3. Ereignisschätzung, Exspektanz: Intervall der Ereignisse, auch: Intervallschätzung Roland Stigge 3

Schätztheorie: 1. Punktschätzung: Kenngrößen (Momente) 2.

5 Umweltmonitoring: Statistische Verfahren: Grundlagen Schätzverfahren: Punktschätzung Momentmethode: Gleichsetzen SP-Parameter h = GG-Par. Θ optimale Mutmaßlichkeit: Mutmaßlichkeitsfunktion: L(Θ) = f(x 1,..., x n, Θ) = n i=1 f(x i, Θ) (Vor.: Wahrscheinlichkeitsdichtefunktion der GG bekannt) Beispiele für Momentmethode: arithmetischer Mittelwert: ˆµ = x = 1 n n i=1 x i Varianz: ˆσ 2 = s 2 = 1 n n i=1 (x i µ) 2 bzw. ˆσ 2 = s 2 = 1 n n 1 i=1 (x i x) 2 Roland Stigge 4

6 Umweltmonitoring: Statistische Verfahren: Grundlagen Schätzverfahren: Intervallschätzung: Mutungsbereiche Intervall abhängig von Wahrscheinlichkeit: Beispiel: Varianz: Mu P (GG) (p) = P (SP ) ± D(p, SP ) Mu σ 2 = σ 2 ± zσ 2 2 n mit: z = Parameter der Normalverteilung Anwendung: Angehörigkeit einer SP zu GG? Überlappung? besser: Hypothesenprüfung Roland Stigge 5

(p) = P (SP ) ± D(p, SP ) Mu σ 2 = σ 2 ± zσ 2 2 n mit: z = Parameter der Normalverteilung

7 Umweltmonitoring: Statistische Verfahren: Grundlagen Schätzverfahren: Intervallschätzung: Exspektanz Umrechnung p a oder a p mit a2 a 1 f(x)dx = F (a 2 ) F (a 1 ) = p, a = a 2 a 1 (evtl. umstellen) Roland Stigge 6

Umrechnung p a oder a p mit a2 a 1 f(x)dx = F (a 2 )

8 Umweltmonitoring: Statistische Verfahren: Grundlagen Test- und Prüfverfahren Hypothesenprüfung: Nullhypothese H 0 : Besonderheit zufällig Alternativhypothesen A i : Besonderheit nicht zufällig Mutmaßungen (Wahrscheinlichkeit p = Signifikanz Si) Prüfverfahren nachschlagen: P = f(a 1,..., a n ), mit: P = Prüfgröße, a i = Parameter P an Verteilung gebunden, z.b. χ 2 V oder zv { < PΦ,p, H Prüfentscheid: ˆP 0 annehmen > P Φ,p, A i annehmen mit: Φ = Anzahl der Freiheitsgrade, nachzuschlagen Roland Stigge 7

Si) Prüfverfahren nachschlagen: P = f(a 1,..., a n ), mit: P = Prüfgröße, a i = Parameter P an Verteilung gebu

9 Umweltmonitoring: Statistische Verfahren: Grundlagen Test- und Prüfverfahren (2) einseitige Tests: H 0 und A 1 zweiseitige Tests: H 0, A 1, A 2 Beispiel: Vergleich einer SP- mit einer GG-Häufigkeitsverteilung: ˆP = K k=1 [H k (SP ) H k (GG)] 2 H k (GG) mit: Φ = K Z, K = Anzahl der Klassen, Z = Zahl der Parameter der GG-Verteilung Achtung: hier: Nullhypothese = Übereinstimmung Roland Stigge 8

GG-Häufigkeitsverteilung: ˆP = K k=1 [H k (SP ) H k (GG)] 2 H k (GG) mit: Φ = K Z, K = Anzahl der

10 Umweltmonitoring: Statistische Verfahren: Grundlagen Zeitreihenanalyse (Erinnerung) Diskretisierung, Quantisierung Maßzahlen Periodizität Trendanalyse Harmonische Analyse Shannon / Nyquist Orthogonaltransformationen Roland Stigge 9

Quantisierung Maßzahlen Periodizität Trendanalyse

11 Umweltmonitoring: Statistische Verfahren Moderne Verfahren der Geostatistik Roland Stigge 10

12 Clusteranalyse Cluster [engl.]: Anhäufung, Punktwolke Gruppierung nach Ähnlichkeit n-dimensionale Analyse, n 1 verbreitet: 2-dimensional Ähnlichkeitsmaß: oft Distanzmaß D Minkowski-Metriken: D (r) = ( N 1 i=0 a ij a ik r )1 r Roland Stigge 11

13 Clusteranalyse, Details Standardisierung der Koordinaten nötig agglomerativ / divisiv hierarchische Clusteranalyse Abbruch: Anzahl der Ergebniscluster verschiedene Formeln für neue Clusterdistanzen Modifikationen: nicht-hierarchisch Diskriminanzanalyse (divisiv) Roland Stigge 12

der Ergebniscluster verschiedene Formeln für neue Clusterdistanzen

14 Clusteranalyse, Beispiele dpartitionsebenen d d d d d d C 2 C 3 C e e e e e e 4 C 1 C 6 C 5 e agglomerativ divisiv Elemente x x 1 C n 1 C n 2 C n 3 C 1 C n 4 C n Roland Stigge 13

5 e agglomerativ divisiv Elemente x 2 1 2 3 4 5 6 7

15 Clusteranalyse, einige Anwendungsbereiche Wetterstationen: Temperatur/Niederschlag Baumernährung (Zeit vs. Laubverlust) Vogelgemeinschaften (Aufenthaltsort) Roland Stigge 14

16 EOF-, Hauptkomponenten- und Faktorenanalyse EOF: Empirische Orthogonalfunktionen (/-vektoren) Alias: Principal Components (PC) Hauptachsen Karhunen-Loève-Transformationsmatrix-Zeilen Eigenvektoren sehr verbreitet in Meteorologie Reduktion von Redundanz durch Dekorrelation Roland Stigge 15

Hauptachsen Karhunen-Loève-Transformationsmatrix-Zeilen Eigenvektoren

17 EOF-Analyse: Beispiel b(t) PC 2 PC 1 a(t) Roland Stigge 16

18 EOF-Analyse: Vorgehensweise 1. Standardisierung der (Zeit-) Reihen sinnvoll (mittelwertfrei, gleiche Standardabweichung) 2. Kovarianzmatrix bestimmen: cov X,Y = E[(X E(X))(Y E(Y ))] 3. Eigenwertproblem lösen: cov g = λ g det(cov λe) = 0 4. Eigenwerte λ geben erfaßte Varianz an ordnen 5. g i normieren: g i = 1 6. g i sind Zeilen der KLT Roland Stigge 17

Standardabweichung) 2. Kovarianzmatrix bestimmen: cov X,Y = E[(X E(X))(Y E(Y ))] 3.

19 Hauptkomponenten- und Faktorenanalyse Hauptkomponentenanalyse: Reduktion von Variablen auf Faktoren: a i = A i1 F A iq F q mit: A ij = Gewichte aus EOF-Analyse, F q = EOF Faktorenanalyse: ähnlich, jedoch ohne komplette Reproduktion der Varianz: a i = A i1 F A ir F r + uu, r < q mit: U = Restfaktor, u = dessen Ladung Roland Stigge 18

.. + A iq F q mit: A ij = Gewichte aus EOF-Analyse, F q = EOF Faktorenanalyse: ähnlich,

20 EOF-, Hauptkomponenten- und Faktorenanalyse Variante: Kanonische Korrelationsanalyse: Zusammenhänge zwischen Gruppen von Variablen a 11 a 1m b 11 b 1k A =....., B =..... a n1 a nm b n1 b nk Berechnung Kanonischer Variablen x i und y i : ( ) ( m n k x i = c ij a lj, y i = d ij j=1 l=1 j=1 n l=1 b lj ) Bedingung: Kanon. Korrelation corr(x i, y j ) = δ ij Max. Roland Stigge 19

.... a n1 a nm b n1 b nk Berechnung Kanonischer Variablen x i und y i : ( ) ( m n k x i = c

21 Kanonische Korrelationsanalyse (cont.) Berechnung von c und d über Eigenwertgleichung: cov 21 cov 1 11 cov 12d = I cov 22 d cov 12 cov 1 22 cov 21c = I cov 11 c mit: cov ij = Kovarianzmatrix zwischen Gruppen i und j, I = Eigenwert, c, d = Eigenvektoren Kanonische Korrelationen geben Beziehung zwischen Variablengruppen an Roland Stigge 20

22 Neuronale Netze (NN) Modell des Nervensystems in Organismen Erlernen von Wirkungen anhand der Ursachen (einer Funktion) Training Voraussetzung: stationäre Mechanismen werden modelliert Black-Box-Methode Roland Stigge 21

23 Neuronale Netze: Neuronen Neuron: Analogaddierer I = j w j x j x 1 Ausgabe x 2 x 3 w 2 w 1 w 3 I Eingabe Roland Stigge 22

24 Neuronale Netze: Backpropagation x 1 Eingabe versteckt x 2 Ausgabe x 3 y * x 4 Schichten: Eingabe versteckte Schicht Ausgabe Roland Stigge 23

25 Neuronale Netze: Backpropagation ( BPN ) Fehler: (y 0 y ) 2 Backpropagation [engl.]: Informationsrückfluß Optimierung Lernparameter Anzahl der Neuronen Anzahl der Schichten Trennung: Trainings- und Verifikationsdaten Roland Stigge 24

26 Neuronale Netze Beispiel: Reproduktion/Fortsetzung von Lufttemperaturen anhand von Treibhausgasen, Sulfatpartikeln, Sonnenaktivität, Vulkanismus, El Niño Varianten überwachtes Lernen Wirkungsdaten bekannt z.b. BPN nicht-überwachtes Lernen Wirkungsdaten unbekannt (keine Ausgabeschicht) z.b. Kohonen-Netzwerk ( KOH ) Neuronenraster in Mittelschicht Kombinationen (BPN, KOH) Roland Stigge 25

27 Umweltmonitoring: Statistische Verfahren Literatur [1] Christian-Dietrich Schönwiese: Praktische Statistik für Meteorologen und Geowissenschafter, 3. erweiterte und überarbeitete Auflage, Gebrüder Bornträger Berlin Stuttgart [2] StatSoft: Electronic Statistics Textbook Roland Stigge 26

28 Umweltmonitoring: Statistische Verfahren Schluß Vielen Dank fu r die Aufmerksamkeit! Fragen? Roland Stigge 27

Ähnliche Dokumente

Melanie Kaspar, Prof. Dr. B. Grabowski 1

Melanie Kaspar, Prof. Dr. B. Grabowski 1 7. Hypothesentests Ausgangssituation: Man muss sich zwischen 2 Möglichkeiten (=Hypothesen) entscheiden. Diese Entscheidung soll mit Hilfe von Beobachtungen ( Stichprobe ) getroffen werden. Die Hypothesen