Multivariate and Geostatistical Data Analysis. Multivariate and Geostatistical Data Analysis

Transkript

1 Multivariate and Geostatistical Data Analysis Multivariate and Geostatistical Data Analysis c 2012 Helmut Schaeben Geomathematics and Geoinformatics Technische Universität Bergakademie Freiberg, Germany Introduction Winter Term 2012/13

2 Wahrscheinlichkeitstheorie, Statistik, Datenanalyse (1) Stochastik Wahrscheinlichkeitsthorie: Zufall unter Abstraktion von inhaltlicher Bedeutung in mathematischen Termen beschreiben und mit mathematischen Methoden analysieren Mathematische Statistik: Verfahren, um aus dem Beobachtungsergebnis spezifische Schlüsse zu ziehen, insbesondere über die Form des zugrundeliegenden Zufallsmechanismus, das Gesamtverhalten dieses Experiments. Wahrscheinlichkeitstheorie, Statistik, Datenanalyse (2) Daten-Analyse, angewandte Statistik Zählen, ordnen, charakterisieren von zufallsabhängigen Ereignissen, Eigenschaften von Objekten Graphische Darstellung, Visualisierung Schlüsse von der Probe auf die Gesamtheit: univariat: überwiegend Erklärungsmodelle multivariat: überwiegend Erkundungsmodelle Interpretation der methodischen Ergebnisse bezüglich des ursprünglichen inhaltlichen Problems Es wird nicht unterschieden, ob die Zufallsabhängigkeit eine charakteristische, den Ereignissen innewohnende (intrinsische) Eigenschaft ist (ontologische Interpretation, s. Vistelius) oder ob die Zufallsabhängigkeit durch die beschränkte Beobachtungsfähigkeit eingeführt wird (epistomologische Interpretation; pragmatisch!). Univariate statistische Datenanalyse (1) Beschreibende und darstellende Statistik (2) Vorbemerkungen Gewinnung von Daten unabhängig, repräsentativ, unverfälscht, etc. Variabilität vs Probenahmefehler Skalen-Niveau fehlende Meßwerte Stichprobenumfang... Statistische Kennzahlen, Maßzahlen einer Stichprobe Folge von Meßwerten x 1,..., x n, x i R 1, i = 1,..., n Folge von aufsteigend geordneten Meßwerten x (1), x (2),..., x (n) mit x (i) x (j) für i < j Speicherung von Daten Datei (file) Datenbank (database) Geo-Codierung, GeoInformationsSystem (GIS)...

3 Beschreibende und darstellende Statistik (3) Beschreibende und darstellende Statistik (4) Lokalisationsmaße Lokalisationsmaße kleinster Wert x (1), größter Wert x (n) Mittelwerte arithmetischer getrimmter arithmetischer x = 1 n x i x trimmed = 1 n n j+1 i=j x (i) Beschreibende und darstellende Statistik (5) Beschreibende und darstellende Statistik (6) Lokalisationsmaße geometrischer harmonischer x H = xgeom = n x 1... x n = ( n [ ( )] [ 1 1 = n x 1 x n n x i ) 1 n 1 i= x i ] 1 Lokalisationsmaße Modalwert: häufigster Meßwert

4 Beschreibende und darstellende Statistik (7) Beschreibende und darstellende Statistik (8) Lokalisationsmaße Median x = { x( n+1 p - Quantil x p für 0 < p < 1 2 ) falls n ungerade x ( n 2 ) falls n gerade { x(np) falls np ganzzahlig x p = sonst x ([np+1]) wobei [a] die größte ganze Zahl kleiner oder gleich a R 1 ist. Ein (empirisches) p-quantil ist ein Meßwert, daß mindestens p 100% der Meßwerte nicht größer und mindestens (1 p) 100% nicht kleiner sind. Insbesondere x = x 0.5. Beispiel zur Anwendung von Lokalisationsmaßen Gegeben seien zwei Meßfolgen von Altersangaben in Mrd. Jahren z z Welche Folge ist die jüngere? Übung! Vergleich der Mittelwerte: z 1 = 24 z 2 = 23 Vergleich der Mediane: z 1 = 22 z 2 = 23 Beschreibende und darstellende Statistik (9) Beschreibende und darstellende Statistik (10) Dispersionsmaße Spannweite empirische Varianz s 2 = 1 R = x (n) x (1) empirische Standardabweichung s = 1 (x i x) 2 = ssx (x i x) 2 Dispersionsmaße empirischer Variationskoeffizient mittlere Abweichung relative Variabilität d = 1 n v = s x x i x V = d x

5 Beschreibende und darstellende Statistik (10) Beispiel zur Anwendung der Dispersionsmaße Beschreibende und darstellende Statistik (11) Maßzahlen für bivariate Meßreihen Folge von Meßwerten (x 1, y 1 ),..., (x n, y n ), (x i, y i ) R 2, i = 1,..., n Schwerpunkt der Punktwolke Empirische Varianzen ( x, ȳ) = ( 1 n x i, 1 n y i ) s 2 x = s 2 y = 1 1 (x i x) 2 = ssx (y i ȳ) 2 = ssy Beschreibende und darstellende Statistik (12) Maßzahlen für bivariate Meßreihen Empirische Kovarianz s 2 xy = 1 Empirischer Korrelationskoeffizient r xy = (x i x)(y i ȳ) = sxy s2 xy s x s y = Anstieg der Regressionsgeraden a = sxy ssx = sxy ssx ssy sxy ssy = ssx ssy ssx ssy ssx r xy Beschreibende und darstellende Statistik (13) > summary(d) D Min.: st Qu.: Median: Mean: rd Qu.: Max.: > quantile(d, probs = seq(0, 1, 0.1)) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% > range(d) 13, 69 > var(d) > sqrt(var(d))

6 Beschreibende und darstellende Statistik (14) Visualisierung: Stamm-Blatt plot Decimal point is 1 place to the right of the colon 1 : 34 1 : 8 2 : : : : : : : : : : 69 Beschreibende und darstellende Statistik (15) Visualisierung: box plot Beschreibende und darstellende Statistik (16) Beschreibende und darstellende Statistik (17) Visualisierung: box plot By default, whiskers are drawn to the nearest value not beyond a standard span from the quartiles; points beyond (outliers) are drawn individually. Giving range=0 forces whiskers to the full data range. Any positive value of range multiplies the standard span by this amount. The standard span is 1.5*(Inter-Quartile Range). Boxplots have proven to be quite a good exploratory tool, especially when several boxplots are placed side by side for comparison. The most striking visual feature is the box which shows the limits of the middle half of the data (the line inside the box represents the median). Extreme points are also highlighted. Boxplots not only show the location and spread of data but indicate skewness, as well. Visualisierung: Histogramm Formel von Sturges k = 1 + ln n/ ln 2 (oder andere) für die Anzahl k der Klassen. Sturges Formel basiert auf dem Histogramm einer Normalverteilung; andere Verteilungen benötigen mehr Klassen. Beispiel für die Anwendung der Formel von Sturges Für n = 200 ergibt sich k = , also wähle k = 9.

7 Beschreibende und darstellende Statistik (18) Beschreibende und darstellende Statistik (19) Visualisierung: Histogramm Visualisierung: Nichtparametrische Dichteschätzung diam$d diam$d diam$d Überlagerung von n Funktionen mit symmetrischen glockenförmigen Graphen bezüglich x i, i = 1,..., n diam$d diam$d Für sehr viel größere k werden die statistischen Schwankungen bereits bemerkbar, für kleinere k beginnt die Form der Verteilung schon undeutlich zu werden. Beschreibende und darstellende Statistik (20) Visualisierung: Empirische Verteilungsfunktion edf F n (x) = #(x i x) n empirical and fitted theoretical distribution function Empirische Quantile lassen sich direkt an der Folge der geordneten Meßwerte und graphisch am einfachsten aus einer Darstellung der empirischen Verteilungsfunktion ablesen. d.sort Beschreibende und darstellende Statistik (21) Visualisierung: p p plot Stammt die Meßfolge x 1,..., x n von einer Grundgesamtheit mit der Verteilungsfunktion F? plot (F (x i ), F n (x i )), i = 1,..., n, d.h. die (kumulativen) Wahrscheinlichkeiten entsprechend F auf der x-achse, die empirischen (kumulativen) Wahrscheinlichkeiten entsprechend F n auf der y-achse. edf p-p plot of diameter cdf

8 Beschreibende und darstellende Statistik (22) Beschreibende und darstellende Statistik (23) Visualisierung: q q plot Stammt die Meßfolge x 1,..., x n von einer Grundgesamtheit mit der Verteilungsfunktion F? plot (F 1 ( i n+1 ), x i (i)), i = 1,..., n, d.h. n+1 100% - Quantile von F (population quantiles) auf der x-achse, entsprechende empirische Quantile (sample quantiles), d.h. die aufsteigend der Größe nach geordneten Meßwerte x (i) auf der y-achse. q-q plot of diameter > summary(steinar) X Min.: st Qu.: Median: Mean: rd Qu.: Max.: > quantile(x, probs = seq(0, 1, 0.1)) 0% 10% 20% b30% 40% 50% 60% 70% 80% 90% 100% D > range(x) > var(x) > sqrt(var(x)) Quantiles of Standard Normal Beschreibende und darstellende Statistik (24) Visualisierung: box plot Beschreibende und darstellende Statistik (24) Visualisierung: Histogramm Steinar$X Steinar$X Steinar$X Steinar$X Steinar$X

9 Beschreibende und darstellende Statistik (25) Beschreibende und darstellende Statistik (26) Visualisierung: Empirische Verteilungsfunktion Visualisierung: p p plot empirical and fitted theoretical distribution function p-p plot of Steinar's X edf edf cdf x.sort Beschreibende und darstellende Statistik (27) Beschreibende und darstellende Statistik (28) Visualisierung: scatter-plot (Streudiagramm) Visualisierung: q q plot q-q plot of Steinar's X Beispiel zur Anwendung des scatter plots für bivariate Meßfolgen z z X Quantiles of Standard Normal z z Z Z Z Z3

10 Beschreibende und darstellende Statistik (29) Beschreibende und darstellende Statistik (30) Decimal point is at the colon z 1 z 2 z 3 z 4 2 : 00 4 : 0 2 : 00 4 : 0 3 : 0 5 : : 0 5 : : 0 6 : 4 : 0 6 : 5 : 0 7 : 05 5 : 0 7 : 05 6 : 0 8 : 6 : 0 8 : 7 : 9 : 7 : 9 : 8 : 0 10 : 0 8 : 0 10 : 0 Die beiden bivariaten Meßfolgen (z 1i, z 2i ) und (z 3i, z 4i ) unterscheiden sich deutlich in ihren scatterplots; ihre eindimensionalen Randverteilungen sind jedoch identisch. Damit ist anschaulich gezeigt, daß die eindimensionalen Randverteilungen (Marginalverteilungen) die gemeinsame Verteilung nicht bestimmen. Übung! Klassische Regressionsgerade minimiert die Summe der quadrierten Differenzen für die Gesamtheit der Meßwerte Robuste Regressionsgerade minimiert die Summe der quadrierten Differenzen für eine Mehrheit der Meßwerte Beschreibende und darstellende Statistik (31) In der multivariaten Datenanalyse gesellen sich zu den verallgemeinerten wahrscheinlichkeitstheoretischen Argumenten der univariaten Statistik verstärkt algebraische Argumente bei dem Bestreben nach Verminderung der Dimensionalität des Merkmal- bzw. Probenraums und geometrische Argumente für geeignete graphische Darstellungen. Es sei vorweggenommen, daß die in der univariaten Statistik prominenten Probleme der Schätzung von Parametern und des Rückschlusses von der Stichprobe auf die Gesamtheit in der multivariaten Statistik und Datenanalyse im allgemeinen eher zweitrangig sind. Insofern kann man multivariate Statistik und Datenanalyse nur bedingt als Verallgemeinerung der univariaten Statistik und Datenanalyse ansehen. Beschreibende und darstellende Statistik (32) Organisation der Daten als Datenmatrix Multivariate Daten werden in Matrixform, d.h. als rechteckige Tafel, Datentabelle organisiert, die soviele Zeilen hat, wie Objekte/Proben untersucht wurden, und die soviele Spalten hat, wie Merkmale/Variablen gemessen wurden. x 11 x x 1m x 21 x x 2m X = (x ij ) = x n1 x n2... x nm mit i = 1,..., n = # Objekte/Proben und j = 1,..., m = # Merkmalen/Variablen.

11 Beschreibende und darstellende Statistik (33) Im Beispiel handelt es sich um 4 Aufschlüsse mit 3 beobachteten Schichtmächtigkeiten. x ij beschreibt die Merkmalausprägung des j-ten Merkmals an der i-ten Probe; im Beispiel beschreibt x 21 = 10 die Mächtigkeit der ersten Schicht (Sandstein) im zweiten Aufschluß. Sandstein Schieferton Kalkstein sandstone shale limestone Beschreibende und darstellende Statistik (34) Die univariate Statistik stellt Methoden zur Analyse der Verteilung der Ausprägung (Werte) eines einzelnen Merkmals auf die Objekte der Untersuchungsmenge (Proben) zur Verfügung, d.h. zur Analyse einer einzelnen Meßfolge, die durch eine einzelne Spalte der Datenmatrix dargestellt wird: mittlere Mächtigkeit von Sandstein in den 4 Aufschlüssen, Variabilität der Mächtigkeit von Schieferton bezüglich der 4 Aufschlüsse, etc. Table: Mächtigkeiten von drei Schichten in vier Aufschlüssen (nach Butler, J.C., 1988, Summarizing the information content of a set of measurements: GEOBYTE 3(1)) Beschreibende und darstellende Statistik (35) Für die jede Meßfolge von Schichtmächtigkeiten lassen sich die Lage- und Streuungsparameter bestimmen, z.b. für Sandstein die mittlere Mächtigkeit 35, die Spannweite 40, die empirische Varianz 300 und die empirische Standardabweichung 17.3, die ein Maß für die Variabilität (statistische Schwankung um den Mittelwert) in der Maßeinheit der Messung ist. Im absoluten Maß der Varianz bzw. Standardabweichung besitzt Schieferton die größte und Kalkstein die kleinste (absolute) Variabilität. Im relativen Maß des dimensionslosen Variationskoeffizienten besitzt Kalkstein die größte und Sandstein die kleinste (relative) Variabilität. Beschreibende und darstellende Statistik (36) Visualisierung der Datenmatrix als Punktwolke im Merkmalraum (Q - Modus) Jede Probe wird als ein Punkt im R m, also im Merkmalraum aufgespannt von m orthogonalen Merkmalachsen dargestellt

12 Beschreibende und darstellende Statistik (37) Visualisierung der Datenmatrix als Punktwolke im Probenraum (R - Modus) Jedes Merkmal wird als ein Punkt im R n, also im Probenraum aufgespannt von n orthogonalen Probenachsen dargestellt Beschreibende und darstellende Statistik (38) Im Beispiel ist n = 4, m = 3, also vier Probenpunkte (Aufschlüsse) im dreidimensionalen Merkmalraum R 3 aufgespannt von den drei Schichtmächtigkeiten und drei Merkmalpunkte im Probenraum R 4 aufgespannt von den vier Aufschlüssen. Im Falle n, m 3 stellt sich ein Darstellungsproblem ein. Für kleine n, m kann man scatter plots in den zweidimensionalen Unterräumen des m-dimensionalen Merkmalraums oder des n-dimensionalen Probenraums erstellen. Für das Beispiel gibt es drei 2-dimensionale Merkmalunterräume und sechs 2-dimensionale Probenunterräume. Beschreibende und darstellende Statistik (39) Beschreibende und darstellende Statistik (40) Im (Sandstein, Schieferton) - Unterprobenraum erscheint der zweite Aufschluß mit relativ großem Abstand von den anderen Aufschlüssen. Im (Schieferton, Kalkstein) - Unterprobenraum besetzen die Aufschlüsse 2 und 4 ähnliche Orte, sodaß sie aufgrund ihres Euklidischen Abstands in diesem scatter-plot als das ähnlichste Aufschlußpaar interpretiert werden könnten. Allerdings würde aufgrund des Winkels das Aufschlußpaar 1 und 3 als das ähnlichste bewertet. Der (Sandstein, Kalkstein) - scatterplot belegt, daß beide Ähnlichkeitsmaße zum gleichen Ergebnis führen können, denn dort sind die Aufschlüsse 1 und 3 nach beiden Kriterien die ähnlichsten. Ähnlichkeitsmaße für Paare von Probenpunkten im Merkmalraum (Q - Modus): Gibt es Probengruppen, die durch bestimmte Merkmalkomplexe typisiert sind? für Paare von Merkmalpunkten im Probenraum (R - Modus): Gibt es Merkmalkomplexe, für die bestimmte Probengruppen typisch sind? Die Aussagekraft dieser 2d scatter-plots ist insgesamt sehr eingeschränkt und zweifelhaft.

13 Beschreibende und darstellende Statistik (41) Beschreibende und darstellende Statistik (42) Kovarianzmatrix, Korrelationsmatrix Euklidischer Abstand, cos Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Sandstone Shale Limestone Algebraische Ähnlichkeitsmaße Die Matrix der empirischen Varianzen/Kovarianzen von je zwei Merkmalausprägungen wird oft als Ähnlichkeitsmaß im R - Modus benutzt. Das Merkmalpaar mit der größten (positiven) Kovarianz wird als das ähnlichste interpretiert. Da die Kovarianz von der absoluten Größe der Merkmalausprägungen abhängt, vermittelt die Varianz/Kovarianz - Matrix ein absolutes Ähnlichkeitsmaß. Die Korrelationsmatrix stellt ein relatives dimensionsloses Ähnlichkeitsmaß bereit. Beschreibende und darstellende Statistik (43) Geometrische Ähnlichkeitsmaße Die Matrix der euklidischen Abstände zwischen je zwei Probenpunkten wird oft als Ähnlichkeitsmaß im Q - Modus benutzt. Das Probenpaar mit dem kleinsten euklidischen Abstand wird als das ähnlichste interpretiert. Da der euklidische Abstand von der absoluten Größe der Merkmalausprägungen abhängt, vermittelt die Matrix der paarweisen euklidischen Abstände ein absolutes Ähnlichkeitsmaß. Die Matrix der Winkel zwischen je zwei Probenpunkten stellt ein relatives dimensionsloses Ähnlichkeitsmaß bereit.