Karl Entacher. FH-Salzburg

Transkript

1 Ahorn Versteinert HTK Karl Entacher FH-Salzburg karl.entacher@fh-salzburg.ac.at Beispiel 3 Gegeben sind 241 NIR Spektren (Vektoren der Länge 223) zu Holzproben welche verschieden behandelt wurden. Die Anzahl der Behandlungsstufen ist nicht bekannt. Kann die Anzahl der Behandlungsstufen aus den Daten bestimmt werden? HTL-Kuchl

2 Beispiel Eine Clusteranalyse lässt auf 3 Behandlungsstufen schließen. Folgende Grafik zeigt die 3 Cluster mit den jeweiligen Mittelwert- Minimum- und Maximumspektren HTL-Kuchl 3 Entscheidung welche Behandlung?.5.4 Neues Signal: Abstände zu den Mittelwert-Spektren m1 (rot) m2 (grün) m3 (blau) HTL-Kuchl 4

3 Entscheidungshilfe? HTL-Kuchl 5 Weitere Beispiele HTL-Kuchl 6

4 Beschreibende Statistik einfache Stichprobe 1 Absolute Werte Fichte Kiefer Lärche 2,% Holzart Prozent 5,% 4,% 3,% 1,% 47,62% 28,57% 23,81% Nominalskala!,% Fichte Kiefer Lärche Holzart Holzart = Fichte Fichte Lärche Fichte Kiefer Fichte Lärche Lärche Kiefer HTL-Kuchl 7 Beschreibende Statistik einfache Stichprobe Absolute Häufigkeiten Relative Häufigkeiten Diskrete Daten -- Ordinalskala! X = HTL-Kuchl 8

5 Beschreibende Statistik einfache Stichprobe 14 Histogramm mit gleicher Klassenaufteilung und absoluten Häufigkeiten Punktgrafik / Scatterplot Stetige Daten Metrische Skala! V1 = HTL-Kuchl 9 Beschreibende Statistik einfache Stichprobe Empirische Verteilungsfunktion Variante (ecdf) V1 = HTL-Kuchl 1

6 Beschreibende Statistik einfache Stichprobe Histogramm Variante in der Praxis (Klassenbreite identisch!) Frequency Cumulative Percent 1% 8% 6% 4% 2% v1 % v1 V1 = HTL-Kuchl 11 Beschreibende Statistik eine Stichprobe h i f i F i ,16,16,24,4,28,68,18,86,14 1, 1, 5 5 Die absoluten Häufigkeiten ergeben die relativen und die Summenhäufigkeiten, und wenn die Datenanzahl bekannt ist, auch umgekehrt! HTL-Kuchl 12

7 Beschreibende Statistik Lage- und Streuungsparameter Median Mittelwert Zentrum der Daten? 1.Q 3.Q Mittelwert +/- Standardabweichung Streuung der Daten? HTL-Kuchl 13 Beschreibende Statistik Median HTL-Kuchl 14

8 Beschreibende Statistik Quantile 1. Quartil =.25-Quantil: 25% der Daten liegen unterhalb 2. Quartil =.5-Quantil = Median 3. Quartil =.75-Quantil: 75% der Daten liegen unterhalb α - Quantil: α 1 % der Daten liegen unterhalb dieser Schranke Bestimmung: durch Umkehrung der ecdf HTL-Kuchl 15 Beschreibende Statistik Box Plot HTL-Kuchl 16

9 Beschreibende Statistik Box Plot 3. Quartil IQR 3. Quartil + 3 IQR IQR (inter quartile range, Quartilsabstand) HTL-Kuchl 17 Beschreibende Statistik Streuungsparameter Spannweite Spannweite(daten) = Maximum(daten) Minimum(daten) HTL-Kuchl 18

10 Beschreibende Statistik Streuungsparameter m x Entfernung Daten vom Mittelwert: x k -m x 2,5 x 1 x 2 x 3 x 4 x 5 x 6 x , HTL-Kuchl 19 Beschreibende Statistik Mittlere Absolute Abweichung m x Absolute Entfernung Daten vom Mittelwert: x k m x,5 2 x 1 x 2 x 3 x 4 x 5 x 6 x 7, HTL-Kuchl 2

11 Beschreibende Statistik Streuungsparameter Quadratische Entfernung der Daten vom Mittelwert: (x k m x ) 2 m x 2 2,5 2 x 1 x 2 x 3 x 4 x 5 x 6 x 7, HTL-Kuchl 21 Beschreibende Statistik Streuungsparameter HTL-Kuchl 22

12 Beschreibende Statistik Streuungsparameter HTL-Kuchl 23 Korrelationsrechnung Wir betrachten zwei Stichproben: x = (x 1, x 2,, x n ) y = (y 1, y 2,, y n ) Mittels Korrelationsrechnung wird versucht einen linearen Zusammenhang zweier Merkmale durch Zahlenwerte auszudrücken. Das Gebiet der Regression hingegen ermöglicht eine genauere Abhänigkeitsanalyse durch geeignete Anpassung mathematischer Modelle an die Daten. Beispiel: HTL-Kuchl 24

13 Korrelationsrechnung Kovarianz (covariance) Kovarianz s xy HTL-Kuchl 25 Korrelationskoeffizient (coefficient of correlation) Für die Kovarianz gilt: wodurch D.h. man definiert: Korrelationskoeffizienten nach Pearson (oder Bravais-Pearson) s xy = -.62 s xy =.223 r xy = -.3 r xy =.92 Auguste Bravais Französischer Physiker Vermutlich Erfinder des Korrelationskoeffizienten Karl Pearson Englischer Mathematiker, Rechtsanwalt, Poet und radikaler Politiker Begründer der modernen Statistik HTL-Kuchl 26

14 Korrelationskoeffizient HTL-Kuchl 27 Korrelationskoeffizient Man nennt zwei Stichproben x und y korreliert, wenn.75 r xy 1 und offensichtlich nicht-korreliert, wenn r xy <.75 Ein weiteres verbreitetes Maß der Korrelationsrechnung ist das (lineare) Bestimmtheitsmaß (coefficient of determination) welches dem Quadrat des Korrelationskoeffizienten entspricht: Man nennt zwei Stichproben x und y korreliert, wenn.56 r xy2 1 und offensichtlich nicht-korreliert, wenn r xy2 <.56 HTL-Kuchl 28

15 Korrelationskoeffizient s xy = -.62 s xy =.223 r xy = -.3 r xy =.92 HTL-Kuchl 29 Korrelationen Überblick (nicht ganz vollständig): beide Variablen metrisch (normalverteilt) mindestens eine Variable ordinalskaliert oder nicht normalverteilt Eine Variable dichotom (zweiwertig), die andere metrisch und normalverteilt beide Variablen dichotom Korrelation nach Pearson Rangkorrelation nach Spearman 1 punktbiseriale Korrelation Vierfelderkorrelation beide Variablen nominal Kontingenzkoeffizient 2 1 Bemerkung: Eine spezielle Variante der Rangkorrelation nach Spearman ist der Korrelationskoeffizient nach Kendall, genannt Kendall Tau. 2 Kontingenzkoeffizient: Ein auf der Chi-Quadrat-Statistik basierendes Zusammenhangsmaß. Dieser Koeffizient liegt immer zwischen und 1, wobei Null angibt, dass kein Zusammenhang zwischen Zeilen- und Spaltenvariable besteht und Werte nahe 1 auf einen starken Zusammenhang zwischen den Variablen hindeuten. Der maximale Wert hängt von der Anzahl der Zeilen und Spalten ab. HTL-Kuchl 3

16 Lineare Regression Beispiel: (x 5, y 5 ) (x 3, y 3 ) x 1 (x 1, y 1 ) (x 4, y 4 ) Wie man an der Grafik erkennen kann, erzeugen die Daten einen positiven linearen Trend. (x 2, y 2 ) y 1 Dies legt nahe, dass die y - Werte sich durch ein Modell einer linearen Funktion in x sehr gut beschreiben lassen. HTL-Kuchl 31 Lineare Regression Bsp.: Lineare Funktion: f ( x) a x b b Achsenabstand 6 a Steigung a = 6/4 = D.h. f ( x) 1.5 x.5 b HTL-Kuchl 32

17 Lineare Regression Maß der Abweichung Man misst die Güte der Anpassung der Geraden an die Daten im Allgemeinen durch die Vertikalen Abstände (Residuen). HTL-Kuchl 33 Lineare Regression Maß der Abweichung Die Residuen bilden ebenfalls eine Stichprobe aus positiven und negativen Zahlen (Messfehler). Um nun eine geeignetes Abstandsmaß zu definieren, müssen die einzelnen Abstände positiv sein. HTL-Kuchl 34

18 Lineare Regression Methode der kleinsten Fehlerquadrate! Man verwendet in der Statistik die Summe der Quadrate der Residuen als Maß für den Abstand der Daten vom Modell. Die beste Regressionsgerade ist nun jene mit minimalem Abstand. Als Gütemaß dient das Bestimmheitsmaß: HTL-Kuchl 35 Nichtlineare Regression Beispiel: Baumhöhe [m] Bestandeshöhen Brusthöhendurchmesser BHD [cm] r xy =.92 r xy2 =.85 BHD Höhe HTL-Kuchl 36

19 Nichtlineare Regression Beispiel: Baumhöhe [m] Modell: Gerade Brusthöhendurchmesser BHD [cm] BHD Höhe HTL-Kuchl 37 Nichtlineare Regression Literatur: Bestandeshöhenkurven (stand height curves) Wobei a, a 1, a 2 die Regressionskoeffizienten darstellen. Schmidt, A.: (1968) Der rechnerische Ausgleich von Bestandeshöhenkurven. Forstwissenschaftliches Zentralblatt 86 (6), Verlag Paul Parey, Hamburg/Berlin, S Nagel, J.: (21) Skript Waldmesslehre, Niedersächsischen Forstlichen Versuchsanstalt, Abteilung Waldwachstum, HTL-Kuchl 38

20 Nichtlineare Regression HTL-Kuchl 39 1 Nichtlineare Regression HTL-Kuchl 4

21 Nichtlineare Regression HTL-Kuchl 41 Nichtlineare Regression HTL-Kuchl 42 1

22 Nichtlineare Regression HTL-Kuchl 43 1 Nichtlineare Regression HTL-Kuchl 44 1