Statistische Verfahren für das Data Mining in einem Industrieprojekt

Transkript

1 Statistische Verfahren für das Data Mining in einem Industrieprojekt Thorsten Dickhaus Forschungszentrum Jülich GmbH Zentralinstitut für Angewandte Mathematik Telefon: 02461/

2 Entwicklung der Datenanalyse im GALA-Projekt per Hand unvollständig, explorativ SAS langsam, proprietär C-Programm plattformunabhängig, effizient Externe C-Libraries C-Code mit Lib-Fkt. erweiterte Funktionalität 2

3 Zielsetzung des Programms Paarweise Berechnung aller Modellkorrelationen Ausreißererkennung und -elimination Auffällige Substanzen Beeinflussung der Korrelation Variablenreduktion Hauptkomponentenanalyse Verfahren zur Variablenselektion Reduzierung des Rechenaufwands gegenüber früheren Analysen 3

4 Implementierte Verfahren 1. Korrelationsberechnung 2. Ausreißererkennung und -elimination 3. Transformation von Variablen 4. Rangkorrelation nach Spearman 5. Hauptkomponentenanalyse 6. Verfahren zur Variablenselektion 4

5 Korrelationsberechnung Produktmomentkorrelation nach Pearson Kov(X, Y ) = Kov n (X,Y ) = ρ(x,y ) = ρ n (X,Y ) = ((X (X)) (Y (Y ))) 1 n ((x i x n ) (y i ȳ n )) n 1 i=1 Kov(X, Y ) V ar(x) V ar(y ) Kov n (X,Y ) V arn (X) V ar n (Y ) 5

6 Beispiele für Korrelationen 1. Linearer Zusammenhang Abbildung 1: Körpergröße gegen Körpergewicht ρ n

7 2. Unabhängigkeit Abbildung 2: Jahre in der major league gegen Treffer im Jahre 1986 ρ n

8 3. Nicht-lineare Abhängigkeit Abbildung 3: Menge Schädlingsbekämpfungsmittel gegen Ernteertrag ρ n

9 Ausreißererkennung Abbildung 4: Ausreißer induziert signifikante Korrelation ρ n Abbildung 5: Ausreißer verdecken signifikante Korrelation ρ n

10 Abstandsmaße Euklidischer Abstand im 2 : d(z i, z n ) = (x i x n ) 2 + (y i ȳ n ) 2 Abbildung 6: Ausreißer trotz geringen euklidischen Abstandes Mahalanobis-Distanz im 2 : 2 (z i, z n ) = ( (xi x n ) (y i ȳ n ) ) t K 1 ( (xi x n ) (y i ȳ n ) ) mit K Varianz- / Kovarianzmatrix. 10

11 Zwei feste kritische Werte (I) 8 Beobachtungen 7 Beobachtungen Korrelation: Korrelation:

12 Zwei feste kritische Werte (II) 8 Beobachtungen 7 Beobachtungen Mahalanobisdistanz des Ausreißers:

13 Asymptotische Verteilung von 1. Hauptkomponente C 1 - Richtung der stärksten Streuung 2. Hauptkomponente C 2 - senkrecht zur 1. Hauptkomponente (C, µ) 2 = (C 1 µ 1 ) 2 V ar(c 1 ) + (C 2 µ 2 ) 2 V ar(c 2 ) Summe von Quadraten von zwei Standard-normalverteilten Zufallsgrößen χ 2 2-Verteilung 13

14 Kritische Mahalanobisdistanz mit asymptotischen Verteilungsquantilen Mittlere Anzahl von Ausreißern bei n Beobachtungen! n 10 = µ(n) P( > krit. )! µ(n) n = α(n) 2 krit. = (1 α(n)) Quantil der χ Verteilung 14

15 Erkennen von echten Ausreißern Vorgabe: mit Wahrscheinlichkeit (1 α) keine Ausreißer erkennen, wenn keine echten vorliegen Annahme: Normalverteilung der Daten Vorgehensweise: max : maximale Mahalanobis-Distanz krit : P( max > krit. )! = α 15

16 Mehrstufige Ausreißerbehandlung 109 Beob., Korr.: Beob., Korr.: (bei 105 Beobachtungen: Korrelation -0.88) 16

17 Transformation von Variablen Ziel: Linearisierung von nicht-linearen Abhängigkeiten Abbildung 7: Menge Schädlingsbekämpfungsmittel gegen Ernteertrag ρ

18 Modell: Y = a 2 X 2 + a 1 X + a 0 + ε Abbildung 8: Menge Schädlingsbekämpfungsmittel gegen transformierten Ernteertrag ρ 10 (X, Y ) = Anwendung: Konzentrationsdaten (Logit-Transformation) 18

19 Rangkorrelation nach Spearman Problem: Geeignete linearisierende Transformation unbekannt gesucht: universelle Transformation, zumindest für monotone Abhängigkeiten Rangkorrelation nach Spearman: ρ S n(x,y ) Ränge: Positionen in der geordneten Stichprobe In der Formel für die Produktmomentkorrelation Ränge anstelle der Ursprungswerte verwenden dadurch geht nur die Ordnung der Messwerte, nicht deren Größe in die Berechnung ein = ρ S n(x,y ) = 1, falls sich Y über eine monotone Transformation aus X ergibt. 19

20 Modellbeispiel für die Rangkorrelation Abbildung 9: Y = X 2 + ε ρ 10 (X, Y ) = Abbildung 10: Y = X 3 + ε ρ 10 (X, Y ) =

21 Abbildung 11: Y = exp(x) + ε ρ 10 (X, Y ) = Abbildung 12: Ränge zu Abbildungen 9 bis 11 21

22 Hauptkomponentenanalyse Dimensionalität des Datenraums reduzieren m Variablen (X 1,...,X m ) p neue Variablen (C 1,...,C p ) mit p m C j entstehen durch geeignete Linearkombinationen aus den X i Forderung 1: Informationsverlust soll minimiert werden Forderung 2: Die C j sind voneinander unabhängig C j nach ihrem Informationsgehalt absteigend ordnen (C 1,...,C p ) heißen Hauptkomponenten der Verteilung 22

23 Mathematische Formulierung P1: v t i v j = δ i,j i,j = 1,...,p P2: (v 1,...,v k ) = arg( max A m k (tr(at K A))) k = 1,..., p mit K m m Varianz- / Kovarianzmatrix der Originalvariablen X 1,...,X m Ergebnisse: 1. v i ist Eigenvektor zum Eigenwert λ i von K mit λ 1 > λ 2 >... > λ p. 2. V ar(c i ) = λ i, i = 1,...,p. 23

24 Darstellung der Ergebnisse i λ i λ i 1 λ i λ i /m i j=1 λ j/m max V ar Rest,i(X k ) k {1,...,m} 1 λ 1 - λ 1 /m λ 1 /m max V ar Rest,1(X k ) k {1,...,m} p λ p λ p 1 λ p λ p /m p j=1 λ j/m max V ar Rest,p(X k ) k {1,...,m} m λ m λ m 1 λ m λ m /m 1 0 V ar Rest,i (X k ): Restvarianz der Variablen X k bei i Hauptkomponenten Anteil nicht durch (C 1,...,C i ) erklärter Varianz von X k 24

25 Variablenselektion Nachteile von Hauptkomponenten: Linearkombinationen schlechter interpretierbar als Ausgangsdaten In Hauptkomponenten gehen in der Regel alle Variablen ein p Originalvariablen zur Dimensionsreduktion wählen Zwei grundlegende Methoden: 1. Auf Ergebnissen der Hauptkomponentenanalyse basierende Verfahren 2. Principal Variables (McCabe) 25

26 Selektion nach Hauptkomponentenanalyse (PCA) 1. Selektion mit p PCAs Variable X i1 auswählen mit i 1 Maximaleintrag in Eigenvektor v 1 Einfluss von X i1 auf die anderen Variablen herausrechnen neue PCA der verbleibenden Variablen durchführen dieses Vorgehen (p 1) mal iterativ wiederholen 2. Selektion mit genau einer PCA Variable X i1 auswählen mit i 1 Maximaleintrag in Eigenvektor v 1 Variable X i2 auswählen mit i 2 Maximaleintrag in Eigenvektor v 2 und i 2 i 1 Variable X ip auswählen mit i p Maximaleintrag in Eigenvektor v p und Variable X ip bisher nicht ausgewählt 26

27 3. Elimination mit (m p) PCAs Variable X i1 zur Elimination bestimmen mit i 1 Maximaleintrag in Eigenvektor v m Streichungsmatrix ohne Zeile i 1 und ohne Spalte i 1 bilden neue PCA der verbleibenden Variablen durchführen dieses Vorgehen (m p 1) mal iterativ wiederholen 4. Elimination mit genau einer PCA Variable X i1 eliminieren mit i 1 Maximaleintrag in Eigenvektor v m Variable X i2 eliminieren mit i 2 Maximaleintrag in Eigenvektor v m 1 und i 2 i 1 Variable X im p eliminieren mit i m p Maximaleintrag in Eigenvektor v p+1 und Variable X im p bisher nicht eliminiert 27

28 Principal Variables nach McCabe Haupt-Variablen : Anlehnung an Hauptkomponenten Optimalitätseigenschaften der Hauptkomponenten auf Originalvariablen übertragen Restvarianzen minimieren erklärte Varianz maximieren durch Variable X j erklärte Varianz von X i ist V ar(x i ) ρ 2 (X i,x j ) = j 1 = arg( max ( m 1 j m i=1 V ar(x i ) ρ 2 (X i, X j ))) 28

29 Ergebnisse für einen Beispieldatensatz (m = 100 Variablen) Verfahren p η p p k=1 η k/m max k {1,...,m} V ar Rest,p(X k ) PCA PCA PCA PCA PCA PCA PCA PCA PV PV