Visualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher

Transkript

1 Hauptseminar SS11

2 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 2

3 Einführung zu hochdimensionalen Daten Daten bestehen aus einer Menge von n-tupel n gibt Dimension an Komponenten können nominal, ordinal oder quantitativ sein Größenordnung: Datenelemente ca. 106 bis 109 Dimensionen 102 3

4 Rohdaten Beispiel [6] 4

5 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 5

6 Dimensionale Teilmengen Scatterplot Matrix n2 Matrix mit allen Kombinationen symmetrisch für große n nicht geeignet 6

7 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 7

8 Dimensionale Schachtelung Dimension Stacking

9 Dimensionale Schachtelung Dimension Stacking

10 Dimensionale Schachtelung Dimension Stacking Cylinders: 6 MPG: 20.2 Horsepower: 88.0 Weight: Acceleration: 17.1 Year 81 10

11 Dimension Stacking geeignet für wenige Datenpunkte wenig Werte pro Dimension nicht geeignet für große n Dimensionen schlecht ablesbar 11

12 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 12

13 Achsenumgestaltung Parallele Koordinaten Dimensionen werden als parallele Achsen angeordnet n-dimensionaler Punkt ergibt Linie mit n-1 Segmente Interessant sind Bereiche zwischen Achsen zeigen Korrelation 13

14 Parallele Koordinaten Analyse 14

15 Parallele Koordinaten Analyse 15

16 Parallele Koordinaten Analyse 16

17 Parallele Koordinaten Analyse 17

18 Parallele Koordinaten Analyse 18

19 Parallele Koordinaten Probleme Datensatz mit Elemente: Doppeldeutigkeit: [1] [1] 19

20 Hierarchische Parallele Koordinaten Clustering Gruppierung von nahe beieinander liegenden Elementen Cluster sind hierarchisch geschachtelt Wurzel-Cluster enthält alle Datenelemente Blatt-Cluster enthält genau ein Element {x0, x1} {x0} {x1} {x2, x3} {x2} {x3} Min und Max pro Dimension Durchschnitt {x0, x1, x2, x3} 20

21 Hierarchische Parallele Koordinaten Elemente bei verschiedenen Clusterebenen [1] 21

22 Parallele Koordinaten Korrelationen zwischen Dimensionen gut erkennbar theoretisch keine Einschränkung auf Anzahl der Dimensionen praktisch sinnvoll bis n 12 starkes Überzeichnen bei vielen Daten Clustering stellt interessanten Ansatz dar Interaktive Visualisierung Umordnen von Achsen Brushing: hervorheben von bestimmten Datensätzen 22

23 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 23

24 Dimensionsreduktion Algorithmus bildet hochdimensionale Daten auf niedrigere Dimension ab typisch 2D oder 3D Verfahren: Self-Organizing Map (SOM) Multidimensional Scaling (MDS) 24

25 Self-Organizing Map (SOM) Map besteht aus Gitterstruktur jeder Knoten besitzt einen Gewichtungsvektor Eingabeschicht ist mit jedem Knoten verbunden Vergleich von Eingabevektor mit Gewichtungsvektoren Zuweisung zu Gewinnerknoten Training- und Mappingphase 25

26 Self-Organizing Map Training Anpassung der Gewichte geringer Einfluss auf Randknoten Einflussradius nimmt pro Iteration ab Einfluss r [5] 26

27 Self-Organizing Map Demo 40 x 40 Map Daten: 3D Vektoren Rot, Grün, Blau 8 Eingabevektoren [5] 27

28 Self-Organizing Map Demo 40 x 40 Map Daten: 3D Vektoren Rot, Grün, Blau 8 Eingabevektoren [5] 28

29 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Self-Organizing Map (SOM) Multidimensional Scaling (MDS) Zusammenfassung 29

30 Multidimensional Scaling (MDS) versucht Abstände der Datenpunkte in hoher Dimension auf niedrige Dimension zu übertragen SMACOF Dimension D = 3 Dimension L = 2 Optimierungsproblem: iterative Berechnung über SMACOF Scaling by Majorizing a COmplicated Function 30

31 MDS SMACOF Eingabe: N x N Matrix (Δ = [δij]) für Unähnlichkeiten zwischen Datenpunkten symmetrisch: δij = δji positiv: δij 0 Diagonalelemente sind Null: δii = 0 Ausgabe: Konfiguration X im niedrig dimensionalen Raum N x L Matrix Evaluation von X durch STRESS: σ ( X )= i< j N wij (d ij ( X ) δij )2 31

32 SMACOF Majorisierung [3] Eigenschaften einer Majorisierungsfunktion g(x, z): Minimum von g(x, z) sollte einfach zu finden sein ursprüngliche Funktion ist immer kleiner: f(x) g(x, z) Gleichheit am Hilfspunkt: f(z) = g(z, z) f ( x min ) g ( x min, z) g ( z, z )= f ( z ) 32

33 SMACOF Algorithmus Start: set initial X[0], compute σ[0], k := 0 Initialisierung mit Zufallswerten k := k + 1 Update X[k] by Guttman transform Guttman Transformation: [k ] [ k 1] )X [ k 1] bij = Verhältnis δij / dij(x[k-1]) Compute σ[k] no + X =V B( X vij = Gewichte wij (σ[k-1] - σ[k] < ε) or (k = MAX) neuen STRESS Wert bestimmen yes End [nach 3] 33

34 Probleme des SMACOF Algorithmus Konvergenz kann beliebig lange dauern Laufzeit O(N²) Speicher O(N²) für N = Datenpunkte, 8 Byte Double-Precision für Abstände eine N x N Matrix braucht 80 GB Hauptspeicher SMACOF nutzt 6 N x N Matrizen 480 GB Hauptspeicher 34

35 Optimierung SMACOF Matrixmultiplikation über mehrere Rechner verteilen Matrix in p Blöcke aufteilen je ein Block pro Prozess 1/p des Speichers (Zwischen-) Ergebnisse werden über Netzwerk gesendet (N x N) (N x L) (N x L) [2] 35

36 Ergebnisse nach Optimierung Daten: chemische Strukturen mit 166 Dimensionen Iterationen Cluster 32 Knoten Intel Xeon 2,4 GHz, 6 Cores mehr Netzwerkverkehr bei steigender Parallelisierung [2] 36

37 Ergebnisse nach Optimierung Daten: chemische Strukturen mit 166 Dimensionen Elemente [2] 37

38 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung 38

39 Zusammenfassung : Parallele Koordinaten eignen sich gut für direkte Visualisierung Scatterplot Matrizen + Dimensionale Schachtelung schwierig zu lesen bei größeren Dimensionen Dimensionsreduktion eignet sich für sehr große n, um Cluster in den Daten zu erkennen 39

40 Vielen Dank!

41 Literatur [1] Ying-Huey Fua, Matthew O. Ward and Elke A. Rundensteiner. Hierarchical Parallel Coordinates for Exploration of Large Datasets. Visualization '99 Proceedings, [2] Jong Youl Choi, Seung-Hee Bae, Xiaohong Qiu and Geoffrey Fox. High Performance Dimension Reduction and Visualization for Large High-Dimensional Data Analysis. 10th IEEE/ACM International Conference on Cluster, Cloud and Grid Computing, [3] Ingwer Borg, Patrick Groenen. Modern Multidimensional Scaling - Theory and Applications. Springer-Verlag NY, [4] R. Kosara. Parallel Coordinates. (Stand 22. Mai 2011) 41

42 Literatur [5] Kohonen's Self Organizing Feature Maps. (Stand 06. Juni 2011) [6] Harold V. Henderson, Paul F. Velleman. Building Multiple Regression Models Interactively. Biometrics Vol. 37, No. 2. Jun