Visualisierung mehrdimensionaler Daten

Transkript

1 Verwaltung und Analyse digitaler Daten in der Wissenschaft Visualisierung mehrdimensionaler Daten Theorieteil Inhaltsverzeichnis 1 Information visualisieren 3 2 Klassische grafische Darstellungen 3 3 Mehrdimensionale Daten 4 4 Darstellungsmethoden für mehrdimensionale Daten Punktediagramm-Matrix Parallelkoordinaten Andrews-Kurven Permutationsmatrix Explorative Datenanalyse Grafische Operationen Beispiele Clusterermittlung Distanzfunktionen als Ähnlichkeitsmass Euklidische Distanz Manhattan-Distanz Gruppierungs-Methoden Hierarchisches Clustering K-Means Hinweise zum Vorgehen 15

2 8 Literatur 16 Begriffe Grafische Wahrnehmung Visualisierungsmethode Datensammlung Datensatz Dimensionalität von Daten Häufigkeitsvergleich Beziehungsvergleich Erkundende Datenanalyse Diagrammtyp Parallelkoordinaten Punktediagramm-Matrix Permutationsmatrix Andrews Kurven Clusterermittlung Autoren: Hans Hinterberger, Barbara Scheuner, Lukas Fässler, David Sichau Datum: 07 August 2017 Version: 1.1 Hash: a9ee87a Trotz sorgfältiger Arbeit schleichen sich manchmal Fehler ein. Die Autoren sind Ihnen für Anregungen und Hinweise dankbar! Dieses Material steht unter der Creative-Commons-Lizenz Namensnennung - Nicht kommerziell - Keine Bearbeitungen 4.0 International. Um eine Kopie dieser Lizenz zu sehen, besuchen Sie 2

3 1 Information visualisieren Wir sind uns alle gewohnt, Information in der Form grafischer Darstellungen aufzunehmen. Dies funktioniert, weil die visuelle Wahrnehmung des Menschen stark darauf ausgerichtet ist, in Bildern Zusammenhänge zu erkennen. Weniger bekannt ist, dass das gleiche Phänomen eingesetzt werden kann, um in visualisierten Daten nach Information zu suchen. Dazu sind allerdings raffinierte grafische Methoden notwendig, welche idealerweise am Computerbildschirm manipuliert werden können. Dieses Modul behandelt zuerst klassische Darstellungsmethoden für Daten, die traditionellerweise dem Zweck der Informationspräsentation dienen. Weil diese Visualisierungen bei grossen Datenmengen oder bei vielfältigen Daten schnell versagen, lernen Sie auch Methoden kennen, mit denen Sie die interessanten Aspekte in Datensammlungen finden können, um dann gezielt diese Information zu vermitteln. Obwohl die visuelle Wahrnehmung grafisch dargestellte Informationen automatisch und zuverlässig verarbeitet, werden wir manchmal durch sie fehlgeleitet, wie z.b. bei optischen Täuschungen. Das bedeutet, sie ist durch die Art der Darstellung beeinflussbar, was wiederum bedingt, dass Darstellungsmethoden sorgfältig ausgewählt werden sollten um die gewünschten Effekte zu erzielen. Was damit gemeint ist, betrachten wir am Beispiel von einfachen, weit verbreiteten Visualisierungsmethoden. 2 Klassische grafische Darstellungen Für die Darstellung einfacher, quantitativer Zusammenhänge zwischen Datensätzen werden im Wesentlichen die folgenden fünf Diagrammformen verwendet: Die verschiedenen Diagramme präsentieren sich nicht nur in grafischer Hinsicht unterschiedlich, sie heben auch verschiedene Qualitäten der zu vergleichenden Daten hervor und führen deshalb zur Frage, wie ein für die Darstellung von gegebenen Daten passendes Diagramm gewählt werden soll. Man beginnt am besten damit, festzulegen, was mit einer Grafik ausgesagt werden soll und nicht mit der Überlegung, welches Diagramm am besten gefällt. Wenn eine Aussage über Daten visuell kommuniziert werden kann, dann beruht sie immer auf einem Vergleich, der sich entweder auf die Anteile an einer Gesamtheit, eine Rangfolge, eine zeitliche Veränderungen, die Verteilung einer Häufigkeit oder einer Wechselbeziehung zwischen zwei Variablen bezieht. Jeder dieser Vergleichstypen kann durch eine der oben gezeigten Diagrammformen visuell unterstützt werden. 3

4 Der Entwurf einer grafischen Darstellung ist also ein schrittweises Vorgehen, bei dem man mit einer Aussage beginnt, dann einen bestimmten Typ von Vergleich festhält und anschliessend ein Diagramm wählt, das diese Vergleiche optisch am besten unterstützt. In jeder Aussage, die aus einer Zahlentabelle abgeleitet wird, kommen in der einen oder anderen Form fünf Grundtypen von Vergleichen vor. Es sind dies Vergleiche einer: Struktur: Anteile an einer Gesamtheit Rangfolge: Reihung von Einzelobjekten Zeitreihe: Veränderungen über Zeit Häufigkeitsverteilung: Besetzung von Grössenklassen Zwischenbeziehung: Beziehungen zwischen Variablen. Die für einen bestimmten Grundtyp von Vergleich geeignete Diagrammform kann in der Abbildung 1 gefunden werden. Abbildung 1: Grundtypen von Diagrammformen. 3 Mehrdimensionale Daten Klassische Darstellungsmethoden reduzieren Visualisierungen auf relativ wenig Daten und einfache Zusammenhänge, d.h. Daten über ein, zwei oder drei Variablen. Wie können 4

5 wir Daten visualisieren, wenn viele Variablen mit im Spiel sind? Das heisst, wenn wir es mit multivariaten Daten zu haben. Man spricht dann oft auch von mehrdimensionalen Daten. Der Begriff Dimension wird unterschiedlich interpretiert. Mathematiker betrachten die Dimension als die Anzahl unabhängiger Variablen in einer algebraischen Gleichung. Ingenieure benutzen die Dimension um verschiedene Masse zu bezeichnen (Breite, Länge, Höhe). Mehrdimensionale Daten entstehen entweder durch das Erfassen mehrdimensionaler Objekte, meistens zum Zweck einer geometrischen Interpretation, oder durch das Erfassen mehrerer Parameter, meistens um Beziehungen zwischen den Parametern zu untersuchen. Mathematisch werden diese Parameter in zwei Kategorien gegliedert: In abhängige und in unabhängige. Unabhängige Parameter können in der Regel ihren Wert ändern und werden deshalb oft Variable genannt. Unglücklicherweise gibt es keine klare Regelung wann der Begriff mehrdimensional und wann multivariat angewandt wird. Oft wird variat eher verwendet, wenn die Daten in einem statistischen Sinn interpretiert werden und dimensional, wenn sie in einem geometrischen Kontext betrachtet werden. 4 Darstellungsmethoden für mehrdimensionale Daten In diesem Modul lernen Sie vier konzeptionell verschiedene Visualisierungsmethoden für mehrdimensionale Daten kennen: Die Punktediagramm-Matrix, Parallelkoordinaten, Andrews Curves und die Permutationsmatrix. Die diesen Methoden zu Grunde liegenden Ideen illustrieren wir anhand eines beispielhaften Datensatzes (Tabelle 1) mit Messdaten über drei verschiedene Arten von Irisblüten (Iris setosa, Iris versicolor und Iris virginica). 4.1 Punktediagramm-Matrix Mit vier Variablen gibt es sechs Möglichkeiten ((n 2 n)/2, n = 4), wie diese paarweise kombiniert werden können und somit auch sechs Punktediagramme (Streudiagramme, Scatterplots), in denen sich Wertepaare als Punkte darstellen lassen. Um die einzelnen Diagramme zu vergleichen, ist es praktisch, diese in einer Matrix so anzuordnen, dass die Diagramme einer Zeile eine der Achsen gemeinsam benutzen. Dasselbe gilt für die Diagramme einer gegebenen Spalte. Die Iris-Daten, als Punktediagramm-Matrix dargestellt, präsentieren sich in Abbildung Parallelkoordinaten Mit Parallelkoordinaten können hochdimensionale Daten visualisiert werden. Dabei werden die Koordinatenachsen parallel zueinander angeordnet. Dies im Unterschied 5

6 Kelchblatt Kronblatt Länge Breite Länge Breite Iris setosa Iris setosa Iris setosa Iris versicolor Iris versicolor Iris versicolor Iris virginica Iris virginica Iris virginica Tabelle 1: Datensatz über drei verschiedene Irisblüten Arten. Abbildung 2: Darstellung der Iris-Daten als Punktediagramm-Matrix. zum Punktediagramm, bei welchem zwei Koordinatenachsen rechtwinklig zueinander angeordnet sind. Ein Datenpunkt wird daher durch einen Polygenzug dargestellt, dessen Eckpunkte jeweils auf einer Koordinatenachse liegen. Ursprünglich für Anwendungen in der computergestützten Geometrie entwickelt, haben Parallelkoordinaten schnell Eingang in die erkundende Datenanalyse gefunden. Für eine Beschreibung der vielen interessanten Eigenschaft der Parallelkoordinaten sei auf die entsprechende Literatur verwiesen. Die Darstellung 3 zeigt die Iris-Daten im Parallelkoordinaten-System. 6

7 Abbildung 3: Darstellung der Iris-Daten im Parallelkoordinaten-System. 4.3 Andrews-Kurven Damit sich mehrdimensionale Datensätze in ihrer Gesamtheit leichter vergleichen lassen, hat D.F. Andrews vorgeschlagen, die Daten als sinusoidale Kurven darzustellen. Jeder mehrdimensionale Datensatz Xi = (x i,1, x i,2,..., x i,n ) wird dabei wie folgt in eine Kurve transformiert: f i (t) = x i,1 + x i,2 sin (t) + x i,3 cos (t) + x i,4 sin (2t) + x i,5 cos (2t) so, dass die Messwerte die Koeffizienten einer sogenannten Fourierserie darstellen (t [ π, π]). Die Messwerte der Iris-Daten als Andrews-Kurven sind in Darstellung 4 dargestellt. Abbildung 4: Die Messwerte der Iris-Daten als Andrews-Kurven. Folgende Eigenschaften charakterisieren Andrews-Kurven: 7

8 Ausreisser erscheinen als einzelne Andrews-Kurve, welche sich von allen anderen unterscheidet. Eine Untergruppe von Datensätzen kann als Menge von ähnlichen Kurven erkannt werden. Die Reihenfolge der Variablen spielt eine wichtige Rolle für die Interpretation der Daten. Je mehr Dimensionen dargestellt werden, desto mehr Schwingungen weist im allgemeinen eine Kurve auf. Bei mehr als 20 Datensätzen sind die einzelnen Datensätze meist nicht mehr klar identifizierbar. Eignen sich für die Erkennung von Datensatzgruppen. 4.4 Permutationsmatrix Der französische Kartograf Jacques Bertin hat mit der so genannten Permutationsmatrix ein wirkungsvolles Instrument geschaffen, mit dem grafische Muster, die der Struktur der Daten entsprechen, erzeugt werden können. Diese Muster können sowohl auf Zusammenhänge in den Daten hindeuten als auch die Grundlage für Kategorisierungen bilden. Es handelt sich um grafische Darstellungen, mit denen sich Beziehungen enthüllen lassen, die sich aus der Gesamtheit der Daten ergeben. In einer Permutationsmatrix werden grafische Elemente, die Datenwerte repräsentieren, so angeordnet, dass die Zeilen und Spalten der Matrix vertauscht werden können. Dieses Modul behandelt eine Variante der Permutationsmatrix, in der Säulendiagramme verwendet werden. Betrachten wir beispielsweise ein Säulendiagramm der Kelchblatt-Breite aller Iris-Datensätze, dann können wir die Säulen sowohl wie im Diagramm links als auch wie im Diagramm rechts gezeigt, anordnen, weil die Datensätze unabhängig sind: Das gleiche gilt, wenn wir die Säulendiagramme aller vier Dimensionen der Iris-Daten übereinander legen. Dies kann in irgendeiner Reihenfolge geschehen. In einer Permutationsmatrix werden die Datenwerte so angeordnet, dass die Werte in einer Zeile einer Dimension und die Werte in einer Spalte einem Datensatz entsprechen. Färbt man die Säulen des Diagramms entweder schwarz oder grau, je nachdem ob der dargestellte Wert unter oder über dem Durchschnitt der Werte in der entsprechenden Dimension liegen (gestrichelte Linie), können grafische Muster erzeugt werden. Eine komplette Permutationsmatrix für die Iris-Daten könnte also wie folgt aussehen: 8

9 So sieht man auf einen Blick, dass zwischen Kronblatt-Länge und Kronblatt-Breite für alle Datensätze eine Wechselbeziehung besteht, die man bei den Kelchblättern nicht findet. 5 Explorative Datenanalyse Im letzten Modul haben Sie gesehen, wie Sie mit Hilfe von Modellen und Simulationen (z.b. Populationswachstum von Arten, die in Nahrungs-Konkurrenz stehen) Rückschlüsse auf ein zu untersuchendes System machen können. Stehen Sie aber vor der Aufgabe, ein solches real existierendes System in einem Modell erstmals oder neu zu beschreiben, müssen Sie zuerst herausfinden, welches die relevanten Faktoren darstellen und wie diese miteinander zusammenhängen könnten. Dazu eignen sich Methoden der explorativen Datenanalyse. Sie lernen hier zwei Methoden kennen: Grafische Operationen, welche direkt in den Visualisierungen vorgenommen werden können. Clusterermittlung, Möglichkeiten zur automatischen Gruppierung. 5.1 Grafische Operationen Visualisierungsmethoden für mehrdimensionale Daten eignen sich ausgezeichnet für die erkundende Datenanalyse, weil sie die Darstellung komplexer Daten in ihrer Gesamtheit ermöglichen. Besonders wirkungsvoll sind Visualisierungen, die sich am Bildschirm direkt manipulieren lassen. Je nach Darstellungsmethode bieten sich verschiedene grafische Operationen an: Hervorheben oder Ausblenden von Datensätzen. Ausblenden von Dimensionen. Ändern der Skalierung der Dimensionsachsen. 9

10 Verändern der Reihenfolge der Dimensionen oder der Datensätze. Dynamisches Hervorheben von Datensätzen durch interaktives Verschieben des Wertebereichs, in den die hervorgehobenen Daten fallen sollen Beispiele Parallelkoordinaten mit den Wertebereichen der Dimensionsachsen so verändert, dass alle gleich gross sind und Ausblenden von drei Datensätzen: Werden in einem der Diagramme der Punktediagramm-Matrix bestimmte Daten markiert, können wir in den restlichen Diagrammen beobachten, wie diese Daten in anderen Dimensionen zueinander in Beziehung stehen: 10

11 Die folgende Permutationsmatrix stellt den prozentualen Anteil der Ja-Stimmen in den Kantonen der Schweiz bei diversen Abstimmungen dar (Volksabstimmung vom , Bundesgesetz betreffend die Arbeit in den Fabriken, Volksabstimmung vom , Bundesgesetz betreffend Massnahmen gegen gemeingefährliche Epidemien, Volksabstimmung vom , Volksinitiative zur Gewährleistung des Rechts auf Arbeit, Volksabstimmung vom , Volksinitiative für ein Absinthverbot, Volksabstimmung vom , Bundesgesetz betreffend gebrannte Wasser, Volksabstimmung vom , Verbot der Lotterie und Hasardspiele): Die Zeilen und Spalten können nun so permutiert werden, dass regionale Strukturen hervortreten: 6 Clusterermittlung Oft möchte man in Daten gewisse Muster erkennen, anhand derer sich die durch die Daten dargestellten Objekte klassifizieren lassen. Die erkundende Datenanalyse stellt zu diesem Zweck verschiedene Verfahren der so genannten Clusterermittlung zur Verfügung, mit 11

12 denen sich solche Aufgaben automatisch bewältigen lassen. In Kombination mit visuellen Darstellungsmethoden lassen es Clusterermittlungen zu, dass eine Datensammlung auf diejenigen Eigenschaften reduziert wird, welche für eine Klassifizierung von Objekten genügten. Durch das Weglassen nicht zweckmässiger Eigenschaften wird nicht nur die Erfassung zukünftiger Daten vereinfacht, es reduziert sich auch die Komplexität der bestehenden Datensammlung. Unter Clusterermittlung versteht man multivariate Analyseverfahren, welche eine Identifizierung von offensichtlichen und versteckten Gruppen ermöglichen. Mit ihr lassen sich auch Ausreisser (Datensätze, die nicht ins Gesamtbild passen) ermitteln. Im Gegensatz zu den grafischen Operationen sind die Methoden der Clusterermittlung nicht auf eine bestimmte Darstellungsart beschränkt, die eingefärbten Gruppen sind aber je nach Darstellungsart besser oder weniger gut sichtbar. Bei der Clusterermittlung können verschiedene Gruppierungsmethoden (Cluster-Methode) mit unterschiedlichen Ähnlichkeitsmassen (z.b. Distanzmass) kombiniert werden, um Gruppen mit ähnlichen Merkmalen zu finden. Je nach verwendeter Gruppierungsmethode und Definition der Ähnlichkeit kann die resultierende Gruppierung anders sein. Sie werden hier vier Arten von Gruppierungsmöglichkeiten und zwei Arten von Ähnlichkeitsmassen kennen lernen. 6.1 Distanzfunktionen als Ähnlichkeitsmass Eine wichtige Grundlage aller Gruppierungsmethoden ist die Distanzfunktion mit der berechnet werden kann, wie weit ein Datenpunkt von einem anderen Datenpunkt entfernt sind. Eine grosse Distanz zwischen zwei Datenpunkten bedeutet, dass sie sich nicht sehr ähnlich sind; eine kleine Distanz weist auf Ähnlichkeit hin. Zwei verbreitete Distanzfunktionen sind die Euklidische Distanz und die Manhattan-Distanz Euklidische Distanz Diese Distanz d entspricht der direkten Verbindung zwischen zwei Punkten im Raum. Im Beispiel: d = dx 2 + dy 2 Allgemein: d = dx 2 + dy 2 + dz

13 6.1.2 Manhattan-Distanz Diese Distanz entspricht der Summe der Differenzen in den einzelnen Dimensionen. Im Beispiel: d = dx + dy Allgemein: d = dx + dy + dz Gruppierungs-Methoden Die Gruppierungsmethoden bedienen sich der Distanzmethoden wenn sie die Punkte in Gruppen einteilen. Ziel ist, dass sich die Punkte einer Gruppe möglichst ähnlich sind Hierarchisches Clustering Bei dieser Methode ist am Anfang jeder Datenpunkt in einer eigenen Gruppe (bei 30 Datenpunkten hat es 30 Gruppen). In jedem Schritt werden nun jene zwei Gruppen zu einer vereinigt, welche die minimalste Distanz zueinander haben (sich am ähnlichsten sind). Die Vereinigung der Gruppen endet, wenn die gewünschte Anzahl Cluster erreicht wurde. Beispiel: Die Gruppierung von 30 Datenpunkten in 5 Gruppen benötigt 25 Schritte, in denen jeweils die Gruppen vereinigt werden, welche minimalen Abstand haben. Die Gruppen welche in einem Schritt vereinigt werden sollen, können jedoch auf verschiedene Arten ausgewählt werden. Drei mögliche Verfahren sind: nearest neighbor (nächster Nachbar), furthest neighbor (entferntester Nachbar), average neighbor (durchschnittlicher Nachbar): Nearest Neighbor: Bei diesem Verfahren werden jene Gruppen vereinigt, bei denen die Distanz jener Punkte minimal ist, die sich am ähnlichsten sind. Folgende Abbildung zeigt ein hierarchical nearest neighbor-clustering von 5 Punkten in 2 Gruppen: 13

14 Beispiel: Am Anfang ist jeder Punkt isoliert in einer Gruppe. Dann werden immer die zwei Gruppen mit der kleinsten Distanz in einer Gruppe vereint. Furthest Neighbor: Bei diesem Verfahren soll die Distanz der am weitesten auseinanderliegenden Datenpunkte minimal sein. Mit dieser Methode soll der Abstand aller Punkte innerhalb einer Gruppen möglichst gering gehalten werden (Durchmesser). Folgende Abbildung zeigt ein hierarchical furthest-neighbor-clustering von 5 Punkten in 2 Gruppen: Beispiel: Dieses Verfahren unterscheidet sich ab Schritt 3 vom nearest neighbor Verfahren. Im Schritt 3 sind die Distanzen zwischen den 3 Gruppen eingezeichnet. Average Neighbor: Dieses Verfahren verwendet als Distanz zwischen den Clustern den Mittelwert aus der nearest- und furthest-variante. Folgende Abbildung zeigt ein hierarchical average neighbor-clustering von 5 Punkten in 2 Gruppen: Es gibt kein Verfahren, das sich für alle Datensätze eignet. Welche Methode die beste Lösung liefert, muss von Fall zu Fall entschieden werden K-Means Bei dieser Methode sucht der Computer nach Gruppenmittelpunkten. Bei drei vermuteten Gruppen sucht er nach drei Mittelpunkten: 1. Am Anfang wählt er drei zufällige Mittelpunkte. 14

15 2. Alle anderen Punkte (die nicht als Mittelpunkt ausgewählt wurden), werden nun demjenigen Mittelpunkt zugeordnet, dem sie am nächsten sind. Dies führt zu drei Gruppen. 3. In diesen Gruppen wird dann jeweils der Punkt gesucht der in der Mitte liegt. Dies ergibt drei neue Mittelpunkte, mit denen dann wieder zu Punkt zwei zurückgekehrt wird. 4. Wenn die Mittelpunkte nicht mehr ändern, wird die Berechnung beendet. Ganzes Beispiel: Mit diesen Startpunkten werden zwei Schritte benötigt, bis die Mittelpunkte konstant bleiben. Da bei dieser Methode die Startpunkte zufällig gewählt werden, kann jede neue Berechnung zu einem anderen Resultat führen. Dies ist bei den vorher beschriebenen hierarchischen Methoden nicht möglich. 7 Hinweise zum Vorgehen Mit der Software VisuLab lernen Sie Techniken zur Visualisierung mehrdimensionaler Daten kennen, die über die Möglichkeiten einer Tabellenkalkulation hinausgehen. Die Visualisierungssoftware enthält zur Darstellung mehrdimensionaler Daten die oben beschriebenen vier Darstellungsarten. Diese lassen sich so anordnen, dass die gleichen Daten 15

16 mittels verschiedener Visualisierungen nebeneinander vergleichen lassen. Es bietet somit eine Art Detektivhilfsmittel, um Daten grafisch nach Strukturen zu erkunden. VisuLab wird in der Regel aber nicht dazu eingesetzt, illustrative Grafiken zu erstellen. Dazu verwenden Sie auch in Zukunft mit Vorteil andere Softwarepakete. VisuLab ist aus einem Forschungsprojekt des Instituts für Computational Science der ETH Zürich hervorgegangen. Es ist frei erhältlich und kann auch auf Ihrem privaten Rechner installiert werden. 8 Literatur Andrews, D. F., Herzberg, A.M. Data: a collection of problems from many fields for the student and research worker. Springer series on statistics (1985). Bertin J. Graphische Darstellungen und die graphische Weiterverarbeitung der Information. Walter de Gruyter & Co. Berlin, Fischer, R.A. The use of multiple measurements in taxonomic problems. 1. Iris Data. Ann. Eugenics 7 (1936). Inselberg A. The plane with parallel coordinates. The Visual Computer 1, Springer-Verlag, 1985, Nielson, D. R., Biggar, J. W., Erh, K.T. Spatial variability of field-measured soil-water properties. Hilgardia 42, (1973). Theus, M., Urbanek, S. Interactive Graphics for Data Analysis: Principles and Examples. Chapman & Hall /CRC, Unwin, A., Theus, M., Hofmann, H. Graphics of Large Datasets: Visualizing a Million. Springer, Tukey J.W. Exploratory Data Analysis. Addison-Wesley, Reading, Mass Wegman E.J. Hyperdimensional Data Analysis Using Parallel Coordinates. Technical Report No. 1, Center for Computational Statistics and Probability, George Mason Univ., Fairfax, VA Wiley, J. Understanding Data. Jacaranda Wiley (1998). Zelazny G. Wie aus Zahlen Bilder werden. Betriebswirtschaftlicher Verlag Dr. Th. Gabler GmbH, Wiesbaden,