Visualisierung der Imperfektion in multidimensionalen Daten

Transkript

1 Visualisierung der Imperfektion in multidimensionalen Daten Horst Fortner Imperfektion und erweiterte Konzepte im Data Warehousing Betreuer: Heiko Schepperle

2 2 Begriffe (1) Visualisierung [Wikipedia] abstrakte Daten in eine angebrachte, verstehbare Form zu bringen. Dabei können Details weggelassen werden, die im Kontext vernachlässigbar sind. Visualisierte Daten müssen daher korrekt interpretiert werden.

3 3 Begriffe (2) Imperfektion Unsicherheit w/f nicht möglich => Wahrscheinlichkeit Unschärfe linguistische Variablen, z.b. schnelles Auto Ungenauigkeit z.b. Messungen in Intervallen

4 4 Begriffe (3) Information Interpretierte Daten, Daten + Semantik Systematische Informationsgewinnung aus großen Datenmengen = Aufgabe des Data Mining Multidimensionale Daten Auswertungsperspektive eines Anwendungsbereiches erlauben eindeutige und orthogonale Strukturierung des Datenraumes Beispiele: Kunde, Produkt, Zeit, Filiale,... Data Cube

5 5 Visualisierung im Verkehr* Benutzergruppen Verkehrsteilnehmer On-Trip Verkehrsteilnehmer Pre-Trip Verkehrsingenieur Verkehrswissenschaftler *Quelle: Studienarbeit Visualisierung imperfekter Informationen in einem Analyse-Werkzeug von Oliver Forster

6 6 Visualisierungstechniken Kategorien

7 7 Visualisierungstechniken Bewertungskriterien für Visualisierungstechniken Übersichtlichkeit Möglichkeit zur Interaktion Vollständigkeit Anwendbarkeit auf ein Verkehrsszenario

8 8 Parallele Koordinaten (1) Prinzip der parallelen Koordinaten R. Spence, Information Visualization, Addison-Wesley, 2001.

9 9 Parallele Koordinaten (2) Funktionsprinzip Abbildung n 2 Dimensionen (Papier, Monitor) Achsen werden nebeneinander parallel angeordnet Linie = n-tupel Achsen flexibel verschiebbar/ausblendbar (-) erfordert meist geschultes Auge (Experten) (-) schnell unübersichtlich bei vielen Tupeln

10 10 Parallele Koordinaten (3) Bsp:

11 11 Table Lens (1) Funktionsprinzip Jede Spalte ist Histogramm Jeder Zeile ist ein Name zugeordnet (+) tabellarische Darstellung bekannt (+) interaktive Umordnung der Zeilen möglich

12 12 Table Lens (2) Bsp:

13 13 Erweiterung um Imperfektion Kriterien bei der Erweiterung Verhältnismäßigkeit Hauptinformation im Vordergrund Imperfektionsabgrenzung perfekt <-> imperfekt Unterscheidbarkeit Imperfektionsarten unterscheidbar Mächtigkeitserhaltung keine Einschränkung der Möglichkeiten

14 14 Erweiterung um Imperfektion a) Unsicherheit b) Unschärfe a) + Ungenauigkeit

15 15 Erweiterung um Imperfektion Unsicherheit Ungenauigkeit Unschärfe

16 16 Visualisierungswerkzeug

17 17 Übersicht Bisher gelernt: 2 Visualisierungstechniken, erweitert um Imperfektion Parallele Koordinaten Table Lens Jetzt: Visual Data Mining 2 Verfahren: Data Mining Kooperative Klassifikation Visual Data Mining Interaktives temporales Data Mining Beispiel-VDM-Anwendungen Information Visualization

18 18 Visual Data Mining (VDM) Ankerst, M., Visual Data Mining, Dissertation: Visuelles Data Mining ist ein Teil des KDD-Prozesses, der Visualisierung als Kommunikationsmittel zwischen Mensch und Computer nutzt, um neue und interpretierbare Muster zu erkennen und Wissen zu generieren. Schritte des KDD (Knowledge Discovery in Databases)

19 19 Visual Data Mining (VDM) VDM-Ansätze Quelle: Soukup, T.; Davidson, I., Visual Data Mining sowie Ankerst Dissertation

20 20 Kooperatives Data-Mining Kooperatives Data-Mining Integration von Data-Mining-Algorithmen und Visualisierungstechniken Vorteil: Kreativität + Verständnis des Menschen, der den Prozess der Datenanalyse steuert Hypothesen aufstellt und sie interaktiv verifiziert => besseres Verständnis der Ergebnisse Automatische Analyse weiterhin möglich Auch von Nicht-Spezialisten durchführbar Einsatz lohnt besonders, wenn Explorationsziele nicht genau spezifiziert stark inhomogene und verrauschte Daten vorliegen

21 21 Kooperative Klassifikation (1) Konkretes Verfahren aus dem kooperativen DM: Kooperative Klassifikation Kooperativ = Interaktiv (d.h. mit Benutzer nimmt an der Klassifikation teil) 1. Schritt: Datenanalyse von Trainingsdaten Ergebnis: Modell Modellerstellung z.b. durch Entscheidungsbaumklassifikator

22 22 Kooperative Klassifikation (2) Wie wird ein Entscheidungsbaum erstellt? Knoten = Teilmenge der Trainingsdaten Kanten = Test auf Attribut des Vaterknotens Blätter = Zugehörigkeit zu einer Klasse Algorithmus Von der Wurzel beginnend 1) Welcher Sensor separiert die Trainingsdaten am besten? Hier: Sensor 1 => Neuer Wurzelknoten 2) Rekursive Fortsetzung bei Kindknoten 3) Terminierung, wenn alle Knoten einen ausreichenden Anteil an einer einzigen Klasse haben, z.b. über 80% => Quelle von Imperfektion

23 23 Kooperative Klassifikation (3) 2. Schritt: Einteilung neuer Daten in Klassen unter Verwendung des Modells aus Schritt 1 Kritik Klassen-Abgrenzung durch Greedy-Algorithmus => schnell, aber suboptimal Grenzziehung problematisch => siehe 80% bei Schritt 1 Nicht erkennbar, welche Attribute nicht verwendet wurden Imperfektion

24 24 Kooperative Klassifikation Beispiel: Space-Shuttle- Heizkörpersystem

25 25 Interaktives temporales Data Mining Beispieltechnik: DataJewel-System Visualisierungs-, Algorithmus- und Datenbank-Komponente

26 26 DataJewel-System CalendarView, Visualisierungstechnik von DataJewel

27 27 DataJewel Images by Boeing Company, Bellevue, Washington

28 28 Klassifikation von VDM-Techniken

29 29 VDM Anwendungen Konkrete Business-Anwendungen Marketing Target-Marketing Cross-Marketing Customer Profiling (Konsumverhalten) Bedürfnisse ermitteln Finanz- und Ressourcenplanung uvm.

30 30 Zusammenfassung Was haben wir gelernt? Anforderungen im Verkehr 2 Visualisierungstechniken 2 Verfahren des Visual Data Mining Inwieweit ist die Integration der Imperfektion in Visualisierungstechniken sinnvoll? Welche Anwendungsgebiete gibt es?

31 31 Danke! Danke für Ihre Aufmerksamkeit! Fragen?