Visual Analytics Interaktive Visualisierung sehr großer Datenmengen

Transkript

1 Visual Analytics Interaktive Visualisierung sehr großer Datenmengen Seminar im SS 2014 Dr. Tatiana von Landesberger Dr. Sebastian Bremm Technische Universität Darmstadt Fachgebiet Graphisch-Interaktive Systeme Fraunhoferstraße Darmstadt Germany Tel.: +49 (6151) Fax: +49 (6151) tatiana.von.landesberger@gris.tudarmstadt.de Dr. Jörn Kohlhammer Dr. Thorsten May Fraunhofer IGD Abt. Informationsvisualisierung und Visual Analytics Fraunhoferstraße Darmstadt Germany Tel.: +49 (6151) Fax: +49 (6151) tmay@igd.fraunhofer.de

2 Überblick Seminarorganisation & Anforderungen Einführung in Visual Analytics Seminarthemen Q & A 2

3 Studenten Bachelor / Master? Studiengang? Erfahrung mit Seminaren? Vorkenntnisse in Informationsvisualisierung / Visual Analytics? 3

4 Ziele des Seminars Lernen, an einem Themengebiet wissenschaftlich zu arbeiten 4

5 Ziele des Seminars Lernen, an einem Themengebiet wissenschaftlich zu arbeiten Literatur recherchieren, ordnen und zusammenfassen Präsentieren (mündlich und schriftlich) 5

6 Literatur recherchieren - Was ist damit gemeint? Publikationen zu einem Thema finden und nach Relevanz zu einem Thema einordnen Kernthema, Randthema, Spezialbereich, etc.? Neuheit? Wichtigkeit der Konferenz / des Journals? Erst wenn man sich in einem Thema wirklich auskennt, wird das einfach 6

7 Wie soll man suchen? 7

8 Strategie Ist es besser, möglichst viele Paper zu sichten oder wenige Paper komplett durchzulesen? Breitensuche oder Tiefensuche? Beides: ist in der richtigen Reihenfolge ja kein Widerspruch Um Paper bewerten zu können, sollte man verwandte Literatur kennen Ist das überhaupt neu (oder habe ich das gerade schon gelesen)? Ist das sinnvoll (oder verwenden sie obskure Kriterien)? Lohnt es sich, es durchzulesen? 8

9 Ein Paper Schnellcheck Paper sind häufig ähnlich aufgebaut Für die Recherche sind einige Informationen besonders wichtig Diese Informationen sind Keywords für die weitere Suche 9

10 Ein Paper Schnellcheck Journal oder Konferenz: Wahrscheinlich wurden in der gleichen Konferenz schon andere Arbeiten publiziert. Taucht eine Konferenz öfter auf während der Recherche, ist das ein Wink mit dem Zaunpfahl. 10

11 Ein Paper Schnellcheck Titel: Um zu testen, ob man vielleicht fertig mit der Recherche ist, z.b. einfach mal in Google eingeben (nach PDF suchen) 11

12 Ein Paper Schnellcheck Autoren: Schreiben häufig über verwandte Themen (besonders als Doktoranden). Auf deren Webseiten werden sich normalerweise neuere oder ältere Paper zum Thema finden. Taucht ein Autor während der Recherche öfter auf, ist dies ein großer Wink mit dem Zaunpfahl. 12

13 Ein Paper Schnellcheck Bildunterschriften: Aussagekräftige Bildunterschriften erleichtern den Schnellcheck, weil sie das Thema in Kürze erklären müssen. Achtung: Es gibt natürlich auch schlechte Beispiele für Bildunterschriften 13

14 Ein Paper Schnellcheck Abstract & Keywords: Die Zusammenfassung ist die natürlich die Kurzform des Papers. Hier sollte die Kernidee stehen. Tipp: Substantive, die neu sind, einfach mal notieren. Wenn sie während der Recherche öfter auftauchen, kann man sie ja nachschlagen. 14

15 Ein Paper Schnellcheck Introduction: Motivation des Ansatzes. Sollte man mindestens sichten im Bezug auf die Fragen: Was wird hier besser gemacht? Warum ist das besser? Ggf. auch: warum ist das neu? 15

16 Ein Paper Schnellcheck State of the Art (öfter: Related Work) Das wichtigste Kapitel. Enthält den Nachweis, warum das vorliegende Paper neu ist eben weil verwandte Arbeiten das Problem nicht lösen. Enthält viele Referenzen auf ältere Paper Viele gute State Of The Art sind klar strukturiert. Die Unterteilung kann bei der Strukturierung des eigenen Themenbereichs helfen. 16

17 Ein Paper Schnellcheck Referenzen: Am Ende des Papers (meist zwischen 10 und 50). Jede Referenz ist ein möglicher Link zur weiteren Recherche. Welche davon sind wichtig? Bekannte Autoren Bekannte Themen Bekannte Konferenzen Betreuer fragen 17

18 Strategie In jedem Fall: Notizen, Notizen, Notizen Organisation derselben bleibt natürlich Euch überlassen Auch: muss man nicht lesen, weil ist eine Notiz, die am Ende viel Zeit sparen kann Erfahrung zeigt: Notizen ersparen mindestens einmal Lesen pro Paper 18

19 Wo kann/soll man suchen? Related Work Kapitel in jedem Paper Konferenz und Journal Webseiten Google Scholar Bibliothek (auch für nicht verfügbare PDF) Online Bibliotheken IEEE Explore ACM Digital Library Google 19

20 Was bedeutet zusammenfassen? 20

21 Was bedeutet zusammenfassen? 21

22 Was bedeutet zusammenfassen? Innere Struktur des Themengebietes (Kern und Rand) Definition des Themengebiets Bezüge zu anderen Themen Einordnen von Papern in diese Struktur 22

23 Was bedeutet zusammenfassen? 23

24 Welche Typen von Papers gibt es in VA? Algorithmus-Techik Was wird gemacht? Wie funktioniert es? Was ist daran besser? Fokus auf Verbesserung technischer Aspekte Anwendung Existierende Techniken werden auf bestimmte Aufgabe hin umgesetzt Was sind die Anforderungen? Wie wird die Technik genutzt? System Verbindung von mehreren Techniken zur Lösung einer komplexen Aufgabe Wie sind die Anforderungen? Wie ist der Aufbau des Systems? 24

25 Welche Typen von Papers gibt es in VA? Evaluation Bewertung und Vergleich von Techniken Welche Kriterien werden verwendet? Design Studie System, das an spezielle Nutzer angepasst wird Wie hängen Anforderungen, Designoptionen und Kriterien zusammen Überblick/Survey (= der Joker ) Zusammenfassung von publizieren Arbeiten zu einem Thema und deren Einordnung 25

26 Zusammenfassen Wie hängen Paper zusammen? Gleiches Thema? Gleiche Technik? Gleiche Ziele? Gleiche Mittel? Gleiche Autoren?... Was ist der Beitrag eines Papers? Einordnen in die eigene Struktur des Themas Strukur ist gut, wenn Paper sich darin gut verteilen Kritisch nachdenken Was ist an den Ansätzen gut oder schlecht? Woran könnte man weiterforschen? 26

27 <> Formale Seminaranforderungen und Ablauf 27

28 Wer kommt wie an ein Thema? Bearbeitung eines Themas in einer Gruppe von zwei Studenten Vorgabe: Thema und ggf. mehrerer Paper zum Start der Recherche Jedes Thema hat einen Betreuer Generell: First come first serve Aber: Zweiergruppen haben Vorrang vor Einergruppen Was, wenn kein Partner zu finden ist? Mit uns reden: Thema mit halbem Aufwand ist meist möglich Was, wenn mein Thema schon vergeben ist? Mit uns/dem entsprechenden Betreuer reden 28

29 Anforderung 1: Präsentation Zusammenfassung des Themas Zeit: 30 min. Präsentation plus ca. 30 min. Diskussion Beide Studenten müssen je einen Teil präsentieren Bewertung erfolgt getrennt (keine Sammelnote ) 29

30 Anforderung 2: Schriftliche Ausarbeitung Umfang: Seiten 9 Seiten Text + 1 Seite für Referenzen Plagiat- und Literaturreferenzierungshinweise beachten: Keine Fussnoten Formatvorlage: Titel = Thema; Author = Bearbeiter 30

31 Anforderung 2: Schriftliche Ausarbeitung Die Einführung des Themas sollte die Aufgabenstellung enthalten Aufteilung der Arbeit in der Gruppe sollte so sein wie bei der Präsentation Bewertung erfolgt (auch hier) getrennt 31

32 Anforderung 3: Beteiligung Aktive Beteiligung an den Diskussionen im Plenum d.h. auch an den Themen der anderen 32

33 Bewertung: Inhalt Wurden die wichtigen Papers gefunden? Wurde die Literatur recheriert und richtig ausgewertet? Wurde mehr gemacht, als nur die vorgegebenen Paper gelesen? Wurde die Literatur geeignet kategorisiert? Wurde Beitrag der Papers verstanden und in Kontext gesetzt? Wurde eine eigene Bewertung vorgenommen? 33

34 Bewertung: Präsentation Wiedergabe des Themas Verständnis Inhaltliche Verständlichkeit Präsentationsgüte Zeitlimit Guter Aufbau Nicht in alle Designpitfalls gefallen Beantwortung der Fragen 34

35 Bewertung: Ausarbeitung Lesbarkeit und Verständlichkeit Struktur Vollständigkeit im Bezug auf die Aufgabenstellung Graphiken lesbar und verständlich Zitationen korrekt und vollständig Eigene von fremden Meinungen getrennt Plagiarismusregeln eingehalten 35

36 Bewertung: Aktiver Beitrag zur Diskussion Wurden Fragen gestellt? Wie war die Qualität der Fragen? 36

37 Termine - Anmeldung Alle Informationen zum Seminar unter: TuCan ID: se Visual Analytics: Interactive Visualisierung sehr großer Datenmengen Anmeldung: Im TUCAN Themenwahl: mit erster + zweiter Wahl an Thorsten May & Tatiana von Landesberger Spätestens bis zum

38 Termine - Anmeldung Blocktermine für Präsentationen: Do, 03. Juli :00 18:00 S Do, 17. Juli :00 18:00 S Anwesenheitspflicht Abgabe der schriftlichen Ausarbeitung: ; 23:59 an den Betreuer; cc an Tatiana von Landesberger, Thorsten May, Jörn Kohlhammer Präsentation und Ausarbeitung als PDF 38

39 <> Fragen? 39

40 Visual Analytics 40

41 Motivation Menschen müssen ständig Aufgaben lösen: Im Alltag: Welche Literatur sollte man lesen? Wie kommt man am schnellsten an die Uni? Welcher Flieger ist am billigsten? Globale Herausforderungen: Wie heilt man Krankheiten? Wie bekämpft man eine Finanzkrise? 41

42 Lösungen? Lösungen für diese Aufgaben basieren auf Daten aus denen das Wissen geschöpft werden soll Daten Wissen 42

43 Strategie 1 - Visualisierung Warum nutzen wir Visualisierung jenseits von shiny graphics? Es geht nicht (nur) darum, Daten auf den Bildschirm zu bekommen Gute Visualisierung hilft beim Denken Data Visualization Wissen 43

44 Strategie 1 Interaktive Visualisierung Visual Support makes us smarter. (Stuart Card) Mit den Daten arbeiten, statt sie zu konsumieren 34x x 72 =? 68 =

45 Funktionen von Visualisierung Visualisierung wird genutzt, um bekanntes Wissen zu kommunizieren Wissen Visualization Geforscht wird an Visualisierungen mit denen neues Wissen entdeckt wird mit denen existierendes Wissen überprüft wird Data Wissen 45

46 Visualisierung Leider löst Visualisierung nicht alle Probleme???

47 Strategie 2 Data Mining Suche nach Mustern in großen und komplexen Datenmengen Data Data Mining Wissen 47

48 Strategie 2 Data Mining Daten sind unsere neue Währung Customer relationship management Finanzmarktanalyse Bioinformatik / Genetik Meinungsanalyse auf Online-daten 48

49 Zusammenfassung Informationsvisualisierung + effektives Verstehen der Daten + einfach zu erzeugen + macht Spass - Skaliert nicht für große/komplexe Daten - Besser für offene Fragen Data Visualization Wissen Data-Mining + suche komplexer Muster + funktioniert gut für große Datenmengen - Schwierig zu interpretieren - Schwierig durchzuführen Data Data Mining Wissen 49

50 Visual Analytics Visual Analytics combines automated analysis techniques with interactive visualization for an effective understanding, reasoning and decision making on the basis of very large and complex data sets. [Keim et al. 2008] Science of analytical reasoning facilitated by interactive visual interfaces. [Thomas & Cook, 2005] Data Visualization Wissen Data Data Mining Wissen 50

51 Themen 51

52 Thema 1: Visualisierung von Daten mit Unsicherheit Daten often unsicher (abstrakte Daten - InfoVis) Datensammlung: Fehlende Daten Fehlerhafte Angaben Ungenaue Angaben Datenverarbeitung Probabilistische Modelle Datentransformation (z.b. Dimensionreduktion) Welche Unsicherheit gibt es? Wie stellt man Unsicherheit dar? Wie kann man die Herkunft der Unsicherheit zeigen? 52

53 Visualisierung von Daten mit Unsicherheit (Literatur) Flow-based Scatterplots for Sensitivity Analysis: Yu-Hsuan Chan, Carlos Correa, and Kwan-Liu Ma, In Proceedings of 2010 IEEE Symposium on Visual Analytics Science and Technology (Vast 2010), IEEE, October, 2010, pp Yingcai Wu; Guo-Xun Yuan; Kwan-Liu Ma, "Visualizing Flow of Uncertainty through Analytical Processes," Visualization and Computer Graphics, IEEE Transactions on, vol.18, no.12, pp.2526,2535, Dec Brodlie, K., Osorio, R. A., & Lopes, A. (2012). A review of uncertainty in data visualization. In Expanding the Frontiers of Visual Analytics and Visualization (pp ). Springer London Collins, C., & Penn, G. (2006). Leveraging uncertainty visualization to enhance multilingual chat. In Proceedings of the CSCW MacEachren, Alan M., Robert E. Roth, James O'Brien, Bonan Li, Derek Swingley, and Mark Gahegan. "Visual semiotics & uncertainty visualization: An empirical study." IEEE Transactions on Visualization and Computer Graphics 18, no. 12 (2012):

54 Thema 2: Visualisierung von Dynamischen Clusteringergebnissen Große Datensätze sind schwierig zu visualisieren und analysieren Clustering (Gruppierung ähnlicher Objekte) 54

55 Visualisierung von Dynamischen Clusteringergebnissen Große Datensätze sind schwierig zu visualisieren und analysieren Clustering (Gruppierung ähnlicher Objekte) C1 C2 55

56 Visualisierung von Dynamischen Clusteringergebnissen Große Datensätze sind schwierig zu visualisieren und analysieren Clustering (Gruppierung ähnlicher Objekte) Oft sind Daten zeitabhängig C1 C2 56

57 Visualisierung von Dynamischen Clusteringergebnissen Große Datensätze sind schwierig zu visualisieren und analysieren Clustering (Gruppierung ähnlicher Objekte) C1 C2 C3 Oft sind Daten zeitabhängig Clustering ändert sich über die Zeit Wie visualisiert man die Clusteränderungen und die Änderungen der Clusterzugehörigkeit? 57

58 Visualisierung von Dynamischen Clusteringergebnissen (Literatur) von Landesberger, T., Bremm, S., Andrienko, G. & Andrienko, N., Tekusova, M.: Visual Analytics Methods for Categoric Spatio-Temporal Data, IEEE Visual Analytics Science and Technology, 2012 J. Zhou, S. Konecni, and G. Grinstein. Visually comparing multiple partitions of data with applications to clustering. In Proceedings of SPIE, volume 7243, page 72430J, C. Turkay, J. Parulek, N. Reuter, and H. Hauser. Interactive visual analysis of temporal cluster structures. In Computer Graphics Forum, volume 30, pages Wiley Online Library, C1 C2 C3 58

59 Thema 3: Guidance in Visual Analytics Betreuer: Sebastian Maier What is guidance? How to guide a user in Visual Analytics? Why should we use it and when?? 59

60 Guidance in Visual Analytics (Literatur) Lex, A.; Schulz, H.; Streit, M.; Schmalstieg. D; Model-Driven Design for the Visual Analysis of heterogeneous data; IEEE Transactions on Visualization and Computer Graphics, 2012 Du, J.; Spence, I.; McGuffin, M.; Visual Guidance in the Exploration of Large Databases; Proceedings of the Conference of the Center of Advanced Studies on Collaborative Research, 2010 May, T.; Steiger, M.; Davey, J.; Kohlhammer, J.; Using Signposts for Navigation in Large Graphs, Computer Graphics Forum, 2012 Yang, D.; Rundensteiner, E.; Ward, M.; Analysis Guided Visual Exploration of Multivariate Data; Proceedings of the IEEE Symposium of Visual Analytics Science and Technology,

61 Thema 4: Sensor Network Analysis Betreuer: Martin Steiger Netzwerke, die an jedem Knoten eine oder mehrere Messreihen aufnehmen (zb. Stromverbrauch, Temperatur,etc) SAVE: Sensor Anomaly Visualization Engine (Shi, Liao, He, Striegel, Su) 61

62 Sensor Network Analysis Sensor Network Analyzer backup.daintree.net/products/sna.php Supporting the Visual Analysis of Dynamic Networks by Clustering associated Temporal Attributes (Analyse von WLAN-Daten) 62

63 Thema 5: Darstellung von Mehrdimensionalen Clustern, Betreuer: James Davey Es gibt einige gut etablierte Methoden zur Darstellung von mehrdimensionalen Cluster, zum Beispiel: Parallele Koordinaten Scatterplots Projektionen Glyphen Dendrogramme Sankey-Diagramme Welche sind gut? Welche sind schlecht? Unter welchen Bedingungen sollten sie eingesetzt werden? WS Informationsvisualisierung und Visual Analytics V-10 63

64 Darstellung von Mehrdimensionalen Cluster Vergleich von Darstellungen Kritische Analyse von Ihren Vorteilen und Nachteilen in der Darstellung von mehrdimensionalen Cluster Identifiziere wichtige Lücken in der Literatur (z.b. fehlende Benutzerstudien) WS Informationsvisualisierung und Visual Analytics V-10 64

65 Darstellung von Mehrdimensionalen Cluster Literatureinstieg Lex, Alexander; Streit, Marc; Partl, Christian; Kashofer, Karl; Schmalstieg, Dieter (2010): Comparative Analysis of Multidimensional, Quantitative Data. In: IEEE Trans. Visual. Comput. Graphics 16 (6), S DOI: /TVCG Cao, Nan; Gotz, David; Sun, Jimeng; Qu, Huamin (2011): DICON: Interactive Visual Analysis of Multidimensional Clusters. In: IEEE Trans. Visual. Comput. Graphics 17 (12), S DOI: /TVCG Elmqvist, Niklas; Dragicevic, Pierre; Fekete, Jean-Daniel (2008): Rolling the Dice: Multidimensional Visual Exploration using Scatterplot Matrix Navigation. In: IEEE Trans. Visual. Comput. Graphics 14 (6), S DOI: /TVCG Zhou, Hong; Yuan, Xiaoru; Qu, Huamin; Cui, Weiwei; Chen, Baoquan (2008): Visual Clustering in Parallel Coordinates. In: Computer Graphics Forum 27 (3), S DOI: /j x. Strehl, Alexander; Ghosh, Joydeep (2003): Relationship-Based Clustering and Visualization for High- Dimensional Data Mining. In: INFORMS Journal on Computing 15 (2), S WS Informationsvisualisierung und Visual Analytics V-10 65

66 Thema 6: Interaktives Sampling Betreuer: James Davey Zur Visualisierung von großen Datenmengen können diverse Reduktionsstrategien verfolgt werden. Eins davon ist das datenseitige interaktiv gesteuerte Sampling. Die Ziele Definiere Sampling und grenze es von anderen Reduktionsstrategien ab Mache eine kritische Bewertung von der Architektur von Ellis und Dix Stelle mindestens zwei realisierte Beispiele einer Sampling-Strategie vor und bewerte sie WS Informationsvisualisierung und Visual Analytics V-10 66

67 Interaktives Sampling Literatureinstieg Ellis, G.; Dix, A. (2002): Density control through random sampling: an architectural perspective. In: Sixth International Conference on Information Visualisation. London, UK, July 2002, S Dix, Alan; Ellis, Geoff (2002): by chance enhancing interaction with large data sets through statistical sampling. In: Maria de Marsico, Stefano Levialdi und Emanuele Panizzi (Hg.): the Working Conference. Trento, Italy, S Bertini, E.; Santucci, G. (2005): Improving 2D Scatterplots Effectiveness through Sampling, Displacement, and User Perception. In: Ninth International Conference on Information Visualisation (IV'05). London, England, July 2005, S Ellis, Geoffrey; Dix, Alan (2007): A taxonomy of clutter reduction for information visualisation. In: IEEE Trans Vis Comput Graph 13 (6), S DOI: /TVCG WS Informationsvisualisierung und Visual Analytics V-10 67

68 Thema 7: Document Maps Betreuer: Tobias Ruppert, Hendrik Lücke-Tieke Visual-interactive exploration of document collections Projections of document collections 68

69 Document Maps Literature: Maps of Computer Science Daniel Fried, Stephen G. Kobourov Visualizing the Non-Visual - Spatial analysis and interaction with information from text documents James A. Wise, James J. Thomas, Kelly Pennock, David Lantrip, Marc Pottier, Anne Schur, Vern Crow Text Map Explorer: a Tool to Create and Explore Document Maps Fernando Vieira Paulovich, Rosane Minghim 69

70 Thema 8: Argument Visualization Betreuer: Tobias Ruppert Visualisierung von Argumenten in Diskussionen Entwicklung von Argumenten, Referenzen, Meinungsbildung, 70

71 Argument Visualization Literature: A critical review of argument visualization tools - do users become better reasoners SusanW. van den Braak, Herre van Oostendorp, Henry Prakken, Gerard A.W. Vreeswijk DebateGraph 71