Interaktive verständnisorientierte Optimierung von semantisch-annotierten Visualisierungen Michael Raschke, Philipp Heim, Thomas Ertl Institut für Visualisierung und interaktive Systeme (VIS) Universität Stuttgart Universitätsstr. 38 70569 Stuttgart {michael.raschke, philipp.heim, thomas.ertl}@vis.uni-stuttgart.de Abstract: Grafische Darstellungen haben, genau wie natürlich-sprachliche Texte, häufig keine eindeutige Bedeutung. Unterschiedliche Personen interpretieren daher ein und dieselbe Visualisierung oft nicht auf die gleiche Weise. Um die Bedeutung von grafischen Darstellungen eindeutig zu machen, können diese auf einer Metaebene semantisch annotiert werden. Dabei werden den grafischen Bausteinen der Visualisierung eindeutige Ressourcen des Semantic Web zugewiesen. In diesem Beitrag beschreiben wir einen Ansatz, der die semantischen Annotationen verwendet, um es Nutzern zu ermöglichen, Visualisierungen interaktiv in einer Weise zu optimieren, die ihnen das Verstehen, der vom Ersteller intendierten Bedeutung, erleichtert. 1 Einleitung Visualisierungen repräsentieren in grafischer Form Information. Diese können von verschiedenen Menschen unterschiedlich interpretiert werden. Es kann sogar vorkommen, dass Visualisierungen von bestimmten Menschen überhaupt nicht verstanden werden. Häufig liegt dies an unterschiedlichen Ausgangsbedingungen für die Interpretation, wie z.b. kulturelle oder intellektuelle Unterschiede. Ebenso kann aber auch ein verschiedener Kontext oder die Vorliebe oder Abneigung für bestimmte grafische Darstellungen eine Rolle spielen. Diese Variationsbreite in der Interpretation hat zur Folge, dass eine grafische Darstellung in unterschiedlichen Situationen oder bei unterschiedlichen Aufgabenstellungen eine völlig andere Bedeutung besitzen kann. Das Ziel unseres Ansatzes ist es, mögliche Verständnisprobleme, die bei der Betrachtung von grafischen Darstellungen auf Grund von Mehrdeutigkeiten auftreten können, zu beseitigen. Dazu muss die Visualisierung jedoch zuerst auf den folgenden zwei Ebenen semantisch annotiert werden: Auf Ebene des Visualisierungskonzepts Auf Ebene der grafischen Bausteine der Visualisierung
Hierfür wird die Visualisierung in viele kleine Teilvisualisierungen zerlegt, die für sich alleine genommen noch Informationen tragen; wir sprechen hierbei von grafischen Bausteinen. Lassen sich Visualisierungen oder grafische Bausteine nicht mehr weiter aufteilen, bezeichnen wir diese als atomare grafische Bausteine. Jedem grafischen Baustein wird eine Ressource des Semantic Web zugewiesen, die die Bedeutung des Bausteins eindeutig repräsentiert. Dem Betrachter wird es mit unserem Ansatz dann ermöglicht, die in einer Visualisierung enthaltenen Bausteine interaktiv auszutauschen, um so Verständnisschwierigkeiten aufzulösen. Auf Grund der semantischen Annotation bleibt die Bedeutung der Visualisierung dabei stets erhalten, nur die grafische Repräsentation kann vom Betrachter ausgetauscht und somit optimal an die eigenen Bedürfnisse angepasst werden. Anhand eines kurzen Anwendungsbeispiels motivieren wir im Folgenden unseren Ansatz. Dann stellen wir existierende Arbeiten in diesem Umfeld vor. Es folgt das Interaktionsmodell, das auf Basis einer semantisch annotierten Visualisierung deren Optimierung durch den Nutzer beschreibt. 2 Anwendungsbeispiel In einer Visualisierung (siehe Abb. 1) wird die Bevölkerungsentwicklung in Mitteleuropa dargestellt. Es stehen mehrere Visualisierungskonzepte dafür zur Verfügung. Ebenso wurden alle grafischen Bausteine der Visualisierung Ressourcen des Semantic Webs zugewiesen. Ein Nutzer ist dadurch in der Lage die Visualisierung wahlweise durch den Austausch grafischer Bausteine (Abb. 1, horizontale Achse) oder durch einen Wechsel des Visualisierungskonzepts (Abb. 1, vertikale Achse) anzupassen. Im Anwendungsbeispiel erfolgt der Austausch grafischer Bausteine durch den Wechsel der Symbole (siehe A) für eine zunehmende (Pluszeichen) oder abnehmende Bevölkerung (Minuszeichen) zu aufwärts oder abwärts zeigenden Pfeilen (siehe B). Die Farbeigenschaft wird dabei erhalten. Um den Wechsel des Visualisierungskonzepts zu demonstrieren, wird in Abb. 1 von einer Kartendarstellung (siehe A und B) zu einer tabellarischen Auflistung (siehe C und D) gewechselt. Rechts unten im Diagramm ist eine Kombination von beiden Ansätzen dargestellt. In Abbildung D erfolgte sowohl eine Änderung des Visualisierungskonzepts als auch der grafischen Repräsentationen.
Abbildung 1: Die Visualisierung der Bevölkerungsentwicklung in Mitteleuropa kann der Nutzer durch das Austauschen der grafischen Bausteine (horizontale Achse) oder durch den Wechsel der Visualisierungskonzepte (vertikale Achse) an seine Bedürfnisse anpassen. 3 Semantische Annotation von Visualisierungen Bei der semantischen Annotation von Visualisierungen werden den grafischen Bausteinen sowohl den atomaren als auch den zusammengesetzten eindeutige Ressourcen des Semantic Web zugewiesen (z.b. einer Person auf einem Foto deren eindeutige Repräsentation im Semantic Web). XML-basierte grafische Beschreibungssprachen, wie z.b. SVG, eignen sich hierfür besonders gut, da die Bausteine voneinander abgrenzbar sind und dadurch leicht semantisch annotiert werden können [CC03]. Die Zuweisung der passenden Ressourcen zu den grafischen Bausteinen kann sowohl automatisch [DX10] als auch manuell [SI09] erfolgen.
Die primäre Motivation für die semantische Annotation von Visualisierungen ist jedoch häufig ausschließlich die Verbesserung der Suche nach grafischen Darstellungen [FBC08]. Nur wenige Ansätze befassen sich mit der Frage, wie die semantischen Annotationen für ein besseres Verstehen der Visualisierungen verwendet werden können. Janecek und Pu [JP03] zeigen beispielsweise, wie ausgehend von annotierten Bereichen Relationen zu verwandten Themen angezeigt und deren grafische Darstellungen exploriert werden können. Andere Ansätze nutzen die Annotationen, um eine semantische Filterung zu ermöglichen [KMC06] oder einen intelligenten Zoom anzubieten, der wichtige Informationen auch bei der Darstellung eines sehr großen Bereichs noch sichtbar erhält [Pat09]. Der Ansatz, semantisch annotierte grafische Bausteine einer Visualisierung interaktiv auszutauschen, um damit das Verständnis von Visualisierungen zu verbessern, existiert unseres Wissens aber noch nicht. Es gibt zwar Ansätze, die die Definition von unterschiedlichen Templates zur Darstellung von bestimmten Informationen, z.b. von Objekten einer bestimmten Klasse, erlauben [Pie06]; der Schwerpunkt dieser Arbeiten liegt im Gegensatz zu unserem Ansatz jedoch in der Beantwortung der Frage, wie man bestimmte semantische Daten allgemein darstellen kann und nicht in der individuellen, verständnisorientierten und interaktiven Optimierung von Visualisierungen. 4 Das Verständnisproblem Bereits Norman erkannte, dass Verständnisprobleme häufig auf unterschiedliche mentale Modelle von Ersteller (Designer) und Nutzer (User) zurückgeführt werden können [ND83]. Wenden wir seinen Ansatz auf Visualisierungen an (siehe Abb. 2), so besteht das Ziel des Erstellers darin, eine Information grafisch an den Nutzer zu übermitteln. Dies erfolgt durch eine geeignete Wahl eines Design Models der Visualisierung. Beim Betrachten der Visualisierung erzeugt der Nutzer ein User Model der Visualisierung, basierend auf seiner Interpretation der Darstellung und erhält dadurch ein Verständnis des Inhalts. Abbildung 2: Unterschiede in den mentalen Modellen von Ersteller und Nutzer sind häufig der Grund für Verständnisprobleme bei der Betrachtung von Visualisierungen.
Im Idealfall stimmen die mentalen Modelle von Ersteller und Nutzer überein. Dies kann zum Beispiel durch eine beim Erstellen der Visualisierung erfolgten Anpassung an die Aufgabenstellung, Anforderungen und Fähigkeiten des Nutzers erreicht werden. Damit wird das mentale Modell des Nutzers kompatibel mit dem mentalen Modell des Erstellers. Stimmen die beiden mentalen Modelle jedoch nicht überein, kommt es zu einem Verständnisproblem zwischen Ersteller und Nutzer. Tritt dieses auf, kann die Visualisierung nur noch unzureichend oder falsch verstanden werden. Im Folgenden stellen wir ein Interaktionsmodell vor, dass es Nutzern ermöglichen soll, Visualisierungen interaktiv zu verändern und auf ihre individuellen Bedürfnisse hin zu optimieren, um dadurch Verständnisprobleme auszuräumen. Damit kann eine Übereinstimmung der mentalen Modelle von Ersteller und Nutzer ermöglicht werden obwohl beide zwei unterschiedliche grafische Repräsentationen der Information gewählt haben. 5 Ein Interaktionsmodell zur Optimierung von Visualisierungen Wir unterscheiden in unserem Interaktionsmodell zwischen der Annotation mit Ressourcen aus Domänen-Ontologien und der Annotation mit Ressourcen aus Grafik- Ontologien (siehe Abb. 3 und Abb. 4) des Semantic Webs. Auf beide Ontologien greifen der Ersteller sowie der Nutzer einer Visualisierung zurück. Durch die Annotation mit Ressourcen aus Domänen-Ontologien wird die Bedeutung beschrieben, welche durch die Visualisierung transportiert werden soll. Diese wird ausschließlich durch den Ersteller festgelegt. Mit Hilfe der Verweise auf Grafik- Ontologien werden den grafischen Bausteinen grafische Konzepte, wie z.b. Karte, Rechteck oder Tabelle sowie die damit verbundenen Restriktionen und Abhängigkeiten zugewiesen. So ergeben sich z.b. für alle Bausteine, die sich innerhalb einer Karte befinden, bestimmte Restriktionen, da nicht alle existierenden grafischen Repräsentationen innerhalb einer Karten-Darstellung für den Nutzer einen Sinn ergeben. Grafik-Ontologien bieten die Möglichkeit sinnvoll alternative grafische Bausteine zu finden, mit denen dann die in der Visualisierung verwendeten grafischen Bausteine ausgetauscht werden können. Das Interaktionsmodell teilt sich in zwei Bereiche auf. Der erste beschreibt die interaktive, semantische Annotation und Erstellung der Visualisierung, der zweite die verständnisorientierte Optimierung und Betrachtung der Visualisierung.
5.1 Semantische Annotation und Erstellung einer Visualisierung Der Ersteller einer Visualisierung annotiert die grafischen Bausteine sowie das Visualisierungskonzept mit Ressourcen aus Domänen-Ontologien und Ressourcen aus Grafik-Ontologien (siehe Abb. 3). Jeder grafische Baustein erhält dazu eine oder mehrere Uniform Resource Identifier (URIs), die auf Ressourcen der Ontologien verweisen. Hierzu kann auf existierende Konzepte und Techniken, wie in Abschnitt 3 beschrieben zurückgegriffen werden. Abbildung 3: Ersteller-Seite des Interaktionsmodells: Der Ersteller einer Visualisierung annotiert Elemente und Konzepte der Visualisierung mit Hilfe von Domänen- und Grafik-Ontologien.
5.2 Verständnisorientierte Optimierung und Betrachtung einer Visualisierung Der Nutzer der Visualisierung erhält die annotierte Visualisierung und kann durch eine grafisch unterstützte Exploration der Grafik-Ontologien grafische Bausteine austauschen oder anpassen (siehe Abb. 4). So können zum Beispiel im oben beschriebenen Anwendungsfall (siehe Abschn. 2) geometrische Formen, wie Plus- oder Minuszeichen durch auf- oder abwärts zeigende Pfeile ausgetauscht werden. Ebenso kann das Visualisierungskonzept vollständig gewechselt werden. Dabei stellen die Abhängigkeiten und Restriktionen der Ontologien sicher, dass die Bedeutung der Visualisierung erhalten bleibt. Abbildung 4: Nutzer-Seite des Interaktionsmodells: Der Nutzer der annotierten Visualisierung kann durch Rückgriff auf dieselben Ontologien, die auch der Ersteller verwendet hat, Elemente und Konzepte der Visualisierung austauschen und diese damit an seine Bedürfnisse anpassen.
Im Gegensatz zum Austausch von grafischen Repräsentationen führt der Wechsel auf Konzeptebene häufig zu größeren Änderungen und Kettenreaktionen in der Visualisierung. So hat die Umstellung auf eine Tabellen-Darstellung z.b. zur Folge, dass alle Informationen, die ursprünglich in einer Karte dargestellt waren, jetzt in Zeilen und Spalten repräsentiert werden müssen. Trotz der häufig damit verbundenen, weitreichenden Änderungen der Visualisierung, gewährleisten die unveränderbaren Verweise auf Ressourcen in den Domänen-Ontologien stets die Kontinuität der dargestellten Informationen. Durch die Verwendung dieses Interaktionsmodells können Nutzer unterschiedliche Darstellungskonzepte und grafische Repräsentationen austesten und so schrittweise eine auf ihre Bedürfnisse hin optimierte Visualisierung erstellen. Auch anfänglich unverständliche Darstellungen können damit zu einer verständlicheren Darstellung umgebaut werden. 6 Diskussion und Zusammenfassung In diesem Beitrag wurde ein Ansatz vorgestellt, wie semantisch annotierte Visualisierungen interaktiv und verständnisorientiert optimiert werden können. Die Optimierung kann dabei auf zwei unterschiedlichen Abstraktionsebenen stattfinden, der Repräsentationsebene und der Konzeptebene. Es wurde ein entsprechendes Interaktionsmodell erstellt und dessen Anwendbarkeit durch ein konkretes Beispiel motiviert. Ziel dieses Ansatzes ist es, das von Norman beschriebene Verständnisproblem zwischen Ersteller und Nutzer zu verringern. Dabei muss jedoch beachtet werden, dass sich z.b. nicht jede Information sinnvoll durch jedes beliebige Visualisierungskonzept darstellen lässt. Beispielsweise lassen sich zeitabhängige Daten nur schlecht mit Hilfe einer Karte anzeigen. Auch ist im Semantic Web nicht für jede Klasse eine Menge an geeigneten grafischen Repräsentationen vordefiniert, die dann Nutzern zur Auswahl eines geeigneten grafischen Bausteins präsentiert werden könnte. Eine mögliche Lösung hierfür könnte sein, die verschiedenen Repräsentationsmöglichkeiten automatisch von existierenden Visualisierungen zu lernen. Dafür müssen die Visualisierungen jedoch vorher semantisch annotiert worden sein. Als nächste Schritte planen wir eine prototypische Umsetzung und eine Evaluation, um so erste Aussagen über die Anwendbarkeit unseres Ansatzes zu erhalten. Literaturverzeichnis [CC03] Chang, Y-H.; Chuang, T-R.: Embedding domain semantics in SVG. In: SVG Open 2003: 2nd Annual Conference on Scalable Vector Graphics, 2003. [DX10] Ding, G.; Xu, N.: Automatic semantic annotation of images based on Web data. In: Proc. of the 6th Int. Conf. on Information Assurance and Security (IAS 10), 2010, S. 317-322. [FBC08] Ferecatu, M.; Boujemaa, N.; Crucianu, M.: Semantic interactive image retrieval combining visual and conceptual content description. In: Multimedia Systems, 2008, Volume 13, Numbers 5-6, S. 309-322.
[JP03] Janecek, P.; Pu, P.: Searching with Semantics: An Interactive Visualization Technique for Exploring an Annotated Image Collection. In: Workshop on the Move to Meaningful Internet Systems (OTM 03), 2003, LNCS, Volume 2889/2003, S. 185-196. [KMC06]Kalogerakis, E.; Moumoutzis, N.; Christodoulakis, S.: Coupling ontologies with graphics content for Knowledge Driven Visualization. In: Proc. of the IEEE Virtual Reality Conference (IEEE VR'06), 2006, S. 43-50. [ND83] Norman, D.: Some observations on mental models. In D. Gentner & A. L. Stevens (Eds.) Mental models, 1983, S. 7-14. Hillsdale, NJ: Lawrence Erlbaum Associates. [Pat09] Patel, D.; Sture, O.; Hauser, H.; Giertsen, C.; Groller, E.: Knowledge-assisted visualization of seismic data. In: Computers & Graphics, 2009, Vol. 33, 5, S. 585-596. [Pie06] Pietriga, E.; Bizer, C.; Karger, D.; Lee, R.: Fresnel: A Browser-Independent Presentation Vocabulary for RDF. In: Proc. of 5th Int. Semantic Web Conf. (ISWC 06), 2006, S. 158- [SI09] 171. Seneviratne, L.; Izquierdo, E.: Image annotation through gaming (TAG4FUN). In: Proc. of the 16th Int. Conf. on Digital Signal Processing (DSP 09), 2009, S. 1-6. [VCS84] Vernberg, K.; Culver-Dickinson, P.; Spyker, D.A.: The deterrent effect of poisonwarning stickers. In: American Journal of diseases of children, 1984, Volume 138(11), S. 1018-1020