Visualisierung bei linguis-schen Annota-onswerkzeugen und Auswirkung auf deren Usability

Transkript

1 Visualisierung bei linguis-schen Annota-onswerkzeugen und Auswirkung auf deren Usability Dr. Manuel Burghardt Lehrstuhl für Medieninforma7k Ins7tut für Informa7on und Medien, Sprache und Kultur Universität Regensburg

2 Vortragsgliederung 1 Linguis7sche Annota7on, Usability und Visualisierung 2 Evalua7onsstudie zur Usability von linguis7schen Annota7onswerkzeugen 3 Usability und Visualisierung bei Annota7onswerkzeugen Primärdaten Annota7onsschema Annota7on (insbesondere parallele Mehrebenenannota7onen und Beziehungsannota7onen) 4 Ausblick

3 Linguis-sche Annota-on, Usability und Visualisierung #01

4 Annota-on und Analyse Fokus dieses Vortrags (vgl. Burghardt & Wolff, 2009; Burghardt, 2012; Burghardt, 2014) Umfangreiche Forschung zu Visu- alisierung in der Analyse- Phase: KWIC (Luhn, 1960) WordTree (Wa\enberg & Viégas, 2008) TagCloud Evalua1on (Lohmann et al. 2009) DoubleTree (Culy & Lyding, 2010) Advanced Visual Analy1cs (Oelke et al. 2012) u.v.a. Annota7on Analyse Arbeitsintentensive Aufgaben Usability und Visualisierung als wich7ge Faktoren

5 Manuelle vs. automa-sche Annota-on Viele Annota7onsaufgaben können gut automa-siert werden Es bleibt trotzdem eine hohe Zahl von Annota7onsaufgaben, die manuell gelöst werden müssen Usability und adäquate Visualisierung als wesentliche Anforderung

6 Was ist Usability? Usability bezeichnet das Ausmaß, in dem ein Produkt, System oder ein Dienst durch bes7mmte Benutzer in einem bes7mmten Anwendungskontext genutzt werden kann, um bes7mmte Ziele effek-v, effizient und zufriedenstellend zu erreichen. (vgl. ISO )

7 Regeln für gute Usability Nielsen & Molich (1990) 1 Consistency and standards 2 Visibility of system status 3 Match between system and real world 4 User control and freedom 5 Error preven7on 6 Recogni7on rather than recall 7 Flexibility and efficiency of use 8 Aesthe7c and minimalist design 9 Help users recognize, diagnose, and recover from errors 10 Provide online documenta7on and help

8 Evalua-onsstudie zur Usability von linguis-schen Annota-onswerkzeugen #02

9 Hintergrund und Studiendesign Ziel der Studie: Vergleichende Usability- Evalua7on mehrerer Tools und Iden7fizieren von Stärken und Schwächen Evaluierte Tools: Dexter, CATMA, UAM Corpus Tool, Glozz, Brat, MMAX2, WordFreak, Analec, WebAnno, Knowtator, GATE Methode: Heuris1c Walkthrough (Sears, 1997) à Inspek7onsmethode

10 Ergebnisse der Evalua-onsstudie Evaluation von 11 Annotationswerkzeugen Tool# Usability-Probleme 84 Stärken Von spezifischen Stärken und Schwächen hin zu generischen Patterns Tool#02 Tool#03

11 Ergebnis: 26 Usability- Pa[erns für linguis-sche Annota-onswerkzeuge Visualisierung als wich7ger Usability- Faktor Hinweis: Alle Pa\erns sind online verfügbar unter: usability.net

12 Visualisierung bei linguis-schen Annota-onswerkzeugen Visualisierung der Primärdaten Visualisierung des Annota-onsschemas Visualisierung der Annota-on

13 Usability und Visualisierung bei Annota-onswerkzeugen #03

14 Primärdaten

15 Primärdaten Unterstützung beim Lesen / Orien-erung Flexibility and efficiency of use Brat Pa\ern: Row striping (Tidwell, 2011, S. 220) Match between system and the real world Pa\ern: Pagina7on (Tidwell, 2011, S. 224) Recogni7on rather than recall Flexibility and efficiency of use

16 Primärdaten Orien-erung im Dokument Glozz Flexibility and efficiency of use Pa\ern: Overview plus detail (Tidwell, 2011, S. 296)

17 Annota-onsschema

18 Annota-onsschema Integrierter Schema- Editor MMAX2 Darstellung als XML- Markup in externem Editor. Aesthe7c and minimalist design Error preven7on

19 Annota-onsschema Integrierter Schema- Editor Hierarchische Baum- Darstellung innerhalb des Annota7onstools. Analec UAM Aesthe7c and minimalist design Error preven7on

20 Annota-onsschema Anpassbarkeit / Ausblenden unnö-ger Annota-onsebenen Dexter Alle Tags werden gleichzei7g angezeigt; keine Möglichkeit der Filterung / Anpassung Error preven7on Aesthe7c and minimalist design

21 Annota-onsschema Anpassbarkeit / Ausblenden unnö-ger Annota-onsebenen CATMA WebAnno Error preven7on Aesthe7c and minimalist design

22 Annota-onen

23 Terminologie bei Annota-onen Außerdem möglich: Anchor- only annota1ons Body- only annota1ons Marshall, 2010 (Bildquelle: Bélanger, 2010)

24 Annota-on- Anchor Visualisierung von Ankern innerhalb der Primärdaten UAM Unterstreichung GATE Hinterlegung Brat Klammerung

25 Annota-on- Body Typische Visualisierung des Annota-onswerts Brat Inline Visualisierung Dexter Visualisierung mi\els dynamischem Overlay GATE Visualisierung über Farbindex und ausgelagertes Tagset

26 Besondere Herausforderung: Parallele Mehrebenenannota-on Ein wesentliches Merkmal linguis7scher Annota7on ist die parallele Annota7on eines Ankers mit mehreren Annota7onswerten The dog sleeps in the garden. <noun- phrase> <noun> <sentence>

27 Parallele Annota-onen Visualisierung von Markern > Besondere Herausforderung bei parallelen Annota-onen! Dexter Farbliche Hinterlegungen sind bei parallelen Annota7onen kaum voneinander unterscheidbar à gegensei7ge Überlagerung Error preven7on Aesthe7c and minimalist design

28 Parallele Annota-onen Visualisierung von Markern > Besondere Herausforderung bei parallelen Annota-onen! CATMA Unterstreichung als gute Visualisierung für parallele Annota7onen à stapelbar Error preven7on Aesthe7c and minimalist design

29 Parallele Annota-onen GATE Kein direkter Bezug zu den Ankern, lediglich über Verweise zu bes7mmten Zeichenposi7onen im Text (Start / End) Aesthe7c and minimalist design

30 Parallele Annota-onen GATE Annota7on Stack View Visualisierung paralleler Annota7onen als Stapel mit mehreren Ebenen Aesthe7c and minimalist design

31 Besondere Herausforderung: Beziehungsannota-on Typischer Aufgaben- kontext: Annota7on von Koreferenzen im Text. Antecedent Reference to the antecedent backwards Beispiele aus Burghardt, 2014

32 Überblick: Visualisierung von Beziehungsannota-onen Ergebnisse einer Studie zu handschriylicher Annota7on (Burghardt, 2014)

33 Beziehungsannota-onen WordFreak Beziehungen sind über Indizes für Menschen nur schwer zu erkennen Error preven7on Aesthe7c and minimalist design

34 Beziehungsannota-onen MMAX2 Besser: direkt sichtbare Verbindungen in den Primärdaten Error preven7on Aesthe7c and minimalist design

35 Beziehungsannota-onen Brat WebAnno Explizite Benennung des Beziehungstyps als Overlay im Primärtext Visibility of system status

36 Ausblick #04

37 Ausblick Geplante Folgestudie: Usability- Evalua7on unterschiedlicher Annota7onsvisuali- sierungen mithilfe eines Eyetrackers Beispielhaye ADen1on Map für GATE nach 8:35 Min.

38 Literatur Bélanger, M.- E. (2010). The Annota7ve Prac7ces of Graduate Students: Tensions & Nego7a7ons Fostering an Epistemic Prac7ce. Language. Master thesis, University of Toronto. Burghardt, M., & Wolff, C. (2009b). Werkzeuge zur Annota7on diachroner Korpora. In W. Hoeppner (Ed.), Proceedings of the GSCL- Symposium "Sprachtechnologie und ehumani1es" (pp ). Duisburg: Abteilung für Informa7k und Angewandte Kogni7onswissenschay, Universität Duisburg- Essen. Burghardt, M. (2012). Usability Recommenda7ons for Annota7on Tools. In Proceedings of the ACL 2012, 6th Linguis1c Annota1on Workshop, LAW 12 (pp ). Stroudsburg, PA, USA: Associa7on for Computa7onal Linguis7cs. Burghardt, M. (2014). Engineering annota7on usability - Toward usability pa\erns for linguis7c annota7on tools. Disserta7on, Universität Regensburg. Culy, C., & Lyding, V. (2010). Double Tree: An Advanced KWIC Visualiza7on for Expert Users. In E. Banissi et al. (Eds.), 14th Interna1onal Conference Informa1on Visualisa1on (pp ). Los Alamitos, CA: IEEE. Lohmann, S., Ziegler, J. & Tetzlaff, L.(2009). Comparison of Tag Cloud Layouts: Task- Related Performance and Visual Explora7on. In Proc. Interact ',09, LNCS 5726 (pp ). Luhn, H. P. (1960). Keyword- in- Context Index for Technical Literature (KWIC). American Documenta1on, 11(4),

39 Literatur Marshall, C. C. (2010). Reading and Wri7ng the Electronic Book. (G. Marchionini, Ed.) (Synthesis.). San Rafael, CA: Morgan & Claypool Publishers. Nielsen, J., and Molich, R. (1990). Heuris7c evalua7on of user interfaces, Proc. ACM CHI'90 Conf. (Sea\le, WA, 1-5 April), Oelke, D., Kokkinakis, D., & Malm, M. (2012). Advanced Visual Analy7cs Methods for Literature Analysis. In Proc. of the 6 th EACL Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humani7es (pp ). Sears, A. (1997). Heuris7c Walkthroughs: Finding the Problems Without the Noise. Interna1onal Journal of Human- Computer Interac1on, 9(3), Soehn, J.- P., Zinsmeister, H., & Rehm, G. (2008). Requirements of a user- friendly, general- purpose corpus query interface. In Proceedings of the LREC 2008, Workshop on Sustainability of Language Resources and Tools for Natural Language Processing (pp ). ELRA. Wa[enberg, M., & Viégas, F. B. (2008). The Word Tree, an Interac7ve Visual Concordance. IEEE Transac1ons on visualiza1on and computer graphics, 14(6),

40 Vielen Dank für Ihre Aufmerksamkeit. E- Mail: Blog: