Semantische Annotationen verstehen - Ergebnisse zweier Nutzerstudien

Transkript

1 Semantische Annotationen verstehen - Ergebnisse zweier Nutzerstudien Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel Xinnovations 2012, 12. September 2012, Berlin

2 Markierungen in Texten Kommentar Kategorien Symbol kurze/lange Markierungen überlappende Markierungen 2

3 Begriffe Annotationsinhalt Textatom 3

4 Use case: loomp Kategorien Markierung Textatom Annotationsinhalt 4

5 Beispiel - Loomp: Semantische Anreicherung von Inhalten Erzeuge semantisch angreicherten Inhalt so einfach wie Auszeichnungen in Word, ohne Wissen über semantische Technologien, mit automatischer Unterstützung durch Vorschlagsannotationen. Annotations Vocabularies Country City District Waters Geography Berlin Search History The earliest evidence of settlements in today's Berlin central areas is a wooden beam dated from approximately 1192.[18] The first written mention of towns in the area of present-day Berlin dates from the late twelfth century. The settlement of Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did not join Berlin until 1920.[19] The central part of Berlin can be traced back to two towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin, across the Spree in what is now called the Nikolaiviertel, is referenced in a document from 1244.[18] The former is considered to be the "founding date Geography Berlin is located in eastern Germany, about 70 kilometers (44 miles) west Climate Summers are warm with average high temperatures of C (mid 70s) Save Cancel One Click Annotator 5

6 Kollaborative Semantische Annotation 6

7 Aspekte von Annotationen Markieren von Textatomen Umgang mit überlappenden Markierung Verknüpfen von Markierung und Annotationsinhalten Zwei Nutzerstudien 7

8 Einfache semantische Annotationen und deren Visualisierung

9 Erste Studie: Einfache semantische Annotationen Zuordnung von vordefinierten Kategorien Überlappende Annotationen Überschneidung Inklusion Identität Angrenzung 9

10 Zuordnungen und Überlappungen Hintergrundfarbe Unterstreichung Fettdruck Farbmischung Mischung von Textstilen Horiz./vert. Balken 10

11 Design der Nutzerstudie Fokus Zuordnen von Kategorien Überlappungsarten kurze und lange Textatome Balken-Ansicht Box-Ansicht 11

12 Durchführung der Studie Web-Anwendung 12 TeilnehmerInnen 2 Pilottests 4 Phasen 2 Gruppen Studie erklären Ausprobieren Aufgaben lösen Fragebogen 12

13 Hauptergebnis Balken-Ansicht Lange Annotationen Box-Ansicht Kurze Annotationen 13

14 Annotieren mit semantischen Identitäten

15 Semantik in Annotationen Freitext Kategorien Semantische Identität 15

16 Semantische Identität Feingranulare maschinelle Verarbeitung von Inhalten Zuordnen eines Identifikators zu einem Textatom 16

17 Design der Studie Fokus Zuordnen von semantischen Identitäten Studie Paper Prototype 12 TeilnehmerInnen 4 Phasen 17

18 Wahl der ID ist schwierig Was ist das, sind das ein oder zwei Flüsse? Da müsste eine Liste aller Kanzler der BRD sein. 18

19 Nicht alle Annotationen waren korrekt Irgendwie ist der ganze Text ein politisches Event. Ich würde einen Kollegen fragen. 19

20 Erkenntnisse Semantische Identitäten sind noch ungebräuchlich Task-Experte zusätzlich zum Domänenexperten Use Cases und Evaluationskriterien nötig 20

21 Vielen Dank 1. Corporate Semantic Web 2. User-guided Semantic Enrichment Ralf Heese Adrian Paschke Annika Hinze 21

22 Links User-guided Semantic Enrichment Projekt Corporate Semantic Web Loomp Github: Publications Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference (1) 2012: (spotlight best paper at ISWC 2012) Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung 2012: Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities The Magazine of the Semantic Web, Issue 11, pp , Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC 2010, Crete, Greece, May 31, Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5-11, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured Knowledge (CK 2009), colocated with ISWC 2009, Washington, DC., USA, October 25, 2009 Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the Web Workshop at WWW2009, Madrid, Spain, April 20,