Suchdienste für Dokumente

Transkript

1 Wer aufhört zu werben, um Geld zu sparen, kann ebenso seine Uhr anhalten, um Zeit zu sparen. (Henry Ford, ) Suchdienste für Dokumente Vergleich von Ansätzen zur Suche, Navigation und Präsentation mit prototypischer Implementierung Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 1

2 Gliederung - Motivation - Ziele - Lebenszyklusmodell der Suche - Präsentation von Treffern mit Details - Präsentation eines Trefferüberblicks - Prototypische Implementierung - technische Evaluation - empirische Evaluation - Ergebnisse - Zusammenfassung Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 2

3 Motivation - Information Overload erfordert effektive und effiziente Filterung und Sondierung von Informationen - Suchdienste zur Lösung dieses Informationsproblems wurden bereits in den 1970er Jahren entwickelt - Suche über manuell spezifizierte Metadaten - Volltextsuche - semantische Suche - Ergebnis einer Suche stellt ein komplexes Objekt mit verschiedenen Attributen dar - Ergebnispräsentation muss diese Komplexität darstellen können Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 3

4 Ziele - Aufstellen eines Lebenszyklusmodells der Suche - Aufzeigen von Ansätzen der einzelnen Phasen des Lebenszyklusmodells - Vergleich von Ansätzen zur Präsentation von Suchergebnissen anhand eines Kriterienkataloges - Entwicklung einer Ergebnispräsentation anhand der theoretisch erhobenen Anforderungen - Evaluation der Ergebnispräsentation anhand technischer und empirischer Daten Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 4

5 Lebenszyklusmodell Dokumentenpool Suchanfrage Reformulierung Aufbereitung und Analyse Anfragebearbeitung Aufbereitete Dokumente Indizierung Index Trefferpool Matching und Ranking Navigationserstellung Visualisierung Präsentation Navigation Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 5

6 Lebenszyklusmodell - Aufbereitung und Analyse - Sprachidentifikation - Lexikalische Analyse - Eliminierung von Füllworten - Morphologische Analyse - Aufbau einer Kategorisierungsstruktur - Indizierung Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 6

7 Lebenszyklusmodell - Anfragebearbeitung - Anfrageformulierung - Matching - Ranking - Präsentation - Auswahl zu präsentierender Informationen - Visualisierung - Bewertung der Treffer - Navigation Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 7

8 Präsentation von Treffern mit Details - Keyword in Context (KWIC) - TileBars Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 8

9 Präsentation eines Trefferüberblicks InfoCrystal VIBE Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 9

10 Prototypische Implementierung Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 10

11 Technische Evaluation Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 11

12 Empirische Evaluation - Feldtest mit 2 Panel und 2 Ergebnispräsentationen - Probanden haben nach geführter Einleitung und Einarbeitungszeit mit jeder Ergebnispräsentation 4 Aufgaben zu erfüllen und anschließend einen Fragebogen auszufüllen - Auswertung von Bearbeitung und Fragebogen - Referenzergebnispräsentation ähnlich aufgebaut wie Google (listenorientiert) - Dokumentenpool bestand aus ca. 300 Dokumenten aus dem Anwendungsfeld der Wirtschaftsinformatik -> Probanden mussten Wirtschaftsinformatiker sein Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 12

13 Empirische Evaluation - Panel 1: - 16 Personen führten Bearbeitung gleichzeitig durch - Zeitvorgabe von 15 min. pro Ergebnispräsentation - Panel 2: - 13 Personen führten Bearbeitung nacheinander durch - keine Zeitvorgabe, alle Aufgaben mussten bearbeitet werden Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 13

14 Ergebnisse - technische Evaluation: - Anzahl der Überdeckungen von Treffersymbolen korreliert mit der Anzahl der Treffer und der Homogenität der Treffermenge - Informationsdichte maximal 10% - Layoutalgorithmus ist nicht deterministisch - empirische Evaluation: - Bearbeitungszeit mit Referenzpräsentation niedriger als mit zu evaluierender Ergebnispräsentation - Qualität der bearbeiteten Aufgaben gleich Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 14

15 Ergebnisse - empirische Evaluation: - 55% gaben an bereits mit grafischen Ergebnispräsentationen gearbeitet zu haben - 55% gaben an, die Präsentation des Trefferüberblicks sei hilfreich gewesen - es wurden nicht alle dargestellten Attribute der Treffer als sinnvoll empfunden (Datum, Textgröße) - 78% sahen grafischen Ergebnispräsentationen eine hilfreiche Ergänzung zu textuellen Ergebnispräsentationen Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 15

16 Zusammenfassung - es existieren eine Vielzahl von Ansätzen zu jeder Phase des Lebenszyklusmodells - Ergebnispräsentationen, welche Details zu jedem Treffer und einen Trefferüberblick präsentieren existieren vereinzelt, sind jedoch nicht evaluiert - prototypische Implementierung weist einige technische Mängel auf - empirische Evaluation ergab keine Vorteile der prototypischen Implementierung gegenüber der Referenzimplementierung Michael Scholz, Lehrstuhl für Wirtschaftsinformatik II, Universität Passau Folie 16