Inhalt. Interaktives Information Retrieval. Ebenen-Architektur von IR-Systemen. Ebenen-Architektur von IR-Systemen. Ebenen-Architektur von IR-Systemen

Transkript

1 Inhalt Interaktives Information Retrieval Norbert Fuhr Universität Duisburg-Essen 22. November 2011 Ebenen-Architektur von IR-Systemen Information Seeking Behaviour Information Searching Strategische Unterstützung UNIVERSITÄT D U I S B U R G E S S E N Zusammenfassung und Ausblick Ebenen-Architektur von IR-Systemen Ebenen-Architektur von IR-Systemen

2 Physische Ebene Logische Ebene Syntaktische Ebene Semantische Ebene

3 Pragmatische Ebene Funktionale Ebene Benutzerschnittstelle Ebenen I physische Ebene: interne Speicherungsstrukturen und zugehörige Algorithmen logische Ebene: IR-Modelle syntaktische Ebene: Betrachtung syntaktischer Objekteigenschaften (Text als Zeichenkette, Bilder als Pixelmatrix,... ) Freitextsuche semantische Ebene: dargestellte Objekte und Beziehungen dazwischen Dokumentationssprachen

4 Ebenen II Anmerkungen zur Ebenenarchitektur pragmatische Ebene: Aussage eines Dokumentes/Anwendungszweck Relevanzdefinition funktionale Ebene: Suchfunktionen, Unterstützung des Benutzers beim Suchprozess dieses Kapitel Benutzerschnittstelle nächstes Kapitel In der Regel nicht alle Ebenen vorhanden Benutzer muss fehlende Ebenen kompensieren (insbesondere kognitive und pragmatische Ebene) fehlende Trennung zwischen Ebenen (u.a. keine logische und physische Datenunabhängigkeit wie in DBMS) Modelle zur Informationssuche Information Seeking Behaviour Information Seeking Behaviour und Information Searching Ellis Behavioural Model of Information Seeking Strategies Verschiedene Modelle bezüglich des Benutzerverhaltens zum besseren Verständnis des Prozesses der Informationssuche Klassisches Information Retrieval Informationssuche in wenig strukturierten Datenbeständen (Texte, Multimediadaten) Vagheit des Informationsbedürfnisses, unsichere Repräsentation des Inhalts Systembasiert, statisches Informationsbedürfnis Interaktives Information Retrieval Interaktion des Benutzers mit Informationssystem im Vordergrund Dynamisches Informationsbedürfnis Zwei Betrachtungsweisen zum interaktiven IR 1. Information Seeking Behaviour 2. Information Searching

5 Information Seeking Behaviour Information Searching Breitere Sicht auf die Informationssuche als inhaltsorientierte IR-Systeme Verhalten, Motivation und Vorgehen des Benutzers zur Befriedigung einer Aufgabe modelliert Zentrale Fragen: Wodurch wird ein Informationsbedürfnis ausgelöst? Wie verhalten wir Menschen uns daraufhin, um das Problem zu lösen? Sicht auf die Interaktion des Benutzers mit den Informationsquellen im Allgemeinen Umfasst klassische IR-Systeme im Sinne einer Suchmaschine und andere Quellen (z.b. das persönliche Umfeld) Ellis Behavioural Model of Information Seeking Strategies Generelles Modell zum Suchverhalten Basiert auf empirischer Evaluation in Sozialwissenschaften und in Ingenieursfirmen Allgemeine Kategorien oder Eigenschaften des Suchverhaltens: Starting, Chaining, Browsing, Differentiating, Monitoring, Extracting, Verifying, Ending Kategorien des Suchverhaltens nach Ellis (1) Starting alle Aktivitäten zu Beginn der Suche nach Informationen, zum Beispiel Auswahl der Informationsquelle (z.b. persönliche Kollektion, aber auch Bibliothek) Literatursuche Befragung von Kollegen Überblick über die Literatur

6 Kategorien des Suchverhaltens nach Ellis (2) Kategorien des Suchverhaltens nach Ellis (3) Chaining Aufeinander aufbauende Informationen werden sowohl vorwärts- als auch rückwärtsgerichtet verfolgt Ähnlich dem Suchen nach Referenzen aus der Literaturliste eines Artikels Faktoren: Topikalische Relevanz Autor Aktualität Zitierhäufigkeit Kosten und Zeit der Beschaffung Finden neuer Informationsquellen oder gar Neuformulierung des Informationsbedürfnisses Browsing Basiert auf Informationsquellen und gefundenen Dokumenten semi-zielorientierte Suche durch Browsen in erfolgversprechenden Bereichen Verfolgen von Inhaltsverzeichnissen, Listen von Titeln, Überschriften, Namen von Organisationen und Personen, Weblinks, usw. Findet immer statt, wenn relevante Information zusammenhängend und zum Thema passend aufbereitet ist Kategorien des Suchverhaltens nach Ellis (3) Kategorien des Suchverhaltens nach Ellis (4) Differentiating Beurteilung von Informationsquellen nach ihrer Art, Qualität, Wichtigkeit, Brauchbarkeit Dadurch Filterung der Information Beispiel: Kommentar vs. Bericht Monitoring Sich auf dem neuesten Wissensstand halten Entwicklungen in einem Gebiet verfolgen Meist wenige ausgewählte Quellen (z.b. bestimmte Magazine, Mailinglisten, aber auch persönliche Kontake)

7 Kategorien des Suchverhaltens nach Ellis (5) Kategorien des Suchverhaltens nach Ellis (6) Extracting Identifizierung relevanten Materials Material: Dokumenten, neue Quellen, Passagen Kognitive Erfassung der Information durch Benutzer Hintergrundwissen des Benutzers wichtig Verifying Überprüfen der Information bzgl. Richtigkeit und Zuverlässigkeit Ending Abschluss der Suche, Verknüpfen der Information Prozessmodell Erweiterung nach Meho/Tibbo Evaluation von Ellis wiederholt und neu analysiert (auch im Hinblick auf neue Technologien) Grundsätzlich wird Ellis Modell bestätigt Aber: Ergänzung um neue Kategorien Nicht alle Aktivitäten sequentiell Starting, Browsing, Chaining und Monitoring sind Suchprozeduren Differentiating ist ein Filterungsprozess

8 Neue Kategorien Phasen im Suchverhalten Accessing Zugriff auf Volltexte (statt Surrogaten) Beschaffung der Inhalte auf unterschiedlichem Weg und mit unterschiedlichen Kosten Networking Persönliche Kommunikation mit verschiedenen Personen Diskussion über und Bewertung der gefundenen Information im Internet Information Managing Ablage, Speicherung und Organisation der gesammelten oder verwendeten Informationen Konsequenzen für das Design von IR-Systemen Systeme sollten alle Phasen des Information Seeking unterstützen oder Schnittstellen zu Systemen für die anderen Phasen anbieten aber: heutige Systeme beschränken sich auf Teilmenge der Phasen Forschungs- und Entwicklungsbedarf Information Searching Einfache Modelle für den Suchprozess Belkins Episodic Interaction Model Ingwersens Cognitive Model Klassifikation von Suchaktivitäten Ostensive Retrieval

9 Klassisches Modell für den Suchprozess Klassisches Modell für den Suchprozess Ablauf: 1. Beginn: Informationsbedürfnis 2. Wähle ein System und eine Datenbasis 3. formuliere eine Anfrage 4. schicke die Frage an das System 5. erhalte die Ergebnisse in Form einer Liste von Verweisen 6. Durchschauen, Evaluieren und Interpretieren der Ergebnisse 7. Stopp, oder 8. Reformuliere die Anfrage und gehe zu Schritt 4 Empirische Studien Informationssuche besteht aus einer Folge von zusammenhängenden, aber unterschiedlichen Suchen Suchergebnis triggert weitere Suchen Der Aufgabenkontext bleibt der Gleiche Hauptaufgabe der Suche ist akkumuliertes Lernen und das Sammeln neuer Information während der Suche Berrypicking-Modell [Bates 90] kontinuierlicher Verschiebung von Informationsbedürfnis und Anfragen während der Suchen Informationsbedürfnis wird nicht durch eine einzige Antwortmenge befriedigt stattdessen: Folge von Selektionen und Aufsammeln von Informationsbrocken während der Suche

10 Anomalous State of Knowledge (ASK)(1) Anomalous State of Knowledge (ASK)(2) ASK-Hypothese Klassische Suchsysteme: best-match -Prinzip System liefert Dokumente zurück, die am besten zu einer Repräsentation des Informationsbedürfnisses (z.b. Anfrage) passen Annahme: Benutzer kann das Informationsbedürfnis exakt spezifizieren Informationbedürfnis entsteht durch Anomalie im Wissenszustand (state of knowledge) des Benutzers Anomalous State of Knowledge Benutzer kann Informationsbedürfnis zur Beseitigung der Anomalie nicht spezifizieren Besser: Erfassung des ASK statt Spezifikation des Informationsbedürfnisses Erfassung kognitiver und situationsbedingter Aspekte nötig, um Anomalie aufzulösen Episodic Interaction Model Episodic Interaction Model Episodic Interaction Modell dient der Erfassung und Überwindung des ASK Unterscheidung einzelner Prozesse im Suchverhalten Benutzerinteraktionen mit IR-Systemen als Sequenz verschiedener Interaktionen innerhalb einer Episode der Informationssuche Durchlaufen unterschiedlicher Formen der Interaktion und Suchstrategien, abhängig von Faktoren wie Aufgabe, Ziele und Absichten Suchhistorie Arten von Informationsobjekten nicht erfassbare andere Faktoren Interaktionsformen unterstützen eine Reihe von Prozessen wie z.b. Suchen, Browsen, Interpretation, Modifikation und Beurteilung von Information Nutzerschnittstelle sollte im Vordergrund stehen

11 Beispielepisode Ingwersens Cognitive Model 1. Benutzer erinnert sich an Buch an bestimmter Stelle in Bibliothek 2. System erlaubt, eine bestimmte Region virtuell abzusuchen 3. Benutzer entdeckt dabei anderes interessantes Buch und möchte nun ähnliche Bücher finden, weiß aber nicht, wie dies erreicht werden kann 4. System bietet mögliche Vorgehensweisen an 5. Benutzer wählt Anzeige des 6. System zeigt Schlagwortkatalog 7. Benutzer findet dort relevanten Suchbegriff und weist das System an, nach diesem Begriff zu suchen 8. System führt Suche durch und zeigt zum Suchbegriff gefundene Dokumente an Globale Perspektive Umfasst alle beeinflussenden Faktoren, mit denen der Benutzer interagiert Soziales Umfeld IR-System Informationsobjekte Benutzerschnittstelle Benutzer Befasst sich mit kognitiven Strukturen Manifestationen der menschlichen Kognition, von Reflektionen oder Ideen Ingwersen s Cognitive Model Information objects Organiz. Interface Cognitive Actor(s) (team) Social Context IT: Engines Logics Algorithms Cultural Cognitive transformations and influence Interactive communications of cognitive structures

12 Polyrepräsentation Polyrepräsentation am Beispiel Amazon [Ingwersen 94] Repräsentation eines Informationsobjekts in verschiedenen Formen Repräsentation korreliert mit kognitiven Strukturen Beispiel: Dokument kann repräsentiert werden durch Titel (vom Autor gegeben) Schlagwörter (vom Indexierer) Andere Dokumente, die es zitieren (extern) Annotationen (extern) Retrievalsystem unterstützt mehrere Repräsentationen (und daher möglichst viele kognitive Strukturen) intentional redundancy Gutes Suchergebnis, wenn viele Repräsentationen zum selben Dokument zeigen (Overlap) Polyrepräsentation am Beispiel CUIL Polyrepräsentation des kognitiven Raumes des Benutzers Auch der kognitive Raum des Benutzer kann mittels Polyrepräsentation dargestellt werden Einfachstes Beispiel ist die Polyrepräsentation des Informationsbedürfnisses mittels verschiedener Anfragen Aber auch die Aufgabe (work task) kann formal repräsentiert werden

13 Globales Modell der Polyrepräsentation Beispiele für Unterstützung der verschiedenen Ebenen Anekdote: Benutzer will Reifen wechseln und fragt sich, mit welchem Drehmoment die Radmuttern angezogen werden müssen. Index des Handbuchs liefert keinen Eintrag unter Drehmoment. Auch unter Räder gibt es keinen passenden Eintrag. Erst unter Reifenwechsel gibt es einen Verweis auf den entsprechenden Abschnitt der technischen Daten. request Standard-Textsuche problem/goal: FAQs, Web-Suche nach Fehlermeldungen work task/interest: HOWTOs, FAQs Klassifikation von Suchaktivitäten Suchaktivitäten und Interface-Gestaltung [Cool & Belkin 2002] Zugriff: Methode: Scannen... Suchen Modus: Erkennen... Spezifikation Objekte, mit denen interagiert wird Ebene: Information... Meta-Information Medium: Text, Bilder, Sprache, Video,... Quantität: 1 Objekt, Menge von Objekten, Datenbasis Gemeinsame Dimensionen der Interaktion Informationsobjekte: Teile... vollständige Objekte Systematik: zufällig... systematisch Grad: selektiv... erschöpfend Interaktionskriterien (z.b. Genauigkeit, Autorität, Datum, Person) Hypothese: Benutzerinterface muss an die Art der Suchaktivität angepasst sein (etwa im Gegensatz zu Web-Suchmaschinen, die nur eine Standardschnittstelle anbieten) Benutzerexperiment [Yuan & Belkin 2007]: 2 Arten von Aufgaben: 1. Suche nach relevanten Dokumenten zu einem Thema, in mehreren Datenbanken Erst scannen, dann suchen 2. Suche nach einem (vage bekannten) Zitat in einem (unbekannten) ebook Erst suchen, dann scannen

14

15 Ostensive Retrieval Ostensive Retrieval: Navigation [Campbell 00] ostensive: anschaulich (leo.org) definition by pointing (Wikipedia) Idee: Benutzer muss Informationswunsch nicht explizit spezifizieren zeigt stattdessen auf interessante Objekte Informationswunsch kann sich im Laufe der Suche verändern

16 Ostensive Retrieval: Benutzerschnittstelle Ostensive Retrieval: Altern von Relevanzurteilen Relevance Feedback, wobei Dokumente gemäß ihres Alters gewichtet werden Information Seeking Behaviour & Information Searching Strategische Unterstützung Information Seeking Behaviour & Information Searching Suchaktivitäten Ebenen der Systemunterstützung Proaktivität in IR-Systemen Suche nach Information findet in verschiedenen, aufeinander folgenden Phasen statt Jede Phase sollte angemessen durch das System unterstützt werden Interaktionsmöglichkeiten des Benutzers mit dem System dabei wichtiger Faktor Ansatz: Arbeiten von Marcia Bates zur strategischen Unterstützung und Integration der genannten Modelle

17 Abstraktionsebenen von Suchaktivitäten Move Elementare Aktionen oder identifizierbarer Gedanken. Typischerweise Kommandos, die vom System unterstützt werden, wie das Hinzufügen eines Suchbegriffs oder Verfolgen eines Verweises Taktik Zielorientierte Aktion zur Verbesserung des Suchergebnisses, umfasst mehrere Moves; Beispiel: Auswahl von Synonymen und Erweiterung der Suchanfrage, wenn zu wenig Ergebnisse gefunden wurden Stratagem Umfasst mehrere Taktiken, um Informationsstrukturen in einer Domäne auszunutzen. Beispiel: Navigieren in den Ausgaben einer Zeitschrift oder das Verfolgen von Referenzen und Fußnoten Strategie Umfassende Pläne, die Moves, Taktiken und Stratageme enthalten können. Beispiel: Suche nach Literatur zu einem Seminarthema: Inhaltsorientierte Suche Identifizierung wichtiger Autoren und Konferenzen Autorensuche Inhaltsverzeichnisse der Konferenzen Monitoring Tactics CHECK WEIGH PATTERN CORRECT RECORD To review the original request and compare it to the current search topic to see that it is the same. To make a cost-benefit assessment, at one or more points of the search, of current or anticipated actions. To make oneself aware of a search pattern, examine it, and redesign it if not maximally efficient or if out of date To watch for and correct spelling and factual errors in one s search topic. To keep track of followed and of desirable trails not followed or not completed. File Structure Tactics BIBBLE SELECT SURVEY CUT STRETCH SCAFFOLD CLEAVE To look for a bibliography already prepared, before launching oneself into the effect of preparing one; more generally, to check to see if the search work one plans has already been done in a usable form by someone else. To break down complex search queries into subproblems and work on one problem at a time. To review, at each decision point of the search, the available options before selection. When selecting among several ways to search a given query, to choose the option that cuts out the largest part of the search domain at once. To use a source for other than is intended purposes. To design an auxiliary, indirect route through the information files and resources to reach the desired information. To employ binary searching in locating an item in an ordered file. Search Formulation Tactics SPECIFY EXHAUST REDUCE PARALLEL PINPOINT BLOCK To search on terms that are as specific as the information desired. To include most or all elements of the query in the initial search formulation; to add one or more of the query elements to an already-prepared search formulation. To minimize the number of the elements of the query in the initial search formulation; to subtract one or more of the query elements from an already-prepared search formulation. To make the search formulation broad (or broader) by including synonyms or otherwise conceptually parallel terms. To make the search formulation precise by minimizing (or reducing) the number of parallel terms, retaining the more perfectly descriptive terms. To reject, in the search formulation, items containing or indexed by certain term(s), even if it means losing some document sections of relevance

18 Term Tactics Idea Tactics SUPER SUB RELATE TRACE VARY REARRANGE CONTRARY RESPELL RESPACE NEIGHBOR FIX To move upward hierarchically to a broader (superordinate) term. To move downward hierarchically to a more specific (subordinate) term. To move sideways hierarchically to a coordinate term. To examine information already found in the search in order to find additional terms to be used in furthering the search. To alter or substitute one s search terms in any of several ways. See remaining term tactics for some specific variations. To reverse or rearrange the words in search terms in any or reasonable orders. To search for the term logically opposite that describing the desired information. To search under a different spelling. To try spacing variants To seek additional search terms by looking at neighboring terms, whether proximate alphabetically, by subject similarity, or otherwise. To try alternative affixes, whether prefixes, suffixes, or infixes. RESCUE BREACH FOCUS In an otherwise unproductive approach, to check for possible productive paths still untried. To breach the boundaries of one s region of search, to revise one s concept of the limits of the intellectual or physical territory in which one searches to respond to a query. To look at the query more narrowly, in one or both of two senses: (1) to move from the whole query to a part of it or (2) to move from a broader to a narrower conceptualization of the query. Example stratagems Tactics suggested in response to searcher request Subject Search Journal Run Having identified a journal central to one s topic of interest, one reads or browses through issues or volumes of the journal. Citation Search Using a citation index or database, one starts with a citation and determines what other works have cited it. Area Scan After locating a subject area of interest in a classification scheme, one browses materials in the same general area. Footnote Chase One follows up footnotes or references, moving backward in time to other related materials. SEARCHER COMMAND Too many hits Too few hits SYSTEM RESPONSE LIST SPECIFY EXHAUST PINPOINT BLOCK SUB NEIGHBOR TRACE PARALLEL FIX SUPER RELATE VARY

19 SEARCHER COMMAND No hits Need other terms or wrong terms SYSTEM RESPONSE LIST RESPACE RESPELL REARRANGE CONTRARY SUPER RELATE NEIGHBOR TRACE NEIGHBOR TRACE SUPER SUB RELATE SEARCHER COMMAND Revise terms Revise search formulation SYSTEM RESPONSE LIST SPACE RESPELL FIX REVERSE CONTRARY SUPER SUB RELATE SPECIFY EXHAUST REDUCE PARALLEL PINPOINT BLOCK Abstraktionsebenen von Suchaktivitäten Sichtweisen des Information Seeking & Searching Suchaktivitäten stellen weitere Differenzierung des Suchprozesses dar (Information Seeking) Implementierung von Taktiken ein erster Schritt Moves, Tactics, Strategemes und Strategies als mögliche Interaktionsebenen (Information Searching) Frage nach geeigneter Systemunterstützung, d.h. welche Dienste/Aktivitäten werden vom Informationssystem unterstützt?

20 Ebenen der Systemunterstützung nach Bates Matrix aus Systemunterstützung und Suchaktivität Ebene Name Eigenschaft 0 Kein System Reine Benutzerebene; keine Vorschläge/Aktionen vom System 1 Möglichkeiten (Handbuch) Vorschläge von Möglichkeiten auf Anfrage; auflisten keine Durchführung 2 Aktionen auf (passiv, kontextfreie Hilfe) Kann Aktionen ausführen; Kommando kein Analysieren der Suche 3 Überwachen, Vorschläge (kontextbezogenen Hilfe) Überwachen, Analysieren einer Suche, Vorschläge machen a - auf Benutzeranfrage b - bei Entdecken (proaktiv) 4 Automatische Automatisches Ausführen Ausführung einer Aktion a - Information an den Benutzer b - Keine Information Proaktive Taktiken in Daffodil Daffodil: Fortsetzung der Suche Vorschläge basieren auf der automatischen Analyse des gegenwärtigen Suchergebnisses Case-based reasoning Verfügbarkeit wird durch Knopf am unteren Ende der Ergebnisliste angezeigt

21 Daffodil: Fortsetzung der Suche Vorschläge werden als Rangliste angezeigt Beschreibender Titel, Erklärung und Erfolgsaussichten Ausführen von einem oder mehreren Vorschlägen mit anschließender Bewertung Icons zeigen den Status des Vorschlags an (ausführbar, benutzt, nützlich) Evaluierung zur Suchfortsetzung 24 Testpersonen, die Hälfte davon unterstützt jeder bearbeitete 3 Aufgaben Fallbasis enthielt 30 verschiedene Lösungsvorschläge Ergebnisse: unterstützte Benutzer sind zufriedener mit dem Verlauf der Suche (p = 0, 067) sind signifikant zufriedener mit dem Ergebnis finden signifikant mehr relevante Dokumente nutzen signifikant häufiger die fortgeschrittenen Werkzeuge von Daffodil (nicht unterstützte Benutzer beschränken sich i.w. aufs Reformulieren der Anfragen) Zusammenfassung Zusammenfassung und Ausblick Information seeking behavior vs. searching kognitive Modelle: iterativer Charakter der Suche Vielfalt der Suchaufgaben Zahlreiche Einflussfaktoren Systeme: ostensive Retrieval strategische Unterstützung durch höhere Suchfunktionen proaktive Unterstützung IIR-PRP als theoretische Grundlage für funktionales Systemdesign? Benutzerexperimente sind aufwändig, aber sehr aufschlussreich

22 Ausblick Interaktives Retrieval ist von großer praktischer Bedeutung Aber es gibt relativ dazu nur wenige Forschungsergebnisse Ergebnisse aus klassischen Experimenten nur bedingt übertragbar Zahlreiche kognitive Modelle, aber konkrete Umsetzung in Systemdesign schwierig Integration von kognitiven Modellen und Systementwicklung, validiert durch Benutzerexperimente notwendig