Information Retrieval - Übersicht. Norbert Fuhr

Transkript

1 Information Retrieval - Übersicht Norbert Fuhr 1

2 1. Einführung IR unterscheidet sich wesentlich zur Suche in klassischen Datenbanken IR beschäftigt sich mit Unsicherheit und Vagheit in Informationssystemen Der Schwerpunkt im IR liegt bei der inhaltsorientierten Suche Dabei muss man zwischen Syntax, Semantik und Pragmatik unterscheiden, wobei IR auf die beiden letztgenannten fokussiert 2

3 2. IR-Konzepte IR unterscheidet sich von Datenbanksystemen durch andere Werte entlang folgender Dimensionen: Matching, Inferenz, Modell, Klassifikation, Anfragesprache, Fragespezifikation, gesuchte Objekte, Reaktion auf Datenfehler Unterscheidet man zwischen Daten (Syntax), Information (Semantik) und Wissen (Pragmatik), dann sucht man im IR primär nach Wissen Wissen wird zur Entscheidungsunterstützung benötigt Sichten auf Dokumente: logische, Layout- und inhaltliche Sicht Anfragen können Anforderungen bzgl. aller Sichten formulieren und auch die Art der Ausgabe bzgl. dieser Sichten spezifizieren Auf Seiten der Objekte untersceidet man zwischen dem Objekt selbst, seiner Repräsentation und seiner Beschreibung Analog differenziert man zwischen einem Informationsbedürfnis, seiner formalen Repräsentation und seiner Beschreibung (sowie der Ausgabespezifikation) 3

4 3. Evaluierung Wesentliche Anforderungen an jede Art von Evaluierung sind Zuverlässigkeit und Validität Im IR werden hauptsächlich summative ( Gesamtsystem) und komparative ( Systemvergleich) Evaluierungen durchgeführt. IR-Evaluierungen beschäftigen sich fast ausschließlich mit Effektivität (im Ggs. zu Effizienz) Dabei wird primär die (objektive) Relevanz oder Pertinenz der Antwortobjekte betrachtet Als abstrakte Beschreibungen von Retrievalergebnissen dienen Distributionen Benutzer haben unterschiedliche Standpunkte, die wiederum verschiedenen Bewertungsmaßen entsprechen. 4

5 Standardmaße sind Precision und Recall, die auch eine probabilistische Interpretation haben. Der Recall kann dabei nur näherungsweise bestimmt werden, da man die Gesamtzahl der relevanten Dokumente in der Kollektion nicht kennt und nur durch verschiedene Verfahren approximieren kann. Beim Vergleich von Recall-Precision-Paaren ist ein Paar nur dann besser, wenn beide Werte größer gleich denen des anderen Paars sind. Dabei gibt es viele unentschiedenen Fälle. Um diese zu entscheiden, muss man einen spezielleren Benutzerstandpunkt wählen F-Maß oder kostenbasierte Maße bilden Recall-Precision-Paare auf eine lineare Skala ab, Hierzu werden zusätzliche Gewichtungsparameter benötigt, die den Benutzerstandpunkt ausdrücken. 5

6 Bei Rangordungen muss man zwischen linearen und schwachen Ordnungen unterscheiden Bei linearen Ordnungen berechnet man Recall und Precision nach jedem Rang. Dadurch entsteht eine Sägezahnkurve im Recall-Precision- Graphen. Diese wird üblicherweise durch eine Treppenfunktion (ceiling- Interpolation) ersetzt, die auf folgenden Annahmen beruht: Der Benutzer stoppt nur nach einem relevanten Dokument Er stoppt nur, wenn die Precision danach nicht mehr steigt.

7 Bei schwachen Rangordnungen muss man zwische zwei Standpunkten unterscheiden: ND: der Benutzer will eine bestimmte Anzahl gefundener Dokumente Hier wird jeweils der gleiche Anteil relevanter und irrelevanter Dokumente aus einem Rang gezogen NR: der Benutzer will eine bestimmte Anzahl relevanter Dokumente Hier berechnet man die entsprechende expected search length Aus diesen Werten für die Anzahlen relevanter/irrelevanter Dokumente berechnet man dann die Recall-Precision-Paare Auch Zwischenwerte für Teile gefundener/relevanter Dokumente sind möglich Das Ergebnis ist in jedem Fall verschieden von einer linearen Interpolation zwischen den (R,P)-Paaren nach jedem Rang 6

8 4.2. Wissensrepräsentation für Texte - semantischer Ansatz Beim semantischen Ansatz unterscheidet man zwischen Klassifikationen, Thesauri und semantischen Netzen. Alle drei Ansätze werden auch als Ontologien bezeichnet Klassifikationen verwenden ein vorgegebene formales Schema und ordnen ein Dokument i.d.r. nur einer oder wenigen Klassen zu Charakteristika von Klassifikationssystemen sind Mono- vs. Polyhierarchie, Mono- vs. Polydimensionalität und analytische vs. synthetische (Facetten-)Klassifikation 7

9 Ein Thesaurus ist eine geordnete Zusammenstellung von Begriffen Ein Thesaurus übt terminologische Kontrolle aus durch Erfassung von Synonymen, Kennzeichnung von Homonymen und Polysemen sowie Festlegung von Vorzugsbenennungen Beziehungen zwischen Begriffen werden durch hierarchische, Äquivalenz- und Assoziationsrelationen modelliert 8

10 Sematische Netze sind derzeit besonders populär durch das semantic Web und die Sprache RDF RDF bietet eine ausdrucksstärkere Beschreibungssprache durch Instanzen zu Konzepten, beliebige Beziehungen zwischen Instanzen ausdrücken, Statements der Art Subjekt-Prädikat-Objekt RDF Schema erweitert die Basiskonzepte um Konstrukte zur Schemadefinition 9

11 4.3. Wissensrepräsentation für Texte Freitextsuche Freitextsuche basiert i.a. auf einer Zerlegung des Textes in einzelne Wörter (Ausnahme: Sprachen ohne automatisch erkennbare Wortgrenzen) Probleme bei der FTS sind (neben der Wortwahl) Homographen, Polyseme, Flexionsformen, Derivationsformen und Komposita. Man unterscheidet zwischen dem informatischen und dem computerlinguistischen Ansatz Der informatischen Ansatz bietet Truncation- und Maskierungsoperatoren zur Suche nach Flexions- und Derivationsformen sowie Kontextoperatoren zur Suche nach Nominalphrasen 10

12 Beim computerlinguistischen Ansatz kann gemäß den verwendeten Methoden zwischen graphematischen, lexikalischen und syntaktischen Verfahren unterscheiden graphematische Verfahren werden zur Grundform- ( Flexionsformen) und Stammformreduktion ( Derivationsformen) eingesetzt Lexikalische Verfahren werden für stark flektierte Sprachen zur Grund- und Stammformreduktion sowie in allen Sprachen zur Behandlung von Komposita eingesetzt syntaktische Verfahren dienen zur Erkennung von Nominalphrasen: Wortklassenbestimmung Parsing Komposita- Identifikation Head-Modifier-Strukturen - Matching 11

13 5 Nicht-probabilistische Retrievalmodelle Wir unterscheiden zwischen den eigentlichen Dokumenten/Fragen deren Repräsentationen (alles, was das System darüber weiß) und deren Beschreibungen Die Retrievalfunktion vergleicht die Beschreibungen von Fragen und Dokumenten und berechnet daraus Retrievalwerte Boolesches, Fuzzy- und Verktorraummodell berugen auf verschiedenen theoretischen Grundlagen, insbesondere was die Bedeutung der Gewichtung angeht Man kann die Modelle ferner danach unterscheiden, ob sie die Frageterme, die Dokumentindexierung oder beides gewichten 12

14 5.3 Boolesches Retrieval Boolesches Retrieval gewichtet weder die Frageterme noch die Dokumentindexierung Anfragen sind boolesche Kombinationen von Termen Anfragemächtigkeit: Boolesches Retrieval kann jede beliebige Dokumentmenge selektieren Boolesches Retrieval hat eine Reihe von Nachteilen, u.a.: Normale Benutzer sind mit dem Formulieren von Anfragen überfordert Die Retrievalqualität ist schlecht Es wird kein Ranking erzeugt, sondern nur eine ungeordnet Menge von Antorten 13

15 5.4 Fuzzy-Retrieval Ähnlich wie Boolesches Retrieval, aber mit gewichteter Dokumentindexierung Dadurch wird ein Ranking erzeugt Die Standarddefinition der Fuzzy-Operatoren (min,max) führt immer noch zu schlechter Retrievalqualität andere Definitionen verletzen die Gesetze der Booleschen Algebra 14

16 5.5 Vektorraummodell Geht von einem orthonormalen Vektorraum aus, der durch die Terme der Kollektion aufgespannt wird Als Retrievalfunktion werden Vektor-Ähnlichkeitsmaße verwendet (Cosinus, Skalarprodukt) Coordination-Level-Match: Spezialfall, der mit ungewichteten Fragetermen und ungewichteter Dokumentindexierung sowie dem Skalarprodukt arbeitet Zur Gewichtung werden heuristische Formeln eingesetzt Das Vektorraummodell liefert die beste Retrievalqualität unter den bisher vorgestellten Modellen 15

17 5.5.1 Vektorraummodell - Relevance Feedback Relevance Feedback modifiziert die Fragebeschreibung aufgrund von Relevanzurteilen zu einer initialen Anfrage Beim VRM ist der theoretisch optimale Vektor der Verbindungsvektor der Zentroiden von relevanten bzw. nichrelevanten Dokumenten Der Rocchio-Algorithmus berücksichtigt auch den ursprünglichen Fragevektor weiter und gewichtet den Zentroiden der relevanten Dokumente stärker als den der nichtrelevanten Durch Relevance Feedback lässt sich die Retrievalqualität drastisch steigern 16

18 5.6 Clustering Clustering teilt Kollektion in Mengen Ähnlicher Dokumente auf Clustering-Anwendungen: Hierarchisches Clustering (insbes. für Browsing) Cluster-Suche Ähnlichkeitssuche von Dokumenten 17

19 5.6.1 Agglomeratives Clustering geht bottom-up vor bildet Link, falls Ähnlichkeit vorgegebenen Schwellenwert überschreitet: single-link: mindestens ein Link zu einem Dokument des Clusters complete link: Links zu allen Dokumenten des Clusters average link: Link zum Zentroiden des Clusters 18

20 5.6.2 Partitionierendes Clustering (k-means): geht top-down vor Anzahl Cluster k und k Startpunkte werden vorgegeben Dokument wird jeweils ähnlichstem Cluster hinzugefügt Zentroiden bilden Startpunkte für nächste Iteration Verfahren iteriert, bis Cluster stabil sind 19

21 5.6.5 Probabilistisches Clustering Verallgemeinerung von k-means auf unscharfe Cluster Ähnlichkeitsmaß: Wahrscheinlichkeit, dass Dokument zum Cluster gehört Unabhängigkeitsannahme: Gesamt-W. als Produkt über die einzelnen Merkmale: Terme: W., dass Term in einem zufälligen Dokument des Clusters vorkommt nummerische Attribute: Normalverteilung Parameterschätzung durch expectation maximization 20

22 5.6.5 Scatter-Gather-Clustering Browsing durch dynamisch generierte Hierarchie Scatter: Clustering der aktuellen Dokumentmenge Gather: Zusammenmischen der vom Nutzer ausgewählten Cluster Cluster-Repräsentation: Dokumenttitel, wichtige Terme Termgewichtung: nach relativem Informationsgehalt (ähnlich idf) 21

23 6.2 Binary independence retrieval model Dokumentrepräsentation: Termmenge Fragerepräsentation: Termmenge + Relevanzurteile Schätzt Chancen (Odds), dass Dokument mit best. Termmenge auf die Anfrage relevant ist Unabhängigkeitsannahme: Terme in den relevanten (bzw. irrelevanten) Dokumenten unabhängig voneinander verteilt zu schätzende Parameter: W., dass Term in zufälligem relevanten Dokument vorkommt W., dass Term in zufälligem irrelevanten Dokument vorkommt 22

24 Parameterschätzung W., dass Term in zufälligem irrelevanten Dokument vorkommt: W., dass Term in zufälligem Dokument vorkommt = relative Dokumenthäufigkeit des Terms W., dass Term in zufälligem relevanten Dokument vorkommt: a) Annahme eines konstanten Wertes: IDF-Gewichtung b) aus Relevance Feedback-Daten 23

25 6.3 Probabilistisches Ranking-Prinzip optimales Retrieval: in Bezug auf gewählte Repräsentation definiert entscheidungstheoretische Rechtfertigung basiert auf Kostenmodell Kosten für Retrieval eines relevanten/irrelevanten Dokumentes ergeben zusammen mit Relevanzwahrscheinlichkeit erwartete Kosten eines Dokumentes Ziel: Gesamtkosten für Retrieval minimieren (bis zu beliebigem Abbruchpunkt in der Rangliste) Gesamtkosten = Summe der erwarteten Kosten Dokumente nach steigenden Kosten ordnen Dokumente nach fallender Relevanzwahrscheinlichkeit ordnen 24

26 9.1 IR-Systeme - Ebenenarchitektur konzeptionelle Ebene Präsentationsebene semantische Ebene logikorientierte Ebene physische Ebene 25

27 9.2 Konzeptionelle Ebene Stufen der Systemunterstützung: 0. keine Unterstützung 1. Anzeige möglicher Aktionen 2. Ausführung von Kommandos 3. Überwachung der Suche und Empfehlungen a) nur auf Nachfrage b) wenn das System den Bedarf erkennt 4. automatische Ausführung a) mit Hinweis an den Benutzer b) ohne Information des Nutzers 26

28 Ebenen von Suchaktivitäten: Move Basisaktion, wie bei ex. Systemen Taktik (strategische) Aktion, die eine Suche vorantreibt Strategem Folge von strategischen Aktionen in einer Domäne Strategie vollständiger Suchplan

29 Visualisierung und Benutzerschnitstellen Design-Prinzipien dem Benutzer informativen Feedback geben UNDO-Funktion Reduktion der kognitiven Belastung (Gedächtnis!) verschiedene Interfaces für Anfänger und Experten Visualisierungstechniken: icons highlighting brushing und linking panning und zooming Fokus plus Kontext magic lens Visualisierung von baumartigen Strukturen Animationen 27

30 Prozessmodell für die Informationssuche klassisches Modell: 1. Informationsbedürfnis 2. Auswahl von System und Kollektion 3. Anfrageformulierung 4. Ergebnisse bewerten 5. Falls unbefriedigend: Reformulierung und weiter bei 4 6. Sonst: Ende Alternative Modelle: Berrypicking: Aufsammeln von relevanten Items Empirische Studien: Retrieval als Folge von zusammenhängenden, aber unterschiedlichen Suchen 28

31 Visualisierung für die verschiedenen Schritte Kollektionsauswahl: Darstellung von Bäumen, Facetten, Clustern Anfrageformulierung: Formulare, Menüs, direkte Manipulation Interpretation/Kontext: Surrogate, Trefferdarstellung in Dokumenten, Strukturierung von Ergebnismengen, Tabellen Relevance Feedback / Benutzerkontrolle 29

32 Interfaces für den gesamten Suchprozess Anordnung und Zuordnung der Fenster für die verschiedenen Aktionen sind kritisch innovative Ansätz basieren z.b. auf objektoriuentierten Modellen, räumlicher Anordung, 3D-Visualisierung Hauptproblem ist die gleichzeitige Visualisierung der Information zu den verschiedenen Suchschritten Das WOB-Modell basiert auf folgenden Prinzipien: Integration verschiedener Modi Verwendung strikter Objektorientierung Weitgehende Visualisierung Unterstützung iterativer Retrievalstrategien Komplexitätsreduktion 30

33 Informationsextraktion Abgrenzung IE beschäftigt sich mit der Extraktion von Fakten aus Texten, für ein vorgegebenes Muster in einer festen Domäne Textverstehen versucht dagegen die semantischen und kommunikativen Aspekte eines Textes möglichst umfassend zu modellieren Information Retrieval beschränkt sich hingegen auf das bloße Lokalisieren der relevanten Dokumente, allerdigs in einem beliebigen Anwendungsbereich 2 Arten von IE-Methoden: Knowledge Engineering: Regeln werden durch Experten erstellt: Sehr arbeitsaufwändig, aber hohe Qualität Trainierbare Systtem: benötigen umfangreiche Trainingsdaten, mittlere Qualität 31

34 Aufbau eines IE-Systems Tokenization: Wort-Segmentierung Morphologische und lexikalische Prozessierung Part of Speech Tagging (Wortklassenbestimmung) Markierung von Wortbedeutungen Syntaktische Analyse: Volles/oberflächliches Parsing Domänen-Analyse Auflösung von Koreferenzen Mischen partieller Ergebnisse 32