Klassische Information Retrieval Modelle Einführung

Transkript

1 Klassische Information Retrieval Modelle Einführung Kursfolien Karin Haenelt

2 Themen Information Retrieval Konzepte Grundkomponenten Information Retrieval Modell Definition Die klassischen Modelle Boolesches Modell, Vektormodell, Probabilistisches Modell Komponenten Anfragen Dokumentrepräsentation Dokumentenanalyse / Vorverarbeitung Index Rankingfunktionen 2

3 Information Retrieval Traditionelles Konzept Auffinden von Dokumenten, die für eine Suchanfrage relevant sind Ranking von Dokumenten 3

4 Grundkomponenten des Information Retrieval Dokumente D 1 Analyse Repräsentation (Index) Ähnlichkeit: - Matching - Ranking Repräsentation Dokumente D 2 D 2 D 1 Anfrage Analyse 4

5 Grundkomponenten des Information Retrieval Dokumente D 1 Analyse D Repräsentation (Index) Komponenten der Modelldefinition R(q k,d m ) Ähnlichkeit: - Matching - Ranking Repräsentation Dokumente D 2 Anfrage Analyse Q D 2 D 1 5

6 Information Retrieval Modell Zweck Ein Information Retrieval Modell bestimmt wie Dokumente repräsentiert werden (D) wie Anfragen repräsentiert werden (Q) wie die Relevanz eines Dokuments für eine Anfrage bestimmt wird ( R(q k,d m ) ) 6

7 Information Retrieval-Modell Definition Ein Information Retrieval-Modell ist ein Quadrupel [D,Q,F,R(q k,d m )] D Q F Dokumentrepräsentationen Menge logischer Sichten auf Dokumente Queries Menge logischer Sichten auf Informationswünsche Framework / Modellierungsrahmen für Dokumentrepräsentationen, Queries und Beziehungen zwischen D und Q R(q k,d m ) Ranking-Funktion ordnet Query q k Q und Dokument d m D einen Wert zu definiert Reihenfolge der Dokumente bezüglich Query q k (Baeza-Yates/Ribeiro-Neto, 1999,21) 7

8 Taxonomie der klassischen Modelle U s e r T a s k Ad hoc Filtering Retrieval Browsing Flat Structure guided Hypertext Classic Models Boolean Vector Probabilistic Structured Models Non-Overlapping Lists Proximal Nodes Browsing Flat Structure guided Hypertext Set Theoretic Fuzzy Extended Boolean Algebraic Generalized Vector Lat. Semant.Index. Neural Networks Probabilistic Inference Network Belief Network (Baeza-Yates/Ribeiro-Neto, 1999,21) 8

9 Anfragen Schlüsselwörter Phrasen Dokumente Fragen Operatoren (Boolesche Operatoren) 9

10 Dokumentrepräsentation Dokumentvektoren Klassisches Information Retrieval: bag of words-modell Repräsentation der Inhalte von Dokumenten durch Angabe einer Menge von Wörtern (Indexterme), die in den Dokumenten vorkommen und Zuordnung von Termgewichten Darstellung als Vektoren Beispiele: Dokumentvektoren Term 1 Öl Term 2 Preis Term 3 Alaska binär: (1,1,0) Termfrequenz: (4,3,0) bin-dok 1 tf- Dok

11 Dokumentrepräsentation Dokumentvektoren: Definition geordnete Menge von Werten für Wortvorkommen, die konjunktiv verknüpft werden Beispiele: Dokumentvektoren Term 1 Öl Term 2 Preis Term 3 Alaska binär: (1,1,0) Termfrequenz: (4,3,0) bin-dok 1 tf- Dok

12 Dokumentrepräsentation Termvektor: Definition Sei D k eine Dokumentkollektion Sei V = {t 1, t 2,, t V } die Menge der unterschiedlichen Wörter/Terme in der Kollektion. V heißt das Vokabular. Ein Gewicht w ij > 0 wird jedem Term t i eines Dokument d j D k zugewiesen. Das Gewicht eines Terms, der nicht im Dokument d j vorkommt, gilt w ij = 0 Dann ist ein Termvektor d j = (w 1j, w 2j,, w V j ). 12

13 Dokumentrepräsentation Indextermvektoren: Annahmen Annahme: wechselseitige Unabhängigkeit der Indexterme starke Vereinfachung ermöglicht einfachere Berechnung der Gewichtung eines Index- Terms ermöglicht schnelle Berechnung der Rangfolge (Ranking) von Dokumenten (Baeza-Yates/Ribeiro-Neto, 1999,25)

14 Dokumentanalyse / Vorverarbeitung Indextermextraktion Stoppwortentfernung Stemming Berechnung von Termgewichten 14

15 Dokumentanalyse / Vorverarbeitung Auswahl der Indexterme Ziel: effiziente Auswahl von (Dokument-)Worten zur Anzeige von Themen Varianten Volltext: alle Wörter verwendet Auswahl nach Wortarten Nomina als wichtige Indikatoren betrachtet Adjektive, als weniger nützlich betrachtet (1) Adverbien Präpositionen, als Stoppwörter aussortiert (1) Konjunktionen, Artikel (1) zeigen in den gewählten Verfahren oft keinen besonderen Nutzen (Baeza-Yates/Ribeiro-Neto, 1999,24)

16 Dokumentrepräsentation Relevanz Index-Terme können unterschiedlich relevant sein zur Beschreibung des Inhalts von Dokumenten Wörter, die in allen Dokumenten vorkommen nur in wenigen Dokumenten vorkommen sind unterschiedlich signifikant (Baeza-Yates/Ribeiro-Neto, 1999,24)

17 Dokumentanalyse / Vorverarbeitung Stoppwortentfernung Wörter werden im klassischen IR nicht interpretiert hochfrequente Wörter erscheinen daher aus Sicht des IR als bedeutungslos und nutzlos der, die, das, von, und, (vgl. to be or not to be ) ca Wörter / Sprache ca % eines Textes zusätzlich anwendungsspezifische Terme Ziel der Stoppwortentfernung Reduktion des Index Beschleunigung des Suchprozesses 17

18 Index Datenstrukturen für die Termvektoren sequentielle Speicherung und Suche der Indexterme ist ineffizient gebräuchliche Datenstruktur: invertierter Index ein invertierter Index einer Dokumentkollektion ist eine Datenstruktur, die der Repräsentation jedes Terms eine Liste aller Dokumente hinzufügt, in denen der Term vorkommt erfordert konstante Zeit zum Auffinden eines Anfrageterms ermöglicht einfache Suche nach multiplen Termen (Liu 2011,232) 18

19 Index - Datenstrukturen für die Termvektoren Invertierte Datei (inverted file) sequentiell Index File Keyword Hits Link information 3 Postings File Doc # Links Documents File Doc. # 5 Doc. # 15 retrieval (Harmann,Fox, Baeza-Yates, Lee 1992, 29) 19

20 Index - Datenstrukturen für die Termvektoren Invertierte Datei (inverted file) Vokabular-Trie mit invertiertem Index (Liu 2011,236) 20

21 Index Trie - Erläuterung Ein Trie ist ein Präfixbaum, der im Information Retrieval zur Repräsentation und Suche von Zeichenketten verwendet wird 21

22 Index Invertierte Datei - Implementierungsvarianten Vorteile gegenüber direkter Speicherung von Dokumentvektoren geringerer Speicherplatzbedarf (da die meisten Term-Vektoren dünn besetzt sind sparse Matrix) schneller Zugriff Implementierungsvarianten Baumstruktur / Trie Hashtabelle / Trie / endlicher Automat sortiertes Array (abgeleitet aus Baumstruktur) Hauptspeicher vs. Festplatte Rechnerfarm Kompression 22

23 Rankingfunktionen inhaltsbasiert: Ähnlichkeitsberechnungen zwischen Anfragetermen und Dokumentvektoren Boolesches Modell: Mengenoperationen Vektormodell: Ähnlichkeitsbegriffe für Vektoren: Vektoroperationen der linearen Algebra Probabilistisches Modell: Wahrscheinlichkeitsrechnung, Bayes- Theoreme hyperlinkbasiert(hits, PageRank) profilbasiert (Standort, Cookies, Soziale Netzwerke, Klickverhalten, ) 23

24 Literatur Baeza-Yates, Ricardo; Ribeiro-Neto, Berthier(Eds.) (2010): Modern Information Retrieval.Essex: Addison Wesley Longman Limited Bing Liu (2011). Web Data Mining: Exploring Hyperlinks, Contents, and Usage Data. Heidelberg: Springer Verlag. Ferber, Reginald (1998): Data Mining und Information Retrieval. Skript zur Vorlesung an der TH Darmstadt WS 1998/99 Kowalski, Gerald (1997): Information Retrieval Systems: Theory and Implementation.Kluwer Academic Publishers: Boston/Dordrecht/London. Manning, Christopher, Prabhakar Raghavan, Hinrich Schütze (2007). Introduction to Information Retrieval. Cambridge University Press. Robertson, S.E.; SparckJones, Karen (1976): RelevanceWeightingof SearchTerms. In: Journal of the American Society for Information Science. May-June,

25 Copyright Karin Haenelt All rights reserved. No part of these slides may be reproduced in any form by any electronic or nonelectronic means (including photocopying, recording, or information storage and retrieval) without permission in writing from the author. Bibliographic data. Karin Haenelt, Information Retrieval Modelles. Kursfolien (1. Fassung ) + URL Please quote correctly. If you use the presentation or parts of it for educational and scientific purposes, please observe the laws (copyright, Urheberrecht, etc.). Please include the bibliographic data (author, title, date, page, URL) in your publication (book, paper, course slides, etc.). For commercial use: No commercial use is allowed without written permission from the author. In case you are interested in commercial use please contact the author. Versionen , , ,