Information Retrieval

Transkript

1 Reginald Ferber Information Retrieval Suchmodelle und Data-Mining-Verfahren für Textsammlungen und das Web d p u n kt.ver I ag

2 Inhaltsverzeichnis I Grundlagen und klassische IR-Methoden Einführende Beispiele... 3 Literatursuche Recherche in einer Literaturdatenbank... 7 Faktendatenbanken und -retrieval H ypertext-lnformationssysteme Expertensysteme Management-lnformationssysteme Data Mining Kategorisierung mit einem Data-Mining-System... Assoziative Regeln und der Warenkorb Wissensgewi n n u ng und Information Retrieva I Grundlagen Informationsübertragung Datenübertragung Komplexere Übertragungsbeispiele Dialoge, Information Retrieval Daten, Wissen, Information Struktur eines Information-Retrieval-Systems Information Retrieval: Definition und Abgrenzung Klassische Information-Retrieval-Verfahren Boolesches Retrieval Logik des booleschen Retrieval Boolesches Retrieval für Textdokumente Implementierung mit invertierten Listen Erweiterungen Zeichenketten, Wörter und Konzepte Reduktion von Wörtern auf ihre Grundformen Lexikografische Grundformenreduktion nach Kuhlen Lexikonbasierte Morphologie-Analyse Auflösen von Mehrdeutigkeiten Klassifikationen

3 E Inhaltsverzeichnis Internationale Dezimalklassifikation Erweiterte Klassifikationssysteme Thesauren Semantische Netze Das Vektorraummodell Das Modell Vektorraummodell und boolesches Retrieval Gewichtungsmethoden Globale Gewichtungseinflüsse Lokale Gewichtungseinflüsse Relevance Feedback Ähnlichkeitsfunktionen Das Retrieval-System SMAR Bewertung und Vergleich von I Einflussfaktoren Relevanz Precision und Recall Mittelwertbildungen Testkollektionen Die TREC-Experimente I I Wissensgewinnung mit Data-Mining-Methoden Lernen Lernen als lnformationsverarbeitung Automatisches Lernen aus Beispielen Faktendatenbanken Kategorisieren Attribute und Kategorien Trainings- und Testmenge Lernparadigmen Der ID3-Algorithmus Formale Beschreibung des ID3-Algorithmus Kategorisieren mit dem ID3-Algorithmus Rahmenbedingungen für Lernalgorithmen Konsistenz Größe von Ents sbäumen Wertebereiche der Attribute Bewertung von Kategorisierungsergebnissen Inkonsistente Trainingsdaten Unvollständige Beispiele Größe und Repräsentativität der Trainingsmenge lnkrementelles Lernen

4 Inhaltsverzeichnis Overfitting Suchstrategien Einfache Regelsysteme Entscheidungslisten Ripple-down-Regelmengen Top-down- und Bottom-up-Methoden Der AQ-Algorithmus Generalisierungsoperationen Regelsysteme mit zusammengesetzten Attributen Multivariate Entscheidungsbäume Attributauswahl Sequenzielle Elimination und Auswahl Verteilungsbasiertes Eliminationsverfahren Das CART-Verfahren Koeffizientenbestimmung Evaluierung... 6 Cluster und unscharfe Mengen Cluster Unscharfe Mengen Assoziative Regeln Warenkorbmodell DBLearn/DBMiner Ein komplexeres Beispiel Problemstellung Lösungsansätze Verfahren Durchführung und Bewertung I II Erweiterte Retrieval-Ansätze Das Vektorraumrnodell als Fuzzy-Set-Ansatz Verallgemeinerte boolesche Verfahren Das MMM-Modell Das Paice-Modell Das P-Norm-Modell Der probabilistische Retrieval-Ansatz Wahrscheinlichkeiten in endlichen Mengen Beispiel: Würfel Abschätzung des Retrieval-Status-Werts Die Robertson-Sparck-Jones-Formel

5 Ix- Inhaltsverzeichnis 11 Logikbasierte Modelle des Information Retrieval lmaging Bayessche lnferenznetze Abduktive Anfrageoptimierung Erfolgreiche TREC-Systeme Die TREC-3-Ergebnisse von SMART Die TREC-CErgebnisse von SMART Ein Spreading-Activation-Modell INQUERY in TREC Das Okapi-System Spezialaufgaben (TREC Tracks) Korpusbasierte Verfahren Der assoziative Ansatz im IR Kookurrenzverfahren Ein Mach i ne- Learni ng-a Term-Term-Matrizen Anwendung im IR Häufigkeit der Terme Expansion von Termen oder Anfragen Größe der Dokumentensammlung Eine Untersuchung zur Bestimmung von Suchtermen Komplexere Kookurrenzverfahren Anwendung im mehrsprachigen Retrieval Deckriptoren bestimmen Latent Semantic lndexing Gewichtungsmethoden Lernen Social oder Collaborative Filtering IV Information Retrieval und das Web Explizit strukturierte Dokumente Standard Generalized Markup Language (SGML) SGML-Elemente Elementattribute SGML-Entities HTML XML Schema XPath, X Suche nach und in XML-Dokumenten Anwendungen von XML bei der Suche lndexierungsmethoden

6 Inhaltsverzeichnis Xi I Modelle für die Suche in XML-Dokumenten Ein Vektorraummodell für strukturierte Anfragen an Sammlungen von XML-Dokumenten Suche bei unterschiedlichen DTDs Metadaten Dublin-Core-Metadaten Hierarchisch strukturierte Metadaten PlCs RDF und das Semantische Web Resource Description Framework Pläne für ein Semantisches Web Suche im World Wide Web Das Web als Dokumentensammlung Medienarten Sprache Länge un ularität Dynamik und Alter von Web-Seiten Anbieter und ihre Ziele Zielgruppen Inhalte Spamming Suchmechanismen der Web-Protokolle Hierarchische Verzeichnisse oder Web Directories Klassifikation des Open Directory Project Web-Suchmaschinen Web-Roboter, Crawler oder Spider Ranking-Strategien Ranking nach externen Daten Metasuchdienste Spezialisierte und verteilte Sammlungen Der Z39.50-Standard Beispiele verteilter Sammlungen Peer-to-Peer-Netze Digitale Bibliotheken Inhalte einer digitalen Bibliothek Dienste Archivierung Literaturverzeichnis Index