Information Retrieval

Transkript

1 Information Retrieval Norbert Fuhr 12. April 2010

2 Einführung 1 IR in Beispielen 2 Was ist IR? 3 Dimensionen des IR 4 Daten Information Wissen 5 Rahmenarchitektur für IR-Systeme

3 IR in Beispielen IR-Aufgaben IR-Facetten Unterschiede zu klassischen Suchaufgaben:

4 IR in Beispielen IR-Aufgaben IR-Aufgaben Adhoc-Suche

5 IR in Beispielen IR-Aufgaben IR-Aufgaben Klassifikation

6 IR in Beispielen IR-Aufgaben IR-Aufgaben Klassifikation Beispiel: Spam-Mail-Erkennung

7 IR in Beispielen IR-Aufgaben IR-Aufgaben Clustering

8 IR in Beispielen IR-Aufgaben IR-Aufgaben Informationsextraktion/-markup

9 IR in Beispielen IR-Aufgaben IR-Aufgaben Informationsextraktion/-markup Beispiel: Markup bei Yahoo!-Nachrichten

10 IR in Beispielen IR-Aufgaben IR-Aufgaben (Text-)Zusammenfassung

11 IR in Beispielen IR-Aufgaben IR-Aufgaben (Text-)Zusammenfassung

12 IR in Beispielen IR-Aufgaben IR-Aufgaben Frage-Antwort-Systeme

13 IR in Beispielen IR-Aufgaben IR-Aufgaben Recommender-Systeme

14 IR in Beispielen IR-Aufgaben IR-Aufgaben Recommender-Systeme

15 IR in Beispielen IR-Aufgaben IR-Aufgaben Adhoc-Suche Klassifikation ( Vorlesung Information Mining) Clustering ( Vorlesung Information Mining) Informationsextraktion ( Vorlesung Informationsextraktion aus Texten, Hoeppner) (Text-)Zusammenfassung Frage-Antwort-Systeme Recommender-Systeme

16 IR in Beispielen IR-Facetten IR-Facetten Sprache Beispiel: cross-linguale Suche in Google

17 IR in Beispielen IR-Facetten IR-Facetten Struktur Beispiel: XML-Retrieval

18 IR in Beispielen IR-Facetten IR-Facetten Medien Beispiel: Ähnlichkeitssuche auf Bildern

19 IR in Beispielen IR-Facetten IR-Facetten Objekte Beispiel: Personensuche mit 123people

20 IR in Beispielen IR-Facetten IR-Facetten statische/dynamische Inhalte Beispiel: Twitter-Suche

21 IR in Beispielen IR-Facetten IR-Facetten Sprache: monolingual, cross-lingual, multilingual Struktur: atomar, Felder, baumartig (z.b. XML), Graph (z.b. Web) Medien: Text, Fakten, Bilder, Audio (Sprache/Musik), Video, 3D,... Objekte: Produkte, Personen, Firmen statische/dynamische Inhalte

22 IR in Beispielen Unterschiede zu klassischen Suchaufgaben: Unterschiede zu klassischen Suchaufgaben: Schwierigkeit, passende Anfrage zu formulieren iterative Anfrageformulierung (abhängig von Antworten) viele Antworten, aber wenige davon relevant Rangordnung der Antworten (statt Antwortmenge) Repräsentation des Inhalts von Dokumenten inadäquat / unsicher

23 Was ist IR? Definitionen IR = Unsicherheit und Vagheit in IS IR = inhaltsorientierte Suche

24 Was ist IR? Definitionen Definitionen Salton (1968): Information retrieval is a field concerned with the structure, analysis, organization, storage, searching, and retrieval of information.

25 Was ist IR? Definitionen Definitionen Salton (1968): Information retrieval is a field concerned with the structure, analysis, organization, storage, searching, and retrieval of information. Definition der Fachgruppe IR in der GI (1992): Im Information Retrieval (IR) werden Informationssysteme in bezug auf ihre Rolle im Prozeß des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations-Nachfragenden betrachtet. Die Fachgruppe Information Retrieval in der Gesellschaft für Informatik beschäftigt sich dabei schwerpunktmäßig mit jenen Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen.

26 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren

27 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren vage Anfragebedingungen

28 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren vage Anfragebedingungen iterative Frageformulierung

29 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren vage Anfragebedingungen iterative Frageformulierung Unsicherheit System besitzt unsicheres (unzureichendes) Wissen über den Inhalt der verwalteten Objekte

30 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren vage Anfragebedingungen iterative Frageformulierung Unsicherheit System besitzt unsicheres (unzureichendes) Wissen über den Inhalt der verwalteten Objekte unsichere Repräsentation ( fehlerhafte Antworten)

31 Was ist IR? IR = Unsicherheit und Vagheit in IS IR = Unsicherheit und Vagheit in IS Vagheit: Benutzer kann seinen Informationswunsch nicht präzise spezifizieren vage Anfragebedingungen iterative Frageformulierung Unsicherheit System besitzt unsicheres (unzureichendes) Wissen über den Inhalt der verwalteten Objekte unsichere Repräsentation ( fehlerhafte Antworten) unvollständige Repräsentation ( fehlende Antworten)

32 Was ist IR? IR = inhaltsorientierte Suche IR = inhaltsorientierte Suche (engere Definition) Suche auf verschiedenen Abstraktionsstufen: Syntax Semantik Pragmatik

33 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik bei Texten Willkommen beim Fachgebiet Informationssysteme. Schwerpunkte unserer Arbeit sind Information Retrieval, Digitale Bibliotheken und Web-basierte Informationssysteme, wobei wir insbesondere Nutzer-orientierte Forschungsansätze verfolgen. Syntax: Forschungsansatz no match Semantik Forschungsschwerpunkt match Pragmatik potenzielle Kooperationspartner für Entwicklung multimedialer Informationssysteme?

34 Was ist IR? IR = inhaltsorientierte Suche Bildersuche auf der Syntaktischen Ebene Bild als Pixelmatrix mit Farbwerten

35 Was ist IR? IR = inhaltsorientierte Suche Bildersuche auf der Syntaktischen Ebene Bild als Pixelmatrix mit Farbwerten 1. Konturen

36 Was ist IR? IR = inhaltsorientierte Suche Syntaktische Ebene: 2. Texturen d001 d056 d095 d020 Textures: Muster im Grauwert-Bild strukturelle und/oder statistische Muster d014 d006 d003 d004 d087 d005 d111 d066 d011 d103 d049 d015

37 Was ist IR? IR = inhaltsorientierte Suche Syntaktische Ebene: 3. Farbe Häufigkeit/räumliche Verteilung von Pixelfarben

38 Was ist IR? IR = inhaltsorientierte Suche Syntaktische Ebene: 3. Farbe Häufigkeit/räumliche Verteilung von Pixelfarben

39 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Semantische Ebene Objekte im Bild(+ räumliche Anordnung) Beispiel: Google Bildersuche nach kangaroo

40 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Semantische Ebene Objekte im Bild(+ räumliche Anordnung) Beispiel: Google Bildersuche nach kangaroo (basiert auf Textsuche im Dateinamen und der Bildunterschrift)

41 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Pragmatische Ebene Bedeutung eines Bildes / durch das Bild illustriertes Thema

42 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Pragmatische Ebene Bedeutung eines Bildes / durch das Bild illustriertes Thema B1-Ausbaupläne liegen weiter auf Eis

43 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Pragmatische Ebene Bedeutung eines Bildes / durch das Bild illustriertes Thema B1-Ausbaupläne liegen weiter auf Eis Themen sind sehr subjektiv

44 Was ist IR? IR = inhaltsorientierte Suche Bildersuche: Pragmatische Ebene Bedeutung eines Bildes / durch das Bild illustriertes Thema B1-Ausbaupläne liegen weiter auf Eis Themen sind sehr subjektiv Aber die pragmatische Ebene ist wichtig für viele Anwendungen

45 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik Suche auf verschiedenen Abstraktionsstufen:

46 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik Suche auf verschiedenen Abstraktionsstufen: Syntax Dokument als Folge von Symbolen (z.b. Zeichenkettensuche in Texten, Farbe/Textur/Kontur in Bildern)

47 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik Suche auf verschiedenen Abstraktionsstufen: Syntax Dokument als Folge von Symbolen (z.b. Zeichenkettensuche in Texten, Farbe/Textur/Kontur in Bildern) Semantik Bedeutung eines Dokumentes (z.b. Textsemantik, in einem Bild vorkommende Objekte)

48 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik Suche auf verschiedenen Abstraktionsstufen: Syntax Dokument als Folge von Symbolen (z.b. Zeichenkettensuche in Texten, Farbe/Textur/Kontur in Bildern) Semantik Bedeutung eines Dokumentes (z.b. Textsemantik, in einem Bild vorkommende Objekte) Pragmatik Nutzung eines Dokumentes (Zweck) (z.b.: Löst das Dokument mein Problem? Was ist die Aussage des Textes / Bildes?)

49 Was ist IR? IR = inhaltsorientierte Suche Syntax, Semantik und Pragmatik Suche auf verschiedenen Abstraktionsstufen: Syntax Dokument als Folge von Symbolen (z.b. Zeichenkettensuche in Texten, Farbe/Textur/Kontur in Bildern) Semantik Bedeutung eines Dokumentes (z.b. Textsemantik, in einem Bild vorkommende Objekte) Pragmatik Nutzung eines Dokumentes (Zweck) (z.b.: Löst das Dokument mein Problem? Was ist die Aussage des Textes / Bildes?) IR beschäftigt sich mit der Semantik und Pragmatik von Dokumenten

50 Dimensionen des IR

51 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR

52 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match

53 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion

54 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch

55 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch

56 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch Anfragesprache formal natürlich

57 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch Anfragesprache formal natürlich Fragespezifikation vollständig unvollständig

58 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch Anfragesprache formal natürlich Fragespezifikation vollständig unvollständig gesuchte Objekte die Fragespezif. erfüllende relevante

59 Dimensionen des IR Dimensionen des IR Datenbanken klassisches IR Matching exakt partiell, best match Inferenz Deduktion Induktion Modell deterministisch probabilistisch Klassifikation monothetisch polithetisch Anfragesprache formal natürlich Fragespezifikation vollständig unvollständig gesuchte Objekte die Fragespezif. erfüllende relevante Reaktion auf Datenfehler sensitiv insensitiv

60 Daten Information Wissen

61 Daten Information Wissen Daten Information Wissen Daten Information Wissen syntaktisch definierte Verfahren der Daten verarbeitung semantisch begründete Verfahren der (Wissen ) Repräsentation pragmatisch kontrollierte Wissens erarbeitung zur informationellen Handlungs absicherung

62 Daten Information Wissen Information vs. Wissen Wissen ist die Teilmenge von Information, die von jemandem in einer konkreten Situation zur Lösung von Problemen benötigt wird (und häufig nicht vorhanden ist)

63 Daten Information Wissen Information vs. Wissen Wissen ist die Teilmenge von Information, die von jemandem in einer konkreten Situation zur Lösung von Problemen benötigt wird (und häufig nicht vorhanden ist) Nach Wissen wird in externen Quellen gesucht.

64 Daten Information Wissen Information vs. Wissen Wissen ist die Teilmenge von Information, die von jemandem in einer konkreten Situation zur Lösung von Problemen benötigt wird (und häufig nicht vorhanden ist) Nach Wissen wird in externen Quellen gesucht. Die Transformation von Information in Wissen ist ein Mehrwert erzeugender Prozess

65 Daten Information Wissen Wissen zur Entscheidungsunterstützung Daten Information Wissen Entscheidung Nützlichkeit

66 Rahmenarchitektur für IR-Systeme

67 Rahmenarchitektur für IR-Systeme Rahmenarchitektur für IR-Systeme Informations bedürfnis Frage Repräsentation Frage Beschreibung Vergleich Ergebnisse fiktives/ reales Objekt Objekt Repräsentation Objekt Beschreibung

68 Rahmenarchitektur für IR-Systeme Beispiel für ein Textdokument Objekt: Experiments with Indexing Methods. The analysis of 25 indexing algorithms has not produced consistent retrieval performance. The best indexing technique for retrieving documents is not known. Repräsentation: (experiment, index, method, analys, index, algorithm, produc, consistent, retriev, perform, best, index, techni, retriev, document, know) Beschreibung: {(experiment,1), (index,3), (method, 1), (analys,1), (algorithm,1), (produc,1), (consistent,1), (retriev,1), (perform,1), (best,1), (techni,1), (retriev,1), (document,1), (know,1)} fiktives/ reales Objekt Objekt Repräsentation Objekt Beschreibung

69 Rahmenarchitektur für IR-Systeme Beispiel für Textsuche Frage: What is the best indexing algorithm? Repräsentation: (best index algorithm) Beschreibung: best index algorithm Informations bedürfnis Frage Repräsentation Frage Beschreibung

70 Rahmenarchitektur für IR-Systeme Bezug zu den Vorlesungskapiteln Evaluierung Informations bedürfnis Frage Repräsentation Frage Beschreibung Wissensrepräsentation Vergleich Ergebnisse fiktives/ reales Objekt Objekt Repräsentation Objekt Beschreibung Retrievalmodelle