Multimedia Retrieval im WS 2011/2012

Transkript

1 Multimedia Retrieval im WS 2011/ Prinzipien des Information Retrieval Prof. Dr.-Ing. Marcin Grzegorzek Juniorprofessur für Mustererkennung Institut für Bildinformatik im Department ETI Fakultät IV der Universität Siegen 17. und 24. Oktober 2011

2 Inhalte und Termine 1. Einführung 1.1 Grundlegende Begriffe 1.2 Suche in einem MMDBS 1.3 MMDBMS-Anwendungen Prinzipien des Information Retrieval 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen Nutzerprofile 2/52

3 Inhalte und Termine 3. Prinzipien des Multimedia Retrieval 3.1 Besonderheiten der Verwaltung und des Retrievals 3.2 Ablauf des Multimedia-Information-Retrievals 3.3 Daten eines Multimedia-Retrieval-Systems 3.4 Feature 3.5 Eignung verschiedener Retrieval-Modelle 3.6 Multimedia-Ähnlichkeitsmodell 4. Feature-Transformationsverfahren 4.1 Diskrete Fourier-Transformation 4.2 Diskrete Wavelet-Transformation 4.3 Karhunen-Loeve-Transformation 4.4 Latent Semantic Indexing und Singulärwertzerlegung 3/52

4 Inhalte und Termine 5. Distanzfunktionen 5.1 Eigenschaften und Klassifikation 5.2 Distanzfunktionen auf Punkten 5.3 Distanzfunktionen auf Binärdaten 5.4 Distanzfunktionen auf Sequenzen 5.5 Distanzfunktionen auf allgemeinen Mengen 6. Ähnlichkeitsmaße 6.1 Einführung 6.2 Distanz versus Ähnlichkeit 6.3 Grenzen von Ähnlichkeitsmaßen 6.4 Konkrete Ähnlichkeitsmaße 6.5 Aggregation von Ähnlichkeitswerten 6.6 Umwandlung von Distanzen in Ähnlichkeitswerte und Normierung 6.7 Partielle Ähnlichkeit 4/52

5 Inhalte und Termine 7. Effiziente Algorithmen und Datenstrukturen 7.1 Hochdimensionale Indexstrukturen 7.2 Algorithmen zur Aggregation von Ähnlichkeitswerten 8. Anfragebehandlung 8.1 Einführung 8.2 Konzepte der Anfragebehandlung 8.3 Datenbankmodell 8.4 Sprachen 9. Zusammenfassung 5/52

6 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 6/52

7 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 7/52

8 DB-, IR-, und MMDB-Systeme IR- und DB-Systeme verwalten Daten, unterscheiden sich jedoch erheblich im Zugriff auf die Daten. Datenbankanfrage ist scharf: select ISBN from Buch where Titel = Multimedia-Datenbanken IR-Anfrage ist in der Regel unscharf formuliert: Finde alle Text-Dokumente, die sich mit dem Thema Multimedia-Datenbanken beschäftigen. MMDB-Systeme kombinieren Konzepte von DB- und IR-Systemen. 8/52

9 Informationsbedarf in einem IR-System Der Informationsbedarf in einem IR-System kann unterschiedlich verstanden werden: als Dokument: Liefere alle Text-Dokumente, die ähnlich zum Text-Dokument #0821 sind als Anfrage: Datenbank and (Bild or Video) 9/52

10 Daten Retrieval versus Information Retrieval Merkmal Daten Retrieval Inf. Retrieval Information explizit implizit Ergebnisse exakt unscharf Anfrage einmalig iterativ verfeinernd Fehlertoleranz keine vorhanden Ergebniskollektion Menge Liste 10/52

11 Schritte des IR-Prozesses 11/52

12 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 12/52

13 Klassifikation der IR-Modelle Boolesches Modell Dokumente werden als Indexterme repräsentiert. Die Suche erfolgt über einfache Mengenoperationen. Die Anfragen lassen sich über boolesche Junktoren verknüpfen. Fuzzy-Modell Eine Erweiterung des booleschen Modells auf unscharfe Mengen. Vektorraummodell Jedes Dokument wird als ein Vektor aufgefasst. Eine Anfrage wird auch als Vektor in einem Vektorraum behandelt. Die Suche basiert auf Bestimmung von Vektorähnlichkeiten. 13/52

14 Boolesches Modell - Allgemeines Binäres Termgewicht Das Gewicht eines Terms bezogen auf ein Text-Dokument ist binär ( 1 - das Dokument beinhaltet den Term, 0 - das Dokument beinhaltet den Term nicht). Boolesche Junktoren In der Anfrage werden Terme durch boolesche Junktoren (and, or, not) kombiniert. Vergleichsfunktion Innerhalb der Vergleichsfunktion werden die durch die Anfrage spezifizierten Anfrageterme in den jeweiligen Dokumenten auf Enthaltensein getestet. 14/52

15 Boolesches Modell - Beispiel Terme: Indexvokabular = Dokumente: Dokument 1 : Dokument 2 : Dokument 3 : {Korsika, Sardinien, Strand, Ferienwohnung, Gebirge} {Sardinien, Strand, Ferienwohnung} {Korsika, Strand, Ferienwohnung} {Korsika, Gebirge} Ergebnisse: Korsika Ferienwohnung Ferienwohnung and Korsika Ferienwohnung or Korsika Ferienwohnung and not Korsika liefert {d2,d3} liefert {d1,d2} liefert {d2} liefert {d1,d2,d3} liefert {d1} 15/52

16 Boolesches Modell - Beispiel 16/52

17 Boolesches Modell - Weiteres but -Junktor Die Anfrage Ferienwohnung but Korsika liefert alle die Dokumente, die den Term Ferienwohnung aber nicht den Term Korsika enthalten. of -Konstrukt Die Anfrage 2 of (Korsika, Strand, Ferienwohnung) sucht nach allen Dokumenten, die mindestens zwei der drei vorgegebenen Terme enthalten. 17/52

18 Fuzzy-Modell, Allgemeines Das Fuzzy-Modell ist eine Erweiterung des booleschen Modells. Das Problem der zu scharfen Enthaltenseinsbedingung von Termen in Dokumenten wird behoben. Die Grundidee liegt in der Verwendung einer graduellen Zugehörigkeit von Dokumenten zu Termen. Es wird auf das Konzept einer Fuzzy-Menge zurückgegriffen. 18/52

19 Fuzzy-Modell, Definitionen Fuzzy-Menge Eine Fuzzy-Menge A = { u,µ A (u) } über ein Universum U ist durch eine Zugehörigkeitsfunktion µ A : U [0,1] charakterisiert, welche jedem Element u des Universums U einen Wert µ A (u) aus dem Intervall [0,1] zuordnet. Term als Fuzzy-Menge In unserem Retrieval-Szenario entspricht die Menge aller gespeicherten Dokumente dem Universum und ein Term einer Fuzzy-Menge. Fuzzy-Wert Fuzzy-Wert µ t (d 1 ) des Dokuments d 1 bezüglich des Terms t drückt aus, wie stark der Term das Dokument charakterisiert. 19/52

20 Fuzzy-Modell, Definitionen Mengendurchschnitt Der Mengendurchschnitt A B (Konjunktion) wird durch die Min-Funktion realisiert µ A B (u) = min(µ A (u),µ B (u)) Mengenvereinigung Die Mengenvereinigung A B (Disjunktion) wird durch die Max-Funktion realisiert µ A B (u) = max(µ A (u),µ B (u)) Komplementbildung Die Komplementbildung A (Negation) bezüglich des Universums entspricht einer Subtraktion von 1 µ A (u) = 1 µ A (u) 20/52

21 Fuzzy-Modell, Beispiel Anfrage µ d 1 d 2 d 3 µ Korsika 0,1 0,6 1 µ Strand 0,3 0,2 0,8 1 µ Korsika Strand 2 µ Korsika Strand 3 µ Korsika 21/52

22 Fuzzy-Modell, Beispiel Anfrage µ d 1 d 2 d 3 µ Korsika 0,1 0,6 1 µ Strand 0,3 0,2 0,8 1 µ Korsika Strand 0,1 0,2 0,8 2 µ Korsika Strand 0,3 0,6 1 3 µ Korsika 0,9 0,4 0 22/52

23 Fuzzy-Modell, Term-zu-Term-Korrelationsmatrix c i,j in Zeile t i und Spalte t j drückt aus, wie stark die Terme t i und t j in den Dokumenten der Datenbank korrelieren, also in den Dokumenten gemeinsam auftreten c i,j = n i,j n i +n j n i,j Zugehörigkeitswert eines Dokuments d j zu einem Term t j µ ti (d j ) = 1 t k d j (1 c i,k ) 23/52

24 Vektorraummodell - Allgemeines Die Dokumente werden wie Vektoren eines Vektorraums aufgefasst. Vektoren aus Termgewichten oder Merkmalswerten Anfrage als Vektor Ähnlichkeits- und Distanzmaße 24/52

25 Vektorraummodell - Beispiel Dokumente: Dimension d 1 d 2 d 3 Korsika 0,1 0,6 1 Strand 0,3 0,2 0.8 Anfragen: Dimension q 1 q 2 q 3 Korsika Strand /52

26 Vektorraummodell - Beispiel 26/52

27 Vektorraummodell - Beispiel Ähnlichkeitswerte nach Kosinusmaß sim cos d 1 d 2 d 3 q 1 0,3162 0,9487 0,7809 q 2 0,9487 0,3162 0,6247 q 3 0,8944 0,8944 0, /52

28 Vektorraummodell - Beispiel cosα = 0,9487 cosβ = 0,6247 cosγ = 0, /52

29 Vektorraummodell - Beispiel Unähnlichkeitswerte anhand Euklidischer Distanz dissim L2 d 1 d 2 d 3 q 1 0,9487 0,4472 0,8 q 2 0, ,0198 q 3 1,1402 0,8944 0,2 29/52

30 Vektorraummodell - Beispiel l 1 = 0,7071 l 2 = 1 l 3 = 1, /52

31 Vektorraummodell - Beispiel Kosinusmaß und Euklidische Distanz erzeugen unterschiedliche Ergebnisse Kosinusmaß erzeugt d1,d 3,d 2 Euklidische Distanz erzeugt d1,d 2,d 3 Wahl der geeigneten Ähnlichkeitsfunktion abhängig von subjektivem Ähnlichkeitsempfinden Anwendungsszenario 31/52

32 Vektorraummodell - Zusammenfassung Vektorraummodell ist sehr verbreitet. VR-Modell setzt feste Anzahl von nummerischen Merkmalswerten pro Dokument voraus. Probleme: Merkmale als orthogonale Dimensionen aufgefasst (unrealistisch) Problem bei hoher Anzahl von Merkmalswerten bzgl. Effektivität und Effizienz Anfrage ist Vektor, also keine Junktoren 32/52

33 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 33/52

34 Vereinfachter IR-Prozess 34/52

35 RF - Beispiel 35/52

36 RF - Anfragemodifikation im Vektorraummodell Verschiebung des Anfragevektors in Richtung der als relevant bewerteten Dokumente weg von als irrelevant bewerteten Dokumenten Anfrage: q alt, relevant (irrelevant) bewertete Dokumente: D r (D i ) α und β gewichten Einfluss relevanter und irrelevanter Dokumente q neu = q alt + α D r d r β D i d r D r d i D i d i 36/52

37 RF - Beispiel zur Anfragemodifikation 37/52

38 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 38/52

39 Bewertung - Allgemeines Bewertung (Qualitätsvergleich) verschiedener Retrieval-Systeme Quantitative Maße vonnöten 39/52

40 Bewertung - Precision, Recall und Fallout Zwei verschiedene Fehlentscheidungen false alarms (fa ) bezeichnet diejenigen Dokumente, die vom Retrieval-System irrtümlicherweise als relevant zurückgeliefert wurden (auch: false positives) false dismissals (fd ) sind Dokumente, die fälschlicherweise vom Retrieval-System als irrelevant eingestuft wurden (auch: false negatives) Zwei korrekte Entscheidungen correct alarms (ca ) correct dismissals (cd ) f a, f d, c a, c d stehen für entsprechende Dokumentanzahlen bzgl. einer Anfrage. 40/52

41 Bewertung - Precision, Recall and Fallout 41/52

42 Bewertung - Precision, Recall and Fallout 42/52

43 Bewertung - Precision Precision P Wie viele (als Verhältnis) Ergebnisdokumente sind tatsächlich relevant? P = c a c a +f a P [0,1] 43/52

44 Bewertung - Recall Recall R Wie viele (als Verhältnis) tatsächlich relevante Dokumente erscheinen im Ergebnis? R = c a c a +f d R [0,1] 44/52

45 Bewertung - Fallout Fallout F Verhältnis falsch gefundener zur Gesamtzahl irrelevanter Dokumente F = f a f a +c d F [0,1] 45/52

46 Bewertung - Precision, Recall und Fallout Precision, Recall und Fallout sind definiert bzgl. einer Anfrage Es ist besser, mehrere Anfragen zu betrachten und entsprechende Durchschnittswerte zu berechnen. 46/52

47 Bewertung - Precision, Recall and Fallout 47/52

48 Überblick 2.2 Information-Retrieval-Modelle 2.3 Relevance Feedback von Retrieval-Systemen 2.5 Nutzerprofile 48/52

49 Nutzerprofile - Allgemeines Bis jetzt keine Unterscheidung von Anwender und Anwendergruppen Verhalten bzw. Suchbedarf verschiedener Nutzer differiert oft Idee: Subjektivität wird als Nutzerprofil modelliert und bei Suche berücksichtigt 49/52

50 Nutzerprofile - Retrieval mit Profilen Nachfiltern Filterung auf Anfrageergebnis hoher Berechnungsaufwand durch u. U. großem Zwischenergebnis reduzieren von nur false alarms Vorfiltern Nutzerprofil beeinflusst Retrieval-Prozess direkt Reduzierung von false alarms und false dismissals 50/52

51 Nutzerprofile - Nachfiltern 51/52

52 Nutzerprofile - Vorfiltern 52/52