Suche in Multimedia-Datenbanken

Transkript

1 Suche in Multimedia-Datenbanken Ingo Schmitt 20. April 2005

2 Gliederung 1. Motivation 2. Ähnlichkeitssuche in einem MMDBS 3. Semantische Lücke 4. Ähnlichkeitsanfragesprachen 5. Effiziente Ergebnisberechnung 6. Prototypen und Systeme 7. Zusammenfassung HTW-Dresden Ingo Schmitt 2

3 Motivation Varianten einer Bildsuche Suche abgebildetes Gorilla-Silberrückenmännchen! 1. Datenbanksuche: Anfrage Ergebnis Problem: aufwändige Annotation, kein visueller Ähnlichkeitsvergleich 2. CBIR-Suche (Content-Based Image Retrieval): Anfrage Ergebnis Problem: fehlende Exaktheit (semantische Lücke), schwierige Anfrageformulierung 3. MMDB-Suche: Datenbank- und CBIR-Suche kombiniert HTW-Dresden Ingo Schmitt 3

4 Motivation Daten versus Information-Retrieval Merkmal Information DB-Suche explizit IR-Suche implizit Ergebnisse exakt unscharf Anfrage Fehlertoleranz einmalig keine iterativ verfeinernd vorhanden HTW-Dresden Ingo Schmitt 4

5 Ähnlichkeitssuche in MMDB Suchablauf in einem MMDBS [DB-Spektrum02] Anfrageergebnis Anfrage & -objekte Anfragesprache Anfragebehandlung RDBMS Ähnlichkeitsberechnung Distanzfunktion/ Ähnlichkeitsmaß Suchalgorithmen Feature-Extraktion Feature-Normalisierung Feature-Aufbereitung relationale Daten Index Feature-Daten Medienobjekte HTW-Dresden Ingo Schmitt 5

6 Ähnlichkeitssuche in MMDB Konfiguration eines MMDBS [Habil04] Anbindung an DBS Auswahl Feature-Extraktionsverfahren Auswahl Feature-Normalisierung Feature-Aufbereitung Auswahl Anfragesprache Ähnlichkeitsbegriff Art der Anfragen Effizienzanforderung Auswahl Distanzfunktion Auswahl Suchalgorithmus Auswahl Feature-Index Auswahl Ähnlichkeitsmaß HTW-Dresden Ingo Schmitt 6

7 Semantische Lücke Menschlicher Suchbedarf Menschl. Interpretation Anfragesprachen Annotation nicht automatisch Semantische Lücke Feature-Werte (high-level) Forschung Frauenkirche, Ruine Trümmer = 0,9 erforderl. Interpretationswissen Feature-Werte (low-level) automatisch extrahierbar Medienobjekt HTW-Dresden Ingo Schmitt 7

8 Algorithmische Ähnlichkeitsberechnung generelle Grenzen: Subjektivität von Ähnlichkeit erforderl. Weltwissen im Allgemeinen nicht explizit verfügbar pre-attentive versus attentive Wahrnehmung Beispiel für erforderl. Weltwissen: Suche nach Gorillas Fazit: Feature-Werte und Ähnlichkeitsmaß/-abstand/Distanzmaß können im Allgemeinen bestenfalls Low-Level-Semantik unterstützen Beispiel Low-Level-Semantik: Farbverteilung aber: in speziellen Szenarien Unterstützung von High-Level-Semantik möglich, etwa: Stoffsuche, Erkennung von Werbeblöcken, Forensische Daktyloskopie, Philatelie HTW-Dresden Ingo Schmitt 8

9 Distanzen als Ähnlichkeitsabstand Distanzeigenschaften für Ähnlichkeitsabstand im Allgemeinen zu restriktiv verletzte Symmetrie: A B verletzte Dreiecksungleichung: A B C HTW-Dresden Ingo Schmitt 9

10 Ähnlichkeitsanfragesprachen Sprachenüberblick Hauptziel: Kombination Datenbank- und Retrieval-Suche GUI und deklarative Anfrageformulierung formale Semantik Optimierung WS Query by Example Similarity Domain Calculus Similarity Algebra Erweiterung bestehender Sprachen SQL-99 spez. Algorithmen HTW-Dresden Ingo Schmitt 10

11 Ähnlichkeitsanfragesprachen Erweiterte Sprachkonzepte [BTW03,FoIKS04] Hauptziel: Kombination Datenbank- und Retrieval-Suche 1. Ähnlichkeitsprädikat: p : dom1 K domn [0,1] Ähnlichkeitsrelation: r [0,1] dom1 K dom n 2. Junktoren: Fuzzy T-Norm/T-Konorm:, :[0,1] [0,1] [0,1] kommutativ, assoziativ, aber nicht unbedingt idempotent, distributiv 3. Kompensierende Junkt. z [0,1] : z ( µ 1, µ 2) = (1 z)* ( µ 1, µ 2) + z * ( µ 1, µ 2) Lin. Operandengewichtung für: 1 2 mit θ θ 1 θ2 µ µ = θ θ )* ( µ ) + 2θ * ( µ, µ i [ 0,1], θ1 + θ 2 = 1, θ1 θ 2 ) (nicht assoziativ, nicht distributiv) 1 2 θ θ µ µ ( Schwellwertoperatoren: θ θ 6. Quantifizierte Quantoren: Quantifizierte Projektion: k Π k 7. Top-n-Operator und Sortierungsoperator HTW-Dresden Ingo Schmitt 11 ω

12 Ähnlichkeitsanfragesprachen Anfragen in WS-QBE [Schulz-Diss04,MMM05,KI05] DB-Suche Anfrage: Bild mit Silberrücken-Gorilla Retrieval-Suche Tier: ID _id WName Name Gorilla Land Annotation _annot 0,5 condition 0,5 Bild: ID _id Bild P. Segment Textur _textur Farbhist _hist _annot ~ Silberrücken > 0,8 _textur ~ _hist ~ Generierter Ausdruck des Similarity Domain Calculus: { b _ id, w, l, _ annot, s, _ textur, _ hist : t} t:=tier(_id,w, Gorilla,l,_annot} and Bild(_id,b,s,_textur,_hist) and condition HTW-Dresden Ingo Schmitt 12

13 Ähnlichkeitsanfragesprachen [FoIKS05,Diplom-Elz05] Anfragen in Ähnlichkeitsalgebra und SQL-99 Generierter und optimierter Ausdruck der Similarity Algebra: Generierter SQL-99-Ausdruck: ID=ID 0,8 σ Textur ~ 0,5 select F_and(t.a0, L_and(b1.a0, b2.a0, 0.5)), b1.id, b1.bild, b1.segment, b1.textur, b1.farbhist from Bild b1, Bild b2, Tier t where b1.id = b2.id and b1.id = t.id and sim(b1.textur, textur2 ) > 0.8 and HTW-Dresden Ingo Schmitt 13

14 HTW-Dresden Ingo Schmitt 14

15 Effiziente Ergebnisberechnung [GI-JT04, MMIS-Tech04] Ziel: Erzeuge nach Relevanz absteigend sortierte Ergebnisobjekte so schnell wie möglich! Idee: Ausnutzung der geforderten Sortierung (Pipelining auf Strömen) Verfahren: Algebraische Optimierung auf erweiterter Similarity Algebra Physische Optimierung Ranker: erzeugen Strom anhand Ähnlichkeitsvergleiche Combiner: führen Ströme zusammen Kondensatoren (Transferer): verdichten einzelne Ströme... HTW-Dresden Ingo Schmitt 15

16 Effiziente Ergebnisberechnung Ranker zur Erzeugung eines Stroms Anfrageobjekt Ergebnisstrom Selbst entwickelte Verfahren: Ranker-Algorithmus Filter-Ranking-Algorithmus [DKE05] getnext-semantik Last-Balancierung Filter- Index AV-Methode [Balko-Diss04,DKE04] Hyperellipsoid als Approximation Identifikation durch Bitkode (Navigationspfad im Indexbaum) Ranker HTW-Dresden Ingo Schmitt 16

17 Prototypen und Systeme Guter Überblick: Erweiterung objektrelationaler DBMS IBM DB2: Text Extender: Text Retrieval AIV Extender: QBIC Bild-Retrieval ORACLE 10g Text InterMedia: Retrieval für Audio/Video/Bild Spezielle Bild-Retrieval-Systeme Suche über Annotationen: Google Corbis (Bildarchiv von Bill Gates) PICSearch CBIR: Evision, Imatch, IRMA, CIRES, VIRAGE HTW-Dresden Ingo Schmitt 17

18 Zusammenfassung Motivation und Grenzen der Ähnlichkeitssuche Problem: semantische Lücke Anfragesysteme für Ähnlichkeitssuche HTW-Dresden Ingo Schmitt 18