Suche in Multimedialen Daten - Image Retrieval -

Transkript

1 Suche in Multimedialen Daten - Image Retrieval - Vortrag: Datum: Seminar: Neue Technologien in Internet und WWW Wintersemester 2003/2004 Universität Jena - Institut für Informatik Seminarleiter: Dr. rer. nat. H. Sack

2 Gliederung Motivation Suchparadigmen Inhaltserschließung Methoden der Inhaltserschließung Ähnlichkeitssuche Indexstrukturen für die Ähnlichkeitssuche

3 Motivation Informationssuche im Internet oder anderen Datenbeständen (digitalisierte Printmedien, Fernsehen, Astronomie, Galerien) Großteil aller dieser Informationen in Bildform

4 Motivation Suche nach Bildern bisher hauptsächlich über Metadaten (Bildname, Beschreibung, Größe, Format, ) Probleme: Woher kommen diese Metadaten? (automatisch, redaktionell) Bilder ohne Metadaten werden nicht gefunden! Titel: Satellitenfoto Europa Datum: Autor: Meteosat Maße: 1200*6630 Format: BMP

5 Suchparadigmen Beispiel: Suche Bilder von Flipper. Textbasierte Suche (Keyword, Browsing) Suchanfrage: flipper dolphin picture Probleme: - Bilder werden anhand ihrer Beschreibung (Metadaten) gesucht - Metadaten müssen für jedes Bild gespeichert sein - Normierung der Metadaten notwendig für automatische Suche - Subjektive Beschreibung eines Bildes von verschiedenen Personen - Anfrager muss auch weitere Informationen angeben ( dolphin )

6 Suchparadigmen Beispiel: Suche Bilder von Flipper. Suche mit Berücksichtigung unstrukturierter Signalinformation Mögliche Suchanfrage: - Suche nach Bildelementen - Search by Similarity Query by Example Query by Sketch

7 Suchparadigmen Search by Similarity Beschreibung der Anfrage durch Referenzbilder Nutzung automatisch erzeugter Merkmale und Ähnlichkeitssuche über Distanzmaße (Metriken) Vorteile: - verbale Beschreibung der Anfrage entfällt - Sehr flexible/genaue Anfrage möglich (Sketch) - Keine manuelle Metadateneingabe erforderlich Nachteil: - woher bekommt man gutes Anfragebild (Example) - Nicht jeder kann gut zeichnen (Sketch)

8 Suchparadigmen Suche nach Bildelementen Metadaten z.b. Wer hat das Bild wo und wann erstellt? Kombination von Textur und Farbe: z.b. lange, graue Objekte Anordnung von Objekten: z.b. Fisch im Wasser Personen, Orten, Regionen: z.b. Flipper im Bassin Anlass, der auf dem Bild wiedergegeben ist: z.b. Walfang Subjektiv empfundene Emotionen, die mit dem Bild assoziiert werden könnten: z.b. Freude, Trauer

9 Inhaltserschließung Welche Daten gehören zum Bild: Primärinformation Rohdaten (Bildsignaldaten) Metadaten (Ersteller, Datum, Größe, ) Sekundärinformation Level 1 (primitive Merkmale) Level 2 (logische Merkmale) Level 3 (abstrakte Merkmale)

10 Inhaltserschließung Sekundärdaten Level 1 (primitive Merkmale) Einfache Zusammenhänge des Rohmaterials z.b. Farbe (Histogramme, Momente) Texturklassifikation Forminformation (Merkmale, Fläche) Ortsinformation (z.b. oben, links, Vordergrund) Level 2 (logische Merkmale) Typ der Objekte z.b. Tier, Haus, Wasser externes Wissen z.b. Wann ist ein Objekt ein Haus? Level 3 (abstrakte Merkmale) Bedeutungsinformation z.b. Anlass, Stimmung

11 Inhaltserschließung Erschließung der Primärinformation Signaldaten = Bilddaten Oft stark komprimiert (JPEG, GIF) Textuelle Beschreibung Manuelle Verschlagwortung Extraktion aus umgebendem Dokument Bei Internetbildern: Url des Bildes ALT-Attribut Linktext Metadaten Dateiname, Speicherformat, Grösse, Urheber

12 Inhaltserschließung Extraktion der Level 1-Sekundärdaten (Signalstatistik) Primitive Merkmale Farbhistogramme / Farbmomente Texturmomente Formmerkmale Regionen

13 Methoden der Inhaltserschließung Farbhistogramme Idee Häufigkeit des Vorkommens einer definierten Menge von Referenzfarben werden erfasst Je mehr Farben, desto besser die Beschreibung Je mehr Farben, desto teurer die Suche Meist verwendet 64, 112 oder 256 Referenzfarben Farbraum wird uniform überdeckt Für jedes Pixel wird die Vorkommensanzahl der nächstliegenden Referenzfarbe erhöht Normierung der Häufigkeiten (Teilen durch Pixelanzahl im Bild)

14 Methoden der Inhaltserschließung Farbhistogramme

15 Methoden der Inhaltserschließung Farbhistogramme Vorteile N-dimensionaler Vektor gibt das Auftreten der n-referenzfarben wider Ähnliche Bilder enthalten meist ähnliche Farben gute Treffer Nachteile Ähnliche Histogramme repräsentieren nicht unbedingt ähnliche Bilder Ähnlichkeit der Referenzfarben wird nicht berücksichtigt

16 Methoden der Inhaltserschließung Farbmomente Idee Wie Farbhistogramm Ähnlichkeit der Referenzfarben wird berücksichtigt Berechnung der Referenzfarben über die Farbkanäle, um unkorellierte Referenzfarben zu erhalten

17 Methoden der Inhaltserschließung Texturmomente Idee Textur eines Objektes beschreibt Richtung und Granularität des Musters Berechnung durch Ähnlichkeiten mit Referenzstrukturen Berechnung mit Hilfe der Fourier-Transformation (Ähnlichkeit der Frequenzen in den Texturen) Nutzung nur eines Farbkanals, um Aufwand zu sparen und Redundanzen zu vermeiden

18 Methoden der Inhaltserschließung Formmerkmale Idee Beschreibung der Formen in Bildern (Fläche, Orientierung, Kurvenverlauf) z.b. durch Histogramm der im Bild vorkommenden Richtungen (translationsinvariant, eingeschränkt rotationsinvariant) z.b. durch Histogramm der Flächen von im Bild vorkommenden Objekten

19 Inhaltserschließung Extraktion der Level 2-Sekundärdaten Logische Merkmale Komplizierter als primitive Merkmale Um ein Objekt erkennen zu können muss ein Modell des Objektes vorhanden sein, das so abstrakt definiert ist, dass alle möglichen Variationen des Objektes erkannt werden. Ansatz: Beschreibung von Objekten als Menge zylindrischer Flächen

20 Inhaltserschließung Extraktion der Level 3-Sekundärdaten abstrakte Merkmale Bisher sehr wenig untersucht Hauptproblem: systematische, objektive und abstrakte Beschreibung der Merkmale, die bestimmte Emotionen und Stimmungen hervorrufen könnten bzw. die einen Event beschreiben lassen.

21 Ähnlichkeitssuche Distanz zwischen Bildern Anhand der extrahierten Merkmale werden d- dimensionale Merkmalsvektoren gebildet Im d-dimensionalen Raum wird eine Distanzfunktion (Metrik) definiert: σ(x,y) Є [0,1] σ(x,y)=0 x,y haben keine Ähnlichkeit σ(x,y)=1 x,y sind identisch σ(x,y)= σ(y,x) x hat mit y die gleiche Ähnlichkeit, wie y mit x Als Distanzfunktionen werden Normen verwendet

22 Ähnlichkeitssuche Normen als Distanzfunktionen L 1 -Norm (Manhattan Distanz) L 2 -Norm (euklidische Distanz) σ(x,y)=σ i x i -y i σ(x,y)= Σ i (x i -y i ) 2 d 2 d 2 d 1 d 1 L -Norm (Maximum Norm) σ(x,y)=max i x i -y i Quadratische Funktion σ(x,y)=(x-y) T A(x-y) d 2 d 2 d 1 d 1

23 Ähnlichkeitssuche Bereichsanfrage Suchraum enthält die Referenzpunkte aller Bilder im Datenbestand Anfragebild wird den gleichen Merkmalsextraktionsalgorithmen unterzogen, wie die Bilder im Datenbestand Alle Bilder mit Referenzpunkt in einem Bereich um den Anfragepunkt werden zurückgegeben Bereich ist abhängig von der verwendeten Norm und einem Parameter

24 Ähnlichkeitssuche Bereichsanfrage d 2 Anfragepunkt d 1 Bsp.: euklidische Distanz

25 Ähnlichkeitssuche Relevance Feedback Idee Als Antwort auf eine Suchanfrage werden mehrere Bilder geliefert Durch subjektive Bewertung der Ergebnisse durch den Nutzer wird der Anfragepunkt im Raum verschoben Modifizierte Anfrage wird gestellt Suchanfrage Anfrageergebnis Nutzer- Bewertung Endergebnis Relevance Feedback

26 Ähnlichkeitssuche Relevance Feedback d 2 Anfragepunkt d 1 Bsp.: euklidische Distanz

27 Ähnlichkeitssuche Relevance Feedback d 2 Anfragepunkt Neuer Anfragepunkt d 1 Bsp.: euklidische Distanz

28 Ähnlichkeitssuche Nächst-Nachbar-Suche Suche nach dem ähnlichsten Bild Suche das Bild mit der geringsten Distanz zum Anfragebild bei der gewählten Distanzfunktion d 2 d 1 Bsp.: euklidische Distanz

29 Ähnlichkeitssuche / Indexstrukturen Quadtree 1974 vorgeschlagen für Index im Hauptspeicher für 2 Dimensionen Erweiterung für 3 Dimensionen nicht durchgesetzt Idee: Ein 2-dim Raum kann durch 2 orthogonale Linien in 4 Sektoren zerlegt werden Aufteilung kann rekursiv verfeinert werden

30 Ähnlichkeitssuche / Indexstrukturen Quadtree Beispiel NO SO SW NW 1 2 NO SO SW NW NO SO SW NW NO SO SW NW

31 Ähnlichkeitssuche / Indexstrukturen Quadtree Vorteile Einfache Implementierung Gute Performance im 2-dim Raum (balanciert) Nachteile Nicht sinnvoll für >2-dim Räume (2 d Teilräume) i.a. nicht balanciert Baumstruktur abhängig von der Einfügereihenfolge (bei Punkt-Quadtree) Ist Hauptspeicherstruktur, daher schlechte Performance bei Nutzung im Sekundärspeicher

32 Ähnlichkeitssuche / Indexstrukturen K-d-Tree 1975 entwickelt für höherdimensionale Räume Idee: K-d-Tree ist Binärbaum Jeder Knoten enthält eine Gerade, die den Raum parallel zu einer Achse teilt Höhe des Knotens bestimmt die betroffene Dimension

33 Ähnlichkeitssuche / Indexstrukturen K-D-Tree Beispiel (K=2) 1 L R 1 2 O 5 U O 2 U 5 3 L 3 R 4 4 O U

34 Ähnlichkeitssuche / Indexstrukturen K-d-Tree Vorteile Einfache Implementierung Gute Performance im 2-dim Raum (balanciert) Balancierte Variante mit B-Baum Nachteile Schlechtere Performance für >2-dim Räume (große Höhe) i.a. nicht balanciert (außer B-Baum) Baumstruktur abhängig von der Einfügereihenfolge

35 Ähnlichkeitssuche / Indexstrukturen Gridfile 1981/84 entwickelt Idee: Datenraum wird in Gitterzellen ( grid ) unterteilt Entstandene Zellen erhalten Datenblock im Speicher (Zuweisung im Verzeichnis eingetragen) Punkte einer Zelle werden im zugehörigen Block gespeichert Falls beim Einfügen ein Überlauf stattfindet wird neue Trennlinie eingefügt und neue Zellen werden ins Verzeichnis eingetragen

36 Ähnlichkeitssuche / Indexstrukturen Gridfile Beispiel , 4

37 Ähnlichkeitssuche / Indexstrukturen Gridfile Vorteile Einfache Implementierung Gute Performance (2 Diskzugriffe pro Punktanfrage) Balancierte Variante mit B-Baum Nachteile Iteratives Einfügen von Punkten unausgeglichene Struktur Schlechtes Verhalten bei Datenmengen mit Clustern Verzeichnisgröße wächst superlinear in Anzahl der Punkte

38 Ähnlichkeitssuche / Indexstrukturen Voronoi-Diagramm Idee: Raum wird zerlegt in p Voronoi-Zellen (p = Punktanzahl) Jede Zelle enthält den zugehörigen Punkt und alle die Punkte, zu denen er Nächster-Nachbar ist

39 Ähnlichkeitssuche / Indexstrukturen Voronoi-Diagramm Beispiel

40 Ähnlichkeitssuche / Indexstrukturen Voronoi-Diagramm Vorteile Relativ gute Performance im niedrigdimensionalen Raum Nachteile Teure Berechnung des Voronoi-Diagramms (>>dim) Großer Speicheraufwand für Voronoizellen i.a. keine schnellere Suchperformance als bei anderen Methoden

41 Ähnlichkeitssuche / Indexstrukturen Vektor-Approxiation-File Idee Punkte im Suchraum werden als Vektoren dargestellt und in Dateien gespeichert Für die Suche werden approximierte Vektoren verwendet (sehr kleine Teilräume um den Punkt) Dadurch werden Operationen gespart und man erhält ein approximiertes Anfrageergebnis Punkte, die vom Anfragepunkt weit entfernt liegen, werden nicht zurückgegeben Punkte, die zurückgegeben werden haben sehr warscheinlich große Ähnlichkeit mit der Anfrage

42 Zusammenfassung Image Retrieval ist notwendig, um effektiv in großen Bildarchiven suchen zu können. Zur effektiven und objektiven Beschreibung von Bildern eignen sich automatische Extraktionsalgorithmen für die Merkmale. Bisherige Algorithmen sind noch nicht ausreichend, um eine vergleichbar gute Ergebnisqualität zur subjektiv-menschlichen Auswahl zu erzeugen. Speziell Suchanfragen, die eine Interpretation der Bilddaten erfordern (Level 2 und 3) sind problematisch.

43 Zusammenfassung Um gute Ergebnisse zu erhalten benötigt man viele Merkmale. Viele Merkmale als Ähnlichkeitskriterium für Bilder erzeugen einen hochdimensionalen Suchraum. Effektive Suchalgorithmen für sehr hochdimensionale Suchräume sind nicht bekannt. Für jeden Algorithmus gibt es eine Dimensionsanzahl, für die eine sequenzielle Suche schneller ist. Es besteht demnach Forschungsbedarf in Richtung Geschwindigkeit und Ergebnisqualität für Suchalgorithmen beim Image Retrieval.

44 Quellen Dr. R. Weber (ETH-Zürich): Multimedia Retrieval (2001) Dr. Ingo Schmitt (OvG-Uni-Magdeburg): Vorlesung Multimedia-Datenbanken (2001) Prof. Klaus Voss / Dr. Herbert Süße (FSU-Jena) Praktische Bildverarbeitung Hanser Studienbücher (1991)