Kapitel 8. Inhaltsbasierte Suche in Bilddatenbanken

Transkript

1 Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken One picture is worth 1000 words. However, a picture is worth far fewer than 1000 words if you cannot find them. Einführung Suche durch Merkmalswerte Suche durch Farbhistogramme Formbasierte Suche Regionenbasierte Suche Suche nach bestimmten Klassen von Objekten Metrische Distanzfunktion Bearbeitung von Videos MPEG-7 Standard Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 1/3 Einführung (1) Flut von digitalen Bilddaten nimmt rasant zu: Kunstsammlungen: The Fine Arts Museum of San Francisco, digitale Datenbank von Gemälden und Zeichnungen, QBIC (Query by Image Content) Bildarchive: Corbis Archive (> 17 Millionen Bilder, davon nahezu 1 Million digital), retrieval by keywords and browsing Wissenschaftliche und medizische Bildsammlungen: NASA, Satellitenbilder WWW: ca 70-75% der Daten im Internet liegen in Bildform vor Diese Bilddaten können nur dann effektiv genutzt werden, wenn sie in einer Art und Weise organisiert sind, die einen effizienten und dem besonderen Informationsgehalt von Bildern gerechten Zugriff ermöglicht. Wichtig: Auch wenn Bilddaten genau wie alphanumerische Daten in traditionalen Datenbanksystemen rechnerintern in binärer Form abgespeichert sind, besteht hier doch eine erhebliche Diskrepanz zwischen der internen Repräsentation und der Interpretation durch den Benutzer = Neue Techniken für die Organisation und Suche (Retrieval) von Bilddatenbanken erforderlich Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 2/3

2 Einführung (2) Nützliche Informationsquellen: Kategorien/Keywords/FileName/HTML captions Abfrage (SQL): SELECT * FROM IMAGEDB WHERE CATEGORY = X AND SOURCE = Y AND (KEYWORD = A OR KEYWORD = B ) Probleme: Kategorisierung nicht immer einfach Erfassung von Keywords aufwendig, unvollständig (Ein Bild sagt mehr als 1000 Worte!), gebunden an bestimmter Sprache FileName / HTML captions können irreführend sein (z.t. absichtlich) Beispiel: keyword = animal Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 3/3 Einführung (3) Content-based image retrieval (CBIR): Bildinhalt: CBIR describes the process of retrieving desired images from a large collection on the basis of features, such as color, texture and shape, that can be automatically extracted from the images themselves. The features used for retrieval can be either primitive or semantic, but the extraction process must be predominantly automatic. Retrieval of images by manually-assigned keywords is definitely not CBIR as the term is generally understood even if the keywords describe image content. Low-level: color Mid-level: texture / shape / spatial relationship (bedingt Berechnung höherer Bildmerkmale oder Bildsegmentierung zu einem gewissen Grad) High-level: event / message / impression, viel Semantik, extrem schwierig zu automatisieren Ist CBIR eine Art new economy in Computer Vision? Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 4/3

3 Einführung (4) Was wir uns wünschen: images image analysis image description (features, relationships, etc.) how to compare? how to achieve semantic similarity? user user interface semantics (object, event, message, etc.) Semantic gap: The semantic gap is the lack of coincidence between the information that one can extract from the visual data and the interpretation that the same data have for a user in a given situation. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 5/3 Einführung (5) Was wir heute können: images image analysis image description (features, relationships, etc.) feature-based comparison user user interface example image(s) spatial relationship, sketch, etc. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 6/3

4 Einführung (6) Typ der Abfrage: query by feature values query by image example query by spatial relationship query by sketch query by image example group (positive, negative) Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 7/3 Einführung (7) Forschungsthemen: Merkmalsextraktion in Bildern Gewinnung von semantischen Informationen aus Bildern Bildvergleich in einer Art und Weise, die der menschlichen Ähnlichkeitswahrnehmung näherkommt Effizielle Speicherung und Zugriff (Indexierung) für große Bilddatenbanken Benuzter-Schnittstelle Verstehen der Benutzer-Wünsche und des Suchverhaltens Erweiterung auf Bilder in höheren Dimensionen Performance-Evaluation Unterstützung in internationalen Standards Anwendungen Beschreibungen von Systemen: R.C. Veltkamp and M. Tanase, Content-Based Image Retrieval Systems: A Survey, Technical Report, 2000/2001. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 8/3

5 Suche durch Merkmalswerte (1) Farben: p 1 % Farbe 1, p 2 % Farbe 2,... Erweiterte Abfrage mit Farb-Layout (Spezifikation eines Farbgitters) IBM: QBIC, Teil von DB2 AIV (Audio/Image/Video) Extenders Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 9/3 Suche durch Merkmalswerte (2) Andere Merkmale wie Texturbeschreibungen lassen sich nicht mehr so intuitiv interpretieren und deshalb relativ schwer direkt angeben Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 10/3

6 Suche durch Farbhistogramme (1) Farbhistogramm: Globale Darstellung der Farbverteilung eines Bildes 8 Bit Farbtiefe/Kanal = Histogramm aus = Einträgen Lösungen: Variante 1 r 8 r 7 r 1 g 8 g 7 g 1 b 8 b 7 b 1 r 8 r 7 g 8 g 7 b 8 b 7 (64 Einträge) Variante 2 Seprates Histogramm mit z.b. 16 Einträgen für R/G/B; Zusammensetzung zu einem gesamten Histogramm (48 Einträge) Durch eine Normierung entsteht ein relatives Histogramm, welches die Grundlage zum Bildvergleich bildet Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 11/3 Suche durch Farbhistogramme (2) Vergleich von (relativen) Farbhistogrammen h 1 und h 2 mit n Einträgen: n Minkowski-Distanz: D p (h 1, h 2 ) = [ h 1 (i) h 2 (i) p ] 1 p i=1 L 1 -Distanz (p = 1): D 1 (h 1, h 2 ) = L 2 -Distanz (p = 2): D 2 (h 1, h 2 ) = Histogram Intersection: n h 1 (i) h 2 (i) i=1 n (h 1 (i) h 2 (i)) 2 i=1 S i (h 1, h 2 ) = n min(h 1 (i), h 2 (i)) [0, 1] i=1 (Wieviel von den Farben aus h 1 ist in h 2 zu sehen und umgekehrt) Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 12/3

7 Suche durch Farbhistogramme (3) Problem beim Histogrammvergleich: Fall 1 h 1 = ( 1 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0,0, 0, 2 3 ) h 2 = (0, 1 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0,0, 2 3, 0) D 1 (h 1, h 2 ) = = 2 S i (h 1, h 2 ) = 0 Fall 2 h 1 = ( 1 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0,0, 0, 2 3 ) h 2 = (0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1 3, 2 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0) D 1 (h 1, h 2 ) = = 2 S i (h 1, h 2 ) = 0 Kleine Verschiebungen (Fall 1) verursachen große Abweichungen beim Vergleich! Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 13/3 Suche durch Farbhistogramme (4) Lösungsansätze: Verwendung von kumulativen Histogrammen Fall 1: kh 1 = ( 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1) kh 2 = (0, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1, 1) Fall 2: kh 1 = ( 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1 3, 1) kh 2 = (0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1 3, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1) Robustere Distanz- bzw. Ähnlichkeitsfunktionen, z.b. weighted Euclidean distance (QBIC): D(h 1, h 2 ) = n i=1 j=1 n a ij (h 1 (i) h 2 (i)) (h 1 (j) h 2 (j)) Gewicht a ij [0, 1]: Ähnlichkeit zwischen Farbe i und j und Earth Mover s distance Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 14/3

8 Suche durch Farbhistogramme (5) Beispiel: Farbhistogramm Variante 1, L 1 -Distanz Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 15/3 Suche durch Farbhistogramme (6) Beispiel: Farbhistogramm Variante 1, L 1 -Distanz (Fort.) Farbhistogramm relativ unempfindlich gegenüber Translation, Rotation, Skalierung, und Verdeckung. Erweiterungen zur Beleuchtungsinvarianz bekannt. Im Histogramm fehlen allerdings räumliche Informationen, so dass Variationen dieser Art nicht berücksichtigt werden können. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 16/3

9 Suche durch Farbhistogramme (7) Berücksichtigung räumlicher Information: Aufteilung des Bildes in (fuzzy) Regionen M. Stricker and A. Dimai, Spectral covariance and fuzzy regions for image indexing, Machine Vision and Applications, 10(2), 66 73, Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 17/3 Suche durch Farbhistogramme (8) Berücksichtigung räumlicher Information (Fort.): Color Correlogram France Russian Federation Hungary Italy 3D Histogramm [g 1 ][g 2 ][d]: Anzahl von Punktpaaren mit Farbe g 1, g 2 und Entfernung d J. Huang et al., Color-Spatial Indexing and Applications, International Journal of Computer Vision 35(3): , Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 18/3

10 Formbasierte Suche (1) Nach Bildsegmentierung oder Objekttrennung vom Hintergrund liefert die Form der Regionen/Objekte einen wichtigen Hinweis auf deren Klasse/Identität. Verfahren zum Formvergleich: Regionenbasiert: Formbeschreibung mit allen Bildpunkten der Region Bsp. Momentinvarianten Konturbasiert: Formbeschreibung mit Konturpunkten Bsp. CSS-Verfahren (Krümmungsdarstellung der Kontur) Insb. Invarianzeigenschaften gegenüber Translation, Rotation, Skalierung und ggf. auch perskeptivischer Verzerrung von großer Bedeutung Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 19/3 Formbasierte Suche (2) Regionenbasierte (globale) Formdeskriptor: Momentinvarianten Das Objekt wird durch ein Binärbild f(i, j) beschrieben (1: Objekt, 0: Hintergrund) Momente: m pq = M 1 i=0 Flächeninhalt: m 00 Schwerpunkt: (i = m 10 m 00, j = m 01 m 00 ) N 1 j=0 i p j q f(i, j) Zentrale Momente (gegenüber Translation invariant): µ pq = M 1 i=0 (i i) p (j j) q f(i, j) N 1 j=0 Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 20/3

11 Formbasierte Suche (3) Momentinvarianten nach Hu: φ 1 = η 20 + η 02 φ 2 = (η 20 η 02 ) 2 + 4η11 2 φ 3 = (η 30 3η 12 ) 2 + (3η 21 η 03 ) 2 φ 4 = (η η 12 ) 2 + (η 21 + η 03 ) 2 φ 5 = (η 30 3η 12 )(η 30 + η 12 )[(η 30 + η 12 ) 2 3(η 21 + η 03 ) 2 ] +(3η 21 η 03 )(η 21 + η 03 )[(3η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] φ 6 = (η 20 η 02 )[(η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] + 4η 11 (η 30 + η 12 )(η 21 + η 03 ) φ 7 = (3η 21 η 03 )(η 30 + η 12 )[(η 30 + η 12 ) 2 3(η 21 + η 03 ) 2 ] (η 30 η 12 )(η 21 + η 03 )[(3η 30 + η 12 ) 2 (η 21 + η 03 ) 2 ] wobei: η pq = µ pq µ γ, γ = p + q (invariant gegenüber Translation, Rotation und Skalierung) Da es sich bei φ 1,..., φ 7 um sehr kleine Werte handelt, können aus den einzelnen Werten auch Wurzelngezogen werden, um größere Beträge zu erhalten. Eine Möglichkeit besteht in: φ 1 = φ 1; φ 2 = φ 2 ; φ k = 4 φ k, k = 3,4,5,6,7 Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 21/3 Formbasierte Suche (4) Konturbasiertes Formretrieval: Konturbasiertes Vorgehen setzt eine (lokale) Konturbeschreibung voraus. Das Retrieval basiert auf Vergleich von Konturbeschreibungen. Im Gegensatz zu regionenbasierten globalen Formdeskriptoren erreicht man hier eine präzisere Erfassung der Konturen. SQUID System (Shape Queries Using Image Databases): CSS (Curvature Scale Space), Kurvenbeschreibung anhand von Krümmungen Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 22/3

12 Formbasierte Suche (5) Anwendung: Retrieval von Gummidichtungen Beide letzte Spalten ( Distanzen, Rangliste ): Ergebnisse aus Kombination der verschiedenen Verfahren. Generell stellt Kombination mehrerer Verfahren bzw. Klassifikatoren ein sinnvolles Vorgehen zur Performancesteigerung dar. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 23/3 Formbasierte Suche (6) Anwendung: Retrieval von Markenzeichen Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 24/3

13 Regionenbasierte Suche (1) Segmentierung in Bildregionen, die Objekten oder Objektteilen entsprechen. Zum Retrieval werden Regionenmerkmale herangezogen. Hierbei können verschiedene Merkmale kombiniert werden. C. Carson et al. Blobworld: image segmentation using expectation-maximization and its application to image querying, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(8): , Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 25/3 Regionenbasierte Suche (2) Beispiel: Blobworld; Suchkriterium=color Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 26/3

14 Regionenbasierte Suche (3) Beispiel: Blobworld; Suchkriterium=texture/shape Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 27/3 Regionenbasierte Suche (4) Beispiel: Blockworld. Suche mit Keyword rose (links). Ergebnisse mit 216 Bildern aus einer Datenbank mit Bildern (rechts). Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 28/3

15 Regionenbasierte Suche (5) Beispiel: Blockworld. Merkmalsbasierte Suche (links). Ergebnisse (rechts). Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 29/3 Regionenbasierte Suche (6) Beispiel: Blockworld. Kombinierte Suche mit Keyword rose und Merkmalen (links). Ergebnisse (rechts). Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 30/3

16 Suche nach bestimmten Klassen von Objekten Häufig soll nach bestimmten Objekten (Person, Gesicht, Tier, usw) bzw. Objektklassen (Naturszene, man-made Objekt) gesucht werden. Damit verbunden ist z.t. eine Objekterkennung mit Lokalisierung. Gesichtslokalisierung: Schwierigkeit (große Variationen in Bildern, rechts) H.A. Rowley, S. Baluja, and T. Kanade, Neural network-based face detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1): 23-38, Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 31/3 Metrische Distanzfunktion (1) Eine Distanzfunktion d() heißt Metrik wenn: 1. d(a, B) 0 2. d(a, B) = d(b, A) 3. d(a, B) = 0 A = B 4. d(a, B) + d(b, C) d(a, C) (Dreiecksungleichung) Beispiel: Minkowski-Distanz Die Dreiecksungleichung ist aus praktischer Sicht wichtig: The triangle inequality is necessary since without it we can have a case in which d(a, B) and d(b, C) are both very small, but d(a, C) is very large. This is undesirable for pattern matching and visual recognition applications. E.M. Arkin et al. Beschleunigung der Bildsuche mittels Dreiecksungleichung Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 32/3

17 Metrische Distanzfunktion (2) Beispiel: In der visuellen Wahrnehmung gilt die Dreiecksungleichung nicht immer Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 33/3 Bearbeitung von Videos (1) Hierarchie in Filmen: Ein Film besteht auf der untersten Ebene aus einer Abfolge von Einzelbildern, z.b. 25 Bilder pro Sekunde (PAL-Standard). Bilder können zu einer Einstellung (Abfolge von Bildern, die von einer Kamera in einem Stück aufgezeichnet worden sind) zusammengefasst werden. Ein durchschnittlicher Film enthält zwischen Einstellungen. Einige Videos, z.b. Actionfilme, können wesentlich mehr Einstellungen haben (15-minütiger Ausschnitt aus,,terminator 2 : 300 Einstellungen). Durch die oft sehr große Anzahl von Einstellungen ist es sinnvoll, höheraggregierte Einheiten zu bilden. Dazu fasst man semantisch gleichartige Einstellungen zu einem Segment zusammen. Die jeweilige Einteilung hängt dabei vom gewünschten Zweck ab und kann sich beispielsweise an Einstellungen mit gleicher Handlung, an gleichen Orten oder mit den gleichen Personen orientieren. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 34/3

18 Bearbeitung von Videos (2) Bearbeitung: Segmentierung von Übergängen: Schnitt (harter Übergang), Ein- und Ausblenden (fade-in and fade-out), Auflösungen (dissolve, Überlagerung von fade-in und fade-out) Verteilung in knapp 5 Stunden Videomaterial: 70.1% Schnitt, 24.4% (Auflösungen), 3% (Ein- und Ausblenden). Diese Statistik legt nahe, sich bei der Erkennung von Übergängen auf diese drei Typen zu konzentieren. Bildung von Segmenten: Ähnliche Einstellungen werden zu Szenen zusammengefasst. Als Maß für die Ähnlichkeit können Informationen aus Bild und Audio genuzt werden. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 35/3 MPEG-7 Standard (1) MPEG (The Motion Expert Picture Group) Standards: MPEG-1 / MPEG-2 / MPEG-4 sind Kompressionsstandards. MPEG-7 ist der erste Standard zur Beschreibung von audiovisuellen Inhalten und ergänzt die bisherigen Standards durch eine höhere Abstraktionsstufe. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 36/3

19 MPEG-7 Standard (2) MPEG-7 stellt eine Schnittstelle zwischen Extraktion und Nutzung von Metadaten über multimediale Daten dar. Sowohl die Extraktion (description production) als auch die Nutzung (description consumption) der Metadaten sind unabhängig von MPEG-7 und können unterschiedlich implementiert werden. Im visuellen Bereich sind u.a. Deskriptoren für Farbe, Textur, Form, und Bewegung definiert. Kapitel 8 Inhaltsbasierte Suche in Bilddatenbanken p. 37/3