Inhaltsbasierte Bildersuche

Transkript

1 Inhaltsbasierte Bildersuche Medieninformatik IL Andreas Unterweger Vertiefung Medieninformatik Studiengang ITS FH Salzburg Wintersemester 2014/15 Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 1 / 20

2 Definition Inhaltsbasierte Bildersuche Engl. Content-based image retrieval (CBIR) Finden von Bildern anhand von Bildmerkmalen Farben und deren Verteilung Formen und deren Verteilung Merkmalvektoren (z.b. von SIFT)... Quelle: Rorissa, A.: Image Retrieval Benchmarking Visual Information Indexing and Retrieval Systems. ( ), Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 2 / 20

3 Motivation und Anwendungen Motivation: Weitestgehende Vermeidung manueller Metadatenpflege (z.b. durch Tagging), da Zeitaufwändig Kaum automatisierbar Umfangsbeschränkt (z.b. konsistente Farbsortierung kaum möglich) Hauptanwendung: Ähnlichkeitssuche (engl. Reverse Image Search bzw. Query by Example) Finden von Bildern mit ähnlichen Farben/Motiven/... Duplikaterkennung Plagiaterkennung Manipulationserkennung Andere Anwendungen (Auswahl): Semantische Suche (Finden bestimmter Motive) Zensur (Hauterkennung u.ä.) Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 3 / 20

4 Softwarebeispiele (Auswahl) Google Bildersuche ( TinEye ( pixolution ( The GNU Image-Finding Tool ( Übersichtsliste: Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 4 / 20

5 Überlick zu CBIR Merkmaltaxonomie nach 1 Low-level: Aus Pixeldaten Mid-level: Aus segmentierten Daten High-level: Semantische Daten (Kategorien, Zusammenhänge etc.) Semantic Gap: Mensch sucht high-level, Maschine arbeitet low-level Ausgewählte Bildmerkmale Durchschnittsfarbe(n) SIFT-Merkmalvektoren Farbverteilung Ausgewählte Vergleichsmetriken Vektordistanz Histogrammdistanz 1 Marques, O. und Furht, B.: Content-Based Image and Video Retrieval. Kluwer Academic Publishers, Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 5 / 20

6 Wiederholung: Menschliche Farbwahrnehmung Farbreiz aus Rot-, Grün- und Blau-Komponenten (RGB) Drei Arten von Zapfen auf Netzhaut Farbwahrnehmung Andere Farbräume zur Berücksichtigung der weiteren Verarbeitung Quellen: Roorda, A. und Williams, D.: The arrangement of the three cone classes in the living human eye. Nature, 397(6719): , 1999; Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 6 / 20

7 Durchschnittsfarbe(n) I Ausgangspunkt: m n Pixel großes RGB-Bild I (x, y) = Berechnung: Mittelwert jedes Farbkanals: I R = 1 m n I G = 1 m n I B = 1 m n m y=1 x=1 m y=1 x=1 m y=1 x=1 n I R (x, y) n I G (x, y) n I B (x, y) I = I R I G I B I R (x, y) I G (x, y) I B (x, y) Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 7 / 20

8 Durchschnittsfarbe(n) II I = 1 m n I = m y=1 x=1 I R I G I B n I (x, y) Vorteile: Einfach zu berechnen Schnell zu berechnen Nachteile: Helligkeitsabhängig Kaum diskriminativ (unähnliche Bilder liefern ähnlichen Durchschnitt) Nicht repräsentativ (rot-blaues Muster gleicht lila Fläche) Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 8 / 20

9 Durchschnittsfarbe(n) III Helligkeitsabhängigkeit durch Normierung (Einheitsvektor) entfernen Richtung (Farbkomponentenaufteilung) bleibt erhalten, Länge wird 1 I e = I I = I I R + IG + IB Quellen: Otto, G.: Organizing Color. ( ), 2000; Cattin, P.: Digital Image Fundamentals Introduction to Signal and Image Processing. ( ), Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 9 / 20

10 Vektorabstand I Abstand zwischen zwei Vektoren v 1 und v 2 bestimmen Typisches Maß: Norm des Differenzvektors v diff = v 2 v 1 y v 1 y v diff x v 2 x v diff Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 10 / 20

11 Vektorabstand II p-norm im R n für einen Vektor v = ( v 1 v 2... ) T v n : ( n ) 1 p v p = v i p Praktisch relevanter Spezialfall 2-Norm (euklidische Norm): v 2 = n i=1 i=1 Praktisch relevanter Spezialfall 1-Norm (Summennorm): n v 1 = v i i=1 v 2 i Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 11 / 20

12 Vektorabstand III Summennorm wird auch als Manhattan-Distanz bezeichnet: Quelle: Harmony Institute: Comparing the moral language of television to that of its viewers. therippleeffect/2013/06/26/comparing-the-moral-language-of-television-to-that-of-its-viewers/ ( ), Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 12 / 20

13 Vektorabstand IV Vektorabstand auch für Merkmalvektoren ( v 1, v 2 R n ) berechenbar Beispiel SIFT: Schlüsselpunktdeskriptoren sind 128-dimensionale Merkmalvektoren ( v 1, v 2 R 128 ) Norm des Differenzvektors ergibt Abstand Abstände von nicht normierten Vektoren sind oft problematisch Stärkere Gewichtung des längeren Vektors Kurze Vektoren in entgegengesetzte Richtungen haben kurze Abstände Winkel zwischen Vektoren als alternatives Ähnlichkeitsmaß ( ) v1 v 2 ϕ = arccos v 1 v 2 Anmerkung: bezeichnet im Zähler das (innere) Vektorprodukt Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 13 / 20

14 Farbverteilung I Farbverteilung über Histogramme jedes Farbkanals ermittelbar Histogramm: Häufigkeit von Farbwerten oder Farbwertgruppen Adaptiert von: Gemma, R. M.: Image histogram. ( ), Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 14 / 20

15 Farbverteilung II Gruppierung von Farbwerten durch (Vektor-)Quantisierung Quelle: Cloud N Sci Ltd: RGB Heatmap Demo. ( ), Normierung sinnvoll Verwendung anderer Farbräume möglich Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 15 / 20

16 Farbverteilung III Quantisierungseffekte: Quelle: Ji, J.: Chapter 2. Image Structure ( ), Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 16 / 20

17 Histogrammdistanzen Vergleich von Histogrammen durch Histogrammdistanz (entweder pro Farbkanal separat oder durch zusammengefügte Histogramme) Verschiedene Metriken zur Distanzbestimmung (Auswahl): Minkowski-Distanz (p-norm) Kreuzkorrelation Earth Mover s Distance (EMD) Minowski-Distanz d p für Histogramme H 1 und H 2 mit je N Partitionen (Partitionsmenge P, P = N, H i : P [0; 1] R): H diff p = H 2 (p ) H 1 (p ) p p P 1 p = ( N i=1 H 2i H 1i p ) 1 p Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 17 / 20

18 Earth Mover s Distance I Idee: Histogramme repräsentieren Gelände (Häufigkeit jeder Partition entspricht Höhe eines Erdhügels N Erdhügel) Frage: Wie viel Arbeit ist (minimal) notwendig, um mit einer Schürfraupe das erste Gelände in das zweite umzuformen? Ziel: Aufwand für Umformarbeiten entspricht Histogrammdistanz Voraussetzung: Histogramme sind normiert ( gleich viel Erde ) Quelle: Čonos, M.: Earth Mover s Distance EMD. ( ) Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 18 / 20

19 Earth Mover s Distance II Definition Arbeit: Verschobene Menge f mal Entfernung d zwischen Partitionen mit Indizes i und j: W ij = f ij d ij Arbeit für alle Verschiebungen (soll durch f ij -Wahl minimiert werden): N N N N W = W ij = f ij d ij i=1 j=1 i=1 j=1 EMD als Metrik: Normierung der Arbeit durch verschobene Menge F : N N f ij d ij EMD(H 1, H 2 ) = W F = i=1 j=1 N N f ij i=1 j=1 Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 19 / 20

20 Danke für die Aufmerksamkeit! Fragen? Andreas Unterweger (FH Salzburg) Inhaltsbasierte Bildersuche Wintersemester 2014/15 20 / 20