Fakultät Informatik Fachrichtung Intelligente Systeme, Aufgabenstellungen der Bildanalyse und Mustererkennung Inhaltsbasierte Bildsuche mit Farbhistogrammen Dresden, 19.06.2009
Gliederung Grundlagen CBIR Histogramm Farbmodelle Euklidischer Abstand Kullback-Leibler divergence JSD Jensen Shannon Divergenz EMD Earth Mover's Distance Motivation Möglichkeiten Nutzen Beispiele Methoden gray value Histogram color Histogram Invariant Feature Histogram Tamura texture Histogram Garbor Features Local Feature Patches Histogram LF SIFT Histogramm MPEG 7: Edge Histogramm Ergebnisse gute vs. schlechte Methoden Kombination von Methoden Ausblick Referenzen Folie 2 von 25
Grundlagen CBIR Content Based Image Retrieval = Inhaltsbasierte Bildsuche Histogramm ist die graphische Darstellung der Häufigkeitsverteilung von Messwerten in BV: statistische Häufigkeit der Grauwerte bzw. der Farbwerte in einem Bild Aussage über die vorkommenden Grau- bzw. Farbwerte und über Kontrastumfang und Helligkeit des Bildes visualisiert die Verteilung der Helligkeitswerte ==> je höher der Balken über einem Farbwert ist, desto häufiger kommt dieser Farbwert im Bild vor Folie 3 von 25
Grundlagen Histogramm wenn man sinnvolle Spezifikationsgrenzen für einen Prozess definieren möchte wenn man den tatsächlichen Verlauf der Häufigkeitsverteilung sehen möchte und nicht nur Einzeldaten (Mittelwert, Standardabweichung) Folie 4 von 25
Grundlagen Farbmodelle RGB Lab L.. Helligkeit a.. Grün/Rot - b.. Blau/Gelb besonders zur Beschreibung von nichtleuchtenden Farben (Körperfarben) verwendet Folie 5 von 25
Grundlagen Euklidischer Abstand Abstand zwischen zwei Punkten Kullback-Leibler Divergenz Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen auch relative Entropie genannt Wahrscheinlichkeitsfunktionen P und Q Jensen Shannon Divergenz Maß für die Ähnlichkeit zweier Wahrscheinlichkeitsverteilungen auch Infomationsradius genannt symmetrische und geglättete Version der KL-Divergenz Folie 6 von 25
Grundlagen Earth Movers Distance (EMD) auch Wassterstein-Metrik oder Mallow-Distanz genannt für 2 normierte Wahrscheinlichkeitsverteilungen Transportproblem mit linearer Optimierung Minimum an Arbeit um bestimmte Menge an Erdhaufen in Erdlöcher mit unterschiedlicher Kapazität zu verteilen Folie 7 von 25
Motivation persönliche Fotosammlung durchsuchen und sortieren öffentliche Bilddatenbanken Gebäudeerkennung -> mobile, interaktive Touristenführer medizinische Besipieldatenbanken journalistische Bildersuche Folie 8 von 25
Motivation... Klassifizierung der Bilder Maschinenlesbare Beschreibung der Bilder notwendig aktuelle Stand der Forschung: FIRE (rwth-aachen) Airliners.net riya.com similar-images-google ALIPR Folie 9 von 25
Methoden Grauwerthistogramm (gray value histogram) Histogramm über den Grauwert eines Bildes -> Häufigkeitsverteilung der Grauwerte Aussagen über Kontrastumfang und Helligkeit Folie 10 von 25
Methoden Farbwerthistogramm (color histogram) meist Grundlage für weitere Analysen Frequenzen der auftauchenden Farben robust gegen Blickwinkeländerungen Vergleiche der Histogramme mit JSD H, H' zu vergleichende Histogramme Hm m-te Bin von H Folie 11 von 25
Methoden M, N.. maximale Bildkoordinaten g.. Elemente der Transformationsgruppe G (Rotation, Translation) Invariant Feature Histogram robust gegen Transformationen (Translation, Rotation, Skallierung) Konstruktion der invarianten Features: Integration über die Gruppe der Transformationen oder annähern durch Aufsummierung Vergleiche der Histogramme mit JSD Folie 12 von 25
Methoden Tamura texture histogram ausgehend von der menschlichen Wahrnehmung coarseness, contrast, direktionality (Grobehit, Kontrast, Richtung) besonders Beachtung geschenkt Berechnung der Gradienten der Pixel Quantisieren der errechneten Winkel Schärfegrad- Histogramm mit den zugehörigen Pixelpositionen erstellen Folie 13 von 25
Methoden Gabor Features Ebenfalls zur Texturanalyse Durchschnitt und Standartabweichung in 5 verschiedenen Richungen und Skallierungen mit Hilfe des Gabor-Filter extrahiert oder 12 verschiedene kreisrunde Gabor-Filter auf das Bild anwenden Histogramme aus den Filterausgaben berechnen Histogrammvergleich mit JSD Folie 14 von 25
Methoden Local Image Feature Patches Histogram patches = Stellen sind besondere extrahierte Gebiete des Bildes 2048 Cluster bilden (patches mit PCA reduzieren) je Feature wird nur der Cluster mit dem ähnlichsten Zentrum gespeichert pro Bild Histogramm mit allen auftretenden patch-cluster-identifiers erstellen (wieviele extrahierte patches gehören zu jedem Cluster) Ergebniss: 2048 dimensionales Histogramm für jedes Bild Vergleich mit Jeffrey-Divergenz Patches extrahiert von besonderen Stellen bzw. im uniformen Gitter Folie 15 von 25
Methoden Local Image Feature SIFT Histogram Features aus dem Bild extrahiert pro Bild 32 Cluster gebildet Parameter der Cluster (Bsp. Durchschnitt, Varianz) gespeichert Cluster-Identifier im Histogramm dargestellt mit EMD vergleichen Folie 16 von 25
Methoden MPEG 7: Edge Histogram repräsentiert räumliche Verteilung von 5 verschiedenen Kantentypen (4 gerichtete und eine ungerichtete Kantenart) robust gegen Skallierung Bild in 4x4 Subimages unterteilen Kantenverteilung der 5 verschiedenn Kantenarten pro Subimage berechnen 5 x 16 = 80 Bins je Histogramm Folie 17 von 25
Ergebnisse Testdatenbanken WANG: 1000 Bilder 10 Klassen 100 Bilder je Klasse UW: 1109 Bilder 18 Klassen mit 352 Schlüsselwörtern Folie 18 von 25
Ergebnisse Testdatenbanken IRMA: 10000 Bilder 1000 Suchbilder 57 Klassen Schlüsselwörter ZuBud: 1005 Bilder 201 verschiedene Gebäude 115 Suchbilder Folie 19 von 25
Ergebnisse Testdatenbanken UCID: 1338 Bilder bei 264 Bildern Relevanz zu den restlichen festgelegt 262 Suchbilder Folie 20 von 25
Ergebnisse gute vs. schlechte Methoden Fehlerrate Trefferrate in % irma in % zubud 80,0 80,0 60,0 60,0 40,0 w ang 40,0 uw 20,0 irma w ang ucid 0,0 zubud ucid 0,0 color histogram LF patches histogram LF SIFT histogram invariant feature histogram gabor features tamura texture histogram gray value histogram color histogram LF SIFT histogram invariant feature histogram LF patches histogram gabor features MPEG 7: edge histogram tamura texture histogram gray value histogram 100,0 20,0 Folie 21 von 25 uw 100,0
Ergebnisse Kombination von Methoden...an der WANG-Beispieldatenbank sinkende Fehlerrate steigende Trefferrate feature Fehlerrate [%] Trefferrate [%] color histogram 16,9 50,5 + global texture 15,7 49,5 + tamura texture histogram 13,7 51,2 + thumnails 13,7 53,9 + LF patch histogram 11,6 55,7 1: color histogram, 2: MPEG7: color layout, 3: LF SIFT histogram, 4: LF SIFT signature, 5: LF SIFT global search, 6: MPEG7: edge histogram, 7: Gabor vector, 8: Gabor histograms, 9: gray value histogram, 10: global texture feature, 11: inv. feature histogram (monomial), 12: LF patches global, 13: LF patches histogram, 14: LF patches signature, 15: inv. feature histogram (relational), 16: MPEG7: scalable color, 17: Tamura texture histogram, 18: 32x32 image, 19: Xx32 image Folie 22 von 25
Ausblick Forschung wird sich auf das Finden neuer besserer Bildbeschreiber (Descriptoren oder Signaturen) konzentrieren Entwickelung von Methoden diese besser zu kombinieren Objekterkennung verbessern bzw. in die CBIR besser einbinden automatisches Maschinenlernen weiterentwickeln automatische Generierung von Textlabels... Folie 23 von 25
Referenzen Thomas Deselaers, Daniel Keysers, Hermann Ney; Features for Image Retrieval: An Experimental Comparison; German Research Center for Artificial Intelligence (DFKI), Kaiserslautern, Germany; 2007 Smeulders A W M, Worring M, Santini S, Gupta A, Jain R.; Content-Based Image Retrieval at the End of the Early Years; IEEE Transactions on Pattern Analysis and Machine Intelligence; 2000 Siggelkow S.; Feature Histograms for Content-Based Image Retrieval; Ph.D. thesis; University of Freiburg, Institute for Computer Science, Freiburg, Germany; 2002 Lokesh Setia, Julia Ick, Hans Burkhardt; SVM-based Relevance Feedback in Image Retrieval using Invariant Feature Histograms; Institute of Computer Science Albert-Ludwigs-University Freiburg 79110 Freiburg im Breisgau, Germany; 2005 S. Kulkarni1 and B. Verma; Fuzzy Logic based Texture Queries for CBIR; Department of Computer Science and Mathematics Nipissing University, North Bay, Canada; School of Information Technology Griffith University, Gold Coast Campus, Australia; 2003 Xing-Jian He, Yue Zhang, Tat-Ming Lok, Michael R. Lyu; A New Feature of Uniformity of Image Texture Directions Coinciding with the Human Eyes Perception; Intelligent Computing Lab, Institute of Intelligent Machines, Chinese Academy of Sciences, Hefei, Anhui 230031, China; Information Engineering Dept., The Chinese University of Hong Kong, Shatin, Hong Kong; Computer Science & Engineering Dept., The Chinese University of Hong Kong, Shatin, Hong Kong; 2005 Peng Yang, Shiguang Shan, Wen Gao, Stan Z. Li, Dong Zhang; Face Recognition Using Ada-Boosted Gabor Features; Institute of Computing Technology of Chinese Academy Science; Microsoft Research Asia Deselaers T, Keysers D, Ney H. Discriminative Training for Object Recognition using Image Patches. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR 05). vol. 2. San Diego, CA; 2005 David G. Lowe; Object Recognition from Local Scale-Invariant Features; Computer Science Department University of British Columbia, Vancouver, B.C., V6T 1Z4, Canada Chee Sun Won, Dong Kwon Park, Soo-Jun Park; Efficient Use of MPEG-7 Edge Histogram Descriptor; ETRI Journal, Volume 24, Number 1, February 2002 Folie 24 von 25
Folie 25 von 25