Histogramm-anschaulich. Histogramme und Bilder. Histogramm-mathematisch. Farbhistogramm. Grauwerthistogramm. Inhaltsbasierte Bildsuche Histogramme

Transkript

1 Inhaltsbasierte Bildsuche Histogramme Universität Bremen, Aug. Histogramm-anschaulich Zum Messen von Häufigeiten eines Mermals (Hier: Zahlen - in der Matrix) /9 /9 /9 /9.%.% %.%.%,,,, /8/ Histogramme, Histogramm-mathematisch normiertes Histogramm: N M h(d) = δ(i(i, j) d). N M = =, x = δ ( x) =, x i j d Farbe (-) I(i,j) Farbe des (i,j)-ten Pixels vom Bild I N Höhe des Bildes M Breite des Bildes Histogramme und Bilder Eines der einfachsten Mermale für Bilder gibt an wie oft eine Bestimmt Farbstufe im Bild vorommt Grauwertbilder -> ein Histogramm pro Bild Farbbilder -> drei Histogramme pro Bild (Rot,Grün,Blau) /8/ Histogramme, /8/ Histogramme, Grauwerthistogramm 8 x = 7.78 Pixel Farbhistogramm Drei Histogramme für Rot, Grün und Blau für bugs.jpg : Die Anzahl der Pixel, die einen bestimmten Grauwert im Bild Haben, wird im Histogramm abgetragen rot grün blau /8/ Histogramme, /8/ Histogramme, 6

2 Mehrdimensionale Histogramme Das Histogramm ist ein Vetor mehr, sondern ein Würfel Für ein RGB Bild hätten wir dann: N M h(r, g, b) = δ(i(i, j) r)* δ(i(i, j) g)* δ(i(i, j) b). N M i = j = Übung Aufgabe : Führe die Funtion imhist für die Beispielbilder ape.gif und ape6.gif aus. Wie unterscheiden sie sich? Wo würdest Du den Threshold für das Bild mit folgendem Histogramm setzen? Warum? /8/ Histogramme, 7 /8/ Histogramme, 8 Übung () Aufgabe : Schreibe selber eine Funtion, die das normierte Histogramm eines Grauwertbildes berechnet! Tipp: Nehme zunächst eine leine Matrix und überlege Dir wie das Histogramm von dieser aussieht Anmerung: Das Histogramm ist ein Vetor. Du annst es mit dem Befehl bar zeichnen. Teste Deine Funtion mit den Grauwertbildern im Ordner images Übung () Aufgabe : Schreibe eine Funtion, die ein dreidimensionales Histogramm berechnet. Teste Deine Funtion mit Farbbildern! Wie önnte man ein dreidimensionales Histogramm visualisieren? /8/ Histogramme, 9 /8/ Histogramme, Notizen Notizen () /8/ Histogramme, /8/ Histogramme,

3 Inhaltsbasierte Bildsuche Aufbau einer Suchmaschiene mit Histogrammen System BilderDB Anfragebild Universität Bremen, Aug. Histogramm DB Ähnlicheitsmaß Ausgabe /8/ Histogramme, Histogrammberechnung Wir haben es mit RGB Bildern zu tun Einfachster Vorschlag: Addiere R+G+B, um ein Grauwertbild zu erhalten. Berechne anschließend das Histogramm des Grauwertbildes Fortgeschrittener Vorschlag: Berechne das dreidimensionale Histogramm Mermal-DB Berechne für jedes Bild das Histogramm Bei Bildern ist eine Schleife hilfreich Du annst z.b. mit tic und toc messen wie lange die Berechnung dauert Speichere die Mermalsdatenban mit save mermaldb.mat mermaldb /8/ Histogramme, /8/ Histogramme, 6 Ähnlicheitsmaß Hier gibt es mehrere Möglicheiten: Histogramm-Intersection (empfohlen): d i= min( HO ( i), HO' ( i)) Eulidische Distanz: d i= ( H ( i) H '( i)) O O Graphische Ausgabe Nach der Ähnlicheitsberechnung erhalten wir eine Liste mit Bildnummern Zeichne die ersten Bilder mit imshow und subplot Das erste Bild in der Ähnlicheitsliste sollte immer das Anfragebild sein! Später lernen wir noch andere! /8/ Histogramme, 7 /8/ Histogramme, 8

4 Überblic-Evaluation Inhaltsbasierte Bildsuche Evaluation Universität Bremen, Aug. Wozu Evaluation? Wichtige Eigenschaften Basics: Bilddatenbanen Ground truth Evaluationsmethoden Anleitung zur Benutzung der Evaluationsfuntionen /8/ Histogramme, Wozu Evaluation? Welche Mermale sind generell gut? Welche Mermale sind für welche Bilder besonders geeignet? Kann man herausfinden warum? -> Mit diesem Wissen önnen wir unsere Programme verbessern! Wichtige Eigenschaften Messbareit Eine einzige Zahl als Ergebnis: = gut, = schlecht Einen Graphen als Ergebnis (ist schwer zu lesen, enthält aber mehr Informationen) Vergleichbareit Welches Suchsystem ist besser? Welche Parameter liefern gute Ergebnisse? Konstrution von lernfähigen Algorithmen /8/ Histogramme, /8/ Histogramme, Bilddatenbanen Anforderungen an eine Bilddatenban: Bilder für jeden frei benutzbar Benutzt von vielen anderen Forschungsgruppen zur Evaluation Verfügbare Bilddatenbanen: WANG: Bilder, Kategorien UW database: 9 Bilder, Anmerungen zu den Bildern, eine Klassen ZuBuD: Bilder von jedem der Häuser CalTech database: Grauwertbilder, bestimmt Objete (Motorräder,Flugzeuge,Gesichter) Ground truth Gibt an welche Bilder ähnlich sind Welche Definition von ähnlich soll man verwenden? Wenn sie (optisch) ähnlich aussehen? Wenn ihr Inhalt ähnlich ist? Wenn sie unter dieselbe abstrate Kategorie fallen? /8/ Histogramme, /8/ Histogramme,

5 Woher beommt man die Ground truth? Schon in DB enthalten (z.b. Aufteilung in Kategorien) Unterteilung in Gruppen durch Experten Simulation der Benutzer Diretes Fragen der Benutzer Schlüsselwörter zu jedem Bild Unsere Ground truth Zu 7 Bildern der WANG Datenban wurde eine Ground truth erstellt Bild.jpg Bild 676.jpg /8/ Histogramme, /8/ Histogramme, 6 Evaluationsmethoden Presicion-Recall Berechnung V {, }: Recall: n A R = A + C Relevanz des Douments mit Rang Fallout: Precision: B F = B + D Treffer: A = Vn Falscher Alarm: B = ( Vn) = A N N Misses: C = V A Correct Dissmisals: D = ( V ) B A A A B = = + /8/ Histogramme, 7 P n PR-Graph Beispiele PR-Graphen: gut nicht so gut /8/ Histogramme, 8 Hendri s Funtionen M-Files by Hendri Tessendorf ev_query_images, um die 7 Bilder der ground truth anzuzeigen: ev_my_functions, um den PR-Graphen für einen dieser Bilder zu zeichnen plot_my_pr_all_averaged, um den PR- Graphen für alle 7 Bilder zu zeichnen /8/ Histogramme, 9 Literatur Performance Evaluation in Content-Based Image Retrieval: Overview and Proposals 999 (H.Müller, W.Müller, D. McG. Squire, T. Pun) Classification Error Rate for Quantative Evaluation of Content-based Image Retrieval Systems (T. Deselaers, D. Keysers, H. Ney) A Performance Evaluation Protocol for Content-Based Image Retrieval Algorithms/Systems (Liu Wenyin, Zhong Su, Stan Li, Yan-Feng Sun, Hongjiang Zhang) IMAGE RETRIEVAL EVALUATION CBAIVL-98 (John R. Smith) /8/ Histogramme,

6 Inhaltsbasierte Bildsuche Co-occurrence Matrix Universität Bremen, Aug. Definition Co-occurrence Co-occurrence = räumliche Abhängigeit Genauer: Das Vorommen eines bestimmten Wertes im Zusammenhang mit einem bestimmten Abstand und einer bestimmten Richtung /8/ Histogramme, Co-occurrence Matrix normierte symmetrische Matrix Größe: n x n n = der größte Wert in der Matrix Richtung wird durch Winel θ festgelegt Wir betrachten Werte mit Abstand d Richtung und Abstand und haben Abstand d =. und haben Abstand d=. -8: Alle Punte mit Abstand d = vom mittleren Punt 8 degrees 7 6 degrees Winel θ 9 degrees degrees /8/ Histogramme, /8/ Histogramme, Beispiel für d = Übung degree #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) #(,) degree 9 degree degree Wie sehen die Cooccurrence Matrizen für die Richtungen θ=9 Grad und Abstand d= für die folgende Matrix aus? Schreibe eine m- Funtion cooc.m, die aus d für beliebige Matrizen die Cooccurrence Matrix für θ=9 (,,) Grad berechnet! /8/ Histogramme, /8/ Histogramme, 6