The Earth Mover s Distance

Transkript

1 The Earth Mover s Distance Till Bovermann Technische Fakultät Universität Bielefeld BILDDATENBANKEN Seminar SS 03 Tanja Kämpfe Zusammenfassung Diese Ausarbeitung beschäftigt sich mit der Earth Mover s Distance als einem Abstandsmaß auf Signaturen zur Suche in Bilddatenbanken. Zur Veranschaulichung wird die Multidimensionale Skalierungs Technik Sammon Mapping eingeführt und gezeigt, dass eine Kombination beider Verfahren gute Ergebnisse liefert. 1 Motivation Große Bildbestände nach ähnlichen Bildern zu durchforsten ist für einen menschlichen Experten langweilig und zeitaufwändig. Teile dieser Aufgabe können dem sog. Automatic Image Database Retrieval überlassen werden. Hier werden unter anderem automatische Verfahren zum Auffinden von ähnlichen Bildern benötigt, um eine Suchanfrage (beispielsweise gegeben durch das Bild eines Hürdenläufers, Abb. 1) mit den Bildern in der Datenbank zu vergleichen. Die ähnlichsten Bilder werden dann dem Nutzer des Systems als Ergebnis seiner Suchanfrage vorgelegt. Im folgenden Abschnitt wird zunächst eine grobe Einführung in die Problematik des maschinellen Vergleichs von Bildern gegeben. Abschnitt 3 führt Histogramme als probates Mittel zur Darstellung von Merkmalen eines Bildes ein, welche jedoch einige Schwächen haben, die in Abschnitt 4 durch die Einführung von Signaturen behoben werden. Abschnitt 5 führt auf diesen Signaturen die Earth Mover s Distance ein, welche dann in Abschnitt 6 verwendet wird. Abschnitt 7 schließlich zeigt Ergebnisse, welche mit einem Testverfahren erzeugt wurden. Diese Arbeit beruht zu großen Teilen auf den Veröffentlichungen von Y. Rubner, C. Tomasi, und L. J. Guibas. Für nähere Informationen siehe daher [RGT97] und [RTG00] 1. 1 erwähnenswert ist auch die Internetseite rubner/emd/default.htm 1

2 2 Ähnlichkeit von Bildern Die Ähnlichkeit zweier Bilder lässt sich nur schwer in einen Formalismus pressen; naive Ansätze wie der euklidische Abstand zweier Bildvektoren sind nach menschlichen Kriterien ungeeignet. Hier gilt es andere Verfahren zu entwickeln, für die der Begriff der Ähnlichkeit zweier Bilder erst differenziert werden muss. Abbildung 1: Ähnlichkeiten zwischen Bildern Grundsätzlich unterscheidet man zwischen semantischer, und äußerer Ähnlichkeit zweier Bilder. Während erstere sich auf den Bildinhalt (beispielsweise den Hürdenläufer auf Abb. 1) bezieht, ist letztere eher auf technische Aspekte des Bildes ausgerichtet, also näher an der physikalischen Form des Bildes. Der Übergang zwischen beiden ist, wie man leicht einsieht, fliessend. Da semantische Ähnlichkeit mit heutigem Wissensstand nicht zu erreichen ist, entwickelt man die äußere Ähnlichkeit weiter, um mit diesem Ansatz allmählich an die semantische Ähnlichkeit zu reichen. Um dabei gute Resultate zu erzielen, werden aus den Bildern Merkmale extrahiert, welche deren Eigenschaften so gewählt sind, dass sie wichtige Komponenten eines Bildes, wie z.b. Farb oder Texturinformation darstellen. 3 Histogramme Als Datenstruktur für die im vorherigen Abschnitt dargestellten Merkmale bedient man sich häufig sog. multidimensionaler Histogramme: {h i R+}, i Z d (1) Sie lassen sich interpretieren als diskrete Verteilung von Datenpunkten im jeweiligen Merkmalsraum. Abbildung 2 zeigt eine qualitative Darstellung eines solchen zweidimensionalen Histogramms. Mögliche Histogramme sind z.b. Graustufen oder RGB Histogramme, die in den Abbildungen 3 und 4 exemplarisch vorgestellt werden. 2

3 Abbildung 2: Qualitative Darstellung eines zweidimensionalen Histogramms. Die Säulen repräsentieren die h i, während die Felder, in denen sie stehen die für die berechneten Abschnitte relevanten Flächen kennzeichnen. Abbildung 3: Bild eines Mondausschnittes und zugehöriges Graustufenhistogramm. Für nähere Informationen s. Tabelle 1. 3

4 Graustufenhistogramm RGB-Histogramm Index i ? Dimension d 1 3 Anzahl Pixel mit Graustufe i h i s. Abbildungen Tabelle 1: Details der Histogrammbeispiele aus Abb.3 und 4 Abbildung 4: Bild von Franz Marc: Blue Horses und zugehöriges RGB- Histogramm (Paul Heckbert, 1983). Für nähere Informationen s. Tabelle 1. 4

5 3.1 Abstandsmaße in Histogrammen Abstandsmaße, die auf Histogrammen definiert sind, lassen sich in zwei Kategorien unterteilen: Während Bin-by-Bin Maße nur den Vergleich zwischen Feldern gleichen Indizes berücksichtigen, werden in Cross-Bin Verfahren auch Nachbarfelder bis hin zu allen Feldern für den Abstand eines jeden Bin s mit einbezogen(vgl. Abb.5). Abbildung 5: Qualitativer Unterschied von Bin-by-Bin und cross Bin Maßen Exemplarisch seien hier jeweils ein Bin-by-Bin und ein Cross-Bin Maß aufgeführt. Seien H, K Histogramme. Minkowsky ( ) d Lr (H, K) = h i k i r Hier ist leicht zu sehen, dass nur Vergleiche gleichen Indizes den Abstand beeinflussen. i (2) quadratische Form d A (H, K) = (h k) τ A (h k), (3) mit h, k Vektoren, die alle Einträge in H, K auflisten. Die Cross-Bin Information steckt hier in der Matrix A = {a ij = 1 d ij /d m ax d ij = i j } 4 Signaturen Eine unangenehme Eigenschaft von Histogrammen ist es, den d dimensionalen Merkmalsraum in regelmäßige Stücke aufzuteilen. Dadurch kommt es bei nicht-trivialen Datenverteilungen zu mindestens einem der folgenden Probleme: 5

6 Bei einer feinen Unterteilung des Raumes wird der Anteil von in eine Zelle fallenden Datenpunkte sehr klein; Dadurch entstehen Regionen, in denen keine Zelle einen nennenswerten Eintrag erhält (sog. sparse Regionen). Obwohl diese uninteressant für die weitere Verarbeitung sind, da sie keinerlei Information enthalten, müssen sie wie alle anderen Regionen vollständig untersucht werden. Unterteilt man dagegen den Raum in wenige große Parzellen, besteht die Gefahr, dass viele informationstragende Teilgebiete zu einem großen zusammengefasst werden. Informationen über ihren Inhalt gehen dadurch verloren. Eine Lösung dieses Problems besteht darin, den Raum nicht a priori in regelmäßige Teilräume zu unterteilen, sondern die Parzellierung dynamisch an die jeweilige Datenverteilung anzupassen, so dass interessante Gebiete mit viel Information kleinteiliger, Gebiete mit wenig Information grober repräsentiert werden. Hierzu bieten sich verschiedene Clusterverfahren an, die z.b. in [Rip96] beispielhaft aufgeführt sind. Zur Repräsentation dieser Daten muss die Datenstruktur für jede Parzelle um ihren Mittelpunkt erweitert werden. Die so entstehende Menge S = { s j = (m j, w mj ) } j S (4) heißt dann Signatur, wobei m j den Schwerpunkt des (Merkmals)Clusters, und w mj den Anteil der Pixel, die zu Cluster j gehören bezeichnet. Daraus ergibt sich sofort, dass die Menge der Histogramme H als echte Teilmenge der Menge der Signaturen S betrachtet werden kann, wenn die Histogrammelemente um ihre jeweilige Position erweitert werden. 4.1 Abstandsmaße in Signaturen Wie auch auf Histogrammen, können auf Signaturen Abstandsmaße definiert werden. Ein solches die sogenannte Earth Mover s Distance wird im folgenden Abschnitt vorgestellt. 5 Earth Mover s Distance Die Earth Mover s Distance (kurz EMD) ist ein durch das hinlänglich bekannte Transportproblem motiviertes Abstandsmaß auf Signaturen. Es wird angenommen, dass die zwei Signaturen P = {(p 1, w p1 ),... (p m, w pm )} und Q = {(q 1, w q1 ),... (q n, w qn )}, deren Abstand gemessen werden soll, Größen eines Erdbewegungsvorganges repräsentieren, wobei P die Position der Hügel und deren Volumen, Q dagegen die Position der Löcher in die die Erde gefüllt werden soll darstellen. Das Problem besteht darin, die vorhandene Erde möglichst 6

7 Abbildung 6: Qualitative Darstellung einer zweidimensionalen Signatur. Die Säulen repräsentieren die w mj, ihre Position im Raum ist durch m j festgelegt. Die Felder bezeichnen die für die Berechnung relevanten Flächen. Man beachte die Verwandschaft dieser Struktur zum Histogramm (vgl.abb. 1). effektiv auf die einzelnen Löcher zu verteilen, so dass eine Ebene entsteht (siehe Abb. 7). Der Aufwand wird hierbei durch transportierte Masse pro Weg gemessen. Formalisiert man das Problem, so ergibt sich folgendes lineare Optimierungsproblem, welches beispielsweise mit Hilfe des Simplexalgorithmus gelößt werden kann 2 : Sei P, Q Signaturen D = [d ij ] Distanzmatrix der Signaturelemente F Arbeit Minimiere bzgl. F: E(P, Q, D) = i,j d ij f ij (5) 2 näheres s. Vorlesung Optimierungsmethoden der Informatik 7

8 Abbildung 7: Bei der EMD soll die Signatur P, dargestellt als Erdhügel möglichst effizient in Q überführt werden. unter Nebenbedingungen f ij 0 (6) f ij w pi (7) j f ij w qj (8) i f ij i,j = min i w pi, j w qj. (9) (6) stellt dabei sicher, dass nur Erde von P nach Q bewegt wird, (7) und (8) dass nur soviel Erde bewegt wird, wie vorhanden ist. (9) schließlich verlangt, dass alle vorhandene Erde wirklich verschoben wird. Der Wert der letzten Bedingung wird auch total flow genannt. Die EMD ist dann definiert als ( ) 1 EMD(P, Q) = i,j f d ij f ij (10) ij Der zu E zusätzlich hinzugekommende Faktor dient der Normierung, damit auch Signaturen unterschiedlicher Größe miteinander verglichen werden können. Besitzen P und Q die gleiche Anzahl von Elementen, genügt die EMD den Eigenschaften einer Metrik. 3 3 Definition z.b. in [BSMM00] i,j 8

9 6 Anwendung Eine Anwendung des Abstandsmaßes besteht darin, die berechneten Abstände eines Datensatzes im möglicherweise hochdimensionalen Merkmalsraum auf einen zwei bzw. dreidimensionalen Bildraum abzubilden, um ihn dann visualisieren zu können. Hierzu bieten sich Verfahren aus dem Bereich des multidimensionalen Scalierens (kurz MDS) an. Nachfolgend wird ein solches Standartverfahren an die EMD angepasst, und Bildbeispiele gezeigt. 6.1 Sammon Mapping Um eine möglichst abstandstreue Dimensionsreduktion eines hochdimensionalen Datensatzes zu finden, versucht man beim Sammon Mapping die Summe der quadratischen Abstände zwischen den Abständen von Elementen des Definitions und Zielraumes möglichst klein zu halten. Es wird also eine Funktion gesucht, welche den quadratischen Abstand f : S d R k, k d (11) E({y i }) = i,j (D ij d ij ) 2 D ij, (12) D ij = EMD(P, Q) d ij = f(p ) f(q) 2 minimiert. Die unterschiedlichen Abstandsmaße sind hier so gewählt, dass das für das jeweilige Problem beste verwendet wird; für den Abstand zwischen den Signaturen also die intuitive EMD, für die visuelle Darstellung der euklidsche (L 2 )Abstand. 7 Ergebnisse Um vergleichbare Ergebnisse zu erhalten, muss zunächst ein geeignetes Verfahren zur Gewinnung von Queries und zugehörigen Klassen generiert werden. Dazu werden aus einer Bilder enthaltenen Datenbank 94 zufällig ausgewählt, welche jeweils eine Klasse repräsentieren. Aus jedem Bild werden dann durch wahlloses Ziehen einer Teilmenge der Pixel 16 Queries erstellt, welche wiederum durch eine Merkmalsextraktion in Signaturen umgewandelt werden. Dadurch entstehen 1504 Query Signaturen. Sie werden mittels EMD mit den Bildern aus der Datenbank verglichen. Dadurch entsteht ein Nearest Neighbour Klassifikator. 9

10 Abbildung 8: Precision-Recall Diagramm des im Text beschriebenen Verfahrens. Im in [RTG00] beschriebenen Experiment wurde ein Farbinformationsmerkmal ermittelt. Die hierbei ermittelten Ergebnisse sind in Abbildung 8 als Precision/Recall Werte im Vergleich zu anderen Verfahren dargestellt. Ausserdem sind in den Abbildungen 9 und 10 exemplarische Ergebnisse zweier Datenbankanfragen, die mit dem oben beschriebenen Verfahren auf zwei Dimensionen abgebildet wurden dargestellt. Interessant ist hier der Farbverlauf der Bilder, die in Abbildung 9 zu sehen sind, aber auch die Clusterung der kleineren Datenmenge in Abbildung 10. Wenn der Nutzer weiß, welches Merkmal verwendet wurde, kann er die Anordnung der Bilder sehr gut nachvollziehen. A Precision, Recall Die Standardmasse für Information Retrieval sind Precision und Recall. Angenommen, dass: R r Menge der Bilder, die das System auf eine spezifische (13) Anfrage hin zurückliefert, R t Menge der für eine Anfrage relevanten Bilder, (14) R r t Menge der zurückgelieferten, relevanten Bilder (15) 10

11 Abbildung 9: Durch das im Text beschriebene Verfahren berechnete Karte von 500 Bildern. Man beachte den Farbverlauf der Bilder von links unten nach rechts oben. Abbildung 10: Durch das im Text beschriebene Verfahren berechnete Karte von 10 durch eine Suchanfrage nach Bildern mit 20% Blau und 80% Don tcare Anteil. Es entsteht eine deutliche Clusterung von Bildern mit ähnlichen Motiven. 11

12 sind. Dann sind Precision und Recall folgendermaßen definiert: 4 Literatur precision = R r t R r (16) recall = R r t R t (17) [Bis95] C. M. Bishop. Neural networks for pattern recognition. Oxford, New York: Clarendon Press; Oxford University Press, [BSMM00] I. N. Bronstein, K. A. Semendjajew, G. Musiol, and H. Mühlig. Taschenbuch der Mathematik. 5. Verlag Harry Deutsch, ISBN [RGT97] [Rip96] [RTG00] Y. Rubner, L. J. Guibas, and C. Tomasi. The earth mover s distance, multi-dimensional scaling, and color-based image retrieval. In Proc. of the APRA Image Understanding Workshop, pages , May S. Ripley. Pattern Recognition and Neural Networks. Cambridge University Press, ISBN: Y. Rubner, C. Tomasi, and L. J. Guibas. The earth mover s distance as a metric for image retrieval. International Journal of Computer Vision, 40(2):99 121, aus: 12