Image Retrieval Application Hilfe

Transkript

1 Image Retrieval Application Hilfe Version 0.6 (DEMO) 2015 Fraunhofer IOSB, Fraunhoferstraße 1, Karlsruhe, Germany Kontakt: EINFÜHRUNG Das Fraunhofer-Institut IOSB hat beginnend mit Arbeiten im Rahmen des EU-Forschungsprojekts FAST and efficient international disaster victim IDentification (FASTID) ein Softwaremodul für die inhaltsbasierte Bildsuche in Datenbanken entwickelt. Das Ziel der Software ist es, zu einem beliebigen Eingabebild in einer Bilddatenbank diejenigen Bilder zu finden, auf denen ebenfalls das auf dem Eingabebild abgebildete Objekt dargestellt ist. SYSTEMANFORDERUNGEN Betriebssystem: 64 Bit Windows (Windows XP, Vista, 7, 8, 8.1, 10) Arbeitsspeicher: ca. 2.5 GB je Bilder. Festplattenspeicher: ca. 1 GB je Bilder benötigt. EINSCHRÄNKUNGEN DER DEMOVERSION Die einzige Einschränkung dieser Demoversion besteht darin, dass beim Hinzufügen von Bildern zur Datenbank nur jeweils ca. 90% der ausgewählten Bilder verarbeitet werden. Für die kommerzielle Verwendung der Software muss die Vollversion erworben werden. INSTALLATION / DEINSTALLATION Die Software verfügt über eine Installationsroutine. Bei der Installation sollte ein Verzeichnis gewählt werden, in dem Schreibzugriff für die Software besteht, da die Bilddatenbank in deren Unterverzeichnissen gespeichert wird. Eine gute Wahl dafür ist beispielsweise das vorgegebene Verzeichnis C:\IOSB Image Retrieval. Das Verzeichnis sollte im späteren Verlauf nicht mehr geändert werden daher sollte im Zweifelsfall ein Ordner auf einem Laufwerk gewählt werden, das noch genügend Platz für die spätere umfangreiche Datenbank bietet. Deinstallation: Im Startmenü befindet sich ein entsprechender Eintrag zur Deinstallation. Alternativ kann die Software über Systemsteuerung Software deinstalliert werden. FUNKTIONEN Die Funktionalität ist in drei Schritte unterteilt. Zunächst müssen diejenigen Bilder ausgewählt werden in welchen später nach ähnlichen Bildern gesucht werden soll. Aus den Bildern wird dann im zweiten Schritt die eigentliche Bilddatenbank erstellt. Im dritten Schritt kann die Bilddatenbank dann mit Anfragebildern durchsucht werden.

2 A. BILDER HINZUFÜGEN Zur Auswahl der Bilder aus denen die Datenbank erstellt werden soll, stehen zwei Möglichkeiten zur Verfügung: Damit lassen sich einzelne oder mehrere Bilder in auswählen. Im sich öffnenden Dialog lassen sich mehrere Bilder mit gedrückter Strg. bzw. Umschalt -Taste auswählen. Falls ganze Verzeichnisse mit Bildern hinzugefügt werden sollen kann diese Funktion verwendet werden. Nach dem Auswählen des Verzeichnisses erscheint eine Rückfrage, ob auch ggf. vorhandene Bilder in allen Unterverzeichnissen ausgewählt werden sollen (rekursiv). Beide Varianten können beliebig oft gewählt werden um die gewünschten Bilder auszuwählen. Die ausgewählten Bilder werden in diesem Schritt geladen, auf eine maximale Größe von 640x640 Pixel verkleinert und im Unterverzeichnis DBImages - fortlaufend nummeriert für die weitere Verarbeitung abgespeichert. Die ausgewählten Ursprungsbilder werden also durch die Software nicht verändert und nach dem Hinzufügen müssen diese auch nicht mehr zwingend verfügbar sein. Bilder, die bereits hinzugefügt wurden, werden nicht mehr berücksichtigt (Erkennung basierend auf dem Dateiname + Pfad), d.h. eine große Bildersammlung kann wiederholt hinzugefügt werden wobei jedes Mal nur die neuen Bilder zur Datenbank hinzugefügt werden. Durch den Knopf lässt sich das Hinzufügen von Bildern unterbrechen. Wenn später dann nochmal dieselben Dateien oder Verzeichnisse hinzugefügt werden, werden entsprechend die noch verbleibenden Bilder verarbeitet. B. DATENBANK ERSTELLEN Wenn mindestens 25 Bilder ausgewählt wurden kann die Datenbank erstellt werden. Dabei werden zunächst Merkmale aus den Bildern extrahiert und anschließend in die Datenbank eingetragen. Die Erstellung der Datenbank kann je nach Anzahl der Bilder und Leistungsfähigkeit des Rechners einige Minuten bis Stunden dauern. Der Fortschritt wird durch den Statusbalken links unten im Programm dargestellt. Falls das Programm während dieses Schrittes abbricht, überprüfen Sie bitte die Systemanforderungen bezgl. des Speicherbedarfs und die Belegung des Arbeitsspeichers beim Zeitpunkt des Absturzes. Durch den Knopf lässt sich das Erstellen der Datenbank unterbrechen allerdings nur im ersten Teilschritt ( Erzeuge Merkmalsdateien ). Das Erstellen der Datenbank kann dann später fortgeführt werden. C. DATENBANK DURCHSUCHEN

3 Wenn die Datenbank erfolgreich erstellt wurde, ist diese Schaltfläche aktiviert. Nach einem Klick darauf öffnet sich ein Dialogfenster, mit dem ein Anfragebild ausgewählt werden kann. Alternativ kann das Bild auch per Drag-und-Drop vorsichtig in das Programm (in den Hintergrundbereich) gezogen werden. Aus dem ausgewählten Bild werden anschließend Bildmerkmale berechnet. Mit diesen wird dann die Bilddatenbank nach ähnlichen Bildern durchsucht. Das Anfragebild wird links unten dargestellt und im rechten Bereich des Programms werden die ähnlichsten Bilder in der Datenbank dargestellt. Bei jedem Bild aus der Datenbank wird ein Ähnlichkeitswert angezeigt, der umso höher ist, je mehr gemeinsame Strukturen das Bild mit dem Anfragebild aufweist. Im separaten Registerreiter Ähnlichkeitswerte werden zu den Ergebnisbildern die jeweiligen Ähnlichkeiten und ursprünglichen Dateinamen in einer Liste dargestellt ebenfalls absteigend sortiert nach Ähnlichkeit. Durch Anklicken der Ergebnisbilder wird jeweils ein eigenes Fenster angezeigt mit dem direkten Vergleich von Anfragebild und des jeweiligen Ergebnisbildes. Bei einem Klick mit gedrückter Strg.-Taste wird der Originaldateiname in die Zwischenablage kopiert. Bei einem Klick mit gedrückter Alt-Taste wird das Originalbild geöffnet (mit dem in Windows standardmäßig vorgesehenen Anzeigeprogramm). Hinweis: Falls als Anfragebild eines aus der Datenbank genommen wird, wird letzteres bei der Ergebnisliste nicht berücksichtigt, da es sich ja um ein identisches Bild handelt. Geprüft wird dabei aber nur auf Gleichheit der Dateinamen und pfade, d.h. wenn ein Datenbankbild an eine andere Stelle kopiert wird und diese Kopie dann als Anfragebild genutzt wird, dann erscheint das Datenbankbild in der Ergebnisliste. Die Funktion berücksichtigt dabei sowohl die originalen Dateinamen als auch die beim Indexieren erstellten Kopien im Unterordner \DBImages. 2. BATCH QUERY MODUS Mit der Funktion Batch Query im Menü Optionen ist es möglich, mehrere Anfragebilder auf einmal auszuwählen. Die im sich öffnenden Dialog ausgewählten Dateien werden dabei nacheinander mit der Datenbank verglichen. Die Ergebnisse werden in allen drei Registerreitern angezeigt und außerdem im Unterordner \api in drei Arten abgespeichert: für jedes Anfragebild eine Datei *result.jpg mit den ähnlichsten Bilder als Übersicht. Der Dateiname dieser Zusammenstellung beinhaltet dabei bereits die Ähnlichkeit, sodass z.b. im Explorer mit der Sortierung anhand des Dateinamens automatisch nach Ähnlichkeit sortiert werden kann. für jedes Anfragebild eine Datei *result.txt mit einer Liste der ähnlichsten Bilder hinsichtlich ihrer jeweiligen Ähnlichkeiten und Dateinamen. eine Gesamtergebnisdatei Batchquery_Results_<timestamp>.txt mit einer Liste aller Anfragebilder und den Ähnlichkeitswerten der jeweils ähnlichsten Bilder. In dieser sortierten Liste lässt sich also auf einen Blick erkennen, für welche der ausgewählten Anfragebilder es ähnliche Bilder in der Datenbank gibt. Nach dem Ende der Operation wird der Unterordner mit den Ergebnisdateien automatisch im Explorer geöffnet. Hinweis: Falls als Anfragebild eines aus der Datenbank genommen wird, wird letzteres bei der Ergebnisliste nicht berücksichtigt, da es sich ja um ein identisches Bild handelt. Geprüft wird dabei aber nur auf Gleichheit der Dateinamen und pfade, d.h. wenn ein Datenbankbild an eine andere Stelle kopiert wird und diese Kopie dann als Anfragebild genutzt wird, dann erscheint das Datenbankbild in der Ergebnisliste. Dies ermöglicht es, in einer Bildersammlung ähnliche Bilder zu finden dazu einfach eine Datenbank mit der Bildersammlung erstellen und im Batch Query Modus nochmal dieselbe Bildermenge als Anfragebilder auswählen. Dabei ist dann sichergestellt, dass jedes Anfragebild nicht sich selbst als ähnlichstes Bild wiederfindet. Die Funktion berücksichtigt dabei sowohl die originalen Dateinamen als auch die beim Indexieren erstellten Kopien im Unterordner \DBImages.

4 3. OPTIONEN Im Programm-Menü Options finden sich bezüglich der Suchoptionen zwei standardmäßig aktivierte Optionen mit den folgenden Bedeutungen: Reranking: Nach dem initialen, goben Suchvorgang, der alle Bilder der Datenbank berücksichtigt, werden beim Reranking die ersten (ähnlichsten) 40 Bilder nochmals mit einem genaueren Verfahren auf ihre Ähnlichkeit zum Anfragebild analysiert. Das sorgt in der Regel dafür, dass die ähnlichsten Bilder direkt auf den ersten Rängen der danach erneut sortierten Ergebnisliste erscheinen. Query Expansion: Falls die Option Reranking aktiviert ist, geht die Option Query Expansion noch einen Schritt weiter und startet eine weitere Suchanfrage mit Merkmalen der ähnlichsten Bilder der initialen Suchanfrage. Das hilft oft, unterschiedliche Ansichten eines Objektes zu finden, die mit dem originalen Anfragebild nicht sehr viele Gemeinsamkeiten aufweisen, aber dennoch damit in Zusammenhang stehen. 4. KOMMANDOZEILEN-SCHNITTSTELLE (API) Zur einfacheren Automatisierung von Suchanfragen verfügt das Programm über eine Kommandozeilen-Schnittstelle. Hinweis: Bei allen Befehlen der Kommandozeilen-Schnittstelle muss die Kommandozeile sich bereits im Verzeichnis befinden, in dem die ausführbare Programmdatei liegt. Folgende Funktionen stehen bereit: C:\ImgRetr>ImgRetrieval.exe adddir "C:\private\Urlaub\Motorrad Alpen" Fügt alle Bilder des angegebenen Verzeichnisses (und aller Unterverzeichnisse) zur Datenbank hinzu. Pfade mit Leerzeichen wie in diesem Beispiel müssen in Anführungszeichen eingeschlossen sein. C:\ImgRetr>ImgRetrieval.exe addfile "C:\bilddatenbank\a4cd51f10" Fügt eine einzelne Datei zur Datenbank hinzu. In diesem Beispiel ist es eine JPG Datei ohne Dateiendung, per Dateiheader wird dann der Typ analysiert. Natürlich funktionieren auch Dateien mit der passenden Endung. C:\ImgRetr>ImgRetrieval.exe createindex Startet die eigentliche Erstellung der Datenbank nachdem mit den obigen beiden Befehlen Bilder hinzugefügt wurden. Dieser Schritt kann bei großen Bildsammlungen mehrere Stunden dauern wobei alle verfügbaren CPU-Kerne genutzt werden. C:\ImgRetr>ImgRetrieval.exe query "C:\Users\man\Desktop\Testbild.jpg" Startet eine Datenbank-Anfrage mit dem angegebenen Bild. Die Ergebnisübersicht (die ähnlichsten 40 Bilder) werden wie im Batch Query Modus - in einem Übersichtsbild mit dem Namen *result.jpg im Unterverzeichnis api abgelegt. Zusätzlich wird dort eine Ergebnisdatei *result.txt angelegt mit einer Liste der ähnlichsten Bilder hinsichtlich ihrer jeweiligen Ähnlichkeiten und Dateinamen. C:\ImgRetr>ImgRetrieval.exe watchquery Startet das Programm im sog. Watchmodus. Dabei wird das Unterverzeichnis \watchquery laufend überprüft und falls sich neue Bilddateien darin befinden, werden mit diesen entsprechende Datenbank-Anfragen durchgeführt. Die Ergebnisübersicht (die ähnlichsten 40 Bilder) werden wie im Batch Query Modus - in einem Übersichtsbild mit dem Namen *result.jpg im Unterverzeichnis api abgelegt. Zusätzlich wird dort eine Ergebnisdatei *result.txt

5 angelegt mit einer Liste der ähnlichsten Bilder hinsichtlich ihrer jeweiligen Ähnlichkeiten und Dateinamen. Nach einer Anfrage wird das jeweilige Anfragebild im Unterverzeichnis \watchquery gelöscht. Tipp: Falls beim laufenden Betrieb neue Bilder in das Unterverzeichnis kopiert werden, sollten diese zunächst z.b. mit der Endung.tmp kopiert werden und anschließend in die Endung.jpg umbenannt werden, da es anderenfalls passieren kann, dass die Software das Bild bereits während des Kopiervorgangs zu öffnen versucht. C:\ImgRetr>ImgRetrieval.exe resetindex Löscht die Datenbank und alle ihre Bilder (aber nicht die Originalbilder; das Programm erstellt sich beim Hinzufügen von Bildern immer Kopien der Bilder und nur diese werden wieder gelöscht). 5. WEITERE HINWEISE UND TIPPS: 1. Auflösung der Bilder: sowohl die Bilder, die in die Datenbank aufgenommen werden, als auch die Anfragebilder werden in einer Vorverarbeitung nötigenfalls automatisch auf eine maximale Seitenlänge von 700 Pixel beschränkt, da hochaufgelöste Bilder in der Regel zu feine Strukturen haben, die für die Wiedererkennung nicht relevant sind. 2. Unterschiedliche Größe der Objekte: ein gewisser Größenunterschied ist für die Erkennung unproblematisch. Wenn zwei ähnliche Bilder aber zu sehr in der Größe voneinander abweichen, werden irgendwann unterschiedlich feine Strukturen miteinander verglichen, was die Erkennungsleitung beeinträchtigt. Ein Beispiel: zwei Tattoo-Bilder, von denen eines in normaler Größe überwiegend die Konturen des Tattoos beinhaltet (also das eigentliche Objekt von Interesse) wohingegen das andere Bild eine extreme Nahaufnahme darstellt, in dem dann die Hautporen, Haare usw. sichtbar werden, die aber nicht im anderen Bild sichtbar sind. 3. Störende Hintergrund-Objekte in den Bildern: Das Suchverfahren verarbeitet immer alle Regionen des Bildes und wird daher durch ähnliche, gemeinsam auftauchende Hintergrundobjekte abgelenkt. Im Bereich Forensik sind dies z.b. Messlinien, Lineale, Zollstöcke, die für die spätere Größeneinschätzung bei der Aufnahme der Szene hinzugefügt wurden. Wenn also im Anfragebild ebenso ein Lineal im Hintergrund enthalten ist, sind oft alle Bilder mit Linealen ähnlicher als die eigentlichen betroffenen Objekte selbst. Im privaten Bereich betrifft dies oft Zeitstempel in Bildern. So sind in alten Urlaubsbildern häufig Datumsinformationen von der Kamera ins Bild gezeichnet worden, die das Suchverfahren ablenken können. Eine mögliche Lösung besteht darin, manuell in allen (oder zumindest in den Anfragebildern) die betreffenden Hintergrundobjektstrukturen zu entfernen oder die Bilder geeignet zu beschneiden bevor sie als Anfragebilder verwendet werden. 4. Gedrehte Objekte wiedererkennen: Eine Rotation der Objekte um die Achse vom Objekt zur Kamera (bzw. die Drehung der Kamera selbst) stellen in der Regel kein Problem dar. Wenn die Objekte sich aber entlang anderer Achsen drehen also sozusagen das Objekt aus einer anderen Perspektive sichtbar sind, wird die Erkennungsleistung zunehmend eingeschränkt je unterschiedlicher die Perspektive ist. 5. Graustufenbilder vs. Farbbilder: Die Software arbeitet hauptsächlich mit Kanteninformationen im Bild und weniger mit Farbinformationen, daher können Objekte in Farbbildern auch gefunden werden wenn die Anfragebilder in Graustufen vorliegen und umgekehrt. Anders sieht es aber bei invertiertem Kontrast aus: wenn die Hell-Dunkel-Aufteilung des Objektes vertauscht wird, sind die Bilder für die Software nicht mehr ähnlich. Bei Suchanfragen im Bereich Werbelogos kann es also sinnvoll sein, sowohl eine Anfrage mit dunklem Logo auf hellem Hintergrund durchzuführen als auch eine mit hellem Logo auf dunklem Hintergrund um beide Varianten zu finden.