Research Collection. Semantic scene modeling and retrieval. Doctoral Thesis. ETH Library. Author(s): Vogel, Julia. Publication Date: 2004

Transkript

1 Research Collection Doctoral Thesis Semantic scene modeling and retrieval Author(s): Vogel, Julia Publication Date: 2004 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 DISS. ETH NO Semantic Scene Modeling and Retrieval A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZÜRICH for the degree of Doctor of Technical Sciences presented by JULIA VOGEL Dipl. Ing. Elektrotechnik, M.S. Electrical and Computer Engineering born November 23, 1973 Citizen of Germany Prof. accepted Prof. Dr. Bernt Schiele, on the recommendationof examiner Dr. Andrew Zisserman,co-examiner 2004

3 Abstract Semantics-based image retrieval has gained increasing interest in recent years. As an area in linguistics, semantics deals with the sense and the meaning of language. In the context of content-based image retrieval, the research goal is to access the meaning of images by naming or describing the most important image regions and their relationships. The topic of this dissertation is the semantic description, understanding, and mod eling of natural scenes. The primary objective is to develop a computational image representation that reduces the semantic gap between the image understanding of hu mans and the Computer. For humans, the most intuitive means of Communications about images is image description. Image semantics and image description are thus closely interconnected. We propose a semantic modeling of natural scenes that is based on the Classification of local semantic coneepts. Image regions are extracted on a regulär 10x10 grid. The resulting patches are classified into nine concept classes that subsume the main seman tic content of the database images. Images are represented through the frequency of occurrenceofthe semantic coneepts. This semantic modeling constitutes a compact, se mantic image representation that allows to describe or search for specific image content, or, on a higher level, to model the semantic content of natural scene categories. The semantic modeling has been intensivelystudied for categorization and retrieval of natural scenes. Depending on the Classification method and on the quality of the concept detectors, good to very good categorization and retrieval Performance has been obtained. In particular, it is shown that the semantic modeling leads to considerably better categorization and retrieval Performance comparedto directly employing low-level features. Nevertheless, the analysisofthe mis-categorized scenes reveals that the regulär semantic ambiguity of the database images demands rather for a typicality ranking of images than for hard-decision categorization. This hypothesis is supported in two psychophysical experiments. Humans are able to consistently categorize images, but the employed database consists to a large degree of images that can be assigned to several scene categories. However, the human participants were very consistent in ranking the database images according to their semantic typicality. It is shown visually and quantitatively, that the proposed semantic modeling is also well-suitedfor semantic ranking of images. In particular, the typicality transitionbetween two scene categories can be modeled. In addition, we propose a perceptually plausible distance measure that represents the most discriminant semantic coneepts of each scene category. The typicality ranking obtained with this distance measure correlates highly with the human rankings. Finally, this thesis discusses the problem of Performance evaluation in content-based image retrieval Systems. When searching for specific local semantic content, the retrieval results can be modeled Statistically. We develop closed-form expressions for the prediction of precision and recall in our vocabulary-supportedretrieval System. In addition, these expressions allow to optimize precision and recall by up to 60%.

4 Zusammenfassung Die inhaltsbasiertebildsuche befasst sich mit der Frage der inhaltlichen Ähnlichkeit von Bildern. Seit einigen Jahren besteht ein besonderes Interesse an Verfahren, die speziell semantische Informationen aus Bildern extrahieren. Die Semantik ist ein Teilgebiet der Linguistik und beschäftigt sich mit dem Sinn und der Bedeutung von Sprache. Auf Bilder übertragen ist das Ziel demnach, den Sinn und die Bedeutung von Bildern zu er fassen. Ein Schritt in diese Richtung ist die Benennung und Beschreibung der wichtigsten Teilregionen eines Bildes und deren Beziehungen. Diese Dissertation beschäftigt sich mit dem Bildverstehen, insbesondere mit der semantischen Beschreibung und dem Modellieren von Bildern. Ein Hauptziel ist die Entwicklung einer Bildrepräsentation, die den sogenannten "Semantic Gap", das ist der Unterschied im Bildverstehen des Menschen und des Computers, verkleinert. Während Bilder im Computer als eine Matrix von Pixelwerten dargestellt wird, ist für den Menschen die Beschreibung die intuitivste Form der Kommunikation über Bilder. Bildsemanü'/r und BWdbeschreibung sind daher eng verwandt. In dieser Arbeit wird eine semantische Modellierung von Bildern präsentiert, die auf der Klassifikation von lokalen semantischen Konzepten beruht. Bilder werden in ein regu läres Netz von 10x10 Bildregionen unterteilt und die entstehenden Bildsegmente als eines von neun semantischen Konzepten klassifiziert. Dabei decken die neun Konzeptklassen 99.5% des semantischen Inhalts der verwendeten Bilder ab. Anschliessend wird für jedes Bild die Häufigkeitsverteilung der semantischen Konzepte bestimmt. Bilder können mit Hilfer dieser sogenannten "Concept-Occurrence Vectors" sehr kompakt repräsentiert werden. Insbesondereerlaubt die Bildrepräsentation durch das semantische Modellieren, Bilder zu beschreiben, nach Bildern mit bestimmten semantischen Konzepten zu suchen oder gar den semantischen Inhalt von Szenenkategorien zu modellieren. Als Anwendungsgebiet für die vorgeschlagene Bildrepräsentation wurden die Bildkategorisierung und die Bildsuche von Naturaufnahmen getestet. Kategorisierungs- und Suchresultate sind gut bis sehr gut abhängig von der gewählten Klassifikationsmethode und der Güte der entsprechenden Konzeptdetektoren. Insbesonderewird gezeigt, dass sowohl Bildkategorisierung als auch BÜdsuche zu besseren Ergebnissen führen, wenn das semantische Modellieren eingesetzt wird statt Bildmerkmale direkt zu extrahieren. Dennoch zeigt die Analyse der falsch kategorisierten Aufnahmen, dass diese semantisch zweideutig sind und nicht fest einer Kategorie zugeordnet werden können. Aus diesem Grund scheint eine Sortierung von Bildern anhand ihres semantischen Inhalts sinnvoller. Diese Hypothese wird von zwei durchgeführten psychophysischen Experimenten un terstützt. Zwar sind die Teilnehmer in der Lage, Bilder in konsistenter Weise zu kategorisieren, jedoch zeigt sich, dass die verwendete Datenbank zu einem grossen Teil aus Bildern besteht, die mehreren Kategorienzugeordnet werden können. Die zweite Studie zeigt, dass die Teilnehmer ebenfalls sehr konsistent darin sind, die Bilder anhand ihrer semantischen Ähnlichkeit zu sortieren. Die vorgeschlagene Methode des semantischen Modellierens eignet sich sehr gut für die semantische Sortierung von Aussenaufnahmen. Dies wird sowohl visuell als auch in

5 - psychophysisch die IV quantitativ gezeigt. Insbesondere können die Typikalitätsübergängezwischen zwei Bild kategorien modelliert werden, Darüberhinaus wird ein Distanzmass vorgeschlagen, das - plausibel diskriminierenden Konzepte jeder Kategorie lernt. Die Ähnlichkeitssortierung, die mit diesem Mass erreicht wird, korreliert in hohem Masse mit der Menschen. In dieser Dissertation wird ausserdem die Frage der Performanzevalutationvon inhalts der Sortierung basierten Bildsuchsystemen erörtert. Wenn die semantische Modellierungfür die Suche nach bestimmtem Bildinhaltverwendet wird, können die Suchresultate statistisch model liert werden. Anhand der statistischen Modellierungkönnen Präzision und Recall unserer vokabular-gestützten Bildsuche in geschlossener Form dargestellt werden. Dies erlaubt die Vorhersage von Präzision und Recall vor der tatsächlichen Suche. Ausserdemkönnen in einer iterativen Prozedur interne Parameter zur Optimierung von Präzision und Recall angepasst werden. Dadurch steigen diese Werte um bis zu 60%.