Erweiterbare objekterkennungsbasierte automatische Annotation von Bildern

Transkript

1 Erweiterbare objekterkennungsbasierte automatische Annotation von Bildern Der Technischen Fakultät der Universität Erlangen-Nürnberg zur Erlangung des Grades D O K T O R-INGENIEUR vorgelegt von Robert Nagy Erlangen 2012

2 Als Dissertation genehmigt von der Technischen Fakultät der Universität Erlangen-Nürnberg Tag der Einreichung: Tag der Promotion: Dekan: Univ.-Prof. Dr.-Ing. habil. Marion Merklein Berichterstatter: Univ.-Prof. Dr.-Ing. habil. Klaus Meyer-Wegener Univ.-Prof. Dr. (ENS Lyon) Harald Kosch

3 Erklärung zur Selbständigkeit Ich versichere, dass ich die Arbeit ohne fremde Hilfe und ohne Benutzung anderer als der angegebenen Quellen angefertigt habe und dass diese Arbeit in gleicher oder ähnlicher Form noch keiner anderen Prüfungsbehörde vorgelegen hat und von dieser als Teil einer Prüfungsleistung angenommen wurde. Alle Ausführungen, die wörtlich oder sinngemäß übernommen wurden, sind als solche gekennzeichnet. Der Universität Erlangen-Nürnberg, vertreten durch den Lehrstuhl für Informatik 6 (Datenmanagement), wird für Zwecke der Forschung und Lehre ein einfaches, kostenloses, zeitlich und örtlich unbeschränktes Nutzungsrecht an den Arbeitsergebnissen der Dissertation einschließlich etwaiger Schutzrechte und Urheberrechte eingeräumt. Erlangen, den (Robert Nagy)

4

5 Kurzfassung Die Flut an digitalen Bildern nimmt Jahr für Jahr stetig zu. Nach einer aktuellen Schätzung werden jährlich 50 Milliarden digitale Fotoaufnahmen erstellt. Um spezifische Bilder auch nur in einem Bruchteil dieser immensen Datenmenge wiederzufinden müssen die Aufnahmen entsprechend indiziert werden. Bei der Bildsuche ist heute die textbasierte Suche am weitesten verbreitet, grafische Verfahren konnten sich bislang nicht durchsetzen. Als Grundlage für die textbasierte Suche dienen manuell oder automatisch erstellte textuelle Annotationen. Die manuelle Indizierung ist bei der enormen Menge an Bildern aussichtslos. Auch die von aktuellen Suchmaschinen eingesetzte Ableitung der Bildbeschreibungen aus dem umliegenden Text von Bildern ist fehleranfällig und ohne entsprechenden manuell aufwendig erzeugten Kontext nicht möglich. Bei der automatischen Annotation von Bildern kann lediglich auf den Inhalt der Bilder sowie evtl. von der Kamera zusätzlich abgespeicherte Metadaten (z. B. Zeit und Ort) zugegriffen werden. In den letzten Jahren wurden wesentliche Fortschritte im Bereich der Objekterkennung gemacht. Diese neuen, auf sog. visuellen Wörtern aufbauenden Objekterkennungsverfahren schneiden zur Zeit am erfolgreichsten bei der inhaltbasierten Beschreibung von Bildern ab. Allerdings können diese Ansätze nur diejenigen Objekte in den Bildern erkennen, welche auch dem System selbst bekannt sind. Mit der Zeit muss somit das Objekterkennungssystem hinzulernen und um neue Objektklassen erweitert werden. Nahezu alle aktuellen Verfahren sind jedoch bzgl. der Erweiterbarkeit der Objektverzeichnisse stark eingeschränkt, z. T. kann das Hinzufügen einer neuen Objektklasse mehr als 1 Jahr in Anspruch nehmen.

6 In dieser Arbeit werden die Anforderungen an die textuelle Annotation von Bildern aus Sicht der textbasierten Suche und der Unterstützung von sehbehinderten Personen ermittelt. Anschließend werden die Problemstellen aktueller Verfahren zur Objekterkennung bzgl. der Erweiterbarkeit identifiziert und analysiert. Ausgehend von diesen Erkenntnissen wird eine skalierbare, erweiterbare und möglichst effiziente Lösung ausgearbeitet. Das erstellte neue Verfahren wird unter Verwendung der gängigen Datensätze optimiert und mit erweiterbaren Methoden aus der Literatur verglichen. Zusätzlich werden aktuelle OCR-Werkzeuge daraufhin untersucht inwieweit die Texterkennung in natürlichen Fotoaufnahmen zur Verbesserung der Objekterkennung und der Annotation von Bildern eingesetzt werden kann. Zuletzt wird das erweiterbare Objekterkennungssystem in ein Framework eingebettet, welches als Annotationsdienst für Bildverwaltungsprogramme und textbasierte Suchdienste zur inhaltlichen Beschreibung von Bildern zur Verfügung steht.

7 Abstract The sea of digital images is rising constantly from year to year. According to a recent estimate, about 50 billion digital photographs are taken per annum. Retrieving specific images even in a fraction of this massive amount of data is a tough challenge, which requires appropriate indexing of the photographs. Today, the most common method for image search is based on text queries. Graphical approaches could not prevail up to now. The foundations for successful text-based image search are either manually or automatically derived textual annotations. Manual annotation of such a huge number of images is hopeless. Current search engines obtain the annotations for their indexed images from the surrounding text in websites. Unfortunately, these annotations are error-prone and impossible to be derived without the existence of manually created context. Automatic annotation of images relies only on the image content itself and potentially available additional camera metadata such as location or time. Recently, considerable progress has been made in the research area of object recognition. The most successful methods for describing image content are all based on translating so called visual words into text. However, all these approaches can only detect objects, which are known by the recognition system. By and by, the recognition system needs to be extended and has to learn new object classes. Almost all current methods are severely limited regarding their extensibility. In some cases, adding a new object class can take up to 1 year.

8 In this thesis first the requirements for textual annotations of images are analysed from the perspective of text-based image search and the assistance of visually impaired people. Subsequently, current object recognition methods are investigated regarding their extensibility capabilities and the main areas of limitations are identified. Based on these insights, a scalable extensible and preferably efficient solution is developed. This new method is tested and optimised using established datasets. The thesis includes a comparison with other extensible approaches as well. Additionally, current OCR tools are evaluated on their applicability for recognizing text in natural images and their suitability for improving image annotation and object recognition. Finally, the developed extensible object recognition method is embedded in a framework, which can be accessed by image management applications and by text-based search services to annotate images automatically based on the image content only.

9 Inhaltsverzeichnis 1 Einleitung Ziele Aufbau der Arbeit Begriffs- und Problemdefinition Eigenschaften Erweiterbarkeit Skalierbarkeit Antwortzeit Begriffe Bilddaten Mustererkennung Problemdefinition Zusammenfassung Annotation von Bildern Motivation für Textannotationen Textbasierte Suche auf Bildern Bilder für Menschen mit Sehbehinderungen Zusammenfassung Textbasierte Suche auf Bildern Studien zu textuellen Benutzeranfragen auf Bilddatenbanken Logische Strukturierung der Attribute von Bildern Zusammenfassung I

10 Inhaltsverzeichnis 3.3 Standards für Bildmetadaten und Bildannotationen Standards für Bildmetadaten Konzept-Thesauri für Bildannotationen Zusammenfassung Zusammenfassung Automatische Verfahren zur Bildannotation Objekterkennung in Bildern Allgemeine Einordnung von Objekterkennungsverfahren Das Bag-of-Words-Konzept Datensätze Bewertungsgrundlagen Wettbewerbe Aktuelle Objekterkennungsverfahren Hierarchien für die Objekterkennung Zusammenfassung Aktuelle Annotationsverfahren für Bilder Manuelle Annotation Semi-automatische Annotation Vollautomatische Annotation Andere Aufteilungen Zusammenfassung Zusammenfassung Erweiterbare objekterkennungsbasierte Annotation von Bildern Klassifikation und Merkmale Bag of Words und das visuelle Vokabular Objekte als Szenen Farben Kombination von Merkmalen Effiziente Suche Indizierung Approximative Nächste-Nachbarn-Suche Komprimierung der Merkmalsvektoren Zusammenfassung Zusammenfassung II

11 Inhaltsverzeichnis 6 Optimierung des erweiterbaren Verfahrens Klassenspezifische visuelle Vokabulare Bestimmung der Vokabulargröße Bestimmung der Schnittgrenze Bestätigung der Outlier-Hypothese Bewertung Zusammenfassung Szenendeskriptor für Objekte Vergleich mit klassenspezifischen Vokabularen Abhängigkeit von der Anzahl der Trainingsbilder Rotationsinvarianz Unterschiede auf Klassenebene Vollständig automatische Annotation Skalierbarkeit Zusammenfassung Bag of Colors Kombination der Merkmale Einschränkung des Suchraums Durchschnittliche Berechnungszeiten je Merkmal Überlappung der nächsten Nachbarn Auswirkungen auf die Objekterkennung Zusammenfassung Zusammenfassung Architektur des Pixtract-Frameworks Grobarchitektur von Pixtract Grundkonzepte Lernkomponente Annotationskomponente Umsetzung Konfigurierbare und erweiterbare Merkmalsextraktion Schnittstellen Parallelisierung Säuberung der Stichprobe Filtermechanismus basierend auf dem GIST-Deskriptor III

12 Inhaltsverzeichnis Auswirkungen auf die Objekterkennung Zusammenfassung Verbesserung der Annotation durch Text in natürlichen Fotoaufnahmen Texterkennung in natürlichen Fotoaufnahmen NEOCR Datensatz Globale Metadaten Lokale Metadaten Vergleich mit anderen Datensätzen Distanzmaße für den Vergleich von Zeichensequenzen Evaluation aktueller OCR-Anwendungen Zusammenfassung Anreicherung der Annotation durch erkannten Text Zusammenfassung Vergleich mit erweiterbaren Ansätzen Evaluationsaufbau Klassifikation und Skalierbarkeit Antwortzeit Erweiterbarkeit Zusammenfassung Zusammenfassung und Ausblick 263 Anhang A Relevante Felder aus Metadatenstandards B Linguistische Beziehungen zwischen Wörtern i vii C Ähnlichkeitsmetriken für ontologiebasierte Bewertungsmaße ix C.1 Kantenbasierte Ähnlichkeitsmaße ix C.2 Knotenbasierte Ähnlichkeitsmaße x C.3 Hybride Ähnlichkeitsmaße xi D Mathematische Berechnungen xiii D.1 Verzerrung xiii D.2 Rotation xviii IV

13 Inhaltsverzeichnis E Auflistung von Dateiinhalten xxi E.1 XML-Parameterdatei für FeatExt xxii E.2 XMP-Ausgabedatei erstellt durch FeatExt xxiii E.3 NEOCR XML-Schema-Definition xxv E.4 XML-Annotation für ein Beispielbild aus dem NEOCR Datensatz.... xxix F Beispielergebnisse für den GIST-basierten Filter xxxi F.1 Starre Objekte xxxi F.2 Bewegliche und verformbare Objekte xli F.3 Objekte ohne fester Form xlv F.4 Szenen l Literaturverzeichnis lix V

14

15 Abbildungsverzeichnis 1.1 Schematische Darstellung eines Multimedia Information Retrieval Systems nach [BVBF07] Eingliederung von Pixtract in die schematische Darstellung des Multimedia Information Retrieval Systems von [BVBF07] Grundsätzliches Vorgehen bei Klassifikationsproblemen nach [Nie03] Beispielbilder für die Attributebenen nach [JC02] Mindmap der verschiedenen Ansätze zur logischen Strukturierung der Bildbeschreibungen Strategien zur Klassifikation von Objekten und Szenen nach [BMM07] Grundsätzliches Vorgehen bei der Erlernung von Objektklassen mittels des Bag-of-Words-Ansatzes Grundsätzliches Vorgehen bei der Objekterkennung in Bildern mittels des Bag-of-Words-Ansatzes Vergleich von Ecken und Blob-ähnlichen Detektoren Beschreibung von Punkten mit dem SIFT-Deskriptor nach [Low04] Beispielaufteilungen für Bilder mittels häufig eingesetzter Gitternetze Klassifikation der Modelle zur Beschreibung der geometrischen Beziehungen zwischen Punkten nach [CL06] Linear trennbare Klassen mit optimaler Trenngerade Linear nicht trennbare Klassen in R 2, deren Abbildung in R 3 und die optimale Trennfläche nach [MMR + 01] Beispiel für die Spatial-Pyramid-Methode nach [BR07] VII

16 Abbildungsverzeichnis 4.11 Darstellung von gängigen Bewertungsmaßen im Bildretrieval und der Objekterkennung Allgemeine und klassenspezifische Vokabulare nach [PDCB06] Bipartite Histogramme und klassenspezifische Klassifikatoren nach [PDCB06] Objekterkennungsverfahren mit mehreren Kanälen und Farb-SIFT- Deskriptoren nach [TSU + 08] Objekterkennung mit einem Vokabularbaum nach [NS06] Kombinationsmöglichkeiten von SVMs für die Klassifikation in mehrere Klassen k-närer SVM-Baum nach [ZWQ + 05] mit 8 Klassen Binärer SVM-Baum nach [GP08] mit 8 Klassen DAG-SVM nach [MS08] mit 4 Klassen LabelMe: ein webbasiertes Werkzeug zur manuellen Annotation von Bildern ALIPR Webseite mit Beispielbild und automatisch ermittelten Tags Ablauf der Bildannotation in SADE nach [AYV07] Deskriptor- und Quantisierungsrauschen in Abhängigkeit von k nach [JDS08] Beispielhafte visuelle Wörter aus dem visuellen Vokabular für Früchte und interessante Punkte eines Motorradbildes Histogramme von visuellen Wörtern für ein Foto einer Weintraube und eines Motorrads unter Verwendung des Früchte-Vokabulars Beispiel Objekthierarchie zur top-down bzw. bottom-up Perspektive für den Zusammenhang zwischen dem globalen und den klassenspezifischen Vokabularen Berechnung des klassenspezifischen Vokabulars und der Klassenbeschreibung für die Klasse Ω Blumenkohl anhand einer Stichprobe Berechnung des Score-Werts für ein gegebenes Bild I und der Klasse Ω κ Blickwinkelbasierte Subklassen für die Klasse Fahrrad eingebettet in die Objekthierarchie des PASCAL VOC 2007 Datensatzes Beispielbilder der Subklasse Fahrrad vorne Vertikale Zerlegung einer Anfrage mittels Tree Striping nach [BBK + 00] Vergleich von verschiedenen Vokabulargrößen k = 40, 60, 80, 100 unter Behaltung der Hälfte der häufigsten visuellen Wörter (n/k = 0,5) VIII

17 Abbildungsverzeichnis 6.2 Vergleich der Genauigkeit der Klassifikation mit unterschiedlicher Anzahl der behaltenen häufigsten visuellen Wörtern n unter Verwendung der Vokabulargröße k = 100 für alle klassenspezifische Vokabulare Durchschnittliche Anzahl der visuellen Outlier-Wörter für Bilder, welche zur richtigen, und Bilder, welche nicht zur gegebenen Klasse gehören ROC-Kurven für Vokabulargröße k = 100 mit verschiedenen Werten für die Anzahl der behaltenen häufigsten visuellen Wörter n bei 20 Trainingsbildern je Klasse Vergleich der MAP von klassenspezifischen BoW-basierten Ansätzen unter Verwendung von verschiedenen Detektoren bei steigender Anzahl von Klassen Vergleich der besten und durchschnittlichen AUC- und MAP-Werte für die verschiedenen GIST-basierten Verfahren mit unterschiedlicher Anzahl von Trainingsbildern Durchschnittsbilder erstellt aus 9 Trainingsbildern für die Subklassen rechts, links, vorne und hinten für die Klassen Fahrrad, Motorrad, Katze und Hund Ergebnisse der vollautomatischen Annotation von 4 ausgewählten Bildern des PASCAL VOC 2007 Datensatzes Vergleich der MAP von verschiedenen GIST-basierten Ansätzen bei unterschiedlichen Anzahlen von Klassen Vergleich der MAP von verschiedenen Bag of Colors Ansätzen bei unterschiedlichen Anzahlen von Klassen Vergleich der MAP für die einzelnen Merkmale und deren kombinierte Verwendung Vergleich der eingesetzten Merkmale bzgl. deren Laufzeiten bei der Klassifikation Vergleich der Merkmale bzgl. der Überlappung der nächsten Nachbarn mit den Klassifikationsergebnissen der kombinierten Anwendung aller Merkmale Beeinflussung der MAP bei der Verwendung einer Vorselektion basierend auf dem GIST-Merkmal in Abhängigkeit der prozentualen Einschränkung des Suchraumes Beeinflussung der Laufzeit bei der Verwendung einer Vorselektion basierend auf dem GIST-Merkmal in Abhängigkeit der prozentualen Einschränkung des Suchraumes IX

18 Abbildungsverzeichnis 6.16 MAP für die Klassen der obersten Ebenen der Wordnet Hierarchie Hierarchischer Fehler für die Klassen der obersten Ebenen der Wordnet Hierarchie Grobarchitektur des Pixtract-Frameworks Suche und Visualisierung von WordNet Synsets und Klassen in der Pixtract-Webschnittstelle Ablauf der Annotation mittels der Pixtract-Webschnittstelle Ablauf der Hinzufügung einer neuen Klasse mittels der Pixtract- Webschnittstelle Teil Ablauf der Hinzufügung einer neuen Klasse mittels der Pixtract- Webschnittstelle Teil Annotation von Bildern eingebettet in die Bildverwaltungsanwendung gthumb Ablauf des GIST-basierten Filters zur Eliminierung von Ausreißern und zur Bestimmung der besten Trainingsbilder am Beispiel der Klasse avocado Vergleich der MAP von der Klassifikation mit ungefilterten, größengefilterten und GIST-gefilterten Trainingsbildern Vergleich der MAP der Kombination aller Merkmale mit und ohne Filterung der Trainingsbilder Beispiele aus dem NEOCR Datensatz, welche typische Problemfelder der Texterkennung in natürlichen Fotoaufnahmen aufzeigen Beispielbild Finstere Gasse in der angepassten Annotationssoftware LabelMe Statistiken des NEOCR-Datensatzes bzgl. Helligkeit, Kontrast, Rotation, Abdeckung, Schriftart und Sprache Textwahrnehmung durch ausgewählte OCR-Anwendungen in kompletten Bildern mit und ohne Textinhalt Beispiele für verzerrte Textausschnitte Beispiele für entzerrte Textausschnitte Texterkennungsrate für alle Textausschnitte Texterkennungsrate für Textausschnitte nach Anordnung gruppiert Horizontale Ausschnitte nach Distanzmaß Vertikale Ausschnitte nach Distanzmaß Zirkulare Ausschnitte nach Distanzmaß X

19 Abbildungsverzeichnis 8.12 Texterkennungsrate für Textausschnitte nach Invertierung gruppiert Texterkennungsrate für Textausschnitte nach Abdeckung gruppiert Texterkennungsrate für Ausschnitte nach Abdeckungsart (orientation) gruppiert Texterkennungsrate für Ausschnitte nach prozentualer Abdeckung gruppiert Texterkennungsrate für Ausschnitte nach prozentualer Abdeckung und Sprache gruppiert Texterkennungsrate für Ausschnitte nach Farbe bzw. Textur gruppiert Texterkennungsrate für Textausschnitte nach Helligkeit gruppiert Texterkennungsrate für Textausschnitte nach Kontrast gruppiert Texterkennungsrate für Textausschnitte nach Auflösung gruppiert Texterkennungsrate für Textausschnitte nach Rauschen gruppiert Texterkennungsrate für Textausschnitte nach Unschärfe gruppiert Texterkennungsrate für Textausschnitte nach Verzerrung gruppiert Texterkennungsrate für Textausschnitte nach Rotation um Vielfache von 90 gruppiert Texterkennungsrate für Textausschnitte nach Rotation um Winkelbereich bei 0 gruppiert Texterkennungsrate für Textausschnitte nach Schriftarten gruppiert Texterkennungsrate für Textausschnitte nach Sprachabhängigkeit gruppiert Texterkennungsrate für sprachabhängige Textausschnitte nach Sprachen gruppiert Texterkennungsrate für sprachunabhängige Textausschnitte nach Kategorien gruppiert Beispielbild aus dem ImageNet Datensatz für die Texterkennung und die einzelnen Filterungsschritte Vergleich der MAP für unterschiedliche Anzahlen von Klassen in Pixtract, sowie mit den Verfahren aus [BSI08] und [AF10] Vergleich der durchschnittlichen Antwortzeit für die Klassifikation eines Bildes für unterschiedliche Anzahlen von Klassen in Pixtract sowie mit den Verfahren aus [BSI08] und [AF10] Vergleich der CPU-Zeit für die Aufnahme einer neuen Klasse bei unterschiedlichen Anzahlen von Trainingsbildern in Pixtract sowie mit den Verfahren aus [BSI08] und [AF10] XI

20 Abbildungsverzeichnis 9.4 Vergleich des durchschnittlich benötigten Speicherplatzes für die Aufnahme einer neuen Klasse bei 20 Trainingsbildern in Pixtract sowie mit den Verfahren aus [BSI08] und [AF10] F.1 Beispiel für beste und schlechteste Bilder für die Kategorie avocado, alligator pear, avocado pear, aguacate (WordNetID: ) xxxiii F.2 Beispiel für beste und schlechteste Bilder für die Kategorie bicycle, bike, wheel, cycle (WordNetID: ) xxxiv F.3 Beispiel für beste und schlechteste Bilder für die Kategorie boomerang, throwing stick, throw stick (WordNetID: ) xxxv F.4 Beispiel für beste und schlechteste Bilder für die Kategorie brake (Word- NetID: ) xxxvi F.5 Beispiel für beste und schlechteste Bilder für die Kategorie lemon (Word- NetID: ) xxxvii F.6 Beispiel für beste und schlechteste Bilder für die Kategorie telephone, phone, telephone set (WordNetID: ) xxxviii F.7 Beispiel für beste und schlechteste Bilder für die Kategorie television, television system (WordNetID: ) xxxix F.8 Beispiel für beste und schlechteste Bilder für die Kategorie tennis ball (WordNetID: ) xl F.9 Beispiel für beste und schlechteste Bilder für die Kategorie kuvasz (WordNetID: ) xlii F.10 Beispiel für beste und schlechteste Bilder für die Kategorie paper (Word- NetID: ) xliii F.11 Beispiel für beste und schlechteste Bilder für die Kategorie towel (Word- NetID: ) xliv F.12 Beispiel für beste und schlechteste Bilder für die Kategorie butter (WordNetID: ) xlvi F.13 Beispiel für beste und schlechteste Bilder für die Kategorie double creme, heavy whipping creme (WordNetID: ) xlvii F.14 Beispiel für beste und schlechteste Bilder für die Kategorie milk (Word- NetID: ) xlviii F.15 Beispiel für beste und schlechteste Bilder für die Kategorie paper (Word- NetID: ) xlix XII

21 Abbildungsverzeichnis F.16 Beispiel für beste und schlechteste Bilder für die Kategorie billiard room, billiard saloon, billiard parlor, billiard parlour, billiard hall (WordNetID: ) li F.17 Beispiel für beste und schlechteste Bilder für die Kategorie bite, collation, snack (WordNetID: ) lii F.18 Beispiel für beste und schlechteste Bilder für die Kategorie open-air market, open-air marketplace, market square (WordNetID: ).. liii F.19 Beispiel für beste und schlechteste Bilder für die Kategorie pasta (Word- NetID: ) liv XIII

22

23 Tabellenverzeichnis 3.1 Kategorisierung der Veröffentlichungen zur textbasierten Suche nach Bildern Teil Kategorisierung der Veröffentlichungen zur textbasierten Suche nach Bildern Teil Panofsky-Shatford Matrix nach [AE97] Vergleichende Tabelle der verschiedenen Ansätze zur logischen Strukturierung der Bildbeschreibungen Vergleich von verschiedenen Konzept-Thesauri für die Annotation von visuellen Medien Überblick über Detektoren für interessante Punkte in Bildern nach [MTS + 05] und [TM08] Überblick über Deskriptoren für interessante Punkte in Bildern Überblick über Distanzmaße in Objekterkennungsverfahren Vergleich von verschiedenen Datensätzen für die Evaluation von Objekterkennungsverfahren Entwicklung der PASCAL VOC Datensätze für die Objekterkennungsaufgabe Vergleich der Objekterkennungswettbewerbe PASCAL VOC, ImageCLEF und ILSVRC Vergleich von den besten Objekterkennungsansätzen Teil Vergleich von den besten Objekterkennungsansätzen Teil Aufteilung der Veröffentlichungen zur Annotation von Bildern mittels verschiedener Kategorisierungen XV

24 Tabellenverzeichnis 6.1 Vergleich der AUC des erweiterbaren BoW-Ansatzes mit den GISTbasierten Ansätzen Vergleich der AP der besten und Durchschnitts-AP-Werte des PASCAL VOC 2007 Wettbewerbs mit dem vorgestellten meangist- und NNGIST- Ansatz Übersicht der MAP für die einzelnen Merkmale und deren Kombination bei Klassen Unterschiede zwischen Text in eingescannten Dokumenten und Text in natürlichen Fotoaufnahmen Datentypen und Wertebereiche der Metadaten sowie Beispiel-Annotationswerte für Abbildung Vergleich verschiedener Datensätze für die Texterkennung in natürlichen Fotoaufnahmen Übersicht untersuchter Eigenschaften natürlicher Fotoaufnahmen mit jeweiligem Optimum A.1 Bildbeschreibende Attribute aus dem IPTC Extension Schema [IPT08].. ii A.2 Attribute des Datentyps ArtworkOrObjectDetails nach [IPT08] iii A.3 Attribute des Datentyps LocationDetails nach [IPT08] iii A.4 Bildbeschreibende Attribute aus den XMP Schemata Teil iv A.5 Bildbeschreibende Attribute aus den XMP Schemata Teil v B.1 Semantische Beziehungen zwischen Wörtern nach [Mil95] viii XVI