(query by image content)

Transkript

1 Proseminar Multimedia Information-Retrieval-Systeme (query by image content) Das QBIC Projekt 1. Einleitung 1.1 Was ist QBIC 1.2 Wo wird es verwendet 2. QBIC im Detail 2.1 technische Grundlagen 2.2 Aufbau einer QBIC Applikation Bestückung der Datenbank (database population) Merkmalsberechnung (feature extraction) Bildanfrage (image query) 2.3 Anfrage an die Datenbank 3. Schlussbetrachtung 3.1 Zusammenfassung Ronny Falk 2 1

2 1.1 Was ist QBIC kommerziell verfügbares System Probleme bei rein textbasierten Anfrage-Systemen QBIC Projekt (von IBM's Almaden Research Center) Basis für die Anfrage sind Inhalte : Farben, Texturen, Formen Ronny Falk Wo wird QBIC verwendet Einsatzgebiete: medizinische Applikationen Foto-Journalismus und viele andere wie z.b. Kunst, Mode, Handel und Industrie Applikationen: Kunsthistoriker sucht Gemälde mit sitzenden Menschen Mediziner vergleicht Röntgenbilder Werbeagentur sucht Strandszene Ronny Falk 4 2

3 2.1. technische Grundlagen die Ableitung und die Berechnung von Attributen der Bilder und Objekte, die nutzbare Anfragefunktionalität bieten Abrufmethoden basierend auf Ähnlichkeiten, nicht auf exakten Übereinstimmungen Anfrage mittels eines Bildbeispiels oder mittels einer Zeichnung des Nutzers ein User Interface (GUI) queryrefinement und Navigation hoch dimensioniertes indexing von Datenbanken automatische, semi-automatische und manuelle population (Bestückung) der Datenbank Ronny Falk Aufbau einer QBIC Applikation Datenbank Bestückung (database population) Merkmals-Berechnung (feature extraction) Bild-Anfrage (image query) Ronny Falk 6 3

4 2.2.1 database population Das Bild zur Datenbank hinzufügen ein 100x100 pixel Thumbnail anlegen Optionale Identifikation von Objekten/Elementen und deren Lage durch den Benutzer Objektidentifikation (manuell oder halbautomatisch) snake tool flood fill (region growing) Ronny Falk feature extraction color feature texture feature shape feature Ronny Falk 8 4

5 feature extraction - Farbmodelle Munsell-Farbraum Ronny Falk feature extraction color feature Repräsentation der Farbverteilung in einem Bild (auf Pixelbasis) Definition der Farbhistogramme - Farbraum festlegen (RGB, HSV, HLS, Munsell) - Menge von Repräsentanten im Farbraum auswählen (sample Points) - z.b. Gitter im Farbraum mit 4x4x4 = 64 Farben oder 8x8x8 = 512 Farben Berechnung der Farbhistogramme - Für jedes Pixel, erhöhe den Zähler des nächstgelegenden Repräsentanten um eins - Evtl. Normalisierung, um Histogramm von der Bildgrösse unabhängig zu machen Ronny Falk 10 5

6 feature extraction texture feature Gerichtetheit (directionality) Vorhandensein von Richtungen für die Textur Kontrast (contrast) Lebendigkeit (Unruhe) der Textur Granularität (coarseness) Grössenordnung der Textur Ronny Falk feature extraction shape feature Fläche => Anzahl der Pixel im Formenkörper Kreisartigkeit => Kreisfläche/Umfang² = (pi r²) / (2 pi r)² Stauchung, Streckung Ausrichtung Ronny Falk 12 6

7 2.2.3 Bildanfrage (image query) Euklid sche Distanz als Metrik Farbübereinstimmung (color similarity) Texturübereinstimmung (texture similarity) Formübereinstimmung (shape similarity) Ronny Falk image query color similarity Beispiel Farbhistogramm Anfrage Links: Rechts: Farbauswahl 15% Gelb, 13% Blau, Anfrageergebnis für die ersten sechs Treffer Ronny Falk 14 7

8 image query texture similarity gewichtete Euklid'sche Distanz im dreidimensionalen Texturraum Gerichtetheit, Kontrast, Granularität Ronny Falk image query shape similarity Euklid'sche Distanz für die auswählbaren shape-features Ergebisse werden wieder im N-dimensionalen Raum abgelegt. Ronny Falk 16 8

9 2.3. Anfrage an die Datenbank Farbwahl Texturwahl Formwahl einzeln oder in Kombination Relevance Feedback Query refinement Funktionen Ähnlichkeitswert zum Anfrageobjekt zeigen Vollbildanzeige des Bildes Bild als Basis für die nächste Anfrage Bild in Zwischenspeicher schreiben Nutzerdefinierte Bildoperation oder Vergleich ausführen Ronny Falk Zusammenfassung Methoden zur Verwaltung und retrieval von Bildern in grossen online Bilddatenbanken werden benötigt QBIC benutzt den Bildinhalt (Farbe, Textur, Form) als Anfragebasis Erfolg dabei ist stark abhängig von Integration und Zusammenspiel von Bildanalyse, menschlicher Kontrolle halbautomatische methoden visuellen Eingabemasken Datenbanktechnologie Schlüsselfaktoren Berechnung von Bildmerkmalen für den Retrievalprozess Vergleichsmethoden für die Ergebisse Ronny Falk 18 9