Kapitel 31 Bild- und Tonretrieval. HHU Düsseldorf, WS 2008/09 Information Retrieval 483

Größe: px

Ab Seite anzeigen:

Download "Kapitel 31 Bild- und Tonretrieval. HHU Düsseldorf, WS 2008/09 Information Retrieval 483"

Felix Zimmermann
vor 7 Jahren
Abrufe

1 Kapitel 31 Bild- und Tonretrieval HHU Düsseldorf, WS 2008/09 Information Retrieval 483

2 Multimedia Information Retrieval Content-based Information Retrieval gesprochene Sprache Musik und weitere Audio-Dokumente (z.b. Geräusche) Bilder Videos (Bewegtbilder plus Audio-Elemente) Retrieval mittels Musterdokument Schmitt, I. (2006): Ähnlichkeitssuche in Multimedia-Datenbanken. Retrieval, Suchalgorithmen und Anfragebehandlung. München; Wien: Oldenbourg. HHU Düsseldorf, WS 2008/09 Information Retrieval 484

3 Ranking nach Content über spezifische Dimensionen HHU Düsseldorf, WS 2008/09 Information Retrieval 485

4 Aufgaben Aufspüren der jeweils bestpassenden Dimensionen Finden von Metriken zum Berechnen der Ähnlichkeiten auf der jeweiligen Dimension Errechnen der Distanzen zwischen Anfrage- und Datenbankobjekt anhand der gewählten Metrik Ableiten eines dimensionsspezifischen Retrievalstatuswertes für jede Dimension Kombination der dimensionsspezifischen Retrievalstatuswerte zu einem Retrievalstatuswert für das gesamte Objekt (Bild- oder Tondokument) HHU Düsseldorf, WS 2008/09 Information Retrieval 486

5 Farbe Dimensionen des Bildretrieval Spektralwerte (elektromagnetische Wellen zwischen 380 und 780 nm) Farbräume RGB: rot, grün, blau; Anwendung: Fernsehen, Displays CMY: cyan, magenta, yellow; Anwendung: Farbdrucker HSI: hue (Farbton), saturation (Farbsättigung), intensity (Farbintensität) Farbindexierung 1. Schritt: Zuordnung der Farbinformation (i.d.r. HSI) zu jedem Pixel 2. Schritt: Erstellung von Histogrammen 3. Schritt: Gewinnung beleuchtungsinvarianter Farbwerte HHU Düsseldorf, WS 2008/09 Information Retrieval 487

6 Dimensionen des Bildretrieval Textur 1.: innerhalb Textur: homogene Variationen der Intensitäten von benachbarten Pixeln; außerhalb Textur: nicht homogen 2.: homogene Eigenschaft über das gesamte Bild hinweg Texturindexierung Gaborfilter: Ermittlung von Grauwert- oder Farbänderungen Gestalt Tamurafilter: Granularität, Kontrast, Richtung, Linienähnlichkeit, Regularität (Zerlegung eines Bildes in Teilbilder), Grobheit (Granularität und Kontrast) Normalisierung der Position Rand, Bildmitte Größe (Vordergrund, Hintergrund) Blickwinkel (rotationsunabhängige Sicht auf die Gestalt) HHU Düsseldorf, WS 2008/09 Information Retrieval 488

7 Normalisierung mittels Winkelberechnung bei Eckpunkten Wang, C.S.; Shih, T.K. (2004): An efficient content-based retrieval system for large image database. In: Deb, S. (Hrsg.): Multimedia Systems and Content-Based Image Retrieval. Hershey [u.a.]: Idea Group Publ., S HHU Düsseldorf, WS 2008/09 Information Retrieval 489

8 Dimensionen der Gestalt bei der Erkennung von Gesichtern Singh, S.K.; Vatsa, M.; Singh, R.; Shukla, K.K.; Boregowda, L.R. (2004): Face recognition technology: A biometric solution to security problems. In: Deb, S. (Hrsg.): Multimedia Systems and Content-Based Image Retrieval. Hershey [u.a.]: Idea Group Publ., S HHU Düsseldorf, WS 2008/09 Information Retrieval 490

9 Videoretrieval dokumentarische Bezugseinheit Einzelbild (insbesondere "key frames") Sequenz: Einstellung (technische Sicht) Sequenz: Szene (inhaltliche Sicht) HHU Düsseldorf, WS 2008/09 Information Retrieval 491

10 Sequenz Segmentierung harter Schnitt: problemlos erkennbar weicher Übergang (z.b. Überblenden): Vergleiche vor und hinter Zeitfenster (ca. 4 sec) Zusatzproblem: Auseinanderklaffen von Bild und Ton Bewegung Kamerabewegung (Schwenken, Zoomen) "echte" Bewegung relative Konstanz einer Gestalt dadurch: Erkennen der Gestalt HHU Düsseldorf, WS 2008/09 Information Retrieval 492

11 Videoretrieval Zhang, H.J.; Wu, J.; Zhong, D.; Smoliar, S.W. (1997): An integrated system for content-based video retrieval and browsing. In: Pattern Recognition 30, S HHU Düsseldorf, WS 2008/09 Information Retrieval 493

12 Dimensionen des Musikretrieval Tonhöhe Dauer / Rhythmus Melodie Harmonie (Polyphonie) Klangfarbe (Instrumente) HHU Düsseldorf, WS 2008/09 Information Retrieval 494

13 Anwendungsfall: Query by Humming (z.b. Shazam) HHU Düsseldorf, WS 2008/09 Information Retrieval 495

Ähnliche Dokumente

(query by image content)

Proseminar Multimedia Information-Retrieval-Systeme (query by image content) Das QBIC Projekt 1. Einleitung 1.1 Was ist QBIC 1.2 Wo wird es verwendet 2. QBIC im Detail 2.1 technische Grundlagen 2.2 Aufbau