Effizientes Fotomanagement auf Basis automatisierter Bildanalyse

Transkript

1 Effizientes Fotomanagement auf Basis automatisierter Bildanalyse Am Beispiel der Technologie Photo Summary Uwe Kühhirt Gruppe Audiovisuelle Systeme Fraunhofer IDMT, Ilmenau SPECTARIS-Technologieforum auf der photokina 2012 Köln, 22. September 2012

2 Fraunhofer-Institut Digitale Medientechnologie IDMT Abteilung Metadaten Angewandte Forschung in den Bereichen Audiovisuelle Systeme Semantische Musiktechnologien Mediendistribution und Sicherheit Schwerpunkte Analyse digitaler Inhalte mit Methoden der Signalverarbeitung Extraktion und Anreicherung von Metadaten, automat. Annotation Suche, Identifikation, Management, Empfehlung von Inhalten Cross-modale Verknüpfung von audiovisuellen Inhalten Entwicklung von Verfahren und Komponenten

3 Fotomanagement Aufgaben und Funktionen Organisation von digitalen Fotos Verwaltung, Suche, Auswahl, Zusammenstellung, Empfehlung, Tagging/Annotation, Verschlagwortung, Bewertung, Katalogisierung, Publikation, Archivierung, Varianten/Versionen, Suche nach Schlagwort, Inhalt, Motiv, Ähnlichkeit, Stimmung, Dupletten, Varianten, Versionen, Identifikation von Bildern, Bildausschnitten, Motiven,

4 Automatisierte Bildanalyse Möglichkeiten Extraktion von Informationen aus digitalen Bildern mit Methoden der Signalverarbeitung Kombination mit Metadaten verschiedenster Herkunft Extraktion technischer Informationen Auflösung, Schärfe, Qualität, Farbumfang, Rauschen, Extraktion inhaltlicher Informationen Objekte und Szenen: Gesichter, Gebäude, Situationen, Semantische Konzepte Attraktivität Stimmungen Felsen 40% Wasser 30% Himmel 20%

5 Extraktion von Bildmerkmalen Feature Extraction Texture / Corners / Blur Color Layout/Form Photo metadata (EXIF) Gestalt (1/3 rule, ) Symmetry F-Number Shutter speed ISO Geo position

6 Bildähnlichkeit Image Similarity & Identification Ähnlich aussehende/wirkende Bilder Ähnliche oder gleiche Motive Identifikation von Bildern und Bildausschnitten Duplikat-Erkennung

7 Gesichtsdetektion und -erkennung Face Detection/Recognition Facial Mood Finden und Erkennen von Gesichtern Gesichtsausdruck Stimmung (Mood) Geschlecht, Alter,

8 Semantische Konzepte Klassifikation nach inhaltlichen Merkmalen Familiy Partylife City Beach Snow Indoor / Outdoor Night Sunset Day Appeal / Aesthetics + - Mood: calm, happy, aggressive, melancholic

9 Stimmungen in Bildern Mood Model aggressive dramatic agitated arousal * * * euphoric happy playful valence melancholy sad depressing calm soothing dreamy

10 Photo Summary Repräsentative Zusammenstellung von Fotos automat. Generierung von Photo Summaries schnelle Zusammenstellung einer repräsentativen Auswahl von n aus m Bildern Berücksichtigung von: Bildqualität Aufnahmezeit Attraktivität Motiven Gesichtern und Personen

11 Photo Summary Ablauf vollautomatische Auswahl von Fotos aus Extraktion von Merkmalen einer großen Fotosammlung EXIF Duplikatserkennung beinhaltet: 1. (Datum & Zeit) Duplikatserkennung Motivschönheit Personen (u.a. Hautfarbe) Erkennung von Ereignissen Extraktion: einmalig (EXIF-Daten) für alle Bilder Zusammenstellung Gesichtsdetektion der Bilder: automatisch oder interaktiv Attraktivität der Fotos 2. Bewertung der extrahierten Merkmale (Ranking) 3. Zusammenstellung der Auswahl

12 Photo Summary Kriterien für die Auswahl Auswahlkriterien Attraktivität Relevanz Personen Redundanz Repräsentativität Diversität

13 Attraktivität von Bildern Image Appeal Technische Qualität Mittelwert der Helligkeit Helligkeitskontrast Clipping von Schatten und Lichtern Schärfe der schärfsten Bildregionen Schärfe der unschärfsten Bildregionen Farbigkeit Farbverteilung Standardabweichung H-Kanal Standardabweichung S-Kanal Bildgestaltung DrittelregeI Goldener Schnitt Zentralität Einfachheit Anzahl unterschiedlicher Farben Unruhe des Hintergrundes Anzahl prägnanter Bildregionen Fläche der stärksten Kanten

14 Attraktivität von Bildern: Beispiele Image Appeal attraktive Bilder unattraktive Bilder

15 Personen in Bildern Face & Skin Detection Kombination von Gesichts- und Hauterkennung Berücksichtigung der Anzahl der Gesichter Durch Gesichter bedeckten Fläche Hautflächen

16 Bedeutung/Relevanz von Bildern Importance Wie viele Fotos gehören zu einem Event (local frequency)? Wie viele Fotos eines Motivs gibt es (motiv duplicates)? Wie viele sehr ähnliche Bilder gibt es (near duplicates)? AS: Appeal Score IS: Importance Score

17 Zusammenstellen der Auswahl Ranking & Summarization Rating: Scores je Bild für Attraktivität, Präsenz von Personen, Relevanz

18 Photo Summary Demo-Version

19 Zusammenfassung Verfahren der automatisierten Bildanalyse Extraktion verschiedenster Eigenschaften direkt aus Bildern Automatisierte Annotation von großen Mengen von Bildern möglich Kombination von Verfahren für spezielle Aufgaben Neuartige Lösungen für Suche, Identifikation, Management, Empfehlung von Inhalten Verknüpfung und Zusammenstellung von Inhalten Photo Summary hilft bei der Zusammenstellung von Foto-Präsentationen

20 Vielen Dank! Kontakt: Uwe Kühhirt Audiovisuelle Systeme Fraunhofer IDMT, Ilmenau