Warum gefällt uns ein Foto? Möglichkeiten und Grenzen der automatischen Bewertung von Ästhetik Philipp Sandhaus Seite 1
Warum gefällt uns ein Foto? 2
Semantische Lücke bei der Bildbewertung Bottom Up high level semantics model-driven user-driven Semantic Gap data-driven featuredriven usage-driven low level semantics content 3 context Top Down
Bottom-Up Ansätze Frühe Ansätze: Bivariate Bewertung Wieviel schlechter ist ein Bild im Vergleich zum anderen? in erster Linie für die automatische Bewertung von Kompressionsalgorithmen [Skicioglu1995] Image quality measures and their performance Später: Monovariate Bewertung Wie qualitativ gut ist ein Bild? [DAMERA-VENKATA 2004] Image Quality Assessment Based on a Degradation Model. [Ke2006] The Design of High-Level Features for Photo Quality Assessment Grundsätzliches Vorgehen meist Identifizieren der Merkmale, die für die Qualitätsbewertung relevant sein könnten Entwickeln von Verfahren zur Extraktion dieser Merkmale 4
Beispiel: Vom Merkmal zum Image Feature Merkmal Tiefenschärfe Kantendetektion z.b. Sobel, Wavelets Unterscheidung zwischen Bewegungs- und Fokusunschärfe Modelle für Visuelle Aufmerksamkeit Z.B. Itti/Koch Berechnung, der Schärfentiefe aus Kombination von Brennweiten und Blendeninformationen Exif-Daten 5
Top-Down Ansatz Ausgangspunkt Es gibt bestimmte Eigenschaften und Merkmale, die von Experten als Hinweise auf ein ästhetisches Bild gesehen werden Wie genau und ob diese Merkmale einen geeigneten Hinweis geben, ist dabei größtenteils unklar Ansatz Basis: etwa 3500 community-bewertete Fotos der Platform photo.net Visuelle Analyse dieser Bilder auf bestimmte Eigenschaften, die einen Hinweis auf den Grad der Ästhetik liefern könnten Insgesamt 64 verschiedene Features Automatisches Bestimmen relevanter Eigenschaften durch Abgleich mit Bewertungen Studying Aesthetics in Photographic Images Using a Computational Approach. Datta 2006 6
Bottom-Up Ansatz Untersuchte Merkmale (AUswahl) Exposure of Light & Colorfulness Sättigung Rule of Thirds Textur / Schärfe Seitenverhältnis Schärfentiefe Formen, Konvexität Aussagekräftige Merkmale / Ergebnis (Auswahl) Durchschnittliche Helligkeit Dreierregel auf Basis von Helligkeit Ähnlichkeit zu verwandten Bildern Studying Aesthetics in Photographic Images Using a Computational Approach. Datta 2006 7
Was ist für mich ein gutes Bild? " Was wollen wir wissen? " Ist das Bild qualitativ gut? " Ist es wichtig für mich? " Gibt es bessere? "... " Multimodale Analyse " Nutzung " Ich habe dieses Bild öfter als andere angeschaut " Inhalt " Scharf? Bildkomposition? Farbbalance? Belichtung " Kontext Wie sehen andere Fotos aus? Soziale Netzwerke, Kommentare, Likes, [Luo2006] Pictures are not taken in a vacuum 8
Multimodal Photo Analysis 9 Inhalt Nutzung Kontext Image Salience Usage Importance Social Importance Similarity Score Person Importance Semantic Enrichment Face Detection Edge Detection Saliency Map Texture & Color Histogram Image header Social Network Context Photo history analysis Sharpness Analysis Person Recognition Augmented Saliency Map Similarity Exposure Analysis Light Condition Analysis...
Fotonutzung Ausgangsthese Die Nutzungshistorie eines Mediums reflektiert seine Semantik Informationen, die nicht oder nur sehr schwer aus dem Inhalt oder Kontext extrahiert werden können --> Potentiell wertvolle Quelle für semantische Fotoannotation Vorgehen Untersuchen und Strukturieren verschiedener Nutzungsarten Analyse auf Potential zur Ableitung von Semantiken für Fotos Exemplarische Untersuchung durch Nutzerstudien [Sandhaus2008a] 10
Fotonutzung - Nutzerstudie Fragestellung Gibt es einen Zusammenhang zwischen der Betrachtungszeit eines Fotos und der Auswahl für ein Fotobuch? Studie Erfassen der Betrachtungszeiten am Laptop bei zwei Nutzergruppen Vergleich mit zuvor erstellen Fotoalbenauswahlen Ergebnis Kein direkter Zusammenhang Zusammen auf Eventebene Lang betrachtete Ergeignisse sind auch im Fotoalbum repräsentiert [Sandhaus2008a] 11
Kontext: Soziales Netzwerk " Ziele " Ableiten der sozialen Nähe zweier Fotos " Bestimmen der personenbezogenen Wichtigkeit " Gruppierung von Fotos nach sozialem Netz Ansatz Gesichtsdetektion und -erkennung Ableiten eines Beziehungsgraphen Häufigkeit gemeinsames Vorkommen Räumliche Nähe Anzahl anderer Personen auf Fotos 12
Anwendung: Auswahl für ein Fotobuch Selection Selektierte, gruppierte Fotos Cluster / Event Rating Duplicate Detection Clustering Photo Rating Semantisch angereicherte Fotos 13
Clustering " Ziel " Bestimmen von zusammenhängenden Ereignissen innerhalb eines Fotosets " Grösse eines Ereignisses ist auch abhängig von dem verfügbaren Platz im Fotobuch Selection Ansatz " Gruppieren von Fotos auf Basis von verfügbaren Metadaten " Zeit " Ort " Visuelle Ähnlichkeit Cluster / Event Rating Clustering Duplicate Detection Rating 14
Cluster / Event Rating " Motivation " Einige Ereignisse sind wichtiger als andere " Ein wichtiges Ereignis kann trotzdem eher schlechte Fotos enthalten, die dann trotzdem ausgewählt werden sollten Selection " Kriterien " Größe des Ereignisses " Zeitabstände innerhalb eines Ereignisses " Bildähnlichkeit " Zeitliche und inhaltliche Nähe zu Nachbarereignissen Cluster / Event Rating Clustering Duplicate Detection Photo Rating 15
Photo Rating " Inhalt " Belichtung " Farbreichtum " Schärfe " Visuelle Ausgewogenheit " " Kontext " Zeitliche und inhaltliche Nähe zu Nachbarbildern " (Wichtige) Personen " " Nutzung " Bewertungen, likes, Kommentare,... Cluster / Event Bewertung Clustering Selection Duplicate Detection Photo Rating 16
Duplicate Detection " Bestimmen von Gruppen von Near-Duplicates " Das beste Foto einer Reihe als Repräsentant eines Ereignisses auswählen Selection Cluster / Event Rating Duplicate Detection Clustering Photo Rating 17
Grenzen automatischer Bildbewertung Voraussetzung für ein algorithmisches Bewertungsverfahren ist 1. Es ist bekannt, welche Merkmale ein Bild ansprechend machen 2. Diese Merkmale sind (mehr oder weniger zuverlässig) messbar -> Dies ist vielen Fällen nicht der Fall Subjektivität Ästhetik liegt im Auge des Betrachters Subjektiver Bildkontext Grenzen sind fliessend Nur kleine Veränderungen können den gesamten Bildeindruck verändern Diese Unterschiede sind mit ohnehin unscharfen Verfahren oft nicht messbar Seite 18