Visuelle Bildsuche und Bildnavigation. Prof. Dr. Kai Uwe Barthel

Transkript

1 Visuelle Bildsuche und Bildnavigation Prof. Dr. Kai Uwe Barthel

2 Übersicht Probleme der Bildsuche Textbasierte Bildsuche Visuelle (Low-Level-)Bildsuche Fusion der Suchprinzipien Automatisches Bildverstehen mit neuronalen Netzen Bildnavigation

3 Probleme der Bildsuche Stetig wachsende Anzahl an Bildern, meist ohne Schlagwörter

4 Wir können nur wenige Bilder auf einmal erfassen

5 Aber: Die Suche nach Bildern erfolgt meist textbasiert

6 Textbasierte Bildsuche

7 Bildsuche bei einer Bildagentur Palme

8 Probleme der textbasierte Bildsuche Gute Verschlagwortung ist aufwändig/teuer. Schlagwörter sind häufig unvollständig oder falsch übersetzt. Exaktes Matching der Schlagwörter führt dazu, alles bzw. nichts zu finden. "Wiese" 826,951 Ergebnisse: "Wiese blauer Himmel Apfelbaum Wolken Blumen Familie" 3 Ergebnisse:

9 Visuelle Bildsuche

10 Visuelle Bildsuche mit Low-Level-Features Suche nach Bildern mit ähnlichen Farben, Texturen, Formen Descriptor Color Layout Dominant Color Color Structure Dimension of feature vectors (depending on image) Example

11 Probleme der visuellen Bildsuche Suche mit Low-Level-Features findet ähnlich aussehende Bilder ein Beispielbild wird benötigt versteht nicht die Bedeutung der Bilder kann ähnliche Bilder mit unterschiedlichem Aussehen nicht finden

12 Fusion aus visueller und textbasierter Bildsuche

13 Visuelle Low-Level-Bildsuche Suche: Ergebnis: Visuell ähnliche Bilder Bildinhalt ist häufig unterschiedlich

14 Fuzzy-Schlagwortsuche Suche: (Alle Schlagwörter des Bildes) america amazon animal beak bird brazil era eye feather fuss parrot portrait yellow... Ergebnis: Ähnlicher Bildinhalt Große Variationen im Aussehen

15 Visuelle + Fuzzy-Schlagwortsuche Suche: + america amazon animal beak bird brazil era eye feather fuss parrot portrait yellow... Ergebnis: Visuell ähnliche Bilder und(!) Ähnlicher Bildinhalt

16 Fusion der Suchkonzepte Die Kombination von visueller Low-Level- Bildsuche und Fuzzy-Schlagwortsuche ermöglicht eine einheitliche Ähnlichkeitsmetrik. Dies erlaubt: Verbesserte Bildsuchergebnisse Automatisches Clustern von Bildern

17 Ähnlichkeitsgewichtung Schlagwörter visuelle Erscheinung

18 zwei Beispiele Fusion

19 Clustern von Bildsuchergebnissen Zu viele unterschiedliche Bildkonzepte machen es schwierig, Startbilder für eine Suche zu finden

20 Clustern von Bildsuchergebnissen

21 Hauptprobleme der Bildsuche Fast alle Bilder sind unverschlagwortet Lösung: automatisches Bildverstehen Es gibt viel zu viele Bilder Lösung: visuelle Bildnavigation

22 Automatisches Bildverstehen

23 Automatisches Bildverstehen würde viele Probleme lösen Prinzip: Algorithmus Bild Text (Schlagwörter)

24 Automatisches Bildverstehen 3264x2448 Pixel 16x16 Pixel 16x16 Pixel 16,7 Millionen 16 Helligkeiten Farben

25 Automatisches Bildverstehen levels 16x16 Pixel, 16 Helligkeiten Anzahl der möglichen Bilder: 16 16x16 = Extrem viele mögliche Bilder, von denen fast alle nichts Sinnvolles darstellen

26 Automatisches Bildverstehen, einfachster Fall: Bild mit nur 2 Pixeln, nur schwarz und weiß Mögliche Fragen: Sind die Pixel beide schwarz? beide weiß? unterschiedlich? ja nein nein nein nein ja nein nein ja nein ja nein

27 (Künstliches) Neuronales Netzwerk T x 1! T output x 1 x 2! " x 2 input

28 Neuronale Netzwerke (NN) lassen sich so trainieren, dass sie diese Fragen richtig beantworten können: Sind die Pixel alle weiß? Sind die Pixel unterschiedlich? x 1 x 1 x 2 x 2 Idee: Verwendung größerer Netzwerke, dann wird Bilderkennung möglich

29 Automatisches Bildverstehen mit NN Hund Katze Maus Auto

30 Probleme bis vor wenigen Jahren: Hund Katze Maus Auto Nicht genügend annotierte Beispielbilder Computer waren zu langsam Vollvernetzte Netzwerke hatten zu viele Parameter und konnten nicht verallgemeinern All diese Probleme wurden gelöst: Machine Learning Deep Learning Convolutional Neural Networks

31 Convolutional Neural Networks Architektur von LeNet-5, eines der ersten CNN LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE (1998):

32 Convolutional Neural Networks Lecun:

33 Bildsuche mit Convolutional NN unknown image Neuronal Network Image Analysis Descriptor

34 Was ermöglicht automatisches Bildverstehen? Lösung der aktuellen Probleme der Bildsuche durch: Automatische Verschlagwortung Bessere Suchergebnisse Visuelle Bildnavigation Bildsynthese

35 Automatische Verschlagwortung von Bildern

36 Automatische Verschlagwortung unknown image Neuronal Network Image Analysis keywords Descriptor Visual descriptors of the image archive... Descriptor Similarity Matching similar images with keywords Keyword aggregation keywords 36

37 Automatische Verschlagwortung 37

38 Automatische Bildbeschreibungen 38

39 Visuelles Browsen / Visuelle Bildnavigation

40 Status Quo: Endloses Suchen bzw. Scrollen Lampe

41 Google Maps Google Maps

42 Google Earth Google Earth

43 picsbuffet.com

44 picsbuffet.com

45 Wie funktioniert picsbuffet? 2D-Bildsortierung nach Aussehen und Inhalt neighborhood"a" A" neighborhood"b" unsortiert B" sortiert

46 Hierarchische Pyramidenstruktur

47

48 Bildgraphen

49 Bildgraph durch Kantentausch..."..."..."..." A" ""E"..."..." """"""X"" 2D Sortierung..."..." Y" Bildgraph

50

51 Bildsynthese

52 Bildsynthese DeepArt Inhalt Stil Bilder von

53 Vielen Dank! Prof. Dr. Kai Uwe Barthel visual-computing.com pixolution.org