Einführung Seminar Bildverarbeitung Bildsuche in großen Bilddatenbanken. Stefan Romberg Lehrstuhl Mul=media Compu=ng Universität Augsburg

Transkript

1 Einführung Seminar Bildverarbeitung Bildsuche in großen Bilddatenbanken Stefan Romberg Lehrstuhl Mul=media Compu=ng Universität Augsburg

2 Überblick Wozu Seminare? Organisatorisches Literaturrecherche Vortrag Ausarbeitung Themenvorstellung und - vergabe

3 Wozu Seminare? Einführung in wissenschacliches Arbeiten Strukturierte Recherche Öffentlicher Vortrag SchriCliche Ausarbeitung Grundlegende Techniken der täglichen Arbeit Für nahezu alle potenkellen zuküncigen Jobs Hauptbestandteil universitärer Ausbildung SelbstmoKvaKon, SelbstorganisaKon (Zeitplan!) Bräuchte eigentlich mehr als ein Seminar Nebeneffekt : wissenschacliche Inhalte

4 Organisatorisches Ort & Zeit: Mi[wochs von 10:00-12:00, Raum 202 Zwei Vorträge pro Woche 4 Leistungspunkte, 2 SWS MulKmediale InformaKonsverarbeitung, MulKmedia Methoden, MulKmedia Anwendungen, Systemnahe Grundlagen von MulKmedia Dozent: Stefan Romberg Raum 1011N stefan.romberg@informakk.uni- augsburg.de Sprechstunde: Vereinbarung per

5 Anforderungen Anforderungen und Benotungsgrundlage: Minuten Vortrag 5-10 Minuten Diskussion im Anschluss SchriCliche Ausarbeitung Beta- Version bis Vortragstermin, Endfassung 2 Wochen später Bewertung 60% Ausarbeitung, 40% Vortrag Wöchentliche Pflicht: Vorbereitung: Lesen der grundlegenden Veröffentlichungen zum nächsten Seminarvortrag Wird auf Webseite veröffentlicht Beteiligung an Diskussionen Anwesenheit

6 Komponenten Strukturierte Literaturrecherche Öffentlicher Vortrag SchriCliche Ausarbeitung

7 Literaturrecherche Wozu? Auf dem Wissen anderer aulauen If I have seen further it is by standing on ye shoulders of giants - - Isaac Newton, 1676 Nicht das Rad jedes Mal neu erfinden Überblick über Themengebiet gewinnen Interessensgebiet strukturieren und eingrenzen Zwei Phasen: Literatur querlesen, um Überblick zu erhalten Relevante Quellen detailliert durcharbeiten

8 Literatur querlesen Ziel: Überblick keine Details! IteraKv: Mit Veröffentlichungen beginnen, die Überblick bieten; Schlüsselbegriffe und Referenzen finden Lehrbücher, Web, ZeitschriCen,... Data Mining in gefundener Literatur: SKchwortsuche im Web (Suchmaschinen, Linksammlungen, e- Bibliotheken), z.b.: Citeseer (h[p://citeseer.ist.psu.edu) Google Scholar (h[p://scholar.google.com) Rekursion Neue Referenzen, neue Schlüsselworte

9 Literatur querlesen Datenmenge bewälkgen Ständig Relevanz prüfen, Irrelevantes ignorieren Aber: skchprobenarkg anscheinend irrelevante Referenzen prüfen man könnte etwas übersehen SystemaKsche Strukturierung BibTeX, HTML, Datenbank, NoKzen, Post- its,... WichKges schriclich festhalten WichKge ZiKerungen (wer, wann, wo, was) Eigene Zusammenfassung des Papers schreiben Was trägt es zur Lösung des bearbeiteten Problems bei? Eigene Gedanken bei der Lektüre

10 Literatur querlesen Mit aktuellen Referenzen beginnen Nur so findet man andere aktuelle Paper... die aber oc nur Nischen abdecken Die frühesten Referenzen zu einem Themengebiet sind oc genauso hilfreich wie Überblicksarbeiten Genereller MoKvieren das Thema Geben Überblick

11 VerKefung Vor der Lektüre: Fragen niederschreiben Was möchte ich aus diesem Paper lernen? Was ist noch unklar? Während der Lektüre WichKge Sachverhalte nokeren Bezüge zu anderen Papern herstellen (Netzwerk) Verwendete Terminologie und NotaKon Gemeinsamkeiten und Unterschiede Nach der Lektüre: hat es mich weitergebracht? Neue Fragen? Wie könnte ich sie klären?

12 Komponenten einer Seminararbeit Strukturierte Literaturrecherche Öffentlicher Vortrag SchriCliche Ausarbeitung

13 Vortrag Ziel: die Zuhörer sollen das Vorgetragene verstehen!

14 Vortrag: Publikum Zielpublikum: Wer kommt zum Vortrag? Fachlicher Hintergrund? In welcher Umgebung? Beeinflußt SKl, Terminologie, Anspruch, Diskussion,... Welche Fragen sind zu erwarten?

15 Vortrag: Planung Planung: Mit der Umgebung vertraut machen Was ist die MoKvaKon der Zuhörer? Warum sollten sie mir zuhören? Wie kann ich das Publikum erreichen? Was ist das richkge Anspruchsniveau? Fragen vorbereiten, um Zuhörer einzubinden

16 Vortrag: Aulau Dreiteiliger Aulau: Sage, was du gleich sagen wirst Sage es Sage, was du gerade gesagt hast

17 Vortrag: Aulau Sage, was du gleich sagen wirst Gliederung kurz vorstellen Übersichtsfolie wiederholen MoKvaKon: SituaKon und Überblick, Problemstellung Lösungsansatz Sage es Klar erkennbarer roter Faden von einfach zu komplex manchmal auch umgekehrt Vortrag soll eine möglichst spannende Geschichte erzählen!

18 Vortrag: Aulau Sage, was du gerade gesagt hast Zusammenfassung Eigene Bewertung klar vom Inhalt getrennt Offene Fragen, Diskussion anstoßen,...

19 Vortrag: Form Titelfolie mit Titel, Name und Zugehörigkeit Anfangen, darüber zu sprechen (und das Thema) Die Folien sollen die Zuhörer unterstützen, nicht den Vortragenden! Nur SKchpunkte, keine vollständigen Sätze Bilder und Grafiken sta[ zuviel Text Wenige Formeln und AnimaKonen Farben, Fe[- und KursivschriC nur für Hervorhebungen Ungefähr 2 Minuten pro Folie einrechnen

20 Vortrag: Form Maximal 8-10 Zeilen Text pro Folie Kein zeitversetztes Einblenden von Elementen Kontext geht verloren Zusatzfolien für zu erwartende Fragen Deutlich machen, wenn das Ende erreicht ist Danke oder Gibt es Fragen? genügen Vorheriger Probevortrag mit Zeitmessung ist unabdingbar Im Erns{all ist man meist jedoch schneller

21 Vortrag: Umgebung Vorher prüfen: Geräte und Hilfsmi[el sind da und funkkonieren Notebook Projektor SoCware Versionen, MulKmedia Player, Codecs,... Folien, Tafel, Kreide, SKCe,... Was tue ich wo? Standort Platz für Folien, NoKzen,...

22 Vortrag: Probleme Englische vs. Deutsche Terminologie Konsistenz ist wichkg! Nur über Dinge reden, die man vollständig versteht Nicht zuviel Material Normal sprechen Nicht zu viele Details Eine Geschichte erzählen, nicht Fakten auflisten Jedes Thema mokvieren, Verbindungen aufzeigen

23 Vortrag: Probleme Mit offenen Fragen enden (umstri[en) HilC, Diskussionen anzuregen Eigene Beurteilung ist wichkg Separat am Ende Freie Rede, kein Ablesen von NoKzen Äh... vermeiden Nicht mit dem Rücken zum Publikum Zuhörer im Blick haben Auf eigene Körpersprache achten

24 Komponenten einer Seminararbeit Strukturierte Literaturrecherche Öffentlicher Vortrag SchriCliche Ausarbeitung

25 Ausarbeitung Umfang: Seiten Kein Plagiat! Keine Übersetzung! Quellen kenntlich machen Einfacher ZiKersKl: Name, Titel, Verlag/Herausgeber, Jahr Von Dri[en korrekturlesen lassen Falls wir es noch nicht erwähnt haben sollten: Kein Plagiat! Keine Übersetzung! Auf Rechtschreibung und GrammaKk achten! Keine Entschuldigung, falls Paper schlecht geschrieben: Ausarbeitung muss sprachlich einwandfrei sein

26 Ausarbeitung Meta- Ausarbeitung auf der Webseite Beschreibt, wie man eine Ausarbeitung schreibt Ist selbst eine Ausarbeitung Ausgangsbasis für eigene Ausarbeitung Enthält Bilder, eine Bibliographie und mehr LaTeX- Quelltext verfügbar Kann (und soll) als Vorlage genutzt werden LaTeX Tools: Windows: LED (h[p:// ) oder TeXnicCenter ( zusammen mit MiKTeX- DistribuKon ( Mac: TexShop (h[p:// ) + MacTex (h[p:// Linux: Kile + TexLive Erstellung der Ausarbeitung auch in Word möglich Aber: Sauberes kompaktes Layout, saubere Formeln

27 Themen

28 Bildverarbeitung Hier: Schwerpunkt Bildsuche und alles was weitestgehend mit Bildsuche zu tun hat Konkrete Themen: Bildsuche Inhaltsbasiert Ähnliche Bilder Bilder die das selbe Objekt / idenksche Teilszene zeigen mi[els Metadaten (z. Bsp. Labels / Tags) Visuelle Merkmale (Deskriptoren) SzenenklassifikaKon AutomaKsche BildkomposiKon Erstellen repräsentakver Bilder für Bildkategorien / Konzepte für Sehenswürdigkeiten

29 Was sollt ihr durch diese Themen kennenlernen? Visuelle Merkmale / Deskriptoren BildrepräsentaKonen StaKsKsche Modelle Klassifikatoren Clustermethoden Evaluierungsmethoden / Visualisierungsmethoden Anwendungsszenarien Probleme in der Praxis Andere Tricks...

30 GeneraKng Diverse and RepresentaKve Image Search Results for Landmarks Abstract: Can we leverage the community- contributed colleckons of rich media on the web to automakcally generate representakve and diverse views of the world s landmarks? We use a combinakon of context- and content- based tools to generate representakve sets of images for locakon- driven features and landmarks, a common search task. To do that, we use locakon and other metadata, as well as tags associated with images, and the images visual features. We present an approach to extract tags that represent landmarks. We show how to use unsupervised methods to extract representakve views and images for each landmark. We evaluate the system in the context of image search using a real- life dataset of 110,000 images from the San Francisco area.

31 CompuKng Iconic Summaries of General Visual Concepts Abstract: This paper considers the problem of seleckng iconic images to summarize general visual categories. We define iconic images as high- quality representakves of a large group of images consistent both in appearance and semankcs. To find such groups, we perform joint clustering in the space of global image descriptors and latent topic vectors of tags associated with the images. To select the representakve iconic images for the joint clusters, we use a quality ranking learned from a large colleckon of labeled images. For the purposes of visualizakon, iconic images are grouped by semankc theme and mulkdimensional scaling is used to compute a 2D layout that reflects the relakonships between the themes. Results on four large- scale datasets demonstrate the ability of our approach to discover plausible themes and recurring visual mokfs for challenging abstract concepts such as love and beauty.

32 Shape Discovery from Unlabeled Image CollecKons Abstract: Can we discover common object shapes within unlabeled mul8- category collec8ons of images? We propose a shape discovery method in which local appearance (patch) matches serve to anchor the surrounding edge fragments, yielding a more reliable affinity func8on for images that accounts for both shape and appearance. Spectral clustering from the ini8al affini8es provides candidate object clusters. Then, we compute the within- cluster match paferns to discern foreground edges from clufer, afribu8ng higher weight to edges more likely to belong to a common object. In addi8on to discovering the object contours in each image, we show how to summarize what is found with prototypical shapes. Our results on bench- mark datasets demonstrate the approach can successfully discover shapes from unlabeled images.

33 VisualRank: Applying PageRank to Large- Scale Image Search Abstract: Because of the relakve ease in understanding and processing text, commercial image- search systems ocen rely on techniques that are largely indisknguishable from text search. Recently, academic studies have demonstrated the effeckveness of employing image- based features to provide either alternakve or addikonal signals to use in this process. In this work, we cast the image- ranking problem into the task of idenkfying authority nodes on an inferred visual similarity graph and propose VisualRank to analyze the visual link structures among images. The images found to be authorikes are chosen as those that answer the image- queries well. To understand the performance of such an approach in a real system, we conducted a series of large- scale experiments based on the task of retrieving images for 2,000 of the most popular products queries. Our experimental results show significant improvement, in terms of user saksfackon and relevancy, in comparison to the most recent Google Image Search results.

34 PhotoSketch: Internet Image Montage Abstract: We present a system that composes a realiskc picture from a simple freehand sketch annotated with text labels. The composed picture is generated by seamlessly sktching several photographs in agree- ment with the sketch and text labels; these are found by searching the Internet. Although online image search generates many inappropriate results, our system is able to automakcally select suitable photographs to generate a high quality composikon, using a filtering scheme to exclude undesirable images. We also provide a novel image blending algorithm to allow seamless image composikon. Experimental results show the method is very successful; we also evaluate our system us- ing the results from two user studies.

35 City- Scale LocaKon RecogniKon Abstract: We look at the problem of locakon recognikon in a large image dataset using a vocabulary tree. This entails finding the locakon of a query image in a large dataset containing 30,000 streetside images of a city. We inveskgate how the tradikonal invariant feature matching approach falls down as the size of the database grows. In parkcular we show that by carefully seleckng the vocabulary using the most informakve features, retrieval performance is significantly improved, allowing us to increase the number of database images by a factor of 10.

36 Scalable RecogniKon with a Vocabulary Tree Abstract: A recognikon scheme that scales efficiently to a large number of objects is presented. The efficiency and quality is exhibited in a live demonstrakon that recognizes CD- covers from a database of images of popular music CD s. The scheme builds upon popular techniques of indexing descriptors extracted from local regions, and is robust to background clu[er and occlusion. The local region descriptors are hierarchically quankzed in a vocabulary tree. The vocabulary tree allows a larger and more discriminatory vocabulary to be used efficiently, which we show experimentally leads to a dramakc improvement in retrieval quality. The recognikon quality is evaluated through retrieval on a database with ground truth, showing the power of the vocabulary tree approach, going as high as 1 million images.

37 Matching Local Self- SimilariKes across Images and Videos Abstract: We present an approach for measuring similarity between visual enkkes (images or videos) based on matching internal self- similarikes. What is correlated across images (or across video sequences) is the internal layout of local self- similarikes (up to some distorkons), even though the pa[erns generakng those local self- similarikes are quite different in each of the images/videos. These internal self- similarikes are efficiently captured by a compact local self- similarity descriptor, measured densely throughout the image/video, at mulkple scales, while accounkng for local and global geometric distorkons. This gives rise to matching capabilikes of complex visual data, including deteckon of objects in real clu[ered images using only rough hand- sketches, handling textured objects with no clear boundaries, and deteckng complex ackons in clu[ered video data with no prior learning. We compare our measure to commonly used image- based and video- based similarity measures, and demonstrate its applicability to object deteckon, retrieval, and ackon deteckon.

38 Object retrieval with large vocabularies and fast spakal matching Abstract: In this paper, we present a large- scale object retrieval system. The user supplies a query object by seleckng a region of a query image, and the system returns a ranked list of images that contain the same object, retrieved from a large corpus. We demonstrate the scalability and performance of our system on a dataset of over 1 million images crawled from the photo- sharing site, Flickr [3], using Ox- ford landmarks as queries.

39 Terminübersicht Datum Vortragender Themen Stefan Romberg Einführung Fabian Richter Vorstellung der Diplomarbeit Tag Relevance for Image Retrieval ChrisKan Ries Thanh Son Do Florian Haas Christoph Koch Vorstellung der Diplomarbeit AutomaKc Pose IniKalizaKon of Swimmers in Videos GenereraKng Diverse and RepresentaKve Image Search Results for Landmarks CompuKng Iconic Summaries of General Visual Concepts Photo Sketch: Internet Image Montage Robin Han Visual Rank: Applying PageRank to Large- Scale Image Search Georg Döhring Shape Discovery from Unlabeled Image ConnecKons

40 Quellen Philipp Slusallek: Hinweise zur schriclichen Ausarbeitung in Seminaren, FoPras und bei Hausarbeiten, Vorlesungsunterlagen, Saarbrücken, Phillipp Slusallek: IntroducKon to Seminars, Vorlesungsunterlagen, Saarbrücken, 2006.