4.2.1 Shot Detection. Dcut. cut. Kap Multimedia Retrieval - SS01. Kap Multimedia Retrieval - SS01

Transkript

1 4.2.1 Shot Detection Ein Film setzt sich aus vielen Szenen zusammen. Jede Szene enthält Bilder (Frames), welche zu sich selber ähnlich sind. Z.B. zeigt eine Szene einen Fernsehsprecher bei der Ansage. Für das Retrieval lohnt es sich nicht, die einzelnen Frames dieser Szene zu indexieren. Stattdessen genügt es, die Szene mit Hilfe eines repräsentativen Bildes der Sequenz zu indexieren. Dabei ergeben sich zwei Teilprobleme: Erkennung eines Szenenübergangs (shot detection): Dabei kann man unterscheiden zwischen harten Übergängen (cut) und weichen Übergängen (dissolve, fade-out-fade-in). Erstellen eines repräsentativen Bildes: Eine Möglichkeit wäre, ein zufällig gewähltes Bild aus der Sequenz zu verwenden. Dabei würden aber Kamerabewegungen nicht berücksichtigt werden. Eine erweiterte Variante fügt deshalb die Einzelbilder zu einem neuen virtuellen Bild zusammen. Bewegte Objekte können ausgeblendet werden (resp. werden separat beschrieben) Kap.4-21 Shot Detection (harte Übergänge) Um harte Übergänge zu finden muss man nach abrupten Änderungen im Bildstrom suchen. Z.B. kann dies mit Hilfe einer Ähnlichkeitsfunktion basierend auf primitiven Merkmalen geschehen. [Zhang:1993] beschreibt mehrere Varianten basierend auf dieser Idee: Pixelweiser Vergleich: Die Änderung der Intensität aller Pixel zwischen zwei Frames wird gemessen. Falls die Änderung gross genug ist (threshold), so wird ein cut angenommen: D cut ( x, y, t) I ( x, y, t 1) = I + x, y Der threshold kann mittels Experimenten geschätzt werden. Histogramm Vergleich: Für jedes Frame wird ein Helligkeitshistogramm berechnet (Verteilung der Helligkeit über das gesamte Bild). Die zugrunde liegende Annahme ist: die Helligkeitsänderung zwischen Frames derselben Seqeunz ist klein, jene zwischen Frames unterschiedlicher Sequenzen in der Regel gross. Sei H(j,t) der Histogramwert für den j-ten Wert und das t-te Frame. Falls die Änderung der Histogramme zweier aufeinanderfolgende Frames zu gross ist (threshold), dann kann ein cut angenommen werden: ( j, t) H ( j, t ) Dcut = H + 1 j Kap.4-22

2 Zahlreiche weitere Ansätze verwenden andere (bessere?) Ähnlichkeitsfunktionen, um harte Übergänge zu finden. Das Grundkonzept ist stets dasselbe. Offensichtlich ist die Wahl des thresholds wichtig. Falls er zu klein gewählt wird, werden falsche cuts erkannt, falls er zu gross gewählt wird, so werden cuts nicht erkannt. Eine mögliche Wahl des threshold kann wie folgt erfolgen: Aufgrund von Beispielen wird eine Schranke so gewählt, dass möglichst wenige cuts übersehen werden und nicht zu viele falsche cuts ausgegeben werden. Dies kann z.b. mit Hilfe von Verteilungs-funktionen geschehen. Eine erste Verteilungsfunktion repräsentiert die Differenzen innerhalb der Sequenzen (intra), die zweite jene zwischen den Sequenzen (inter). Der threshold wird so gewählt, dass die Fehlerrate minimal ist. Häufigkeit intra inter threshold Differenz Kap.4-23 Harte cuts können, vorausgesetzt der threshold ist richtig gewählt, bis zu 95% richtig erkannt werden. Probleme dieses Verfahrens Weiche Übergänge (fade-out, fade-in) können nicht erkannt werden. Objekte, welche schnell durchs Bild fliegen werden häufig als falsche cuts erkannt. Eine schnelle Kameraführung (z.b. Kameraschwenk) führt ebenfalls in vielen Fällen zu falsch erkannten cuts. Shot Detection (weiche Übergänge) Ein weicher Übergang kann mittels moderner Schnittsoftware in manigfaltiger Form auftauchen: fade-out, fade-in: die erste Sequenz wird ausgeblendet bis zum total schwarzen Bild (alternativ: bis zum total weissen Bild). Danach wird die neue Sequenz langsam eingeblendet. dissolve: das Ende der ersten Sequenz wird langsam ausgeblendet, während der Beginn der zweiten Sequenz überlagernd eingeblendet wird. Daneben gibt es unzählig viele weitere Effekte (siehe Werbung, Filme, Musik- Videos) Kap.4-24

3 Die Methode zur Erkennung von harten Übergängen hilft hier nicht viel, da die Änderungen zwischen den Frames recht klein sind. Aber über mehrere Frames hinweg sind die Änderungen doch markant. Dies führt zu einer einfachen Idee: twin thresholding: Ein erster threshold (t c ) hilft bei der Erkennung von harten Übergängen. Ein zweiter threshold (t s ) wird benutzt, um den Anfang eines möglichen Übergangs zu erkennen. Dieses Frame wird dann als Referenzframe für die nächsten Frames benutzt, d.h. die Differenzen werden immer zu diesem Frame bestimmt. Falls die Differenz über den ersten threshold (t c ) steigt, dann fand ein weicher Übergang statt. Falls die Differenzen für längere Zeit unterhalb des thresholds t c bleiben, dann war es nicht der Anfang eines Übergangs. Das Verfahren wird dann an der entsprechenden Stelle fortgesetzt. Differenzen möglicherweise weicher Übergang t c t s Zeit harter Übergang kein weicher Übergang weicher Übergang Kap.4-25 Eine andere Möglichkeit besteht darin, die Übergänge zu modellieren und nach charakteristischen Mustern im Strom Ausschau zu halten. Z.B. können fade-outfade-in Übergänge relativ leicht mit Hilfe eines Helligkeitshistogramm erkannt werden (siehe nächste Folie). Beim fade-out werden die Bilder der ersten Sequenz immer dunkler. Im Histogramm macht sich dies durch eine Stauchung in der x-richtung (Helligkeitswerte) bemerkbar (vgl. erste Reihe auf nächster Folie) Beim fade-in werden die Bilder der zweiten Sequenz immer heller. Im Histogramm macht sich dies durch eine Streckung in der x-richtung (Helligkeitswerte) bemerkbar (vgl. letzte Reihe auf nächster Folie) Dazwischen gibt es einige Frames, welche ganz schwarz (oder fast schwarz) sind. Ein fade-out-fade-in Effekt kann also aufgrund der obigen Beobachtungen erkannt werden. Immer wenn das Helligkeitshistogramm zuerst gestaucht wird, dann eine Zeit lang nur dunkel enthält, und dann wieder gestreckt wird, so fand ein fade-outfade-in Übergang statt. Anfang und Ende können erkannt und die Sequenzen separiert werden. Für andere Effekte können ähnliche Modelle aufgestellt werden. Kap.4-26

4 Kap.4-27 Bemerkungen: Shot-Detection könnte mit der Einführung von MPEG-7 zumindest für neue Videoströme überflüssig werden. Dann nämlich sind die Ströme bereits in der Rohform annotiert, so dass man Übergänge nicht mehr suchen muss. Dies macht auch sehr viel Sinn, da die elektronische Schnittsoftware genau weiss, wann welcher Übergang stattgefunden hat. Für älteres Bildmaterial oder nicht annotiertes Bildmaterial gibt es aber keine Alternativen. Shot-Detection muss nicht 100% funktionieren. Es genügt, wenn mind. 90% der cuts erkannt werden. Beim Retrieval möchte man zudem eher weniger Sequenzen durchsuchen müssen. Die üblichen Shot-Detection Algorithmen betrachten nur Übergänge zwischen zwei Sequenzen. In vielen Fällen aber wird zwischen mehreren Einstellungen hin und her geschaltet (z.b. zwei Personen im Gespräch; Seq. 1: erste Person, Seq. 2: zweite Person, Seq. 3: wieder erste Person, Seq. 4: wieder zweite Person, usw.). Anstelle mehrerer Sequenzen könnte man auch die Sequenzen, welche die erste Person zeigen, zusammenfügen (ebenso die Sequenzen, welche die zweite Person zeigen). Cluster Algorithmen können dabei hilfreich sein. Kap.4-28

5 Erstellen eines repräsentativen Bildes: Eine einfache Art, ein repräsentatives Bild für eine Sequenz zu erstellen, besteht darin, ein zufälliges Bild aus dem Strom zu wählen. Vorteile: sehr einfach zu implementieren bei Szenen ohne Kamerabewegung und Objektbewegung ist dies genügend gut Nachteile: Bei Kamerabewegungen werden nur Teile der Sequenz erfasst Bei Objektbewegungen ist die Position des Objektes zufällig Eine bessere Möglichkeit, ein repräsentatives Bild für eine Sequenz zu erstellen, wurde erstmals in QBIC (IBM) angewendet. Dabei werden die Bilder der Sequenz zusammengefügt. Bei einer Kamerabewegung entsteht z.b. ein Panoramabild. Bewegte Objekte werden entfernt und durch zusätzliche Merkmale separat indexiert. Probleme: Durch die Kamerabewegung verändert sich die Filmebene. Dadurch können die Bilder nicht einfach durch Rotation, Skalierung und Translation aneinandergefügt werden. Stattdessen müssen kompliziertere Projektionen angewendet werden. Dies führt zu einigen (irrelevanten) Artefakten. Kap.4-29 Beispiel 1: Zusammenfügen zweier Bilder Kap.4-30

6 Beispiel 2: Zusammenfügen mehrere Bilder (13) Kap.4-31 Beispiel 3: Zusammenfügen mit Entfernen des bewegten Objektes. Kap.4-32

7 4.2.2 Merkmale für das Retrieval Ein Video setzt sich z.t. aus mehreren Strömen zusammen Bildstrom mit visueller Information; manche DVDs erlauben das Betrachten einer Szene aus verschiedenen Kamerawinkel. D.h. für gewisse Sequenzen existieren mehrere Bildströme. Mehrere Audioströme für verschiedene Sprachen und Dokumentation des Films (siehe DVD). Textströme in Form von Untertiteln. Für jeden Strom können grundsätzlich die Methoden aus den vergangenen Kapitel zu Text-, Bild- und Audioretrieval angewendet werden. Allerdings sollte man die gesamte Information nutzen, um eine Sequenz zu beschreiben. D.h. anstatt Text- und Bildstrom nur separat zu indexieren, sollte man auch die Kombination der Ströme nutzen, um zusätzliche Merkmale zu erkennen. Einige Beispiele wurden bereits zu Beginn des Kapitels erwähnt (Objekterkennung, Erkennung von heissen Sportszenen, Erkennung der Person auf den Bildern,...). Kap.4-33 Darüber hinaus gibt es noch weitere Merkmale, welche in keinem der Teilgebiete (Bild, Text, Audio) auftreten: Bewegung von Objekten: Beim Bildretrieval gibt man sich schon zufrieden, wenn man Objekte erkennen kann. Beim Videoretrieval will man darüber hinaus auch über die Bewegung (Richtung, Geschwindigkeit) informiert sein. Z.B. Auto bewegt sich schnell von links nach rechts. Die Erkennung von bewegten Objekten ist z.b. durch den Vergleich von Formen in den Bildern möglich. Mittels edge detection, z.b., werden die Formen des Objektes in den Frames einer Sequenz ermittelt. Dann versucht man mittels Rotation, Translation und Skalierung die Formen ineinander überzuführen. Falls dies gelingt, so hat man ein bewegtes Objekt gefunden. Die ermittelte Transformation ermöglich die Bestimmung von Richtung und Geschwindigkeit des Objektes. In MPEG-4-Strömen ist die Extraktion von bewegten Objekten einfacher. Der MPEG-4 Standard ermöglicht nämlich die separate Kompression von Hintergrund und (bewegten) Vordergrundobjekten. Da sich der Hintergrund und auch die Vordergrundobjekte nur wenig ändern, muss man nur die Verschiebung der Vordergrundobjekte, die Kamerabewegung und die Änderungen im Hintergrund und Vordergrund erfassen. Die Erkennung von Objektbewegungen reduziert sich somit zur Analyse des MPEG-4-Stroms. Damit wird allerdings das Problem nur von der Retrievalkomponente zur Kompressionskomponente verschoben. Kap.4-34

8 Kamerabewegung: Interessant sind die Änderungen der Einstellung der Kamera sowie die Bewegung der Kamera selber. Zu diesem Zweck werden Modelle für die verschiedenen Effekte aufgestellt und nach deren Auftreten im Bildstrom gesucht (siehe Bsp. mit fade-out-fade-in). Zeit-Ort-Beziehungen: Aufgrund der Objektbewegungen ergeben sich Trajektorien im Ort-Zeit-Raum (d.h. eine Linie im 4-dimensionalen Raum). Diese Trajektorien können Fragestellungen wie wo und wann haben sich Person A und B getroffen beantworten. Kap MPEG-7 Im Gegensatz zu MPEG-1, MPEG-2 und MPEG-4 handelt es sich bei MPEG-7 nicht um ein neues Kompressionsverfahren für audio-visuelle Inhate. Stattdessen sind die Ziele von MPEG-7 wie folgt definiert: Beschreibung von multimedialer Information aller Art (also Bilder, Audio, Video). Beschreibung der möglichen Deskriptorentypen (Merkmale) und deren Beziehung zueinander. Eine Sprache für die Definition der Deskriptoren Eine oder mehrere Möglichkeiten, Deskriptoren zu kodieren und effizient zu durchsuchen. Was nicht zum Standard gehört: Die konkreten Implementierung der Merkmalsextraktoren ist nicht im Standard beschrieben, um mögliche Weiterentwicklungen nicht zu verhindern. Such- und Filterwerkzeuge (diese müssen von speziellen Suchmaschinen implementiert werden). Big Picture: Feature Extraction MPEG-7 Description Standardisierung Search Engine Kap.4-36

9 Beispiel: Beschreibung der Dokumentdaten <MediaInformation> <MediaIdentification> <Identifier IdOrganization= MPEG IdName= MPEG7ContentSet > mpeg7_content:news1 </Identifier> </MediaIdentification> <MediaProfile> <MediaFormat> <FileFormat>MPEG-1</FileFormat> <System>PAL</System> <Medium>CD</Medium> <Color>color</Color> <Sound>mono</Sound> <FileSize> </FileSize> <Length>00:38</Length> <AudioChannels>1</AudioChannels> <AudioLanguage> <LanguageCode>es</LanguageCode> <CountryCode>es</CountryCode> </AudioLanguage> <AudioCoding>AC-3</AudioCoding> </MediaFormat> <MediaCoding> <FrameWidth>352</FrameWidth> <FrameHeight>288</FrameHeight> <FrameRate>25</FrameRate> <CompressionFormat>MPEG-1</CompressionFormat> </MediaCoding> <MediaInstance> <Identifier IdOrganization= MPEG IdName= MPEG7ContentSetCD > mpeg7_17/news1 </Identifier> <Locator> <MediaURL>file://D:/Mpeg7_17/news1.mpg</MediaURL> </Locator> </MediaInstance> </MediaProfile> </MediaInformation> Kap.4-37 Beispiel: Beschreibung des Creators <Creation> <Title type="original"> <TitleText xml:lang="es">telediario (segunda edición) </TitleText> <TitleImage> <MediaURL>file://images/teledario_ori.jpg</MediaURL> </TitleImage> </Title> <Title type="alternative"> <TitleText xml:lang="en">afternoon news</titletext> <TitleImage> <MediaURL>file://images/teledario_en.jpg</MediaURL> </TitleImage> </Title> <Creator> <role>presenter</role> <Individual> <GivenName>Ana</GivenName> <FamilyName>Blanco</FamilyName> </Individual> </Creator> <CreationDate> </CreationDate> <CreationLocation> <PlaceName xml:lang="es">piruli</placename> <Country>es</Country> <AdministrativeUnit>Madrid</AdministrativeUnit> </CreationLocation> </Creation> Kap.4-38

10 Beispiel: Personenbeschreibungen <!-- specification --> <element name= Creator <element name= Publisher... type= Person /> type= Person /> <!-- description --> <Creator xsi:type="persongroup"> <Name>Rolling Stones</Name> <Member xsi:type="individual"> <Name> <GivenName initial="m">mick</givenname> <FamilyName>Jagger</FamilyName> </Name> </Member> <Member xsi:type="individual"> <Name> <GivenName>Charly</GivenName> <FamilyName>Watts</FamilyName> </Name> </Member> </Creator> <Publisher xsi:type="organization"> <Name>ACME Publishing Co.</Name> <ContactPerson>... </ContactPerson> </Publisher> Kap.4-39 Beispiel: Beschreibung von low-level Merkmalen in Segmenten <StillRegion id="img0001"> <MatchingHint id="weight01" reliability=" "> <MatchingHintValue DescriptorName="ColorHistogram"> </MatchingHintValue> <MatchingHintValue DescriptorName ="DominantColor"> </MatchingHintValue> <MatchingHintValue DescriptorName ="TextureHistogram"> </MatchingHintValue> </MatchingHint> <ColorHistogram> <-- Details omitted --> </ColorHistogram> <DominantColor> <-- Details omitted --> </DominantColor> <TextureHistogram> <-- Details omitted --> </TextureHistogram> <-- Other Details omitted --> </StillRegion> Kap.4-40

11 Beispiel: Merkmale für Gruppen mit Semantik <Examples SemanticLabel="baldheaded man walking" Length="3" Confidence="1.0" DescriptorName="ColorHistogram"> <Descriptor> </Descriptor> <Descriptor> </Descriptor> <Descriptor> </Descriptor> </Examples> Kap.4-41 Beispiel: Structured Annotation <StructuredAnnotation> <Who>Fernado Morientes</Who> <WhatAction CSName= Sports CSLocation= > scoring </WhatAction> <!-- the thesuarus is a fictional example --> <When>Spain Sweden soccer match</when> <!--- This description is written in English --> <TextAnnotation xml:lang= en-us > This was the first goal of this match. </TextAnnotation> </StructuredAnnotation> goal (CS: classification scheme) Kap.4-42

12 Diskussion MPEG-7 ist ein notwendiger Standard, um Annotationen in ein einheitliches Format zu bringen. Dadurch wird auch der einfache Austausch verschiedener Archive ermöglicht resp. die Integration mehrerer Archive. Ein Problem von MPEG-7 ist, dass es nur ein Framework darstellt. Es braucht auf einer höheren Ebene noch mehr Standardisierung, so dass die verwendeten Deskriptoren einheitlich sind. Z.B. sollte jedes Video eine <Creation> Annotation haben, oder jedes Bild sollte Farbmomente (hoffentlich mit demselben Algorithmus extrahiert) enthalten. Zwar kann man low-level Merkmale einfach nachberechnen, doch macht es dann keinen Sinn, diese Deskriptoren in MPEG-7 Beschreibungen aufzunehmen.ebenso stellen textuelle Beschreibungen ein Problem dar: welche Sprache soll verwendet werden (d.h. welche Fachsprache; Englisch/Deutsch)? Wieviel Information und wie deatilliert muss die Information angegeben werden? Wer übernimmt diese Standardisierungen? Zwar ist der Standard breit abgestützt, doch fehlen überall noch die notwendigen Werkzeuge. Z.B. sollte jeder digitale Fotoapparat nicht nur Fotos aufzeichnen, sondern gleich auch noch alle Metadaten ausfüllen (soweit möglich). Die Eingabe von Annotationen sollte weitgehend von Werkzeugen automatisch vorgenommen werden. Die Akzeptanz und Unterstützung von MPEG-7 ist zur Zeit an einem kritischen Punkt angelangt. In den nächsten Jahren wird sich zeigen, ob der Standard sich durchsetzt, oder aber ob die oben erwähnten Probleme zu gross sind. Klar ist, dass Suchmaschinen MPEG-7 (oder Teile davon) nur dann verwenden, wenn alle Daten homogen beschrieben sind. Kap.4-43 Literatur / Links Allgemeine Bücher zum Bildtretrieval Peter Schäuble, Content-Based Information Retrieval from Large Text and Audio Databases, Kluwer Academic Publishers, Alberto Del Bimbo, Visual Information Retrieval, Morgan Kaufmann Publishers, Audio-Retrieval Links Search By Humming, Steven Blackburn, University of Southampton: ThemeFinder, Video-Retrieval (+Links) H. Zhang, A. Kankamhalli, and S. Smoliar, Automatic partitioning of full-motion video, ACM Multimedia Systems, New York: ACM Press, vol. 1, 1993, pp M. Flickner, H. Sawhney, W. Niblack, J. Ashley, Q. Huang, and B. Dom et al. Query by Image and Video Content: The QBIC System. IEEE Computer, 28(9), QBIC: GMD: Kap.4-44