Sandro Castronovo. Seminar Intelligent Virtual Characters am DFKI SS Leiter: Dr. Michael Kipp

Transkript

1 Computer Vision Sandro Castronovo Seminar Intelligent Virtual Characters am DFKI SS 2006 Leiter: Dr. Michael Kipp

2 Übersicht Überblick Was ist Computer Vision Praxisbeispiel1: Effizientes Komprimieren von Präsentationsvideos (Talkshow, Lehre, etc.) Praxisbeispiel2: virtuelle Charaktere mit Gesten, Mimik und Sprache steuern

3 Was ist Computer Vision? drei grosse Bereiche Bildverarbeitung Transformation von Bildern zur besseren Interpretation durch den Menschen Bildverstehen Gewinnen von Information der 3D-Welt aus 2D-Bildern Mustererkennung Klassifizieren von Bildstrukturen

4 Bildverarbeitung Beispielanwendung Entrauschen von Bildern

5 Bildverstehen Beispielandwendung Stereographische Rekonstruktion

6 Mustererkennung Beispielanwendung Klassifizieren von Objekten

7 Differential Video Coding in Presentation Videos Bandbreitenbeschränkungen stellen ein Problem bei der Übertragung von Videos dar Video muss komprimiert werden Gibt es eine gute Methode zur Kompression speziell bei Präsentationsvideos?

8 Voraussetzungen Bei Präsentantionsvideos sind folgende Dinge gegeben: ein Sprecher meist zur Kamera gewandt statische Kulisse im Hintergrund

9 Lösungsansatz Zuhörer achten verstärkt auf Mimik und Gestik Weniger Beachtung findet der Hintergrund und der Körper des Vortragenden => Interessanten Bildregionen eine höhere Auflösung zuweisen => Dem Kopf eine höhere Auflösung zuweisen. Den Händen, wenn sie gestikulieren

10 Gewünschtes Ergebnis links: gewöhnliche Kompression rechts: Gesicht und Hände mit höherer Auflösung komprimiert

11 Vorgehensweise 1. Pixel erkennen, die zu Händen oder Gesicht gehören könnten 2. Region Growing eliminiert fehlerhaft erkannte Pixel 3. Bewegungsabläufe erstellen (Kalman Filter) 4. Filter zum Erkennen von Gesten anwenden 5. Drei Qualitätsstufen: LOW = Hintergrund MEDIUM = nicht-gestikulierende Hand HIGH = gestikulierende Hand/Gesicht

12 1. Hände und Gesicht erkennen (1/6) Aufbauen eines Modells zum Erkennen von Hautfarben auf Basis des Farbtons (HSI Modell) Im ersten Bild werden Hautpixel manuell selektiert um das Modell zu trainieren Alle Pixel auf Ihre Wahrscheinlichkeit hin untersuchen ob sie zu diesem Modell gehören oder nicht Falls die Wahrscheinlichkeit grösser als Tskin ist, gilt dieser Pixel als Kandidat für Hand bzw. Gesicht

13 Hände und Gesicht erkennen (2/6) A) Original B) Kandidatenpixel

14 1. Hände und Gesicht erkennen (3/6) Mit einem Connected Components Algorithmus werden Regionen der erkannten Pixel gebildet (Region Growing) Mit einem Threshold Tsize werden falsch erkannte Pixel eliminiert Zusätzlich: velocity constraint zum Beschleunigen des Erkennens

15 Hände und Gesicht erkennen (4/6) A) Original C) nach Region Growing B) Kandidatenpixel

16 Hände und Gesicht erkennen (5/6) Unterscheidung der Regionen in {FACE, LEFT_HAND, RIGHT_HAND} Mit den Informationen vom vorangegangen Bild anwenden eines EM Algorithmus => Ergebnis: Ellipsen um die Zielregion im Bild

17 Hände und Gesicht erkennen (6/6) A) Original C) nach Region Growing B) Kandidatenpixel D) EM Algorithmus

18 Person verfolgen Probleme beim Verfolgen von Hand und Gesicht Vortragender dreht Gesicht weg von der Kamera Suche nach Gesicht in den folgenden Frames und Beschränkung der Suche auf die obere Hälfte des Bildes (um nicht Hände als Gesicht zu erkennen) Hände verschwinden hinter dem Rücken/Taschen Suche nach Händen in den folgenden Frames und Beschränkung der Suche auf die untere Hälfte des Bildes

19 Kalman Filter Anhand der erkannten Gesichts- und Handregionen Bewegunsabläufe erstellen Diese Bewegungsabläufe dienen als Grundlage für die Gestenerkennung Separater Filter für Gesicht und Hände

20 Gestenerkennung drei Gestentypen werden unterschieden Iconic stehen im Bezug zum semantischen Kontext des Sprechers (Beschreibungsgestiken) Deitic Zeigen auf Objekte in der Umgebung (Zeigegeste) Beat kleine, schnelle Auf- und Abbewegungen (Taktstockgesten)

21 Gestenbeispiele Taktstockgeste Beschreibungsgeste

22 Beschreibungs- und Zeigegesten 3-Phasen-Modell: Vorbereitung der Geste Ausführung/Verweilen Zurücknehmen der Hand Verweilen erkennen durch Geschwindigkeite kleiner als Tmotion Position der Hände ist nicht die natürliche Ruheposition Das Verweilen innerhalb einer Geste kann ebenfalls durch die relative Bewegung des Kopfes verfolgt werden

23 Gestenerkennung Verfolgen einer Beschreibungsgeste

24 Taktstockgesten Achten auf Veränderung in der Vertikalbewegung Handbewegung muss auch eine leichte Horizontalbewegung aufweisen Mindestens drei aufeinanderfolgende Änderungen in der Vertikalbewegung jede innerhalb von 2/3s (Entspricht der natürlichen Frequenz)

25 Komprimierung drei Eingaben für den Kodierer (DCT) Das zu komprimierende Video erkannte Gesichts- und Handregionen sowie die erkannten Gesten Qualität in der nicht- bzw. gestikulierende Hand, Kopf und Hintergrund komprimiert werden sollen HIGH=gestikulierende Hand/Gesicht MEDIUM=nicht gestikulierende Hand LOW=Hintergrund

26 Ergebnisse oben: unten: gewöhnlich Kompression Hände/Gesicht mit unterschiedlicher Kompression

27 Perceptually-driven Avatars and Interfaces Problemstellung => => Multimediaanwendungen generieren viel Information (hohe Bandbreite) Der Benutzer kann mit mit Maus und Tastatur nur bedingt darauf reagieren (geringe Bandbreite) asymmetrisch Wie kann man Gesten, Sprache und Körperhaltung dazu benutzen um besser mit einer virtuellen Welt zu kommunizieren?

28 Multimodale Eingaben Um auf all diese Dinge zu reagieren brauchen wir Eine Kamera, die den ganzen Körper erfasst (starr, grobe Erkennung) Eine Kamera, die das Gesicht erfasst (schwenkbar, feine Erkennung) Mikrofone, um auf Sprache reagieren zu können

29 Versuchsaufbau Versuchsaufbau mit Kamera, Mikrofonarray und virtual Character

30 schematischer Aufbau Projektionsfläche starre Kamera Kopf Benutzer aktive Kamera

31 Erkennen und Verfolgen des Benutzers Annahme: Hintergrund ist statisch Zu Beginn: Aufbauen eines Modells für die Szene ohne Benutzer Große Änderungen in diesem Modell gelten als Anhaltspunkt für die Position des Benutzers Bewegungs- und Wärmeerkennung sind zu aufwendig für Echtzeitberechnungen Hände und Gesicht werden anhand der Hautfarbe erkannt (vgl. erstes Beispielanwendung)

32 Aktives Kamerasystem Starre Kamera liefert die Position des Kopfes Aktive Kamera kann durch schwenken ein detailliertes Bild des Gesichtes einfangen

33 Gestenanalyse Hände und Gesicht sind zu komplex, um sie in voller Darstellung zu modellieren Deshalb: Anhand von Beispielbildern Klassen von Ausdrücken/Gesten erstellen Ähnlichkeitsfunktionen geben dann an, mit welcher Wahrscheinlichkeit ein neues Bild in eine dieser Klassen fällt Diese Ähnlichkeitsfunktionen werden dann mit Hilfe einer RBF in einen Vektor überführt, der zur Erkennung oder Steuerung benutzt wird

34 Beispiel zur Gestenanalyse (a) (b) (c) (d)

35 Verfolgen von Gesichtsausdrücken M e od ll Zeit

36 Spracherkennung (Aufbau) Hintergrundgeräusche Mikrofonarray Szene Benutzer

37 Akustische Kamera Benutzer soll keine Mikrofone oder Kabel am Körper tragen Aber: Hintergrundgesräusche beeinträchtigen die Spracherkennung => Lösung: Beamforming!

38 Beamforming Mikrofonarray auf den Benutzer fokussieren (Position des Benutzers bekannt) Es gibt einen Zeitversatz der Laufzeit des Schalls zu den Mikrofonen Aufsummierung der zeitkorrigierten Signale verstärkt die Geräusche des Benutzers und eliminiert Hintergrundgeräusche Mikrofone in regelmässigen Abständen auf die aktuelle Position des Benutzers ausrichen

39 Anwendungsbeispiele Interaktion mit virtuellen Agenten

40 Anwendungsbeispiele Informationen visualisieren

41 Anwendungsbeispiele Interaktive 3D-Spiele

42 Zusammenfassung Anwendungsbeispiel 1: Kompression von Präsentationsvideos Publikum achtet verstärkt auf Hände und Gesicht Diese Bereiche mit einer höheren Auflösung komprimieren Gesicht und Hände anhand der Hautfarbe erkennen

43 Zusammenfassung Verläufe der Handbewegungen durch Anwendung eines Kalman Filters erstellen Das Ergebnis daraus dient als Eingabe für die Gestenerkennung Gesten werden anhand der Bewegungsabläufe der Hände klassifiziert drei unterschiedliche Qualitätsstufen LOW = Hintergrund MEDIUM = nicht gestikulierende Hand HIGH = gestikulierende Hand/Kopf

44 Zusammenfassung Anwendungsbeispiel 2: Interagieren und Steuern einer virtuellen Welt starre Kamera nimmt die gesamte Szene auf, um den Benutzer zu lokalisieren bewegliche Kamera verfolgt das Gesicht, um Gesten zu erkennen Mikrofonarray erkennt mit Hilfe von Beamforming die natürliche Sprache des Benutzers

45 Zusammenfassung Anhand von Beispielbildern Klassen von Gesten erstellen Ähnlichkeitsfunktionen erstellen und mit Hilfe einer RBF in einen Vektor zum Erkennen bzw. zum Steuern der Geste überführen Beamforming benutzen, um die Spracherkennung zu verbesseren

46 Vielen Dank für Eure Aufmerksamkeit