Vision-Based Interaction

Transkript

1 Vision-Based Interaction Ulrich Leiner,, Interactive Media Human Factors, Einsteinufer 37, Berlin, Germany

2 Das Heinrich-Hertz-Institut : Angewandte Forschung in Deutschland 59 Institute, Forscher, 1,6 Mrd. Etat Abteilung Interaktive Medien Human Factors 25 Forscher Heinrich-Hertz-Institut (HHI) Nachrichtentechnik, Photonik, Bildverarbeitung 270 Forscher, 26 Mio. Etat

3 Die Anzeige reagiert Es passiert, wenn niemand hinsieht Ein Citylight-Poster- Vitrine der Wall AG Mitten in Berlin Eine Kampagne von Amnesty International Wenn man hinsieht: Idyllisches Familienleben Wenn niemand hinsieht: Gewaltszenen Quellen:

4 Kopf- und Augenverfolgung Die Technologie hinter Es passiert, wenn niemand hinsieht Facetracking mittels Kamera über dem Display Erkennung, ob Betrachter in Richtung Plakat blickt Inhalt wechselt in Abhängigkeit davon Personenzählung und Gesichtserkennung ist eine Entwicklung der Firma Vis-á-pix, einer Ausgründung des HHI im Jahr 2003 Quelle:

5 Robuste Blickverfolgung Augenerkennung und -verfolgung Schneller zweistufiger Ansatz Kopferkennung nach Datenbanktraining Augenverfolgung mittels Blockmatching Echtzeitfähig bis 120Hz Robust gegen schwankende Lichtverhältnisse durch Helligkeitsanpassung Robust gegen Hautfarben, Brillen, Hüte, Haarschnitt

6 Bewegungsparallaxe Die Position der virtuellen Kamera wird den Augendaten angepasst Bewegungsparallaxe in der computergenerierten Szene Funktioniert für 2D und 3D Kommt holografischen Bildern sehr nahe

7 Anwendungsfelder Wenn ich weiß, wer gerade hinschaut Geschlechtsspezischer Inhalt Teaser, wenn keiner schaut Pay per View Alter Geschlecht Stimmung Anzahl Robuste Erkennungs- Technologie Blickrichtungsmessung Unterhaltung für Gruppen Kleidung Attraktivitätsmessungen Altersspezischer Inhalt Quelle: IIS Erlangen

8 Die Fuggerbücher 2009 erwarb die Bayrische Staatsbibliothek zwei herausragende Werke der Familie Fugger, darunter die Familienchronik Fuggerorum et Fuggerarum Imagines Weltneuheit - gestengesteuertes Präsentationssystem für Handschriften Bei der heutigen Präsentation der von der BSB erworbenen Werke der Buchkunst, das Geheime Ehrenbuch der Fugger und die prachtvoll kolorierte Kupferstichfolge der Fuggerorum et Fuggerarum... imagines, wird ein in Kooperation mit dem Institut für Nachrichtentechnik (Heinrich-Hertz-Institut, Berlin) entwickeltes Präsentationssystem für Ausstellungen zum Einsatz kommen. Dr. Ulrich Leiner slide 8

9 Gestensteuerung Mittels Gesten wird das Blättern, Drehen und Zoomen in Handschriften und Drucken auf einem Großbildschirm ermöglicht Dr. Ulrich Leiner slide 9

10 Lafers neues Kochstudio Berührungslose Interaktion Lafers neues Kochstudio Table d Or Das Präsentationssystem wird auf über 7 Meter Abstand berührungslos bedient Link:

11 Benutzereinteraktion Anwendung von berührungslose Interaktion Digital Signage mit Rückkanal Spontane Nutzung ohne Hilfsmittel Vandalismussicher im öffentlichen Raum LG: Magic Motion Remote Control Hygienisch bis zur sterilen Nutzung Große Bilddiagonale und großer Benutzerabstand Technologische Grundlagen sind schnelle und robuste Algorithmen zur Hand-/Fingererkennung Link:

12 Systematics of touchless Solutions An input signal can be created by evaluating hand gestures, which are performed at distance from the system to be managed Touchless Control Markerbased Markerless Camera based EFS et al. TOF-Cam Stereo Cams Dr. Ulrich Leiner slide 12

13 Handtracker Stereo camera + active, pulsed infrared Illumination Dr. Ulrich Leiner slide 13

14 Kamerabasiertes Handtracking 2 IR-Kameras mit gepulster Infrarotbeleuchtung Drei wichtige Verarbeitungsschritte Hardware-Kalibrierung und Vorverarbeitung der Bilddaten Eliminieren von Rauschen und Störsignalen Interpretation des Datenstroms, Definition und Erkennung von Gesten Stop Turn Back Yes Applikationsentwicklung und Kopplung mit Gestendaten

15 Berührungsloses POI

16 Berührungsloses POS

17 Trend Gesture Control Microsoft Project Kinect Touchless TV-Control Hitachi Both use TOF-Cameras

18 Mit dem 2. sieht man besser

19 Autostereoskopie Autostereoskopie für einen User: Erläuterung der Funktionsweise Links- und Rechtsbild müssen getrennt werden Augenverfolgung und Bildnachführung erhalten den Stereoeindruck Link: ww.hhi.fraunhofer.de/im

20 Stereo plus Gesteneingabe Hochrealistische Ausgabe wird kombiniert mit berührungsloser Eingabe Nutzerfeedback: Attraktiv, spielerisch, neuartig, spontan, macht Spaß

21 Applications Areas for HCI Eye tracking Hand tracking Motion Parallax Viewerdependent content Autostereoscopic Displays Cursor Substitution Gesture Language Highly immersive interactive systems

22 Interaktives Zukunftsszenario Applikationen für Werbung POS/POI Erkennungs- Hochwertige 2D und Technologie 3D-Displays Echtzeit- Feedback Neuartige Interaktionsformen Augmented Reality Eintauchen in Virtuelle Welten Nutzererkennung Produkttest und Analyse Web 3.0 Gaming

23 Minority Report Was gestern noch Science Fiction war, ist heute schon technisch überholt: Minority Report von 2002 benötigt noch Marker für die Gestik-Interaktion!

24 Ich freue mich auf Ihre Fragen und Kommentare Alles Weitere unter