Intelligente Umgebungen. Rene Grzeszick LS XII - AG Mustererkennung, TU Dortmund 01. Juli 2015

Transkript

1 ntelligente Umgebungen Rene Grzeszick LS X - AG Mustererkennung, TU Dortmund 01. Juli 2015

2 . Einleitung

3 ntelligente Umgebungen Was macht ein intelligentes system intelligent? Unerwartete F ahigkeiten (z.b. selbstfahrende Autos) Nat urliche und intuitive nteraktion mit Nutzern Voraussetzungen: Eingebettete Sensoren Die M oglichkeit zur nformationsverarbeitung (Re-)Aktionsm oglichkeit

4 ntelligente Umgebungen Smart Homes : Prototypische intelligente Umgebungen (Forschung/Visionen) Einige Funktionalit aten erhalten langsam Einzug in den Alltag Oft bekannt aus mobilen Endger aten oder Automobilindustrie Problem: H auser haben lange Lebenszyklen ntelligenz immer im Bezug auf nteraktion mit Nutzern D.h. sinnvolle Reaktion auf die Pr asenz/das Verhalten von Menschen (z.b. automatisch angepasste Klimatisierung oder Licht, der Stimmung angepasste Musik, Bestellung von Lebensmitteln, Hilferufe in Notf allen,...)

5 ntelligente Umgebungen: Wichtige Faktoren Technologische Entwicklung Erhöhte Komplexität der Gebäude Kontrolle Ziel ist eine verbesserte/einfachere Benutzbarkeit Zielgruppen Herausforderung der alternden Gesellschaft Unterstützung des unabhängigen Lebens von älteren oder körperlich beeinträchtigten Menschen Ambient assisted living Ubiquitäres Rechnen nformationsverarbeitende Geräte sind überall Rechner werden nicht mehr als solche wahrgenommen, sondern verschwinden im Alltag (z.b. Unterhaltungselektronik, mobile Endgeräte) Nutzung in (Kombination mit) Smart Homes [Busch Jäger - Free@Home] [AAL - wohnen-im-alter.de] [Busch Jäger - App]

6 Herausforderungen Entwicklung eingebetteter Hard & Software Kleiner (und unauffälliger) Energieeffizienter Kostensparender Signalverarbeitung Sensorrauschen Sparse sensing / Kompression Energieeffizienz [Busch Jäger - Free@Home] [AAL - wohnen-im-alter.de] Maschinelles Lernen/Mustererkennung Methodik zur Verarbeitung der Sensordaten Erkennung von Zuständen der Umwelt Reaktion auf Umwelt [Busch Jäger - App]

7 . Die FNCA

8 ntelligente Umgebungen: Die FNCA Flexible ntelligent ENvironment with Computational Augmentation

9 ntelligente Umgebungen: Die FNCA... ist umgezogen...

10 ntelligente Umgebungen: Die FNCA FNCA ntelligenter Konferenzraum Ausgestattet mit einem Sensornetzwerk (Mikrophone, aktive Kameras) und Aktoren (KNX-basiert) Schwerpunkte der FNCA Fokus auf Wahrnehmung durch Sensoren (visuell und akustisch) Visionen der FNCA: Multi-modale Wahrnehmungsf ahigkeiten Multi-modale nteraktion mit und... aktive Unterst utzung des Nutzers

11 KNX Bus KNX Weltweit durchgesetzte Vernetzung moderner Haus- und Gebäudesystemtechnik [Grundlagenwissen zum KNX Standard - knx.org] Schwerpunkte Unterscheidet Sensoren (Befehlsgeber) und Aktoren (Befehlsempfänger) dee: Dezentrales System Sensoren geben Befehle direkt an Aktoren weiter

12 Busch Baut auf dem KNX Standard auf System Access Point bildet das Tor in die Welt Gateway zwischen LAN & KNX Ebene (erlaubt z.b. Smartphone Steuerung) Netzwerk Layer baut auf XMPP auf (Öffnung?) - busch-jaeger.de] KNX im KNX Layer komplett verborgen ntern werden weiterhin KNX Pakete versendet Direkt an alle Empfänger, mit Addressinfo + CSMA/CD Kollisionsvermeidung

13 Busch Netzwerke

14 Busch Oberfläche

15 Sensorik Aktuell genutzte Sensoren: Vier aktive Kameras an der Decke Zus atzliche Kameras, wie Kinect Mikrofon-Arrays in der Decke und im Tisch z.b. Sprecherverfolgung durch zentrale Tischkamera, Gestenerkennung durch Kinect Mit insgesamt 32 Mikrophonen z.b. Sprecherortung Weitere KNX Sensoren und Aktoren in Planung

16 . Wahrnehmung: Anwendungen

17 Beispiel : Gestenerkennung Ziel: Erkennung von symbolischen Gesten (z.b. Zeigegesten) Ansatz: 2D Gestenerkennung Bewegung, Regions of nterest, Gesicht- und Hautfarben-Detektion, Hand Erkennung 3D Trajektorien durch Fusion von 2D Detektionen

18 Beispiel : Gesten & Steuerung Ziel: nteraktion durch Gestenerkennung Ansatz: Erkennung typischer Gesten durch Kamera (Kinect) u ber einer Projektionsfl ache Segmentierung durch Tiefenbild Erkennung von Handgesten Koordinatenmapping nteraktion durch Emulation von Klicks / Bewegungen

19 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten

20 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten Person zeigt auf ein Objekt.

21 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten Person zeigt auf ein Objekt.

22 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten Person zeigt auf ein Objekt. Objekt wird identifiziert...

23 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten Person zeigt auf ein Objekt. Objekt wird identifiziert... und in den Fokus gerückt.

24 Beispiel : Gesten & Steuerung Ziel: Fokus der Wahrnehmung auf interessante Objekte durch non-verbale Kommunikation Ansatz: Zeigegesten Person zeigt auf ein Objekt. Objekt wird identifiziert... und in den Fokus gerückt.

25 Beispiel : Visuelle Aufmerksamkeit Aufmerksamkeit ˆ= Fokussieren der Wahrnehmungsfähigkeit Ziel: Ausrichten der Wahrnehmung bzw. orientieren der Sensoren in Richtung relevanter Reize Menschliche visuelle Wahrnehmung : Fokus der Wahrnehmung auf die salienteste (d.h. visuell interessanteste) Region einer Szene Salienz nimmt durch Gewöhnung ab mage Vorteilhaft für Systeme: Gezielte Verarbeitung einer Szene Ausrichtung der Sensoren Fixations Modelle der visuellen Aufmerksamkeit sind größtenteils biologisch inspiriert (z.b. Salienzkarten) [From: LeMeur et al., 2006]

26 Beispiel : Visuelle Aufmerksamkeit Ziel: 3D Repräsentation visueller Aufmerksamkeit Model: Voxel-basiert (3D) Ansatz : Salienzkarten je Ansicht (2D) berechnen [Anmerkung: Zur besseren llustration werden rote Bereiche als besonders salient gewertet.]

27 Beispiel : Visuelle Aufmerksamkeit Ziel: 3D Repräsentation visueller Aufmerksamkeit Model: Voxel-basiert (3D) Ansatz : Salienzkarten je Ansicht (2D) berechnen Rückprojektion in 3D Repräsentation 3D Salienzrepräsentation [Anmerkung: Zur besseren llustration werden rote Bereiche als besonders salient gewertet.]

28 Beispiel V: Lokalisation von Audio Quellen Lokalisation der dominanten Audio Quelle in einem Konferenzraum 2 zirkuläre Mikrophon-Arrays mit jeweils 8 Mikrophonen; Lokalisations-Methode: SRP-PHAT

29 Beispiel V: Audio-visuelle Lokalisation & Tracking Ziel: Ausrichten der Kamera auf die aktiven Sprecher Ansatz: Audiolokalisierung (Winkel) Ausrichten der Kamera Gesichtsdetektion & Lippenbewegung

30 Beispiel V: Akustische Ereignisse Aufnahme von Geräuschen (Stream) Klassifikation auf dem Stream durch Sliding Window Üblicher Weise ca. 600ms Geräusch-Kontext Erkennung typischer akustischer Ereignisse

31 Demos Das war ein Uberblick u ber die Wahrnehmung, jetzt zur aktuellen Finca! Wir sehen: Lokalisation von Audio Quellen Erkennung von akustischen Ereignissen nteraktion durch Gesichtserkennung u ber ein Android Tablet & Sprachsynthese Wordspotting

32 V. Demos Einige unserer Demos sind auf unserer Website in der Kategorie Research als Videos zu finden :-)