Die FINCA Eine Platform für für Anwendungen des Ubiquitous Computing Christian 17. Juni 2009 Motivation Anwendungen und Anforderungen im Bereich UC Die FINCA Infrastruktur einer Intelligenten Umgebung Forschungsprojekte Verfahren des UC im praktischen Einsatz
Übersicht Motivation Anwendungen und Anforderungen im Bereich UC Die FINCA Infrastruktur einer Intelligenten Umgebung Forschungsprojekte Verfahren des UC im praktischen Einsatz Motivation Die FINCA Forschungsprojekte 1
Anforderungen Benutzerinteraktion Wie interagieren mit eingebetteten / unsichtbaren / ubiquitären Systemen? zielorientiert intuitiv Unterstützung natürlicher Modalitäten Schrifterkennung Gestenerkennung Spracheingabe und -ausgabe Infrastruktur Detektion / Lokalisierung... Mobilität des Benutzers Sensorik und Aktorik Systemdynamik Verteilte Systeme Motivation Die FINCA Forschungsprojekte 2
Übersicht Motivation Anwendungen und Anforderungen im Bereich UC Die FINCA Infrastruktur einer Intelligenten Umgebung Forschungsprojekte Verfahren des UC im praktischen Einsatz Motivation Die FINCA Forschungsprojekte 3
Die FINCA A Flexible, Intelligent Environment with Computational Augmentation AmI Umgebung besteht aus einen intelligenten Konferenzsaal, Laborfla che und einem mobilen Roboter weiteres im Aufbau... Fokus liegt auf perzeptionsorientierten Sensoren (Kameras und Mikrophonen) und die Integration dieser in eine Gesamtframework Integrierte Platform fu r die Entwicklung von Techniken zur Realisierung von natu rlicher und intelligenter Mensch-Maschine-Interaktion (MMI) N N [% www.finca.irf.de] Die FINCA Eine Platform fu r fu r Anwendungen des UC NH Motivation Die FINCA Forschungsprojekte 4
Konzept Anwendungsfälle: Natürliche/intuitive MMI: Sprach- und Gestenerkennung zur Steuerung von Geräten Z.B. automatische Steuerung der Beleuchtungssituation in Abhängigkeit vom Benutzer-Kontext Kollaboratives Erstellen von Mindmaps Motivation Die FINCA Forschungsprojekte 5
Sensorik und Aktorik Kameras 4 fest installierte Kameras 1 Mobile Kamera Pan-Tilt-Zoom Funktionalität Mikrofone und Lautsprecher 16 Mikrofone Anordnung: 2 Mikrofonarrays Stereo-Kunstkopf auf Pan-Tilt-Einheit Stereo-Lautsprecher Mobiler Roboter Odometrie, Sonar, Laser, (Mobile) Pan-Tilt-Zoom Kamera Aktoren / Sensoren) Diverse Hausgeräte Kontrolliert über KNX Motivation Die FINCA Forschungsprojekte 6
KNX-Bus Historie und Aufgabe Herstellerunabhängiger, zertifizierter Standard Hervorgegangen aus dem Europäische Installationsbus (EIB) Beschreibt die Kopplung von Aktoren und Sensoren in Hausinstallationen Spezifiziert ein Protokoll zur Kommunikation Trennung von Stromversorgung und Steuerung Technik Erweiterung 2-adriger Bus zur Spannungsversorgung und Kommunikation Top. Netz: Bereich(15)/Linie(15)/Teilnehmer(255) = 57.375 Busteilnehmer Zugriffsverfahren CSMA/CA Datenrate: 9.6 kbit/sec Momentan: Unverschlüsselte Kommunikation KNXnetIP Motivation Die FINCA Forschungsprojekte 7
Die Software-Infrastruktur OSGi: Prosyst mbedded Server Equinox Edition [ www.prosyst.com] UPnP: Unterstützung durch OSGi Framework Verwendung: Service Discovery KNX: Gateway für IP basierte Dienste EIB-daemon [ www.auto.tuwien.ac.at] USB-KNX interface Calimero EIBnet/IP Tunnelling für Java [ calimero.sourceforge.net] Applikationen: Allgemein: OSGi Bundles Weitere Funktionalität über Remote Computing and OSGi Proxy Bundles Motivation Die FINCA Forschungsprojekte 8
Übersicht Motivation Anwendungen und Anforderungen im Bereich UC Die FINCA Infrastruktur einer Intelligenten Umgebung Forschungsprojekte Verfahren des UC im praktischen Einsatz Motivation Die FINCA Forschungsprojekte 9
Audio-Lokalisierung Lokalisierung akustischer Quellen (Sprecher) Steered Response Power SRP-PHAT Messung von Signallaufzeitunterschieden durch generalisierte Kreuzkorrelationen Räumliche Überlagerung aller generalisierten Kreuzkorrelationen Maximum der resultierenden Energiefunktion ergibt Quellenposition Probleme Starker Widerhall (Stichwort Nachhallzeit) Unbekannte Quellencharakteristik Störgeräusche: Computerlüfter, Trittschall, etc Motivation Die FINCA Forschungsprojekte 10
Gestenerkennung Ziel: 3D-Gesten zur zielgerichteten, natürlichen Interaktion mit dem System Methodik Mustererkennung Analyse und Interpretation menschlicher Aktionen und Körperposturen Aspekte: Detektion von Körperteilen und Gesichtern, Mutli-Kamera Setup Problem: Starke Variation der Daten in natürliche Umgebungen: Wechselnde Umweltbedingungen Verdeckungen Mehrdeutigkeiten durch 3D 2D Abbildung bei Bildaufnahme, Spotting Motivation Die FINCA Forschungsprojekte 11
Salienzerkennung Problem: Lösung: Komplexität der gesamten Sensordaten überschreitet Rechenresourcen Konzentration auf relevante / interessante Bereiche Motivation Die FINCA Forschungsprojekte 12
Los geht s... Institut für Roboterforschung Otto-Hahn-Straße 8 Motivation Die FINCA Forschungsprojekte 13