Ausarbeitung Anwendungen 1

Transkript

1 Hochschule für Angewandte Wissenschaften Hamburg Hamburg University of Applied Sciences Ausarbeitung Anwendungen 1 Olaf Potratz Medienfassaden Fakultät Technik und Informatik Studiendepartment Informatik

2 Olaf Potratz Thema der Ausarbeitung Anwendungen 1 Medienfassaden Stichworte Mensch-Maschine-Interaktion, Motion Tracking, Gestenerkennung, Physik-Engine, Medienfassaden Kurzzusammenfassung In dieser Ausarbeitung wird kurzer Einblick sowohl in Medienfassaden als auch in Gestenerkennung mittels einer Physik-Engine gegeben. Es wird darüber hinaus vorgestellt, in welchem Themengebiet ich mich in meinem Masterstudium bewegen möchte. Es soll ein Framework erschaffen werden, was einerseits den Einsatz von Physikgeststützer Gestenerkennung erlaubt. Außerdem soll dieses Framework durch die Ermittlung eines geeigneten Trackingsystems in die Lage versetzt werden, zur Interaktion mit Medienfassaden eingesetzt zu werden. Olaf Potratz Title of the paper media facade Keywords Human-Computer-Interface, Motion Tracking, Gesture Recognition, Physics-Engine, media facade Abstract The paper gives a quick look into mediafacades and also in gesture recognition by physicengine. In addition I will imagine the topic of my masters degree. A framework should be create which allow on the one hand gesture recognition by physic-engine. On the other hand this framework should be able to interact also to a mediafacade by using a suitable trackingsystem.

3 Inhaltsverzeichnis 1 Einleitung Motivation Aufbau der Arbeit Grundlagen Medienfassaden Gestenerkennung mittels Physik Vision Umsetzung des Frameworks Aktortracking Mögliche Einsatzgebiete Abschätzung der Risiken Risiken bei der Umsetzung des Frameworks Wahl des Trackingverfahrens Zusammenfassung und Ausblick Zusammenfassung Ausblick Literaturverzeichnis 13 Abbildungsverzeichnis 14

4 Kapitel 1 Einleitung 1.1 Motivation Als grundsätzliche Motivation sich mit dem Thema Medienfassaden zu beschäftigen, lässt sich aus dem Thema meiner Bachelorarbeit [Potratz (2011)] ableiten. Die dortige Zielsetzung einer Gestenerkennung mittels Physik-Engine soll wieder aufgegeriffen werden und diese Entwicklung fortgeführt werden. Die in der Bachelorarbeit gewonnenen Erkennisse dienen als Grundlage für diese und folgende Arbeiten. Die damalige Umsetzung mit mit passiven Markern an den Fingerspitzen, zur Findung der Hände, soll nun gänzlich entfallen. Besonders reizvoll ist es darüberhinaus eine Medienfassade als Projektionsfläche zunutzen, da man hier durch Größe der Fläche, dem Abstand zwischen Projektionsfläche und Benutzer kaum andere Interaktionsmöglichkeiten hat, ein etwaligen Berühren der Fläche entfällt. Auch sind die veränderten Umgebungseinflüsse eine spannende Herausvorderung. Können die Hände auch unter freiem Himmel, bei Sonnenschein zuverlässig gefunden und verfolgt werden? Auch die bereits erfolgreich verwirklichten Projekte wie Aarhus by Light [AarhusByLight] und SMSSlingshot [Smslingshot], beide aus dem Jahre 2008 zeigen, das man mit der Idee, Medienfassaden aktiv zu nutzen nicht allein da steht.

5 KAPITEL 1. EINLEITUNG 2 Abbildung 1.1: Aarhus By Light links (Quelle: [Aarhus1]) SMSSlingshot rechts (Quelle: [spreadgun2010]) Als eine weitere Motivation dieses Thema fortzuführen ist unter anderem der Vortrag von Jesse Schell When games invade real life [JesseSchell] indem er eine Zukunft skziert in der Spiele und spielerisches Verhalten in den Altag einziehen, zu nennen. Eine Gesten gestützte Kommunikation mit stationären Geräten wie Medienfassaden oder größere Bildschirmen in öffentlichen Bereichen wären in so einer Zukunft, wie Jesse Schell sie vorstellt, sicherlich nicht verkehrt. 1.2 Aufbau der Arbeit Die Arbeit umfasst fünf Kapitel, wie eben bereits gelesen behandelt das dieses, das erste Kapitel, die Motivation zu dieser Arbeit und den Aufbau. Im folgenden Kapitel zwei wird auf die Grundlagen eingangen. Es wird der Begriff Medienfassaden, die unterschiedlichen Arten von Medienfassaden und in welcher Hinsicht Medienfassaden weiter in dieser Arbeit verstanden werden näher erläutert. Des Weiteren wird eine Gestenerkennung mittels Physik-Engine vorgestellt. Es werden kurz die wichtigen Eckpunkte genannt und wie sich dieses Verfahren von anderen Verfahren unterscheidet. Das eigentliche Projekt wird im dritten Kapitel beschrieben. Dort wird die Vision eines Frameworks zur Physik-Engine gestützten Gestenerkennung im Bereich von Medienfassaden vorgestellt. Es folgt in Kapitel vier eine Abschätzung der möglichen Risiken, die bei der Umsetzung dieses Projektes vorhanden sind. Zum Ende dieser Ausarbeitung, im fünften und letzten Kapitel, wird es eine Zusammenfassung der Arbeit und einen Ausblick über die nächsten Schritte der Umsetzung geben.

6 Kapitel 2 Grundlagen 2.1 Medienfassaden Der Begriff Medienfassade umfasst im Allgemeinen Aussenflächen an Gebäuden, die unter Verwendung von Leuchtmittel ihre Farbe verändern oder auch komplexere Bilder darstellen können. Wie in Abbildung 2.1 (links) zu sehen ist, können Medienfassaden ganze Hochhäuser umfassen. Abbildung 2.1: Gebäude umfassende Medienfassade (links) (Quelle: [medienfassade1]) Großflächige Bildschirme als Teil einer Medienfassade (rechts)(quelle: [Medienfassade2]) Medienfassaden lassen sich in zwei Kategorien einteilen: In aktive und passive Medienfassaden. Aktive Medienfassaden sind solche, die mittels LEDs, Leuchtstoffröhren oder ähnlichem selbstständig Licht abstrahlen und somit das Bild erzeugen. Im Gegensatz dazu ist eine passive Medienfassade nur eine Projektionsfläche, die mittels eines Projektors oder ähnlichem angestahlt wird. Das Bild selbst wird somit nur auf der Medienfassade dargestellt.

7 KAPITEL 2. GRUNDLAGEN 4 Mein Projekt wird eine Medienfassade verwenden, die nicht ein ganzes Gebäude umfasst, diese dient in dem Fall zur Ausgabe der grafischen Daten des Frameworks. Die Medienfassade wird hier also als ein ein überdimensionaler Bildschirm verwendet. Der Begriff Mediafassde ist im weiteren Verlauf der Arbeit also als ein großer Bildschirm zu betrachten, ähnlich der Bildschirme die man auf der Abbildung 2.1 rechts erkennen kann. 2.2 Gestenerkennung mittels Physik Das hier kurz beschriebene Verfahren stammt aus meiner Bachelorarbeit [Potratz (2011)]. Dieser Text soll nur eine kurze Zusammenfassung darstellen. Antworten auf tiefergehendene Fragen können dem Originaldokument entnommen werden. Die Gestenerkennung mittels einer Physik-Engine unterscheidet sich stark von anderen Verfahren, die zum Beispiel auf Mustererkennung setzen um eine Geste zu ermitteln, ein Beispiel für so ein Verfahren mittles Mustererkennung wird von Johann Heitsch in seiner Arbeit [Heitsch (2008)] vorgestellt. Das Hauptmerkmal dieses Verfahrens ist, das nicht die Bewegung der Hände des Benutzers, im weiteren Verlauf dieser Arbeit auch als Aktoren bezeichnet, betrachtet werden, sondern allein die Zustände und Zustandänderungen der in der Physik-Engine befindlichen Objekte um auf eine Geste zu schliessen. Im Fall der in Abbildung 2.2 zu sehenden Hebegeste bedeutet das, dass beide Aktoren (Hand links, und Hand rechts) den Würfel berühren müssen und der Würfel sich nach oben bewegt. Die Bewegung selbst wird durch das Wirken der Aktoren auf den Würfel bewirkt, wenn die Aktoren sich nach oben bewegen. Abbildung 2.2: Erfolgreich erkannte Hebegeste (Quelle: [Potratz (2011)])

8 Kapitel 3 Vision Themenschwerpunkt für die folgenden Semester soll die Entwicklung eines Frameworks sein, das mittels Gestenerkennung, unter Verwendung einer Physik-Engine, eine Interaktion mit einer Medienfassade ermöglichen soll. Es soll exemplarisch eine Art Schalttafel entstehen, an der unterschiedliche Formen von Interaktion möglich sind, und deren Umsetzung getestet werden. Für die Umsetzung dieses Vorhabens und vor allem zum Reduzieren von Abhängigkeiten bietet sich eine Unterteilung in zwei Teilbereiche an. Einmal die softwaretechnische Umsetzung des angestrebten Frameworks und zum anderen der Bereich des Aktortrackings mit besonderem Augenmerk auf das Tracking der Hände im Outdoorbereich, vor einer Medienfassade. 3.1 Umsetzung des Frameworks Das Framework soll später einmal einem Anwender verschiedene Möglichkeiten zur Interaktion zur Verfügung stellen. In Anlehnung an bekannte GUI-Frameworks, die zum Beispiel Komponenten wie Buttons, RadioButtons und Scrollbars besitzen, soll dieses Framework ähnliche Interaktionskomponenten wie Hebel, Räder, Schieber oder Schalter im dreidimensionellen Raum bereitstellen. Eine genauere Spezifizierung der Komponenten kann erst vorgenommen werden, nachdem eine grundsätzliche Machbarkeit, im Hinblickt auf ihrer Umsetzbarkeit in einer Physik-Engine getestet wurden. Somit sind die in Abbildung 3.1 dargestellten Komponenten erst mal nur als eine Idee zu sehen, um dem Leser eine Vorstellung dessen zu geben, worum es bei der Umsetzung geht. Es soll ermittelt werden, welche Arten von Interaktionskomponeten sich mit der gefundenen Physik-Engine und im Rahmen der zur Verfügung stehenden Trackingverfahren am besten umsetzen und verwenden lassen. Die Darstellung der Schaltwand soll unter zur Hilfenahme einer 3D-Engine dann auf der Medienfassade erfolgen.

9 KAPITEL 3. VISION 6 Abbildung 3.1: Darstellung der PhysikObjekte, von links nach rechts: Schalter, Rad und Schieber Hierzu gilt einerseits zu beachten, dem Endanwender eine möglichst vertraute Form der Komponenten zu zeigen. Andererseits in der Physikrepräsentation die Komponente möglichst so zugestallten das ihre Verwendung mittels der Aktoren möglichst einfach und vielseitig ist. Die Abbildung 3.2 zeigt eine mögliche Formunterscheidung zwischen Darstellung in der 3D-Engine und der entsprechenden Repräsentation in der Physik-Engine. Der Unterschied liegt im Griff, da die Aktoren in der Physik selbst wieder als Kugeln abgebildet sind, ließe sich mit einem konisch zulaufenden Ring diese Kugel besser halten, und somit ein Bewegen des Schalters einfacher verwirklicht werden. Damit das zu entwickelnde Framework möglichst variabel einsetzbar ist, vor allem da das zu verwendende Trackingverfahren noch nicht feststeht, sollte die Schnittstelle gegenüber gerade diesen möglichen Trackingverfahren möglichst offen gestaltet sein. Das Framework soll lediglich die Position der Hände mitgeteilt bekommen und kann diese Position dann in der Physik darstellen. Die eigentliche Ermittlung dieser Position hängt vom Trackingverfahren selbst ab, und wird gegebenenfalls durch eine zwischen Tracker und Framework geschaltetes System errechnet. Die Übertragung der Positionsdaten soll ähnlich dem Verfahren aus [Potratz (2011)] geschehen, hier wurde eine lose Kopplung mittels in ASCII codierten Datenpaketen erreicht. Die Entwicklung, Umsetzung und das Testen des Frameworks kann auch ohne Verwendung einer Medienfassade geschehen, in dem man sich zum Beispiel der Powerwall in der HAW- Hamburg bedient. Vorteil ist hier sicherlich das die Bedingungen im Indoor-Bereich wesentlich benutzerfreundlicher sind, da hier auch schon bewährte Trackingverfahren zur Verfügung stehen.

10 KAPITEL 3. VISION 7 Abbildung 3.2: Darstellung eines Schalters in der 3D-Engine (links) Repräsentation des gleichen Schalters in der Physik-Engine (rechts) 3.2 Aktortracking Als Vision für das Gesamtsystem soll der Benutzer keine weitern Hilfsmittel benötigen. Dies soll später die allgemeine Verwendbarkeit des Systems ermöglichen, das Benutzer ohne jede Vorkehrung mit dem System interagieren kann. Es gilt die Hände des jeweiligen Benutzers zu finden und zu verfolgen, um diese Positionen dann dem Framework zu übermitteln. Im Indoorbereich ist dies mit dem Art-Tracker System unter der Einschränkung, dass passive Marker auf den Händen sein müssen oder aber mit der Kinect ohne weitere Vorkehrungen umsetzbar. Aufgrund dessen, dass sowohl die Kinect als auch das Art-Tracker Sytem Infrarotlicht verwenden, sind diese Systeme außerhalb von Gebäuden, vor allem bei sonnigem Wetter, völlig ungeeignet. Somit fallen die Varianten deren Verwendung mit am wenigsten Aufwand verbunden wären zur Benutzung im Outdoorbereich weg. In wiefern Time of Flight Kamerasysteme oder aber normale Kameras eine Alternative zur zuverlässigen Verfolgung der Hände bieten gilt es hier herauszufinden. Und welche zusätzliche Software, wie Bilderkennungsverfahren, zu Hilfe genommen werden müssen. 3.3 Mögliche Einsatzgebiete Als mögliche Einsatzgebiete eines solchen Frameworks in Kombination mit Medienfassaden könnte der Bereich des Casual Gaming genannt werden, besonders in der Verbindung mit

11 KAPITEL 3. VISION 8 Advertisments. Das Werben im öffentlichen Raum könnte Zusehens interaktiver gestaltet werden. Es könnte durch kleine Spiele mehr Aufmerksamkeit auf das in der Werbung angepriesene Produkt gezogen werden. Aber auch schon einfache Interaktion mit einer Werbefläche, wie die durch den Beobachter ausgelöste Wiederholung einer eben gesendeten Werbebotschaft könnte schon solch einem Ziel dienen.

12 Kapitel 4 Abschätzung der Risiken Da die Umsetzung des Projekts ist in zwei wesentliche Teile unterteilt, die Implementierung des Frameworks zur Gestenerkennung einerseits und dem zu wählenden Trackingverfahren andererseits, soll die Risikoabschätzung auch in zwei Teile unterteilt werden. 4.1 Risiken bei der Umsetzung des Frameworks Der Wechsel von Java auf C# und das.net Framework ist sicher auch eine Hürde, die nicht unterschätzt werden sollte. Der Grund für den Wechsel ist nicht die Sprache Java ansicht, sondern das die dort im Moment zur Verfügung stehenden Physik-Engine nicht die an sie gerichteten Erwartungen erfüllen. Dieses Problem kann nach einem Wechsel auf C# und der Verwendung der dortigen Physik-Engines genaus so wieder auftreten. Da noch nicht alle Teilbereiche der Umsetzung genau spezifiziert werden können, kann eine abschließende Liste mit Eigenschaften für eine entsprechende Physik-Engine noch nicht aufgestellt werden. Es ist hier ein Lernprozess zu durchschreiten, wie gewisse Umsetzungen innerhalb der Physiksimulation zu bewerkstelligen sind. Sofern geforderte Eigenschaften laut der Beschreibung der zum Test stehenden Engine vorhanden sind, stellt sich oft erst nach erheblichem Programmieraufwand raus, dass einige der Eigenschaften gar nicht, fehlerhaft oder nicht zufriedenstellend umgesetzt wurden. Somit kann es viel Zeit in Anspruch nehmen, bis eine Physik-Engine als ungeeignet beiseitegelegt werden kann. Eine Umsetzung des Frameworks steht und fällt mit der Physik-Engine. Es wäre durchaus denkbar, dass keine Physik-Engine gefunden wird, die alle benötigten Funktionen bereitstellt die für eine vollständige Umsetzung des Frameworks von Nöten sind.

13 KAPITEL 4. ABSCHÄTZUNG DER RISIKEN Wahl des Trackingverfahrens Wie bereits erwähnt fallen die beiden gebräuchlichsten Verfahren des Trackings, die Verwendung von der Kinect oder aber des Art-Tracker Systems weg. Es bedarf hier also eines anderen Systems. Zum Zeitpunkt wo dieser Text verfasst wird, sind noch keine weiteren Verfahren, wie zum Beispiel Time of flight Kameras oder andere Verfahren mit normalen optischen Kameras auf ihre Verwendbarkeit hin geprüft. Sollten in der Sondierungsphase Verfahren ermittelt werden, sind hier als Risiken sicherlich die Beschaffbarkeit und der spätere tatsächliche Nutzen zu nennen. Darüber hinaus ist der evtl. zusätzliche Programmieraufwand im Auge zu behalten, was solche Systeme mit sich bringen, um aus den ermittelten Rohdaten, die Position der Hände zu errechnen und diese dann dem Framework zukommen zu lassen. Dieser Aufwand kann je nach dem zugrunde liegenden Trackingverfahren sehr hoch ausfallen. Als Beispiel wäre bei einem einfachen Kamerasystem eine Bilderkennung von Nöten, um die Hände zu finden. In diesem Bereich ist das größte Risiko, das kein Trackingverfahren hinreichende Ergebnisse liefert und somit eine Interaktion außerhalb von Gebäuden mit den zur Verfügung stehenden Mitteln nicht stattfinden kann.

14 Kapitel 5 Zusammenfassung und Ausblick 5.1 Zusammenfassung Zu Beginn dieser Ausarbeitung wurden die Motivation erläutert, die dieser Arbeit zu Grunde liegt. Das zweite Kapitel befasste sich mit den Grundlagen. Es wurden Medienfassaden grundlegend vorgestellt und es wurde im Weiteren beschrieben, unter welchen Aspekt Medienfassaden in dieser und der angedachten Masterarbeit zu sehen sind. Darüberhinaus wurde am Beispiel der Bachelorarbeit [Potratz (2011)] Gestenerkennung unter Verwendung einer Physik-Engine kurz erläutert, um hier eine Abgrenzung gegenüber anderen Verfahren zur Gestenerkennung zu ziehen. Das dritte Kapitel beschäftigt sich mit dem eigentlichen Thema und der Vision, der Arbeit nachgegangen will. Es soll ein Framework erstellt werden, das mittels Physik gestützter Gestenerkennung eine Interaktion mit einer Medienfassade ermöglicht. Diese Interaktion soll unter freiem Himmel stattfinden. Das Framework und die Aktorfindung unter freiem Himmel sind die zwei Teilbereiche, in die die weitere Arbeit aufgeteilt wurden. Das anschließende vierte Kapitel befasst sich mit den bereits ausgemachten Risiken. Diese Risiken wurden einzeln aufgeführt und erläutert. Auch hier wird zwischen den Risiken zur Entwicklung des Frameworks selbst, der Suche nach einer akzeptablen Physik-Engine und dem Bau des Frameworks und dem zu wählenden Trackingverfahren im Outdoor-Bereich unterschieden.

15 KAPITEL 5. ZUSAMMENFASSUNG UND AUSBLICK Ausblick Als ersten Schritt in Richtung Entwicklung des Frameworks wird eine passende Physik- Engine benötigt. Aufgrund der Erfahrungen während der Bachelorarbeit mit Physik-Engine im Umfeld von Java soll nun zunächst möglichst zügig eine brauchbaren Physik-Engine im.net Umfeld aufgetan werden. Um relativ schnell ein System zu bekommen, das zum Testen der Eigenschaften einer gefundenen Physik-Engines dienen kann, soll das in Java entwickelte System aus der Bachlorarbeit [Potratz (2011)] in C# umgesetzt werden. Eine Umsetzung in C# bietet darüber hinaus auch gleich eine einfache Anbindung an die Kinect, und somit eine Chance auch hier gleich Erfahrungen zu sammeln. Ist die Portierung gelungen und eine Physik-Engine gefunden, kann mit der eigentlichen Entwicklung der Frameworks und der einzelnen Komponenten begonnen werden. Ist das Framework implementiert, und weißt zumindest schon mal grundlegende Funktionen auf, die für im Indoorbereich benutzbar sind, kann man sich dem zweiten Teilbereich der Arbeit zuwenden. Hier steht die Suche nach einem im Outdoorbereich verwendbaren Trackingverfahren im Vordergrund. Als letzter Schritt für die Umsetzung werden dann Trackingverfahren und Framework miteinander verbunden.

16 Literaturverzeichnis [AarhusByLight ] : Aarhus by light: URL aarhusbylight.dk/index-english.html [Aarhus1 ] : Aarhus by light, letzter Abruf: URL aarhusbylight.dk/images/aarhus-by-light-01.jpg [JesseSchell ] : Jesse Schell when games invade real life, letzter Abruf: URL games_invade_real_life.html [medienfassade1 ] : Medenfassade1, letzer Abruf URL http: //3.bp.blogspot.com/_YOhZVMOKfCg/TSHGwczlAPI/AAAAAAAAAAM/ fdtpo2wlptg/s1600/ff.jpg [Medienfassade2 ] : Medenfassade2, letzer Abruf URL Miracle-Mile.jpg [Smslingshot ] : SMSlingshot, letzter Abruf: URL vrurban.org/smslingshot.html [spreadgun2010 ] : VR/URBAN reclaim the screens, letzter Abruf URL [Heitsch 2008] HEITSCH, Johann: Ein Framework zur Erkennung von dreidimensionalen Gesten URL ~ubicomp/arbeiten/bachelor/heitsch.pdf [Potratz 2011] POTRATZ, Olaf: Ein System zur physikbasierten Interpretation von Gesten im 3D-Raum URL ~ubicomp/arbeiten/bachelor/potratz.pdf

17 Abbildungsverzeichnis 1.1 Aarhus By Light links (Quelle: [Aarhus1]) SMSSlingshot rechts (Quelle: [spreadgun2010]) Gebäude umfassende Medienfassade (links) (Quelle: [medienfassade1]) Großflächige Bildschirme als Teil einer Medienfassade (rechts)(quelle: [Medienfassade2]) Erfolgreich erkannte Hebegeste (Quelle: [Potratz (2011)]) Darstellung der PhysikObjekte, von links nach rechts: Schalter, Rad und Schieber Darstellung eines Schalters in der 3D-Engine (links) Repräsentation des gleichen Schalters in der Physik-Engine (rechts)