Projektbeschreibung. reflecty. Ein Spiegel als Interface für dein Smart Home. Ein Projekt von Felix De Montis und Johannes Eschner. reflecty.

Transkript

1 Projektbeschreibung reflecty Ein Spiegel als Interface für dein Smart Home Ein Projekt von Felix De Montis und Johannes Eschner reflecty.co

2 Übersicht Mit der zunehmenden Vernetzung von Haustechnik und Haushaltsgeräten wird zwar einerseits das alltägliche Leben im Haushalt stark aufgewertet, andererseits wird aber durch die damit verbundenen neuen Steuerungsmöglichkeiten die Bewältigung von einfachen Aufgaben auf eine neue Ebene der Komplexität gehoben. Die meisten heute verfügbaren Interfaces für Smart Homes sind an Geräte gebunden, welche sich von ihrem Design und ihrer Benutzerfreundlichkeit schlecht in die bestehenden Strukturen eines Haushaltes einfügen. Oft versuchen daher Anbieter von vernetzten Geräten mit Hilfe von Apps das Smartphone zum Interface für den vernetzen Haushalt zu machen. Das ist zwar an und für sich ein guter Ansatz aber gerade im Bereich der Wohnung ist eine stationäre Anlaufstelle zur Steuerung keine schlechte Idee. Aus diesen Gründen, haben wir uns dazu entschlossen reflecty zu bauen. Um das Design nahtlos in einen bestehenden Haushalt einfügen zu können, haben wir die Idee des smarten Spiegels aufgegriffen. Diese Form eines in einem Spiegel integrierten Monitors ist eine unscheinbare und dennoch äußerst praktische Form der Informationsausgabe, da sie, wenn man die nicht braucht in den Hintergrund rückt und somit leicht in den meisten Haushalten untergebracht werden kann. Abgesehen von dieser innovativen Art der Informationsausgabe, haben wir auch noch eine neue Art der Interaktion in reflecty integriert. Mit Hilfe des Leap Motion Sensors kann reflecty über ein paar einfache Handgesten gesteuert werden. Diese Kombination aus Gestensteuerung und dem förmlich im Raum schwebenden Interface gibt reflecty einerseits einen futuristischen Touch, ist aber gleichzeitig nicht so aufdringlich wie ein herkömmliches Touchscreen Display. Auf den folgenden Seiten ist eine detaillierte technische Beschreibung sowie etwas mehr zur Entstehungsgeschichte und den designtechnischen Hintergründen zu finden.

3 Technologie und Design Hardware Der wichtigste Bestandteil von reflectys Hardware ist ein Einwegspiegel, der auch gleichzeitig die gesamte Front abdeckt. Direkt im aus Aluminium und Holz bestehenden Rahmen des Spiegels ist das Panel eines 23 LCD Monitors verbaut. Des Weiteren ist die gesamte Verkabelung und der Shuttle XPC Nano Mini-PC am Rahmen angebracht, wodurch alle Elemente zu einem kompakten Hardware- Packet zusammengefügt werden. Die Hardware, die zur Realisierung von reflecty genutzt wurde Der Leap Motion Controller, das Haupteingabegerät zur Bedienung von reflecty, ist mittels eines Aluminiumarmes leicht nach außen versetzt über dem Spiegel angebracht. Diese Montage erlaubt ein optimales Blickfeld für die Sensoren des Controllers ohne den Blick in den Spiegel zu stören. Der Leap Motion Sensor zur Gestenerkennung

4 Software Die Software von reflecty wurde als Web-Applikation konzipiert, was gleich mehrere Vorteile mit sich bringt. Einerseits ist der Softwareteil von reflecty damit komplett Plattformunabhängig und andererseits kann eine Vielzahl von frei verfügbaren Web-APIs direkt angesprochen werden. Mit Hilfe dieser Schnittstellen kann dann eine nahtlose Integration in die Haushaltstechnik geschaffen werden. So werden etwa Phillips Hue Lampen direkt über die von Phillips bereitgestellte API angesprochen, Wetterdaten über die API von forecast.io abgefragt und aktuelle Abfahrtszeiten für öffentliche Verkehrsmittel über die API der Wiener Linien bezogen. Des Weiteren sollen demnächst auch ein elektronisches Türschloss und die Gegensprechanlage in reflecty eingebunden werden. Auch der Leap Motion Sensor, der zur Steuerung dient, wird über eine entsprechende Schnittstelle direkt vom Browser, in dem die Web Applikation läuft, angesprochen. Während die Benutzeroberfläche von reflecty mittels HTML und CSS umgesetzt wurde, erfolgte die Programmierung in JavaScript. Der gesamte Code ist hierbei modular aufgebaut, sodass es in Zukunft leicht möglich ist ein SDK zu veröffentlichen, mit dem auch andere Entwickler Applikationen und Widgets für reflecty erstellen können. So sind vor allem Widgets, also die verschiedenen Informationsanzeigen am Startbildschirm leicht zu erstellen und in reflecty integrierbar. Und auch eine statische Applikation, wie zum Beispiel die Wetter App ist von Entwicklungsaufwand her mit einer statischen Website zur Wetteranzeige vergleichbar. Obwohl die einzelnen Applikationen von reflecty in ihrem Aufbau statischen Seiten ähneln, wurde Software so intelligent entwickelt, dass ein vollständiges Aktualisieren der gesamten Seite nie notwendig ist. Es wird vielmehr immer nur die gerade relevante Information in die Hauptseite geladen, sodass ein Benutzer keinen Unterschied zu einer nativen Applikation bemerkt. Statische Appicons befinden sich im Panel rechts, während dynamische Icons (Widgets) direkt auf dem Startbildschirm angezeigt werden Die klare Gliederung der Softwareelemente in Widgets zur schnellen Informationsanzeige am Startbildschirm und Applikationen, die mehr ins Detail gehen und auch Interaktionen ermöglichen, erlaubt sowohl dem Benutzer eine intuitive Bedienung, als auch zukünftigen Softwareentwicklern eine solide Basis für Erweiterungen.

5 Apps Momentan sind in reflecty eine Wetter App, Öffi Monitor und eine News App integriert. Weitere Applikationen sind in Arbeit. Unter anderem werden eine App zur Steuerung von Phillips Hue Lampen und eine Kalender App entwickelt. Wetter Die Wetter App kann über das Wetter Widget auf dem Startbildschirm von reflecty aufgerufen werden. Während das Widget selbst nur die aktuelle Außentemperatur und die Wetterlage anzeigt, ist in der App selbst auch noch eine Vorschau für die nächsten sieben Tage zu sehen. Als Quelle für die Wetterdaten dient die frei verfügbare API von forecast.io, von der aus die Wetterdaten in Echtzeit übernommen werden. Der Ort, für den die Wetterdaten anzeigt werden, muss momentan noch manuell festgelegt werden. Für die Zukunft ist jedoch geplant hierfür die GPS Ortung eines Smartphones zu nutzen, über welches die gesamte Konfiguration von reflecty abgewickelt werden kann. ORF News Über den Liveticker am Startbildschirm kann die News App geöffnet werden. Die News App nützt den RSS Feed von orf.at um aktuelle Nachrichten direkt auf den Spiegel zu bringen. Während im Ticker nur die Schlagzeilen angezeigt werden, so können in der App ganze Artikel gelesen werden.

6 Öffi Monitor Der Öffi Monitor zeigt die aktuellen Abfahrtszeiten der umliegenden U-Bahn-, Straßenbahn- und Bushaltestellen an. Hierzu wird die OpenData Schnittstelle der Wiener Linien benutzt und ebenso wie bei den Wetterdaten die Informationsausgabe an den jeweiligen Ort angepasst. Der große Vorteil schon vor dem Verlassen des Hauses zu sehen wann der nächste Zug abfährt liegt darin, dass dadurch die Wartezeiten minimiert werden können und auch schon im Voraus das passende Verkehrsmittel ausgewählt werden kann.

7 Interface und Bedienung reflectys Interface ist im Sinne einer einfachen Bedienung äußerst minimalistisch. Wird keine Datenanzeige gebraucht, so verschwinden die Bedienelemente komplett und reflecty ist von einem herkömmlichen Spiegel nicht zu unterscheiden. Hier wird sofort ein großer Vorteil gegenüber einem herkömmlichen Bildschirm sichtbar, denn dieser würde sich in ausgeschaltetem Zustand einfach als eine nutzlose schwarze Fläche präsentieren. Wird reflecty nun vom Benutzer gestartet, so landet dieser zunächst auf einem Startbildschirm, welcher die Uhrzeit, das aktuelle Wetter und etwaige Benachrichtigungen anzeigt. Auf der rechten Seite des Startbildschirms befindet sich ein virtueller Griff, mit dem durch eine Greifgeste ein Panel geöffnet werden kann. In diesem Panel befinden sich die Icons der verschiedenen Applikationen, mit denen auf reflecty interagiert werden kann. Zum Öffnen wird ein Appicon per Greifgeste aus dem seitlichen Panel in die Drop-Area gezogen Die App, die der Benutzer öffnen will, kann mittels einer weiteren Greifgeste genommen werden und in der Mitte des Bildschirmes, der Drop-Area, losgelassen werden. Sobald die Applikation geöffnet ist, kann diese entweder detaillierte Informationen anzeigen (z.b. Wettervorhersage für die nächsten Tage) oder auch einzelne vernetzte Geräte steuern. So kann zum Beispiel über einen Slider, der wiederum mittels Greifgeste bedient wird, die Helligkeit der Zimmerbeleuchtung beeinflusst werden. Sobald die gewünschte Interaktion durchgeführt wurde, kann die App über eine weitere Handgeste, einem Zusammenklatschen der beiden Hände wieder geschlossen werden. Diese Aktion bringt den Benutzer zurück zum Startbildschirm. Von dort kann entweder eine neue Applikation geöffnet werden oder einfach die Informationsanzeige genutzt werden. Erkennt reflecty, dass sich für einen längeren Zeitraum niemand vor dem Spiegel aufhält, so wird der Monitor in den Ruhezustand versetzt und reflecty sieht wieder wie ein herkömmlicher Spiegel aus.

8 Die gesamte Bedienung funktioniert mit zwei intuitiven Handgesten (offene und geschlossene Hand) Prinzipiell basiert die gesamte Bedienung von reflecty darauf, verschiedene Elemente der Benutzeroberfläche durch Greifgesten aufzunehmen und durch ein loslassen wieder abzulegen. Da bei den virtuellen Objekten unserer Benutzeroberfläche kein haptisches Feedback für das Greifen gegeben werden kann, wird für unsere Greifgeste zwischen einer offenen und einer geschlossenen Hand unterschieden. Dass wir uns auf diese eine Geste konzentrieren hat vor allem den Grund, die Benutzung möglichst intuitiv zu gestalten. Objekte in die Hand zu nehmen und andernorts wieder abzulegen ist eine Tätigkeit, die alltäglich hundertfach ausgeführt wird. Außerdem hilft die Einschränkung der Bedienung auf eine einzige Geste auch dabei, die Steuerung von reflecty schnell zu erlernen. Schließlich soll reflecty ja nicht bloß ein weiterer PC im Haushalt sein, sondern viel mehr ein intuitives Interface, welches die technisch komplexen Hintergründe eines Smart Homes benutzerfreundlich aufbereitet und somit zur Verbesserung des alltäglichen Lebens beiträgt.

9 Entstehungsprozess Die Idee einen smarten Spiegel zu bauen hatten wir schon ab dem Zeitpunkt, als wir beschlossen haben eine WG zu gründen und diese so gut als möglich zu einem Smart Home auszubauen. reflecty soll hierzu in unserer Wohnung die mit Phillips Hue umgesetzte Beleuchtung zu steuern, das elektronische Türschloss und die Gegensprechanlage ansprechen können und uns nützliche Informationen anzeigen, wenn wir sie brauchen. Nachdem wir diese Idee im Sommer 2015 erstmals skizziert haben, ist sie jedoch wieder eher in den Hintergrund gerückt, da wir mit anderen Projekten beschäftigt waren. Erst als wir Ende Jänner 2016 darauf aufmerksam gemacht wurden, dass dieses Jahr unsere letzte Chance ist, beim U19 Create Your World Wettbewerb mitzumachen, haben wir uns entschlossen reflecty umzusetzen. Da die Zeit bis zum Einreichschluss nur noch knapp ein Monat betrug, war die Umsetzung von reflecty eine äußert intensive aber dennoch spannende Arbeit. Unser erster Schritt bestand darin, alle nötigen Materialen und die nötige Hardware zu finden. Als Monitor konnten wir das Panel aus einem alten, Teilweise kaputten LCD Bildschirm retten und für unsere Zwecke adaptieren. Als nächstes wurde die restliche Hardware (der Leap Motion Sensor und der Mini-PC) bestellt. Während wir darauf gewartet haben, dass diese ankommt, haben wir uns auf die Suche nach einem zum Bildschirm passenden Einwegspiegel gemacht. Parallel dazu wurde mit dem Design des User Interfaces und dem Programmieren der Software angefangen. Den Spiegel mit den richtigen Maßen konnten wir glücklicherweise bei einem Glaser in der Nähe finden und somit schon schnell mit den ersten Tests beginnen. Sobald uns auch der Leap Motion Sensor zur Verfügung stand, haben wir begonnen, die Software für die Interaktion mit dem Spiegel zu schreiben. Hierzu haben wir die äußerst gut dokumentierte JavaScript API von Leap Motion benützt. Gleichzeitig haben wir auch das Layout und Design der Benutzeroberfläche finalisiert. Da er sich bei der Software für reflecty um eine Web-Applikation handelt, konnte die Entwicklung äußerst schnell und relativ unkompliziert erfolgen. Ein zusätzlicher Vorteil einer browserbasierten Applikation ist die Plattformunabhängigkeit, welche es uns ermöglichte auch an reflecty zu arbeiten, wenn wir keinen Zugriff auf die eigentliche Hardware hatten. Das reflecty Team: Felix De Montis und Johannes Eschner mit dem Prototyp