Hildegard-von-Bingen-Gymnasium Schuljahr 2011/2012. Facharbeit im Fach Informatik. Betreuer: Herr Ludwig

Transkript

1 Hildegard-von-Bingen-Gymnasium Schuljahr 2011/2012 Facharbeit im Fach Informatik Betreuer: Herr Ludwig Darstellung der Realisierungsmöglichkeiten für optischen Multitouch vorgelegt von Phillip Balkenhol Köln, den 28. Februar 2012 Phillip Balkenhol Siebengebirgsallee Köln Tel:

2 Inhaltverzeichnis 1. Vorwort Einleitung Was ist Multitouch? Definition Touch / Multitouch Differenzierung Optisch / Elektrisch Optischer Multitouch Funktionsweise des optischen Multitouch Verschiedene Prinzipien der Umsetzung des optischen Multitouches Frustrated Total Internal Reflection - FTIR Diffused Illumination - DI Front Diffused Illu mination - FDI Rear Diffused Illumination - RDI Light Plane - LP Laser Light Plane - LLP LED Light Plane LED LP Diffused Surface Illumination - DSI Software Plattform / Komponenten NUI Group und CCV Eigenbau nach Prinzip des FTIR und DI Vorbereitung Kamera IR - Frame Projektor Box FTIR Plexiglas Compliant layer IR Frame Tests DI Plexiglas IR Frame Tests Fazit Anwendungsmöglichkeiten Präsentationen Musik / Reactable Effekte Zukunft Literaturverzeichnis...27

3 1. Vorwort In der 9. Klasse habe ich ein Schulpraktikum im Unit-Medienhaus gemacht. In diesem sitzen verschiedene Firmen von IT-Beratung bis Werbedesign in die ich in dieser Zeit hereinschauen konnte. Eine von ihnen war schon zu dieser Zeit einer der führenden Softwareanbieter für Multitouchtische in Deutschland. So bekam ich die Möglichkeit mich mit der Technologie des optischen Multitouch vertraut zu machen und zum ersten Mal einen Multitouchtisch mit meinen eigenen Händen zu bedienen. Diese Technologie begeisterte mich sofort und so kam es, dass ich bei der Themenfindung meiner Facharbeit nicht lange zum überlegen brauchte. 2. Einleitung Wahnsinn was das ipad von Apple alles kann! Beeindruckend wie genau es erkennt wo ich es berühre, aber geht das nicht auch größer? Ja das geht und zwar nennt sich diese Technologie optischer Multitouch. Was das ist, wie diese Technologie funktioniert und wie man sie praktisch umsetzen kann wird in dieser Facharbeit behandelt. 3. Was ist Multitouch? 3.1. Definition Touch / Multitouch Der Begriff Touch bezeichnet in der Elektronikwelt die Interaktion mit einem Display durch Kontakt. Diese Berührung der Oberfläche wird von einer Software erkannt, analysiert und kann dann weiterverwendet werden. Multitouch ist die Fähigkeit eines Bildschirms, bzw. einer Trackingsoftware mehrere Touches, also mehrere Berührungen zu erkennen und zu analysieren. Displays, die diese Fähigkeit besitzen, bieten mehr Funktionen und Möglichkeiten als solche, die nur Singeltouch-fähig sind. Sie können nicht nur einzelne Berührungen aufnehmen, um beispielsweise als Maus zu fungieren, sondern sind in der Lage differenzierte Gesten zu analysieren. So kann unter anderem das Auseinanderspreizen von Fingern zur Vergrößerung und das Zueinanderführen zur Verkleinerung von Objekten dienen. Hiermit ist man nun in der Lage durch direkte Interaktion mit dem Bildschirm eine beliebige Software zu steuern. Auf diese Weise wurde es möglich sogenannte Tangible User Interfaces 1 zu erstellen, also anfassbare Benutzerschnittstelle[n] 2, die es dem Benutzer ermöglichen durch physischen Kontakt mit Programmen und Displays zu interagieren. 1 Wikipedia: Tangible User Interface 2 Wikipedia: Tangible User Interface - 2 -

4 3.2. Differenzierung Optisch / Elektrisch Aktuell lassen sich Multitouchoberflächen in zwei Kategorien, bzw. Technologien unterteilen: Zum Einen existiert die elektrische Oberfläche, welche wiederum in resistive, kapazitive und induktive 3 unterteilt werden kann. Eine Gemeinsamkeit dieser Oberflächen ist, dass sie über eine Spannungswechselung, bzw. Unterbrechung / Schließung eines Stromkreises funktionieren. Diese Veränderungen nehmen Sensoren im Bildschirm war und können darüber den Berührungspunkt lokalisieren. Da diese Sensoren sehr klein sind und es möglich ist sie direkt in das Display zu implizieren, bietet diese Technologie den Vorteil in dünne Display verbaut werden zu können. Typische Beispiele sind neuere Handys, wie das iphone von Apple. Solche Smartphones müssen möglichst handgerecht gebaut werden und dürfen daher nur wenige Zentimeter dick sein. Auf kleinen Displays funktioniert das elektrische Prinzip einwandfrei, ist jedoch ein größeres Display gewünscht, so steigen die Kosten für ein solches exponentiell. Sowohl die Anzahl der notwendigen Sensoren wird immer größer, als auch die Vernetzung der Sensoren bei steigender Anzahl unzuverlässiger, komplizierter und ab einer bestimmten Anzahl nahezu unmöglich wird. Daher ist es nicht möglich oder nur mit irrational hohen Kosten, empfindliche und gut funktionierende Multitouch Displays mit dieser Technologie in Größen jenseits der Smartphones oder Tabletts zu produzieren. Falls der Versuch solche Displays herzustellen trotzdem gewagt wird, so funktioniert das Erkennen der Berührungen oft nicht einwandfrei oder es können nur einzelne bis wenige Punkte erkannt werden. Um größere Displays bauen zu können wurde eine andere Technologie entwickelt und zwar die des optischen Multitouches. Wie der Name schon sagt, basiert diese Technologie im Gegensatz zum elektrischen Prinzip auf einem optischem. Hier entsteht bei der Berührung mit der Oberfläche ein Schatten, also ein Kontrast zur Umgebung, sodass dieses Schattenbild schließlich von einer Kamera aufgenommen und analysiert werden kann. Die genaue Funktionsweise wird in Kapitel vier näher erläutert. Da diese Facharbeit die Funktionsweise und Technologie des optischen Multitouch behandelt, beschränkt sich die folgende Darstellung auf diesen Teilbereich. 4. Optischer Multitouch 4.1. Funktionsweise des optischen Multitouch Es gibt verschiedene Umsetzungsmöglichkeiten für optischen Multitouch zwischen denen 3 Wikipedia: Touchscreen - 3 -

5 unterschieden wird. Alle Möglichkeiten basieren auf dem gleichen Grundprinzip und benötigen somit die gleichen Hauptkomponenten. Die Funktionsweise des optischen Multitouch basiert auf der grundsätzlichen Idee ein Bild auf einer Oberfläche zu erzeugen auf welcher sich die Berührungen der Finger durch einen Schattenkontrast von der restlichen Oberfläche abzeichnen. Diese Schatten werden anschließend von einer Kamera aufgenommen und von einer Trackingsoftware 4 analysiert. Diese gibt die lokalisierten Berührungen an eine Software weiter, welche die Punkte dann verwenden kann. Insgesamt werden also folgende drei Komponenten benötigt: Eine Kamera, die das Schattenbild aufnimmt und an die Schnittstelle weitergeben kann, ein Projektor um ein optisches Feedback 5 zu erzeugen, also eine Komponente die das angefasste Bild anzeigt und eine infrarote Lichtquelle. Diese wird benötigt um einen Kontrast auf dem Projektorbild erzeugen zu können. Die Kamera darf kein Tageslicht aufnehmen, da das aufgenommene Bild sonst vom ausgegebenen Projektorbild verfälscht würde. Dieser Kontrast wird durch infrarotes Licht erzeugt, welches den Vorteil bietet, dass es zwar von einer Kamera erkannt werden kann, jedoch nicht mit bloßem Auge sichtbar ist. Folglich benötigt die Kamera eine weiter Eigenschaft: sie darf ausschließlich infrarotes Licht aufnehmen. Daher ist es nötig ihren im Normalfall eingebauten Infrarot-Filter gegen einen Tageslichtfilter auszutauschen. Wie das Schattenbild, welches aufgenommen wird genau zustande kommen kann wird im Folgenden erklärt Verschiedene Prinzipien der Umsetzung des optischen Multitouches Es gibt fünf verschiedene bekannte Umsetzungsmöglichkeiten des optischen Multitouches. Abhängig von den gewollten Anwendungsbereichen, dem verfügbaren Kapital und auch dem Grad der handwerklichen Begabung, kann auf verschiedene Ideen zurückgegriffen werden. In den folgenden Abschnitten wird die Funktionsweise der fünf Arten vorgestellt und ihre Vor- und Nachteile erläutert Frustrated Total Internal Reflection - FTIR Frustrated Total Internal Reflection ist eine der beliebteren und älteren Umsetzungen für optischen Multitouch. Wie der Name schon verrät, basiert es auf dem Prinzip der 4 Als Trackingsoftware wird die Software bezeichnet, die später die Analyse des Bilds, also das Tracking der Berührungspunkte durchführt. 5 Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S

6 Totalreflektion. Die TIR 6 ist ein Phänomen, das auftritt, wenn Lichtstrahlen an transparenten Oberflächen brechen. Bis zu einem bestimmten Winkel, dem critical angle 7, wird der Lichtstrahl von der Oberfläche reflektiert und im gleichen Winkel zurückgeworfen. Ist der Winkel jedoch größer als der critical angle, bricht der Strahl durch die Oberfläche hindurch und nur ein geringer Teil des Lichts wird reflektiert. Dies geschieht jedoch nur wenn das Objekt, an dessen Kante der Lichtstrahl bricht, eine höhere optische Dichte besitzt als die dahinter liegende Substanz. 8 Bei der FTIR wird ein Plexiglas verwendet, da dessen Beschaffenheit es ermöglicht an ihm die TIR ohne viel Aufwand durchzuführen, dies ist mit Glas beispielsweise nicht möglich. Es werden IR-LED s an den Seiten des Plexiglases so angebracht, dass ihre Strahlen den kritischen Winkel nicht übersteigen, auf diese Weise bleiben die Strahlen in dem Plexiglas gefangen und werden immer wieder reflektiert. Berührt man diese Oberfläche nun mit einem Finger, reflektiert dieser die IR-Strahlen aufgrund einer höheren optischen Dichte und sie treten auf der anderen Seite aus dem Plexiglas wieder heraus. Drückt man mit nassen Fingern gegen das Plexiglas, so werden die Stahlen sogar besser reflektiert, da sie dann besser mit dem Plexiglas in Verbindung treten. Mit trockenen Fingern nehmen diese im Gegenzug fast keinen Einfluss auf die Total Internal Reflection. Auf das Plexiglas wird eine Schicht aus den sogenannten Compliant Surfaces 9 gelegt. Diese besteht aus zwei Teilen und erfüllt zwei Zwecke: Das Projection Surface und der Compliant layer. Das Projection Surface liegt an oberster Stelle und dient zur Anzeige des Projektorbild. Das Projektorbild, welches von unten durch das Plexiglas scheint, bricht an dieser Oberfläche und wird dort sichtbar. Um unabhängig von der Beschaffenheit zuverlässig Abdrücke erzeugen zu können wird auf die Rückseite des Projection Surfaces der Compliant Layer aufgetragen, welcher meist aus einer Silikonmasse besteht. Berührt man nun die oberste Schicht des Screens, presst man den Compliant Layer an der berührten Stelle gegen das Plexiglas. Dieser tritt folglich in Verbindung mit dem Plexiglas und lässt die Strahlen auf diese Weise an dieser Stelle brechen. Der Layer verstärkt die Abdrücke der Finger und verleiht ihnen einen schärferen Kontrast und besser erkennbare Konturen. 10 Zuletzt wird schließlich die IR-Kamera und ein Projektor unter dem Plexiglas angebracht. 6 Wikipedia: Total Internal Reflection 7 Wikipedia: Total Internal Reflection 8 vgl. Wikipedia: Total Internal Reflection 9 Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S vgl. Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S.11 f

7 Berührt man die Oberfläche, so bricht das im Plexiglas gefangene IR-Licht an dieser Stelle und die Kamera erkennt einen Punkt. 11 Diese Umsetzung bietet viele Vorteile. Zum einen benötigt man keine geschlossene Box, da die IR-Strahlen im Plexiglas gefangen und gebrochen werden, wodurch man auch auf das die Konstruktion umgebende Licht nahezu keine Rücksicht nehmen muss. Ein weiterer Punkt ist der scharfe Kontrast der Berührungen durch den Compliant Layer, denn durch ihn wird jede Berührung zuverlässig erkannt und es ist möglich auch mit sehr kleinen Gegenständen, wie beispielsweise einem Stift eine erkennbare Berührung zu erzeugen. Dies führt zum nächsten Vorteil, denn es werden sowohl die verschiedenen Berührungsgrößen, als auch die Stärke mit der man drückt, erkannt. Drückt man mit dem Finger stärker auf den Screen, tritt der Compliant Layer stärker mit dem Plexiglas in Verbindung und es entsteht ein größerer aufnehmbarer Punkt. Allerdings birgt diese Technologie auch Nachteile, so ist zum Beispiel der Compliant Layer nur bei FTIR nötig. Unvorteilhaft ist auch, dass man auf Plexiglas beschränkt ist und nicht auf andere Materialien wie Glas umsteigen kann. Des weiteren ist dieses System Objecttracking 12 ungeeignet Bild: Prinzip der FTIR aus Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S.9 12 Objecttracking ist im Bereich des optischen Multitouch die Fähigkeit Muster in Objekten erkennen zu können. Legt man z.b. einen Glaswürfel mit einer Gravur auf einen objecttrackingfähigen Tisch, wird die Gravur erkannt und kann verarbeitet werden. 13 Vgl. Anette Weisbecker (Hrsg.): Studie Multi-Touch - 6 -

8 Diffused Illumination - DI Es gibt zwei verschiedene Arten der Diffused Illumination, wobei nur eine in der Realität für den optischen Multitouch anwendbar ist. Beide basieren auf demselben Prinzip: Der von einem Finger geworfene Schatten lässt einen Kontrast zum umgebendem Licht entstehen Front Diffused Illu mination - FDI Das Prinzip der Front Diffused Illumination basiert auf einer Lichtquelle außerhalb der Box, bzw. über der Berührungsoberfläche. Drückt man auf die Oberfläche, entsteht ein sichtbarer Schatten, der durch den Schwarz/Weiß Kontrast (im Vergleich zum umgebenden Licht) von einer Kamera aufgenommen wird. Diese Technologie wird nicht verwendet, da man diesen Schatten nicht zuverlässig analysieren kann, denn liegt zum Beispiel der Arm beim Berühren zwischen Oberfläche und Lichtquelle, wirft auch er einen Schatten auf die Oberfläche und erzeugt einen sogenannten False Blob 14. Da bei FDI mit Tageslicht gearbeitet werden muss, ist es außerdem nicht möglich die Berührungsoberfläche und den visual Feedback 15 zusammenzulegen. Das heißt, dass es nicht möglich ist die Oberfläche mit einem Beamer zu bestrahlen, da sonst keine sichtbaren Schatten mehr auf der Oberfläche entstehen können. Hierdurch würde die Attraktivität eines Multitouchscreens, direkt mit der Oberfläche interagieren zu können, verloren gehen Rear Diffused Illumination - RDI Die Rear Diffused Illumination basiert auf dem selben Prinzip. IR Licht wird von unten gegen eine Oberfläche gestrahlt, auf welches ein Projection Surface gelegt wird, auf dem das Projekttorbild sichtbar wird. Kamera und Beamer werden ebenfalls von unten auf dieses Glas gerichtet. Legt man nun einen Finger auf den Screen, bricht das von unten gestrahlte Licht an ihm und wird für die Kamera sichtbar. 14 Multitouch Terminology, False Blobs sind falsch wahrgenommene Berührungen auf der Oberfläche. 15 Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S.3-7 -

9 16 Auch die RDI birgt verschiedene Vor- und Nachteile. Vorteilhaft ist unter anderem, dass kein compliant Surface gebraucht wird. Jegliche Berührungen werden unabhängig vom Zustand des Fingers (nass / trocken) erkannt, da jedes lichtbrechende Objekt die nötige Eigenschaft besitzt IR-Licht reflektieren zu können. Auf diese Weise können auch Objekte und Muster erkannt werden. Außerdem ist man bei RDI nicht auf LED s angewiesen, da jede IR-Lichtquelle eingesetzt werden kann, da nicht nur Strahlen, sondern auch gestreutes Licht verwendet werden kann. Ein weiterer Vorteil ist die mögliche Verwendung von jeglichen transparenten Materialien als Berührungsoberfläche. Diese erfüllt hier keinen speziellen Zweck und benötigt daher keine besondere Eigenschaft. Wie die bereits vorgestellten Methoden bringt auch diese verschiedene Nachteile. Zum Einen treten Probleme bei der Belichtung, bzw. Ausrichtung des IR-Lichts auf. Abhängig von dem Material der Box verteilt sich das Licht ungleichmäßig auf der Oberfläche, wodurch es zu Problemen bei der Erkennung von Berührungen kommen kann. Die Berührungen bieten bei RDI auch keinen scharfen Kontrast. Dadurch, dass das IR- Licht auch von Objekten, wie zum Beispiel dem Arm oberhalb der Oberfläche reflektiert wird, die nicht im direkten Kontakt mit der Oberfläche stehen, kommt es vermehrt zu false Blobs. Außerdem benötigt man eine geschlossene Box, damit das IR-Licht nicht sofort 16 Bild: Prinzip der RDI aus Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S

10 entweichen kann Light Plane - LP Laser Light Plane - LLP Das Laser Light Plane Prinzip funktioniert über einen IR- Laser oberhalb der Projection Surface, welcher knapp über die Oberfläche strahlt. Die Strahlen der Laser werden so gestreut, dass eine IR- Lichtschicht hierauf entsteht. Fasst man nun auf die Projection Surface, fasst man in diese Lichtschicht hinein und sie bricht am Finger. Dieser wirft nun einen Schatten, welcher wiederum von der IR-Kamera unterhalb des Glases aufgenommen wird. 18 Diese Technologie bringt ähnliche Vorteile wie die DI mit sich, denn auch hier benötigt man kein Compliant Surface. Unabhängig von der Beschaffenheit eines Fingers, wie zum Beispiel der Nässegrad, wird er registriert. Außerdem ist es irrelevant aus welchem transparenten Material die Oberfläche besteht, man ist nicht auf Plexiglas beschränkt. Ein weiterer übereinstimmender Punkt ist die Tatsache, dass man eine geschlossene Box nicht 17 vgl. Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S.13 f. 18 Bild: Prinzip der LLP aus Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S

11 zwingend benötigt. Ein negativer Aspekt ist unter anderem die fehlende Fähigkeit Objekte wahrnehmen zu können. Darüber hinaus kann man mit dieser Technologie keine Veränderung der Stärke des Drücken erkennen, egal wie feste man drückt, der aufgenommene Berührungspunkt bleibt gleich. Je nach Bauart kommt noch hinzu, dass wenn man nur wenige Laser verwendet, sich Finger gegenseitig blockieren können. Dies passiert wenn ein Finger zwischen Lichtquelle und einem anderen Finger liegt. Der näher an der Lichtquelle liegende Finger absorbiert sämtliches Licht für diesen Winkel, sodass an dem anderen kein Licht ankommt, dass an ihm brechen könnte. Ein weiterer kritischer Punkt dieser Technologie ist die fehlende Sicherheit vor Infrarotlicht. Sind die Laser nicht richtig eingestellt und strahlen nicht nur direkt über die Oberfläche, sondern darüber hinaus, ist dies für den Benutzer nicht sichtbar und könnte schwere Augenverletzungen zur Folge haben. Daher empfiehlt es sich eine Infrarot- Schutzbrille bei der Konstruktion und Benutzung, bis eine solche Sicherheit nicht gewährleistet werden kann zu tragen LED Light Plane LED LP Die Funktionsweise der LED Light Plane basiert auf dem gleichen Prinzip wie die des Laser Light Plane. Hier werden jedoch anstatt Laser, Infrarot LED s verwendet. Da sich sowohl der Aufbau, sowie Vor- und Nachteile grundsätzlich gleich sind, wird dieses Prinzip an dieser Stelle nicht noch einmal aufgeführt Diffused Surface Illumination - DSI Die Diffused Surface Illumination ist dem FTIR sehr ähnlich. Bei ihr werden wieder IR- LED s an den Seiten des Plexiglases angebracht, welche in es hineinleuchten. Allerdings wird hier ein besonderes Glas verwendet, ein endlighten 20 Plexiglas. Dieses enthällt kleine Partikel, die wie Spiegel funktionieren. Trifft ein IR-Strahl auf einen solchen Partikel, wird er von ihm aus dem Glas hinaus reflektiert. Legt man nun einen Finger auf dieses Glas, reflektiert er die aus den Glas austretenden IR-Strahlen und wirft sie in die Box zurück, wo sie dann von der Kamera aufgenommen werden. Eine Projection Surface wird auf das Plexiglas gelegt um das Projekttorbild anzuzeigen. 19 Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S.15 f. 20 Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S

12 21 Im Vergleich zu FTIR kann DSI Objekte erkennen. Außerdem benötigt man kein Compliant Surface, die austretenden IR-Strahlen werden unabhängig vom Zustand des Fingers reflektiert. Jedoch ist der Kontrast der Berührungspunkte schlechter zu erkennen als bei anderen Technologien, wodurch es der Trackingsoftware schwerer gemacht wird diese zu erfassen. Hinzu kommt noch, dass endlighten Plexiglas teurer ist als ein normales Software Plattform / Komponenten NUI Group und CCV Um das von der Kamera aufgenommene Bild für Softwareanwendungen verwertbar zu machen, wird zur Analyse eine so genannte Trackingsoftware eingesetzt. Die populärste und am weitesten verbreitete open source Trackingsoftware ist die von der NUI-Group 23 entwickelte CCV. Mit ihr möchte die NUI-Group jedem Interessierten eine offene und kostenlose Schnittstelle für einen schnellen Einstieg in diese Technologie anbieten. Die Community Core Vision ist eine open source/cross-platform solution for computer vision and machine sensing 24. Sie übernimmt die Analyse des eingehenden Schattenbildes 21 Bild: Prinzip der DSI aus Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S vgl. Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, S Die NUI Group ist eine offene Comunity die sich auf optischen Multitouch spezialisiert hat. Anfänger und auch Fortgeschrittene sind hier am richtigen Platz. 24 Comunity Core Vision

13 und gibt die tracking data 25 aus. Diese beinhaltet Koordinaten, Anzahl und Größe der Berührungen und gegeben falls ihre events 26. Diese Events beinhalten unter anderem die Bewegung der Berührungen oder auch Kombinationen, wie beispielsweise einen Doppelklick. Diese tracking data kann dann von beliebigen, diese Schnittstelle unterstützenden, Multi- Touch Anwendungen verwendet werden. 5. Eigenbau nach Prinzip des FTIR und DI Im Folgendem wird nun der Eigenbau, sowie hierbei aufgetretene Probleme von FTIR und DI vorgestellt. Dies wird aus der Sicht des Verfassers dieser Facharbeit beschrieben. Da endlighten Plexiglas in Deutschland nur sehr schwer zu beschaffen ist und bei dem Prinzip der LLP die Gefahr der Augenverletzung im Vergleich zu den Vorteilen zu hoch ist, entschied ich mich beim Eigenbau für die Methoden von FTIR und DI. Da sie sich von der Vorbereitung nicht unterscheiden, werde ich diese zunächst beschreiben und danach die unterschiedlichen Baumethoden vorstellen Vorbereitung Beide Methoden benötigen als Grundgerüst eine Box mit einem Acrylglas als Oberfläche und sowohl einen Beamer, als auch eine Kamera im Innenraum Kamera Hier verwende ich eine PS3-Eye Kamera, welche aufgrund ihrer Bauform verschiedene Vorteile bietet. Zunächst öffne ich die Kamera und schraube die Linse ab. Da die Kamera später infrarotes Licht aufnehmen soll, muss der Infrarot-Filter, der hier als letzte Linse verbaut ist, entfernt werden. 25 Comunity Core Vision 26 Comunity Core Vision

14 Da später an der aufgenommenen Oberfläche ein Beamerbild bricht (LCD Beamer leuchten nur im sichtbaren Spektrum, d.h. ohne IR Licht) darf die Kamera kein Licht aufnehmen, dass in diesem Spektrum leuchtet. Hierfür wird ein Tageslichtfilter eingesetzt

15 Nun nimmt die Kamera ausschließlich Licht oberhalb von ca. 820 nm auf, also im Infrarotbereich und höher IR - Frame Da ich später sowohl zum Ausleuchten des Kastens (DI), also auch zum Durchleuchten des Plexiglases eine IR-LED-Frame brauche, beschreibe ich die Herstellung einer solchen auch in der Vorbereitung. Hier verwende ich Osram SFH 485 IR- Dioden. Um diese später fixieren und zusammenlöten zu können, habe ich mir ein Gerüst aus Balsaholz zum Aufschieben der Dioden erstellt. Nun habe ich sie parallel zusammen gelötet und an einen passenden Adapter angeschlossen

16 Projektor Als Projektor verwende ich einen Optoma EW605ST. Dieser bietet den Vorteil ein extrem großes Bild auf eine kleine Distanz zu projizieren zu können. Um den Projektor später flexibel verschieben zu können habe ich mir ein Gestell gebaut. Hierzu habe ich den Füßen entsprechend Löcher in zwei Hölzer gefräßt und diese verbunden Box Nach ausmessen des Beamerbildes auf die gewünschte Höhe von 88 cm komme ich auf die Boxmaße von ca. 72 * 107 * 88 cm. Diese baue ich mir aus einem Holzgrundgerüst. Die Wände bilden angeschraubte Sperrholzplatten

17 5.2. FTIR Mit der vorhandenen Box und der Led-Frame wird nun die weitergehende Umsetzung von FTIR dargestellt Plexiglas Um die Totalreflektion optimal ausnutzen zu können, verwende ich hier ein 8mm dickes Plexiglas. Die Kanten des Plexiglases schleife ich mit feinem, superfeinem und schließlich nassem Sandpapier ab, um einen bestmöglichen Lichtdurchlass zu garantieren

18 Compliant layer Als Projektionsoberfläche wollte ich zum Testen zwei verschiedene Oberflächen ausprobieren, um diese zu vergleichen und später dann die bessere verwenden zu können: RoscoGrey, welche von den meisten Herstellern aufgrund ihres Preises genommen wird und herkömmliches Transparentpapier, welches ich zum Vergleich ausgesucht habe. RoscoGrey wird von der Firma Rosco hergestellt und in Amerika verkauft, allerdings wird sie nur in fachspezifischen Geschäften und nicht online verkauft. Nach langem recherchieren habe ich dann jedoch einen unter anderem Namen auftretenden Vertriebspartner gefunden, der diese Folie zwar nicht offen im Sortiment führt, mir auf Nachfrage aber 2 Laufmeter beschaffen konnte. Transparentpapier habe ich bei einem Architekturhandel erworben. Wie oben schon beschrieben muss nun zwischen die Projektionsoberfläche eine Silicon-Schicht aufgetragen werden. Da man Silicon aber nur sehr schwer gleichmäßig verstreichen kann, muss dieses vor dem Auftragen verdünnt werden. Empfohlen wird hierfür Xylol, welches ich in Deutschland jedoch nirgends gefunden habe. Nach verschiedenen Materialtests habe ich festgestellt, dass sich hierfür als Alternative Aceton sehr gut eignet. Dieses vermischt sich mit dem Silicon einwandfrei und verdunstet nach der Auftragung völlig. Es wird im Verhältnis 1:1 gemischt und solange verrührt bis es eine gut verstreichbare

19 Masse bildet und anschließend aufgetragen. Nach 12 Stunden Trockenzeit sieht es dann so aus. Bereits hier erkennt man, dass die Flüssigkeit von dem Transparentpapier gut aufgenommen wurde und sehr gut haftet. Auf dem RoscoGrey sieht dies jedoch anders aus. Fasst man auf die Oberfläche, lässt sich das Silikongemisch leicht abziehen. So sieht es dann bestrahlt aus

20 Wie ich überraschenderweise festgestellt habe und auf den Bildern erkennbar ist, liefert das deutlich billigere Transparentpapier (im Bild links) im Vergleich ein deutlich helleres und farbenfroheres Bild IR Frame An den Seiten werden die LED- Frames dann befestigt, sodass sie waagerecht in das Plexiglas hinein strahlen

21 Tests Nach einigen Versuchen erhielt ich gute Ergebnisse mit einem Diodenabstand von jeweils 1 cm. Bei guter Abschirmung der Frames ist es so möglich die Plexiglas-Platte gleichmäßig zu beleuchten. Bei kleineren Platten ist dies noch gut möglich, jedoch verliert sich das IR-Licht bei der von mir gewählten Größe sehr schnell. Sind die IR-Frames jedoch gut fixiert und abgeschirmt, funktioniert dieses Prinzip ziemlich zuverlässig. Einziger Nachteil ist es, dass man aktiv drücken muss, also Kraft aufwenden muss, um gut erkennbare Punkte zu erzeugen. Drückt man fest genug, sind alle Punkte aber klar erkennbar. Der Kontrast ist im Vergleich zum Außenlicht sehr scharf, da das IR-Licht an den berührten Stellen sehr deutlich ist. Somit ist diese Technologie zwar zuverlässig, jedoch aufgrund des schwierig auftragbaren compliant Layer aufwändig umzusetzen. Richtig kalibriert und ausgeleuchtet sieht das analysierte Bild dann folgendermaßen aus:

22 - 21 -

23 5.3. DI Im folgenden Abschnitt werde ich nun die Umsetzung der DI darstellen Plexiglas Für DI verwende ich hier ein Rückprojektions-Plexiglas von Röhm. Dieses bietet unter anderem den Vorteil, dass keine weiteren Schichten aufgetragen werden müssen. Außerdem reflektiert es das IR-Licht der IR-LED s nicht. Würde man an dieser Stelle normales, spiegelndes Plexiglas nehmen, würde die Kamera später die Reflektionen der Dioden aufnehmen und könnte an diesen Stellen so keine anderen Kontraste mehr wahrnehmen. Bestrahlt sieht es folgendermaßen aus: IR Frame Die IR Frame richte ich so aus, dass sie die Box, bzw. das Plexiglas bestmöglich ausleuchtet. Dies gelingt am zuverlässigsten, indem man sie aktiv, also direkt auf das Plexiglas scheinen lässt

24 Tests Hier wird schnell deutlich, dass es sehr schwer ist, die LED s so auszurichten, dass die komplette Box ausgeleuchtet wird und die Finger auf der Oberfläche einen scharfen Kontrast erzeugen. Da hier das IR-Licht nicht wie bei FTIR an dem Berührungspunkt konzentriert ist, sondern immer über die ganze Fläche verteilt ist und der Finger relativ viel Licht verschluckt, sind die Kontraste nicht besonders scharf. Durch leistungsfähige Kalibrierungsmöglichkeiten der Tracking-Software werden die Punkte jedoch gut erkannt. Das analysierte Bild sieht dann folgendermaßen aus:

25 - 24 -

26 6. Fazit Letztendlich ist das Besondere der Multitouch-Technologie die Möglichkeit der interaktiven Steuerung. Ein Benutzer kann Software durch die reine Berührung steuern und so in Echtzeit interagieren. Somit fehlt es dieser Technologie auch nicht an Anwendungsmöglichkeiten Anwendungsmöglichkeiten Präsentationen Da die Technologie des optischen Multitouch durch ihre Kosten meist nur für Unternehmen attraktiv ist, werden Multitouchtische vorwiegend im Präsentationsbereich verwendet. Wollen sich Unternehmen auf Messen vorstellen, sind diese Tische besonders geeignet. Besucher können an sie herantreten und sie sofort bedienen. Das nötige Wissen für den Umgang mit einer Maus muss nicht mehr vorhanden sein, da die Finger diese ersetzen. Man kann ihn sofort bedienen, ob jung oder alt, technisch begabt oder nicht ist egal, denn sie sind intuitiv bedienbar. So lassen sich Bilder per Drag and Drop schnell verschieben, Produktinformationen per Klick einblenden oder nach bestimmten Produkten gesucht werden. Ein solcher Tisch benötigt weder Maus noch Tastatur, man kann ihn fest montieren ohne Angst haben zu müssen, dass Jemand solche Teile beschädigt oder gar entwendet. Abgesehen von der Bedienungsfreundlichkeit werten diese Tische auch das Image einer Firma auf. Sie stehen repräsentativ für eine fortschrittliche und innovative Geschäftsführung. Multitouchtische werden also oftmals als erweiterte PR genutzt. Sie sind aber auch für Besprechungen innerhalb einer Firma gefragt, so können sie zur Vorstellung neuer Ideen oder als digitale Metaplanwand genutzt werden Musik / Reactable Ein weiterer Anwendungsbereich liegt zum Beispiel in der Musik, denn auch die künstlerische Branche ist auf eine solche Bedienung aufmerksam geworden, erwähnenswert ist hier besonders der Reactable 27. Werden Würfel mit einer Gravur auf die Oberfläche gelegt, wird die spezifische Gravur (falls eine Technologie verwendet wird die Object-Tracking unterstützt) von der Kamera aufgenommen und von einer Software erkannt. Jede Gravur hat ihre eigene eingespeicherte Funktion. Nun gibt es z.b. einen Würfel der einen Grundbeat erzeugt, ein anderer für eine Snair oder 27 Der Reactable ist ein von der gleichnamigen Firma vertriebenes Multitoucht-Gerät zur Erstellung von interaktiver Musik

27 ein eingespieltes Gitarren-Riff. Andere Würfel sind zum Verzerren und Verändern dieser Signale zuständig. Legt man einen der Würfel auf den Tisch, verrechnet ihn der Computer und führt ihn in einem vorher eingestellten Zeitabstand immer wieder aus. Durch Verschieben und Drehen des Würfel lassen sich nun Lautstärke, Tempo und Effekt für jedes Signal verändern und ganze Lieder erstellen und mixen. Da sie intuitiv bedienbar sind, nahezu unendlich erweiterbar und mit beliebig vielen Effekten belegbar sind, könnte diese Technologie herkömmliche Mischpulte in Zukunft ablösen Effekte Die Technologie des optischen Multitouch wird auch in anderen Bereichen für beispielsweise effektgebende Tische verwendet. So werden in Bars und Clubs Tresen hiermit ausgestattet um Besucher anzulocken. Stellt man z.b. ein Glas auf den Tresen beginnt es unter ihm zu leuchten, stellt man ein zweites in die Nähe, stellt der Tresen eine leuchtende Verbindung zwischen ihnen her. Auch wenn dies keinen produktiven Nutzen hat, wirkt es auf Besucher anziehend und außergewöhnlich Zukunft Meiner Meinung nach ist diese Technologie in einer Umbruchphase. Durch den vergleichbar niedrigen Preis und die nahezu unendlich vielen Anwendungsmöglichkeiten, werden Multitouch-Umsetzungen in den nächsten Jahren immer stärker vertreten sein. Von Bürotischen, die den normalen Monitor erweitern bis hin zu Restaurants bei denen das Bestellen über Esstische möglich ist, steht die Welt dieser Technologie offen

28 7. Literaturverzeichnis Alex Teiche, Ashish Kumar Rai und andere: Multitouch Technologies, In: [ ] Anette Weisbecker (Hrsg.): Studie Multi-Touch Fraunhofer IAO, Stuttgart, überarbeitete Version, April 2010 Community Core Vision, In: [ ] Multitouch Terminology, In: [ ] Tangible User Interface, In: [ ] Total Internal Reflection, In: [ ] Touchscreen, In: [ ]

29 Anhang: 1. Community Core Vision.pdf (Gedruckt und im Ordner Anhang ) 2. Multi-Touch Terminology.pdf (Gedruckt und im Ordner Anhang ) 3. Tangible User Interface.pdf (Gedruckt und im Ordner Anhang ) 4. Total internal reflection.pdf (Im Ordner Anhang ) 5. Touchscreen Wikipedia.pdf (Im Ordner Anhang ) 6. Fraunhofer-IAO_Studie-Multi-Touch_2010.pdf (Im Ordner Anhang ) 7. Multi-Touch_Technologies_v1.01.pdf (Im Ordner Anhang )

30 Erklärung: Ich erkläre hiermit, dass ich die vorliegende Facharbeit Darstellung der Realisierungsmöglichkeiten für optischen Multitouch ohne fremde Hilfe angefertigt und nur die im Literaturverzeichnis aufgeführten Quellen und Hilfsmittel benutzt habe. Ort, Datum Unterschrift