Interaktive Displaytechnologie: Der selbstgebaute Multitouch-Table

Transkript

1 Interaktive Displaytechnologie: Der selbstgebaute Multitouch-Table David Wenner Betreut von: Anna-Sabina Rüetschi 3. Dezember 2013 Maturaarbeit im Fach Physik Kantonsschule Schaffhausen

2 i

3 Inhaltsverzeichnis 1 Einführung 2 2 Motivation 4 3 Theorie Hardware Multitouch-Table Konventionelle Displaytechnologien Alternative Displaytechnologien Laser Light Plane (LLP) Diffused Illumination (DI) Frustrated Total Internal Reflection (FTIR) Die alternativen Techniken im Vergleich Software Tracking-Software Client-Software Dokumentation Planung Dimensionierung Materialien Die Kamera Die LEDs Das Plexiglas Der Projektor Konstruktion Die Bearbeitung des Plexiglases Die Infrarot-LEDs Die Compliant-Surface Die Modifikation der Kamera Software Resultat Ergebnisse Schlussbetrachtung Limitationen Verbesserungs- und Erweiterungsmöglichkeiten Danksagung 38 Quellenverzeichnis 40 ii

4 1

5 1 Einführung Interaktive Displays sind Displays, die durch eine einfache Berührung eines oder mehrerer Finger gesteuert werden können. Sie sind ein aktuelles Thema und gewinnen immer mehr an Einfluss in unserer Gesellschaft. Sie sind von grosser ökonomischer Bedeutung und immer noch Gegenstand aktueller Forschung. Diese Arbeit verschafft einen Einblick in die Technologie der interaktiven Displays. Dabei werden konventionelle Bauweisen, welche auf dem Gebrauch von elektrischen Feldern und Halbleitern basieren, sowie auch alternative Bauweisen, die sich auf die Eigenschaften der optischen Physik stützen, betrachtet. Das Ziel meiner Maturaarbeit ist es, eine dieser alternativen Technologien in einem Multitouch-Table umzusetzen und somit einen interaktiven Display selbst herzustellen. Dieser soll die Form eines kleinen Tisches besitzen und, dank Multitouch-Unterstützung, mehrere Berührungen gleichzeitig erkennen und in Eingabesignale umwandeln können. Dabei soll er einerseits möglichst preiswert sein, andererseits vergleichbare Funktionalitäten wie ein konventioneller Touchscreen bieten. Multitouch-Tables trifft man heutzutage vorwiegend in Museen oder Ausstellungen an, als Informationsquellen oder um Kinder spielerisch Wissen zu vermitteln. Auch an touristisch wichtigen Orten sind Multitouch-Tables oft als Informationstafeln zu finden. Eine Multitouch-Funktion ist insofern wichtig, dass dadurch der Multitouch-Table von mehreren Personen gleichzeitig benutzt werden kann. Die Herausforderung ist, mit einfachen Mitteln und einem kleinem Budget etwas so Komplexes wie den Multitouch-Table herzustellen. Dazu habe ich mich in das Thema eingearbeitet, unterschiedliche Technologien evaluiert und eine davon in Form eines Prototypen 1 erprobt. Schliesslich habe ich meine finale Version konstruiert und dabei den Bau und die aufgetretenen Schwierigkeiten und Erfahrungen dokumentiert. Die Motivation für diese Arbeit findet man im folgenden Kapitel. Das Kapitel 3 beinhaltet eine Übersicht über die Theorie der wichtigsten konventionellen und alternativen Technologien, sowie eine generelle Beschreibung des Multitouch-Tables und des Funktionsablaufs der benötigten Software. Ausserdem werden die verschiedenen Techniken miteinander verglichen. Im darauffolgenden Kapitel 4 befindet sich die Dokumentation der Konstruktion meines Multitouch-Tables. Dabei werden auch die verwendeten Materialien und deren Auswahl beschrieben. Neben einer schlichten Dokumentation soll dieses Kapitel auch als Anleitung für den Leser dienen, um selbst einen Multitouch-Table zu bauen. Im letzten Kapitel findet man eine Evaluation des gebauten Multitouch-Tables, wobei die Funktionen, die Verbesserungsmöglichkeiten aber auch die Limitationen diskutiert werden. 1 In der Theorie unter Diffused Illumination zu finden. 2

6 3

7 2 Motivation Ich habe dieses Thema gewählt, weil man interaktive Displaytechnologien immer wieder im Alltag antrifft, die meisten Leute aber kaum etwas über deren Funktionsweise wissen. Dieses Projekt bot mir die Gelegenheit ein Gerät, das so nicht für die breite Konsumentenmasse zur Verfügung steht und nur auf Nachfrage zu enorm hohen Preisen erhältlich ist, selbst zu konstruieren. Dabei erhoffte ich mir, viele mir nicht vertraute Bereiche wie die Elektronik, Holzarbeiten und Informatik zu streifen und dabei wertvolle Erfahrungen zu sammeln. Inspiration für diese Arbeit gab mir die NUI-Community 2 (Natural User Interface), eine kleine Gruppe von Bastlern, die am Multitouch-Table herum tüfteln und versuchen, ihn zu perfektionieren. Auf deren öffentlichen Forum tauschen sie Erfahrungen aus und leisten sich gegenseitig Hilfe. Deshalb ist es auch meine Absicht, diese Arbeit dort zu veröffentlichen, um ebenfalls einen Beitrag an dieser Gemeinschaft zu leisten. Für den Leser kann diese Arbeit einerseits als Anleitung für den Bau eines eigenen Multitouch-Tables von Nutzen sein, andererseits um einen Einblick in die Technologie der Interaktiven Displays zu gewähren. In dieser Arbeit werden die folgenden Leitfragen behandelt: Wie konstruiert man mit einfachen Mitteln einen möglichst preiswerten Interaktiven Touchscreen, der mehrere Berührungen gleichzeitig erkennt und als Eingabesignale interpretieren kann? Stellt ein mit alternativen Techniken selbstgebauter Multitouch-Table eine Konkurrenz für konventionelle Multitouch-Tables dar? 2 4

8 5

9 3 Theorie Dieses Kapitel befasst sich einerseits mit der Funktionsweise von Touchscreens im generellen, aber auch mit alternativen Technologien für den Multitouch-Table und der dazugehörenden Hard- und Software. 3.1 Hardware Multitouch-Table Was ist ein Touchscreen eigentlich? Ein Touchscreen ist ein interaktiver Display. Das bedeutet, dass er sowohl ein Ein- wie auch ein Ausgabegerät ist. Die Maus ist sozusagen in den Bildschirm eingebaut, sodass die technische Umsetzung für den Nutzer nicht sichtbar ist. Dadurch, dass man den Computer allein durch eine Berührung des Bildschirms steuern kann, hat man das Gefühl einer direkten Interaktion. Man möchte meinen, dass diese Technologie sehr neu ist, aber es gibt sie schon seit ca. 30 Jahren. In dieser Zeit wurden verschiedene Funktionsweisen entwickelt, von welchen hier einige betrachtet werden. Grundsätzlich muss ein Touchscreen die Position der Berührung erkennen können, sobald ein Finger oder Objekt der Oberfläche angenähert wird. Ein Multitouch-Screen, wie zum Beispiel der Multitouch-Table, ist ein Touchscreen, der in der Lage ist mehrere Finger gleichzeitig zu erkennen und zu verarbeiten. Doch wie genau funktioniert ein Multitouch-Table? Und welche Funktionen bietet er? Diese Fragen muss man sich stellen, wenn man sich vornimmt einen Multitouch Table zu bauen. Denn beim Multitouch-Table wie auch bei allen anderen Touchscreens gibt es verschiedene Techniken mit Vor- und Nachteilen. Ein Multitouch-Table ist im Prinzip ein Touchscreen und Nichts von Grund auf neues. Die Bezeichnung Multitouch-Table ist lediglich eine Klassifizierung und weist dem Touchscreen bestimmte Eigenschaften zu. Zum Beispiel muss ein Tablet dünn und im Vergleich zu einem Smartphone relativ gross, aber dabei trotzdem noch tragbar sein. Ein Multitouch-Table besitzt also, wie der Name schon sagt, die Form eines Tisches mit einer grossen Berührungsoberfläche. Dabei ist er wegen seiner Grösse sicherlich nicht so mobil wie ein Touchpad. Die Unterstützung der Multitouch-Funktionalität ermöglicht es mit Gesten, wie das Auseinanderoder Zusammenziehen der Finger, zu arbeiten. Diese Funktionalität ist auch nötig wenn der Display von mehreren Personen gleichzeitig benutzt werden soll. Ein Multitouch-Table kann mit konventionellen Technologien hergestellt werden, welche ihm folgenden Abschnitt behandelt werden. Ein solcher Touchscreen basiert aber hauptsächlich auf den Eigenschaften von Halbleitern und elektrischen Feldern. Dies bietet zwar viele Möglichkeiten um diese Eigenschaften anzuwenden, ein Gerät wird aber sehr schnell so komplex, dass ein Eigenbau für einen Amateurelektroniker schlicht unmöglich ist. Die Produktion von konventionellen Touchscreens erfordert die Arbeit mit teilweise gefährlichen Stoffen wie Säuren, teuren Materialien (z.b seltenen Erden) und spezielle Infrastrukturen (wie z.b. Reinräume), welche für Amateure unerschwinglich sind. Ausserdem ist die Herstellung eines grossen Bildschirms mit konventionellen Mit- 6

10 teln aufgrund seiner Grösse enorm teuer. Multitouch-Tables mit konventionellen Technologien, wie zum Beispiel der SUR40 3 von Samsung, werden nur auf Nachfrage zu Preisen gegen CHF, verkauft. Weil mir diese Möglichkeiten nicht zur Verfügung stehen, habe ich meinen Multitouch-Table mit einer alternativen Technik gebaut. Diese benötigen lediglich alltägliche Mittel und Materialien. Sollten aber dennoch ein möglichst gutes Resultat erzielen können. Da es auch hier verschiedene Bauweisen gibt, werden diese im Kapitel genauer behandelt. Abbildung 1: Der SUR40 von Samsung. Bildquelle: [sam] Abbildung 2: Skizze des Multitouch-Tables. Unabhängig von der gewählten Bauweise sind bestimmte Komponenten für die alternativen Techniken unabdingbar. Logischerweise braucht man eine Berührungsoberfläche. Diese kann, sofern nicht explizit ein bestimmtes Material benötigt wird, eine beliebige Platte aus transparentem Material wie Glas oder Plexiglas sein. Infrarot (IR) LEDs oder Laser, welche essentiell für die Reflexion 4 und somit die Funktion sind, werden ebenfalls benötigt. Infrarotlicht (780 nm bis 1mm Wellenlänge) ist für das menschliche Auge nicht sichtbar und daher sehr geeignet für alle optischen alternativen Techniken. Ein Sensor, zum Beispiel eine Kamera, der das reflektierte Licht auffängt wird ebenfalls benötigt. Eine Webcam kann diesen Zweck erfüllen, da man aber hauptsächlich mit Infrarot arbeitet, muss diese modifiziert 5 werden. Alternativ kann auch eine Infrarotkamera verwendet werden, diese sind qualitativ besser aber sehr viel teurer. Aber dazu mehr in der Dokumentation. Damit der Benutzer ein Bild sieht, benötigt man eine Bildquelle wie zum Beispiel ein Projektor oder einen LCD (Liquid Crystal Display). Diese Entscheidung muss auch je nach gewählter Technik getroffen werden. Der generelle 3 surface-2/lh40sfwtgc/en 4 Im Kapitel genauer erklärt. 5 Wie im Kapitel gezeigt wird. 7

11 Aufbau des selbstgebauten Multitouch-Tables besteht aus einem Rahmen, auf dem die Berührungsoberfläche liegt. Darunter befindet sich entweder ein Projektor welcher das Bild nach oben auf die Berührungsoberfläche projiziert oder ein LCD der direkt unter der Berührungsoberfläche befestigt wird. Neben der Bildquelle befindet sich auch der Sensor, welcher die gesamte Berührungsoberfläche erfassen sollte. Um die Komponenten funktional zu vernetzen, wird eine Software benötigt. Diese muss aus dem Bildmaterial der Kamera die Koordinaten der Fingerpositionen berechnen und zu einem Ereignis verarbeiten. Mehr Informationen zur Software sind im Kapitel 3.2 zu finden Konventionelle Displaytechnologien Damit man versteht, was ein selbstgebauter Multitouch-Table von einem konventionellem Touchscreen unterscheidet, werden nun die wichtigsten Bauweisen betrachtet. Diese sind in Handys oder anderen Massenkonsumgütern zu finden. Eine der ältesten Techniken ist der Resistive Touchscreen. Dieser reagiert nur, wenn Druck auf den Bildschirm ausgeübt wird. Durch eine genügend starke Berührung werden zwei elektrisch leitfähige Schichten an der Druckstelle verbunden. Dabei wird der Widerstand auf den beiden Flächen, wie in Abbildung 3 gezeigt, gespalten. Durch den Unterschied der entstandenen Widerstände wird die Position des Fingers berechnet, daher kommt der Name Resistiv (Resistiv = Widerstand). Abbildung 3: Funktionsweise eines resistiven Touchscreens. Bildquelle: [wikb] Die Vorteile dieser Technik sind, dass sie technisch nicht sehr komplex, aber dennoch genau ist. Somit kann man eine punktgenaue Präzision mit einem Eingabestift (Stylus) erreichen. Ebenfalls ist es möglich, den Display mit Handschuhen und beliebigen nicht leitenden Materialien zu bedienen. Diese Technik hat jedoch einige schwerwiegende Nachteile. Zum einen unterstützt diese Technik keinen Multitouch, da mit einer weiteren Berührung die Berechnung der Widerstände nicht mehr möglich ist. Zum anderen reagiert das Gerät auf jeglichen Kontakt, was ein grosses Problem ist, wenn es zum Beispiel in einer Hülle oder einem Hosentasche transportiert wird. Bei dieser Technik ist ausserdem der mechanische Verschleiss der beiden Kontaktflächen durch diese ständigen Berührungen enorm hoch. Aufgrund dieser Nachteile wird diese Technik heute kaum 8

12 noch benutzt. [wikb, wikc] Die heute am häufigsten verwendete Technik ist der Projiziert-kapazitive Touchscreen. Dieser Display basiert auf der Anordnung von Leiterbahnen zwischen einer Glasplatte und einer Schutzschicht. Diese von einander isolierten Leiter bilden Kondensatoren, welche ein elektrostatisches Feld erzeugen. Dieses Feld tritt durch die Schutzschicht hindurch, daher der Name Projiziert. Ein leitfähiges Objekt, welches dieses Feld passiert, erzeugt eine messbare Veränderung im Feld der Kondensatoren, welche sich unterhalb des Objekts befinden. Mit einem dichten Gitter von Kondensatoren kann somit nicht nur die Existenz einer Berührung ermittelt werden, sondern auch deren Position. Da die Kondensatoren sehr klein sind und das Feld schon auf kleine Änderungen reagieren, kann eine hohe Präzision erreicht werden. Diese Bauweise erlaubt auch Multitouch. Diese Fertigungstechnik hat den Nachteil, dass sie eine hohe Fertigungspräzision erfordert, extrem komplex und relativ teuer ist. Auch kann das Display nicht mit Druck bedient werden. Handschuhe, Eingabestifte und andere nicht leitende Materialien werden vom Display nicht erkannt. Aufgrund ihrer Präzision und Robustheit ist diese Technik die Spitze der für die Massen erhältlichen Multitouch-Displays und wird in allen neuen Smartphones wie dem iphone 5 und dem Samsung Galaxy 4 verwendet. [wikb, eiz] Abbildung 4: Eine schematische Darstellung eines Projiziert-kapazitiven Touchscreens und die Veränderung des elektrischen Feldes durch eine Berührung Alternative Displaytechnologien Grundsätzlich verwendet der selbstgebaute Multitouch-Table im Vergleich zu kommerziellen Touchscreens die Eigenschaften aus einem ganz anderem Bereich der Physik. Alle bisher bekannten und von der NUI-Community erprobten alternativen Techniken, basieren auf der optischen Physik. Das heisst, dass man hauptsächlich mit der Wellenphysik arbeiten wird; um genau zu sein entweder mit Infrarotlaser oder Infrarotlicht. Der generelle Bauplan des Multitouch-Tables wird, je nach dem für welche Technik man sich entscheidet, mit weiteren Komponenten ergänzt. Ich werde drei Techniken vorstellen: Die Laser Light Plane die auf dem Einsatz von infrarot Lasern basiert, die Frustra- 9

13 ted Total Internal Reflection sowie die Diffused Illumination, welche beide auf der Verwendung von infrarot LEDs beruhen Laser Light Plane (LLP) Die LLP - Bauweise ist die einzige alternative Technik, die mit Laser funktioniert. Zwar können auch spezielle LEDs benutzt werden, die einen sehr kleinen Abstrahlwinkel besitzen (etwa 6 Grad), diese sind aber nur sehr schwer erhältlich. Die Infrarotlaser werden mit Aufsätzen, welche den Strahl zu einer Fläche streut, in den Ecken oder Kanten platziert. Dabei gilt, je mehr Laser benutzt werden desto besser. Die Laserfläche sollte knapp über der Berührungsoberfläche platziert werden. Jedoch sollte während der Installation aufgepasst werden, dass man nie direkt in den Laser hinein blickt, da dieser für das menschliche Auge extrem schädlich ist. Die Gefahr besteht nach der Installation zwar immer noch, das Gesicht müsste dafür aber auf die Plexiglasplatte gelegt werden. Dieses System ist somit nicht für Kinder geeignet. Nun zur Funktionsweise: Wenn ein Finger die Plexiglasplatte berührt, so unterbricht er (wie in Abbildung 5 zu sehen) die Infrarotfläche. Das Infrarotlicht wird von der Fingerspitze gestreut und erreicht nun den Sensor. Es sind hell erleuchtete und klare Fingerspitzen erkennbar. Wenn eine zu geringe Anzahl an Lasern verwendet werden, kann ein Finger einen anderen verdecken. Dies ist der Fall wenn zwei Finger so platziert sind, dass sich einer davon im Schattenbereich des ersten Fingers befindet. Diese Laser-Technik unterstützt keine Druckunterschiede der Berührungen, da sich die von Sensor detektierte Lichtstärke mit zunehmenden Druck nicht verändert. Dafür kann bei dieser Technik jegliches transparentes Material als Berührungsoberfläche benutzt werden. [Set] Abbildung 5: Aufbau eines LLP Systems. Bildquelle: [Set] Abbildung 6: Reflexion der Finger eines LLP Systems. Bildquelle: [Set] 10

14 Diffused Illumination (DI) Ein einfacher und kleiner Multitouch-Table Prototyp (zu sehen in Abbildung 7), den man in kürzester Zeit bauen kann, funktioniert mit der sogenannten Front Diffused Illumination. Was soviel wie indirekte Belichtung von aussen bedeutet. Dieser ist aber kein Display, da keine Bildquelle vorhanden ist, sondern nur ein Eingabegerät. Für diese Technik wird kein Infrarotlicht oder Laser benötigt. Sie funktioniert nur mit dem Umgebungslicht und dem von den Fingern geworfenem Schatten, deshalb muss die Umgebung hell erleuchtet sein. Man nimmt eine ungefähr 30 cm hohe Kartonschachtel, und stellt sicher, dass alle Seiten, bis auf eine Längsseite, geschlossen sind. Es sollten auch alle Löcher zugeklebt werden, sodass möglichst kein Licht mehr hineinfällt. Unten in der Kartonkiste wird nun eine Webcam6 befestigt, so dass sie die komplette Öffnung im Blickfeld hat. Über die Öffnung wird nun eine transparente Platte gelegt und darauf ein dünnes Papier befestigt. Zusammen mit der richtigen Software7, wie zum Beispiel CCV8, ist der Prototyp fertig. Dieser erkennt Berührungen ganz gut, ist dabei aber extrem von der Umgebung abhängig, und daher nicht zuverlässig. Darum wird diese Technik in diesem Zustand nicht in finalen Produkten verwendet. Abbildung 7: Bild meines Front Diffused Illumination-Prototyp. Die Funktionsweise dieses Prototypen kann jedoch erheblich verbessert werden, so dass diese von der Umgebung unabhängig und zu einer durchaus akzeptable Technik wird. Dazu wird das Licht aus der Umgebung durch zusätzliche Infrarotlichtquellen ersetzt. Ein modifizierter Sensor9 unter der Kamera kann nun die Infrarotschatten der Finger erkennen. Oder die Infrarotlichter können, wie in Abbildung 8 zu sehen, von unten an die Plexiglasplatte gestrahlt werden (Rear DI). Ein Finger, der die Plexiglasplatte berührt reflektiert dann mehr Infrarotwellen zurück zum Sensor als die weiter entfernten Ge6 Ohne die im Kapitel beschriebene Modifikation Für weitere Informationen siehe: Dokumentation, Kapitel Wie im Kapitel beschrieben. 7 11

15 genstände dahinter. Der Finger erscheint dadurch heller als die Umgebung. Der Vorteil dieser Technik ist der relativ einfache Aufbau und, dass auch Objekte erkannt werden können, da dessen gesamte Oberfläche Infrarotlicht reflektiert. Jedoch kann es schwierig sein die Infrarotwellen gleichmässig über die gesamte Berührungsoberfläche zu verteilen. Ebenfalls sind aufgrund der schwachen Kontrastunterschiede die Finger für die Kamera, wie in Abbildung 9 gezeigt, schwer zu erkennen. [Set] Abbildung 8: Aufbau eines Rear DI Systems. Bildquelle: [Set] Abbildung 9: Reflexion der Finger eines Rear DI Systems. Bildquelle: [Set] Frustrated Total Internal Reflection (FTIR) Nun zur funktional komplexesten Bauweise, der FTIR-Bauweise. FTIR bedeutet soviel wie innere zerstreute Totalreflexion. Ich werde auf diese Technik den Fokus setzten. Einerseits, weil der von mir gebaute Multitouch-Table diese Technik benutzt und andererseits, weil dies die momentan populärste alternative Technik ist. Zur Konstruktion benötigt man zwingenderweise eine Plexiglasscheibe, dessen Kanten klar poliert sein müssen, so dass keine Kratzer mehr zusehen sind. Des weiteren braucht man Infrarot LEDs und eine Compliant-Surface. Eine Compliant-Surface wird nur für eine FTIR Bauweise benötigt, sie besteht zum Beispiel aus einem mit Silikon beschichtetem Pergamentblatt. Sie wird gebraucht, um die Reflexion der Wellen und somit die Sichtbarkeit der Finger zu verbessern. Sie schützt einerseits das Plexiglas und dient dazu noch als Projektionsfläche für den Beamer. Nun zum Aufbau: Die LEDs werden zusammen gelötet 10 und an den Kanten der Plexiglasplatte befestigt, so dass sie parallel zur Oberfläche hinein leuchten. Zum Schluss wird die Compliant-Surface auf die Plexiglasplatte gelegt. Die LEDs leuchten gerade in das Plexiglas hinein und die Infrarotwellen werden auf der Ober- und Unterseite nahezu vollständig reflektiert. Das heisst, dass die Wellen nicht mehr aus dem Plexiglas hinaustreten können, weil der Einfallswinkel zu gross ist. Wenn nun genügend LEDs verwendet werden, wird die komplette Oberfläche der Plexiglasplatte mit Infrarotwellen 10 Genauer beschrieben unter: Dokumentation, Kapitel

16 bedeckt. Berührungen sollten dann an jeder Position der Plexiglasplatte vom Sensor erkannt werden können. [Set] Abbildung 10: Aufbau eines FTIR Systems. Bildquelle: [Set] Abbildung 11: Reflexion der Finger eines FTIR Systems. Bildquelle: [Set] Doch wie verändert die Berührung eines Fingers die Infrarotwellen, wenn diese die Plexiglasplatte nicht verlassen können? Eine Berührung der Plexiglasplatte allein verändert die Struktur der Oberfläche zu wenig um den Brechungswinkel zu verändern. Trotzdem kann eine schwache Reflexion beobachtet werden ohne, dass eine Compliant-Surface benutzt wird. Da ich aus mehreren Quellen, innerhalb der NUI-Community, verschiedene Ansätze gefunden habe, habe ich daraus selbst zwei Hypothese aufgestellt. Ein Zusammenspiel der beiden Lösungen ist auch denkbar. Hypothese 1 Die Reflexion könnte durch eine Veränderung des Brechungswinkels entstehen. Denn die Totalreflexion entsteht, wenn die Plexiglasplatte von Luft umgeben ist, da nur dann die Verhältnisse der Brechungswinkel, den für die Totalreflexion benötigten Winkel ergeben. Denn der Winkel für die Totalreflexion ist abhängig vom Material, das sich oberhalb des Plexiglases befindet. Dank der Oberfläche des Silikons befindet sich zwischen der Compliant-Surface und der Plexiglasplatte Luft, solange die Compliant-Surface nicht berührt wird. Wenn nun mit dem Finger auf die Compliant-Surface gedrückt wird, so wird das eine Medium (die Luft) durch das sich an der Unterseite der Compliant-Surface befindende Silikon ersetzt. Die Brechungsindexe verändern sich und anstatt einer Totalreflexion, hat man nun eine Brechung der Infrarotwellen. Ein Teil des IR-Lichts kann daher aus dem Plexiglas austreten und wird, wie bei der Abbildung 12 zu sehen, von der Fingerspitze reflektiert, sodass diese von der Kamera aufgefangen wird. 13

17 Abbildung 12: Totalreflexion der Infrarotwellen zu sehen an den hell erleuchteten Kanten und den dunklen Flächen. Abbildung 13: Unterbrechung der Totalreflexion an den Druckstellen der Finger. Hypothese 2 Es könnte sich allerdings auch auf den Effekt der Evaneszenz stützen. Dieser bewirkt, dass wenn eine Welle auf ein neues Medium trifft, in welchem sie sich nicht ausbreiten kann, diese nicht direkt an der Grenzfläche reflektiert wird. Dabei bildet die Grenzfläche bei der FTIR-Technik die Luft zwischen der Compliant-Surface und der Plexiglasplatte. Das heisst, dass hinter der Grenzfläche der beiden Medien die Amplitude des IR-Lichts nicht direkt auf Null fällt, sondern exponentiell abnimmt. Das bedeutet, dass trotz Totalreflexion in der Plexiglasplatte, das IR-Licht wenige Nano- bis maximal Mikrometer in die Luft oberhalb der Plexiglasplatte eindringt, wie in Abbildung 14 dargestellt ist. Hinter der Grenzfläche befindet sich also ein evaneszentes Feld von Infrarotwellen. Bei einer Berührung reflektiert die Compliant-Surface an der Druckstelle dieses Feld. [wika] Abbildung 14: Entstehung von Evaneszenten Welle. 14

18 3.1.4 Die alternativen Techniken im Vergleich Laser Light Plane (LLP) Vorteile Klare Blobs ersichtlich. Kein LED-Rahmen benötigt Blobs haben starken Kontrast Nachteile Berührungen sind nicht druckempfindlich. Laser sind gefährlich für die Augen. Erfordert ein präzis konstruiertes Gehäuse. Rear Diffused Illumination (DI) Vorteile Objekte, Finger und schwebende Gesten werden erkannt Einfacher Aufbau LED-Rahmen wird nicht benötigt Nachteile Gleichmässige Ausleuchtung ist schwer Schwache Kontrastunterschiede der Blobs Eine geschlossene Box wird benötigt Frustrated Total Internal Reflection (FTIR) Vorteile Blobs haben starken Kontrast Blob Intensität verändern sich bei auf Druck Sehr kleine Blobs können erkannt werden Nachteile Compliant-Surface wird benötigt Es muss Plexiglas verwendet werden Objekte werden nicht erkannt 15

19 3.2 Software Zur Hardware braucht man jetzt noch eine Software, damit man das ganze System überhaupt benutzen kann. Die Software ist ein wichtiger Teil meiner Arbeit, da ich aber meinen Fokus auf die Hardware und die Konstruktion gesetzt habe, werde ich schon bestehende und ausgereifte Software nutzen. Ausserdem sind die benötigten Algorithmen zur Bildverarbeitung für Personen ohne Informatikfachwissen sehr anspruchsvoll zu implementieren. Darum werden bei diesem Projekt verschiedene Open-Source-Software und Freeware benutzt. Die Auswahl und Konfiguration dieser Software wird in der Dokumentation unter Software betrachtet. Damit man die Funktionsweise des Multitouch-Tables versteht, werden in diesem Abschnitt die generelle Funktionsweise einer solchen Software behandelt. Das Softwaresystem besteht aus einem Tracker und einem Client. Der Tracker ist sozusagen das Auge des Computers. Er verarbeitet die Bildinformationen der Webcam zu Berührungseingaben. Diese werden über ein Protokoll an den Client geschickt. Der Client kann eine beliebige Applikation sein, die Berührungseingaben in Ereignisse umwandelt, die der Benutzer dann auf seinem Bildschirm sieht. Das folgende Beispiel verdeutlicht das Zusammenspiel der Softwarekomponenten anhand der Mausbewegung in einem Betriebssystem: Der Tracker detektiert den Finger im Kamerabild und sendet dessen Koordinaten über das Protokoll an den Client, welcher diese in eine Mausposition umwandelt. Die veränderte Mausposition wird dem Betriebssystem gesendet und mittels des Beamers auf die Oberfläche projiziert Tracking-Software Was genau ist denn nun die Rolle eines Trackers? Er versucht aus dem Videomaterial, welches er von der Webcam erhält, Finger oder Objekte heraus zu filtern. Jedoch erkennt die Kamera im beschriebenem System keine menschliche Anatomie und keine Farb- sondern nur Kontrastunterschiede, da sie nur Infrarotlicht wahrnimmt. Deshalb ist das Ziel der Software abstrakte unförmige Flächen zu finden. Man nennt diese vermeintlichen Fingerspitzen auch Blobs. Um diese Blobs aus dem Bild zu detektieren, muss sich die Software auf eingeschränkte Mittel verlassen. Die Herausforderung besteht darin, zufällige Kontrastveränderungen oder Störungen von tatsächlichen Fingern zu unterscheiden. Als Indikatoren helfen die Grösse, Form, Anordnung, Schärfe und Tiefenschärfe der Blobs. Die Tracking-Software sollte auch die Möglichkeit bieten, diese Filter manuell zu verstellen, damit das System an die Lichtverhältnisse angepasst werden kann. Der Tracker muss dann die Positionen der identifizierten Finger in jedem Einzelbild des erhaltenen Videomaterials finden. Ein weiteres Problem ist, dass zwischen zwei Einzelbildern Finger erscheinen, sich bewegen oder verschwinden können. Daher muss der Tracker immer wissen welche Position zu welchem Finger gehört. Das heisst, dass er über die Zeit den Bewegungsvektor jedes einzelnen Fingers verfolgen muss. Die von Tracker gefundenen Fingerpositionen werden dann mittels eines standardisierten Protokolls an den Client gesendet. 16

20 3.2.2 Client-Software Der Client implementiert ein Kommunikationsprotokoll. Ein Protokoll beschreibt die Kommunikation zwischen Tracking-Software und Client. Der Sinn des Protokolls ist eine Standardisierung, sodass Tracker wie auch Client unabhängig voneinander sind und ersetzt werden können. Trotzdem wurden verschiedene Protokolle entwickelt, wie zum Beispiel: Flash XML 11 und TUIO UDP 12. Flash XML wird für die meiste Anwendungen, wie zum Beispiel Spiele, verwendet, hingegen wird TUIO eher zur Kommunikation mit dem Betriebssystem verwendet, also zum Beispiel für die Bewegung der Maus über Berührungen. Die im Protokoll beschriebenen Positionsänderungen werden in Ereignisse umgesetzt. Client-Softwares gibt es in aller Art und in grosser Auswahl. Es kann eine beliebige Applikation sein, wie eine Zeichensoftware, ein Geschicklichkeitsspiel, oder ein Musikinstrument. Ein Beispiel für eine Client-Software ist eine Klavierapplikation, welche die Position jedes Fingers in einen bestimmten Ton umsetzt html

21 4 Dokumentation In diesem Kapitel ist der Bau meines FTIR 13 Multitouch-Tables dokumentiert. Viele Informationen für meine Konstruktion habe ich von der NUI Community. Dieses Forum 14 empfehle ich allen Lesern, die sich vertieft mit dem Bau eines Multitouch-Tables befassen möchten. 4.1 Planung Dimensionierung Die Bestimmung der Grösse eines Multitouch-Tables ist eine knifflige Sache. In diesem Kapitel beschreibe ich mein Vorgehen und was dabei alles beachtet werden muss. Genaue Details, die für die Beschaffung der Materialien wichtig sind, werden dann im folgenden Kapitel hervorgehoben. Bei der Dimensionierung müssen die Möglichkeiten und Grenzen durch Budget und Hardware beachtet werden, aber gleichzeitig darf man die Benutzbarkeit nicht vergessen. Unter Benutzbarkeit versteht man, wie angenehm es ist, den Tisch zu benutzen. Also zum Beispiel die Wahl einer komfortablen Höhe um ihn im Stehen oder Sitzen zu bedienen. Bei der Bestimmung der Grösse ist man jedoch stark von der Hardware abhängig. Primär ist zu beachten, dass die geplante Berührungsoberfläche und das Bild des Beamers die gleichen Seitenverhältnisse haben sollten. Bei meinem relativ alten Projektor, ein Panasonic PT-F200NT, habe ich nur ein Seitenverhältnis von 4:3, deshalb musste ich zwangsweise meine Berührungsoberfläche daran anpassen. Die neuen Projektoren benutzen aber meistens ein Verhältnis von 16:9 oder 16:10. Die gewünschte Grösse der Berührungsoberfläche setzt zudem die minimal notwendige Höhe der Kiste voraus, da diese vom Throw-Ratio (Verhältnis zwischen Entfernung des Projektors und der Bilddiagonalen) des Projektors abhängig ist. Die folgende Formel zur Berechnung der Distanz (L) und Bilddiagonale (D) ist im Handbuch des jeweiligen Projektors zu finden. Bei meinem Beamer habe ich bei einem minimalen Zoom der Linse (also einem möglichst grossen Bild) und einer Entfernung L (in Meter), ein Bild mit der Diagonalen von D (in Inch (in), 1 in = 2.54 cm). Die Konstanten ( und 0.048) beschreiben den Einfluss der Linse auf die Bildgrösse. Für weitere Umformungen ist jedoch die Diagonale in cm nötig, deshalb muss mit dem Faktor 2.54 multipliziert werden. L(m) = (D(in) ) D(cm) = 2.54 L(m) (1) Mit einer Umformung der Gleichung und einer Anwendung des Pythagoras kann auch direkt auf die Höhe (h) bzw. die Breite (b) der Berührungsoberfläche geschlossen werden (siehe zur Hilfe auch Abbildung 15). Da b 2 + h 2 = D 2 und das Seitenverhältnis b h = Erklärt im Abschnitt

22 bekannt ist, kann auf b 2 = h 2 ( 4 3 )2 umgeformt werden. Dies wird in die ursprüngliche Formel eingesetzt und man erhält h 2 ( 4 3 )2 + h 2 = D 2. Durch eine darauffolgende Umformung erhält man schliesslich die Formel h = 3 4 D, welche in die Formel (1) 2 +3 eingesetzt werden kann. Dadurch erhält man folgende Formeln: 2 h = b = 3 L L Da mit den meisten Projektoren das direkte nach oben Projizieren nicht möglich ist, oder dabei die Länge des Beamers bei der Berechnung im Abstand verloren geht, muss das Bild meistens über einen Spiegel nach oben umgelenkt werden. Dabei kann der Abstand zwischen Projektor und Spiegel zu L hinzugerechnet werden. Für meinen Multitouch- Table wollte ich eine möglichst grosse Berührungsfläche erreichen. Bei einer Höhe des Gehäuses (H) von 90 cm und einem zusätzlichen Abstand von ungefähr 10 cm zwischen Projektor und Spiegel konnte ich so eine Berührungsfläche mit der Diagonalen von 34 Zoll (etwa 87 cm Diagonale, 69 cm Breite und 51.8 cm Höhe) erreichen. Da mein Projektor zu lang für ein Gehäuse ist, dass nur die Berührungsoberfläche umfasst, musste ich eine Seite des Gehäuses um 10 cm verlängern, wie auf dem Titelbild zu erkennen ist. Abbildung 15: Schema des liegenden Tisches. Der Projektor ist in Grün dargestellt, gegenüber befindet sich die Berührungsfläche. Die Qualität des Bildes auf der Berührungsoberfläche ist ebenfalls von den Eigenschaften des Beamers abhängig. Die Auflösung des Beamers und die Grösse unserer Berührungsoberfläche ergibt die visuelle Auflösung, also wie viele Pixel man pro Millimeter hat. Bei einer, für den heutigen Stand der Technik (2013) relativ tiefen Auflösung meines Projektors von 1024x768 Pixel habe ich also 1024 Pixel/690 mm = 1, 5 Pixel/mm. Bei einer zu kleinen Anzahl Pixel pro Millimeter wirkt das Bild pixelig und unscharf. 1.5 Pixel/mm 19

23 liegt schon eher im Grenzbereich und bietet kein komplett scharfes Bild. Eine weiterer limitierender Faktor ist der verwendete Computer und die Datenmenge die er verarbeiten kann. Es kann noch so eine gute und schnelle Kamera eingesetzt werden, wenn der Computer die empfangenen Daten nicht verarbeiten kann, schöpft die Kamera nicht ihr volles Potential aus. Eine gute und schnelle Kamera ist jedoch dringend nötig, denn die Auflösung des Filmmaterials ist massgebend für die Genauigkeit und Grösse der wahrgenommenen Berührungen. Eine hohe Anzahl Einzelbilder pro Sekunde ist wichtig für die Geschwindigkeit der wahrnehmbaren Gesten. Durch eine hohe Auflösung können mehr Pixel pro Millimeter erkannt werden. Dies ermöglicht das Wahrnehmen von sehr kleinen Blobs. Ein zu schwaches System oder eine zu langsame Kamera führt dazu, dass die Bewegungen und Gesten nicht flüssig oder verzögert wahr genommen werden. Die Dimensionierung des Multitouch-Tables erfordert ein systematisches Vorgehen und die Berücksichtigung all dieser Parameter. Zuerst muss man sich für ein Bildverhältnis und die Grösse der Berührungsoberfläche entscheiden. Dann muss mit der oben genannten Formel überprüft werden, ob dies mit dem vorhanden Projektor und der angestrebten Höhe möglich ist. Zu beachten ist, dass das Bild mit dem verstellen der Linse (sofern der Beamer diese Funktionalität unterstützt) immer noch kleiner gemacht werden kann (ein zu grosses Bild bei gewünschter Höhe ist dann kein Problem). Zusätzlich muss überprüft werden, welche visuelle Auflösung der Projektor beim gewählten Seitenverhältnis erreicht. Eine Kamera 15 mit den dazu passenden Eigenschaften, wie dem selben Bildverhältnis und einem ausreichenden Blickwinkel, muss dann noch erhältlich sein. Schliesslich muss nur noch ein genügend schnelles System zur Verfügung gestellt werden (Ich musste feststellen, dass mein zuvor verwendetes System, ein Asus Eee PC 1015P 16, zu schwach ist). In der Abbildung 16 ist der finale Aufbau meines Multitouch-Tables zu sehen. Abbildung 16: Der finale Aufbau meines Multitouch-Tables. Alle Grössen in cm. 15 Mehr Details im Folgenden Kapitel

24 4.1.2 Materialien Die Kamera Man kann es sich bei der Auswahl der Kamera sehr einfach oder eher aufwändiger machen. Entweder wird eine Infrarotkamera benutzt oder man nimmt eine günstige Webcam und baut sich daraus selbst eine Infrarotkamera, wie im Kapitel erklärt. Für eine Infrarotkamera bezahlt man jedoch mindestens 100 CHF, dafür kann das Kapitel über die Modifikation übersprungen werden. Will man eine Infrarotkamera selbst basteln, so kann man nicht irgendeine Webcam benutzten. Bei der Wahl sind bestimmte Kriterien zu beachten. Zum Beispiel muss die Kamera leicht zu modifizieren sein. Das heisst, der zu entfernende Infrarotfilter muss leicht zugänglich sein. Die Einzelbilder des gesendeten Filmmaterials der Kamera müssen einerseits eine genügende Auflösung (640x480 Pixel sollte genügen) und das gleiche Seitenverhältnis wie die Berührungsoberfläche haben. Für Multitouch-Tables die sehr tief sind, aber trotzdem eine breite Berührungsfläche besitzen, muss eine Kamera mit grossem Blickfeld genutzt werden. Andererseits müssen es aber auch genügend Bilder pro Sekunde sein ( fps Frames per Second). Um flüssige Bewegungen wahrzunehmen sollte die Kamera mindestens 20 fps liefern. Die Form der Webcam spielt insofern auch eine Rolle als, dass man eine kugelrunde Webcam unter Umständen einfach nicht gut platzieren kann. Ein weiteres Kriterium ist natürlich noch der Preis, über den jeder individuell entscheiden muss. Und zum Schluss sollte die Kamera natürlich auch von unserem Betriebssystem unterstützt werden. Ich habe mich zwischen der Logitech HD Webcam C270 und der Microsoft Life Cam HD-3000 entscheiden müssen. Wobei ich dann die Logitech C270 für 35 CHF gekauft habe, da ich dort mehrere Internetquellen hatte, die mir versicherten, dass der Infrarotfilter leicht auszubauen ist Die LEDs Auch bei den LEDs gibt es einen einfachen dafür aber teuren Weg, oder einen aufwändigen und günstigeren Weg. Man kann die LEDs schon fertig in einem Rahmen kaufen. So kann man sich zwar sehr viel Arbeit sparen, dafür sind diese aber nicht ganz billig und nicht so leicht erhältlich, lediglich bei einem Online-Shop (led1.de 17 ) in Deutschland habe ich welche gefunden. Oder man kauft sich die LEDs einzeln und lötet sie selbst zusammen. Zum Vergleich: Einer dieser LED Streifen von 50 cm Länge kostet Euro. Davon benötigt man mindestens vier. Das kostet um die 100 Euro. Kauft man die LEDs einzeln, so zahlt man für 120 LEDs ca. 30 Euro. Egal ob nun die vorgefertigten oder die einzelnen LEDs gekauft werden, muss beim Kauf auf bestimmte Eigenschaften geachtet werden. Sehr wichtig bei den LEDs ist, dass man genug viele davon hat. Das gilt vor allem dann, wenn man nicht so erfahren im Löten ist, denn die LEDs können dabei schnell durch Hitze kaputt gehen. Deshalb sollte gut ein Viertel mehr als Vorrat gekauft werden. Das ist auch nicht weiter schlimm denn die LEDs sind einzeln ziemlich günstig. Unbedingt muss aufgepasst werden, dass Infrarot-LEDs gekauft werden. Am ge

25 eignetsten sind LEDs mit einer Wellenlänge von 850 nm, da diese laut NUI-Community von der Kamera am besten wahrgenommen werden. Aber auch 950 nm liegt noch im guten Rahmen. Die LEDs sollten je nach dicke des Plexiglas drei oder fünf Millimeter gross sein, und einen Abstrahlwinkel von etwa Grad haben. Aus Erfahrungen der NUI-Community sollten die LEDs in Abstand von cm platziert werden, damit die Berührungsoberfläche genügend dicht ausgeleuchtet wird. Für meinen Multitouch-Table habe ich die LT IR LEDs von led-tech.de für 0.34 Euro Stückpreis gekauft Das Plexiglas Als Berührungsoberfläche benötigt man für die FTIR-Bauweise zwingend Plexiglas, da nur dieses die Eigenschaften besitzt, welche für eine Totalreflexion benötigt werden. Je nach dem wie gross die Berührungsoberfläche sein soll, muss dickeres oder dünneres Plexiglas gekauft werden. Bei meinem Multitouch-Table mit einer Fläche von 74 cm x 56,8 cm habe ich eine Plexiglasplatte mit der Dicke von 8mm benutzt. Um ein Durchhängen bei grösseren Platten zu vermeiden ist die Verwendung einer 10 bis 12 mm dicken Platte empfohlen. Plexiglas ist in grossen Baumärkten meist nur in sehr geringen Dicken erhältlich, in lokalen Fachgeschäften sind aber auch dickere Exemplare zu finden. Meistens können sie dort auch passend zugeschnitten werden. Auf Nachfrage können einige Geschäfte die Platten für einen kleinen Aufpreis mit einem Laserschneider zuschneiden. Damit kann man sich einiges an Schleif- und Polieraufwand ersparen, da die Kanten dann vollkommen klar sind. Beim Kauf der Plexiglasplatte für die Berührungsoberfläche muss berücksichtigt werden, dass auf allen Seiten ein Rand von etwa 2,5 cm zur Befestigung dazu gezählt werden muss Der Projektor Die Auswahl des Projektors ist massgebend für die Bestimmung der Grösse des Multitouch- Tables. Dabei muss auf Seitenverhältnis und Throw-Ratio geachtet werden. Die Formel zur Berechnung des Throw-Ratios ist wie im Kapitel beschrieben, meistens in der Gebrauchsanleitung zu finden. Sofern man einen kleinen Multitouch-Table mit einer grossen Berührungsoberfläche bauen will, empfehle ich die Verwendung eines Shortthrow Projektors, welcher auch auf eine kurze Distanz ein grosses Bild projizieren kann. Ebenfalls muss auch auf eine ausreichende Auflösung und Helligkeit geachtet werden. Letzteres ist wichtig, damit der Multitouch-Table auch bei Tageslicht oder in hell erleuchteten Räumen benutzt werden kann. Mein Projektor besitzt eine Helligkeit von 3500 Lumen und eine Auflösung von 1024x768, was sich beides im akzeptablem Bereich befindet. Die Auswahl ist sehr von der angestrebten Grösse und dem zur Verfügung stehendem Budget abhängig. Mein Projektor, ein Panasonic PT-F200NT, habe ich von meiner Schule für diese Arbeit zur Verfügung gestellt bekommen

26 4.2 Konstruktion Nun zur Konstruktion der einzelnen Komponenten und deren Zusammensetzung zum Gesamtwerk. Wenn diese Dokumentation als Anleitung benutzt wird, so soll das behandelte Kapitel immer zuerst zu Ende gelesen werden, bevor mit der Arbeit begonnen wird Die Bearbeitung des Plexiglases In diesem Kapitel wird die Vorbereitung des Plexiglas behandelt. Sofern die Plexiglasplatte mit einem Laserschneider zugeschnitten wurde, kann dieses Kapitel übersprungen werden. Die meisten Plexiglasplatten werden per Säge zugeschnitten. Dies hat die Problematik, dass die Kanten völlig zerkratzt sind. Dadurch ist es den Infrarotwellen nicht möglich, ungehindert ins Plexiglas einzutreten. Deshalb müssen die Seitenkanten geschliffen und poliert werden. Dies ist zwar nicht sehr kompliziert, aber braucht sehr viel Zeit und Schleifpapier. Für das Schleifen sollte die Schutzfolie des Plexiglases auf den Flächen unbedingt darauf gelassen werden und die Plexiglasplatte auf einen weichen Untergrund platziert werden, damit sie nicht zerkratzt wird. Sobald der Multitouch-Table in Betrieb genommen wird, sollte sich aber auf der Fläche kein Klebeband oder Ähnliches befinden, da dieses die Totalreflexion stören kann. Weil meine Kratzer an den Kanten besonders tief waren habe ich zuerst mit 80er dann 120er, 200er, 300er und 400er Schleifpapier die Kanten abgeschliffen. Beim Schleifen füllen sich zum Teil kleine Ritzen mit dem Staub des Schleifpapiers und es entstehen braune Striche. Daran kann man erkennen wie lange man mit der selben Stufe weiter schleifen soll. Erst wenn die meisten braunen Linien verschwunden sind, sollte man zum nächst höheren Schleifpapier wechseln. Wenn die Striche nicht auszumerzen sind, muss man unter Umständen eine Schleifpapierstufe zurück. Wenn man mit allen Schleifpapieren durch ist, müssen die Kanten noch poliert werden. Ich habe dies mit Polierpapier, einem Schleifpapier mit sehr feinen und weichen Körnern, gemacht. Dies hat zwar wieder sehr viel Zeit und Anstrengung benötigt, mit einer Schwabbelscheibe war die Reibung aber zu hoch und das Plexiglas ist teilweise geschmolzen. Das nächste Mal würde ich vielleicht eine Feuerpolitur ausprobieren. Dabei wird die oberste Schicht der Kanten mit einem Bunsenbrenner geschmolzen Die Infrarot-LEDs Für meinen Multitouch-Table habe ich die LT-0592 IR LEDs von Led-tech verwendet. Diese haben eine Wellenlänge von 850 nm bei einem Abstrahlwinkel von 20 Grad und einem Durchmesser von 5 mm. Sie benötigen eine Spannung von 1.5 Volt und eine Stromstärke von 20 ma. Um eine gleichmässige Verteilung des Infrarotlichts zu erreichen, müssen mindestens zwei Seiten des Plexiglas mit LEDs versehen werden. Jedoch empfehle ich, auf allen 4 Seiten LEDs zu platzieren, damit die Finger genug Infrarotwellen reflektieren und so klar hervorstechen. Dabei kommt es auch darauf an, wie viele LEDs pro Seite benutzt werden. Bei einer Berührungsoberfläche (inklusive Befestigungsabstand) 23

27 von 74 cm x 56,8 cm habe ich 80 LEDs in einem Abstand von cm platziert. Nun müssen diese LEDs miteinander verbunden werden. Dazu gibt es 2 verschiedene Methoden. Entweder können die LEDs seriell oder parallel verbunden werden. Dabei muss unbedingt aufgepasst werden, dass die zulässige Spannung und Stromstärke nicht überschritten wird, weil die LEDs sonst durchbrennen. Serielle LEDs Werden die LEDs seriell geschaltet (wie in Abbildung 17 gezeigt) so wird die Spannung über jedes LEDs gleichmässig aufgeteilt. Benutzt man also 3 LEDs bei einer Stromquelle von 6 Volt, so liegt bei jedem LED eine Spannung von 2 Volt an. Die Anzahl der LEDs wird also durch die zur Verfügung stehende Spannung limitiert. Das heisst, dass viele kleine Gruppen mit seriell geschalteten LEDs, parallel zusammengehängt werden müssen. Dabei muss aufgepasst werden, dass die korrekte Spannung verwendet wird. Meine verwendeten LEDs benötigen eine Spannung von 1.5 Volt. Werden also 6 LEDs (benötigen 9 Volt) verwendet bei einer Stromquelle mit 12 Volt, so müssen die übrigen 3 Volt durch einen Vorwiderstand reduziert werden. Mit der Formel U/I = R kann man, da der Widerstand der LEDs sehr klein ist und daher vernachlässigt werden kann, den benötigten Widerstand berechnen. Dabei ist U die zu reduzierende Spannung und I die benötigte Stromstärke für ein LED in Ampere. Also: 3 V/0.02 A = 150 Ω. Zur Sicherheit soll der errechnete Wert zum nächst grösseren erhältlichen Widerstand aufgerundet werden. Das kann zur Folge haben, dass die LEDs ein bisschen schwächer leuchten. Da ich eine Stromquelle von 12 Volt (ein altes Computer-Netzteil) verwendet habe, habe ich die LEDs zu 8er Gruppen verbunden, sodass kein Vorwiderstand nötig ist. Im gesamten habe ich 10 dieser 8er Gruppen verwendet. Abbildung 17: LEDs in serieller Schaltung. Bildquelle: [Lc] Parallele LEDs Werden die LEDs parallel miteinander verbunden (wie in Abbildung 18 gezeigt) so ist die Spannung über jedem LED dieselbe. Der Gesamtwiederstand einer Parallelschaltung 24

28 ist jedoch kleiner als der Widerstand einer einzelnen LED, deshalb steigt die benötigte Stromstärke. Der limitierende Faktor ist also die Stromstärke. Der erhöhte Strombedarf sollte aber kein Problem sein, solange das Netzteil die benötigte Stromstärke liefern kann. Der Vorteil der parallelen Verbindung ist, dass alle LEDs oder zumindest alle LEDs einer Seite, miteinander verbunden werden. Auch hier sollte aber immer ein Vorwiderstand verwendet werden, der in serie montiert wird. Dieser berechnet sich mit der selben Formel: U/I = R. Dabei werden aber nicht die Spannung der LEDs, sondern die Stromstärke, addiert. Das heisst, bei einer Stromquelle von 12 Volt und meinen LEDs (Spannungsbedarf von 1.5 V pro Stück) ist U = 10.5 V. Bei einem Einsatz von 24 LEDs ergibt das eine Stromstärke I von A. Der Vorwiderstand benötigt also 10.5 V/0.48 A = Ω. Abbildung 18: LEDs in paralleler Schaltung. Bildquelle: [Lc] Um die LEDs zu verbinden habe ich, wie in Abbildung 19 zu sehen, Löcher in ein schmales Holzstück gebohrt und darin die LEDs platziert. So konnte ich das Holz als Unterlage und Halterung zum Löten verwenden. Die LEDs können danach mit oder ohne Halterung am Plexiglas befestigt werden. Es wäre auch möglich Halterungen aus Aluminium, die wie Klammern auf die Plexiglasplatte passen, zu verwenden. Abbildung 19: Die zusammengelöteten LEDs in der Holzhalterung. Nun, ich werde nicht lügen, nahezu 100 LEDs zusammen zu löten war extrem mühsam und zeitaufwändig. Deshalb würde ich beim nächsten Mal entweder vorgefertigte LEDs oder wenigstens Lötstreifen verwenden. Zudem würde ich die LEDs parallel miteinander verbinden, da die LEDs sehr wenig Strom benötigen und somit die Aufteilung der Spannung ein viel grösseres Problem darstellt, als die bei der Parallelschaltung benötigte 25

29 grössere Stromstärke. Beim Löten der LEDs muss auf deren Polung geachtet werden, weil Strom nur von einer Richtung durch das LED fliessen kann. Bei den meisten LEDs ist das lange Bein der Pluspol und das kurze der Minuspol. Wenn beide Beine gleich lang sind, dann erkennt man es an der Grösse der Plättchen im Inneren des LEDs. Die grosse Seite ist der Minuspol. Die Polarität kann auch mit einer AA Batterie erprobt werden. Dazu muss aber die Infrarotkamera 19 vorhanden sein, da Infrarotlicht für uns nicht sichtbar ist. Werden die LEDs in Serie geschaltet, so muss, wie bei Abbildung 17 gezeigt, immer der Minuspol mit dem Pluspol des nächsten LEDs verbunden werden. Bei der parallelen Schaltung müssen alle gleichen Pole auf einer Seite sein, wie bei Abbildung 18 gezeigt Die Compliant-Surface Die Compliant-Surface ist eine Deckschicht die über das Plexiglas gelegt wird. Compliant- Surface bedeutet soviel wie nachgebende Oberfläche. Damit ist gemeint, dass die Oberfläche auf Druck nachgibt und eine Verbindung mit dem Plexiglas erstellt und somit die Reflexion erzeugt. Solange aber kein Druck auf die Oberfläche einwirkt, darf keine Verbindung bestehen bzw. keine Reflexion stattfinden. Es muss sich also Luft dazwischen befinden. Damit die Compliant-Surface nicht nach einer Berührung kleben bleibt und schnell wieder Luft zwischen Compliant-Surface und Plexiglas strömen kann, erzeugt man auf der Oberfläche eine mikroskopisch kleine Noppenstruktur (wie in Abbildung 20 zu sehen). Diese halten die Compliant-Surface vom Plexiglas fern und lassen dadurch einen dünnen Freiraum offen. Bei meinem Versuch mit einer Compliant-Surface ohne Struktur gab es zwar eine Reflexion, jedoch blieb diese auch noch bestehen wenn längst keine Berührung mehr vorhanden ist. Dadurch entstanden lange Striche, welche die Software als potenzielle Blobs erkennt. Eine Compliant-Surface besteht aus einem beliebigen halbtransparentem Material das mit der Noppenstruktur aus Silikon bedeckt ist. Silikon wird verwendet, da es geeignete Eigenschaften besitzt, um damit zu arbeiten. Anfangs ist es relativ flüssig, sodass gut damit gearbeitet werden kann. Nach dem Trocknen ist es aber immer noch verformbar und zerkratzt daher nicht die Plexiglasplatte. Da die Compliant-Surface auch als Projektionsfläche für den Projektor dient, hat die Wahl des Materials einen Einfluss auf die Farben und den Kontrast des Bildes. 19 Im Kapitel beschrieben. 26

30 Abbildung 20: Foto der Noppenstruktur der Compliant-Surface. Für meine Compliant-Surface habe ich weisses Pergamentpapier aus einer lokalen Papeterie benutzt. Es kann aber auch zum Beispiel Transparentpapier benutzt werden. Dieses bietet jedoch einen relativ schlechten Kontrast für das darauf projizierte Bild. Um den Kontrast und die Bildqualität zu erhöhen, bedecken viele ihre Compliant-Surface mit einer Projektionsfläche. Die NUI-Community hat mit vielen Materialien herum experimentiert und eine Liste 20 mit den für die Projektionsfläche am besten geeigneten Materialien zusammengestellt. In der Liste variieren die Preise von 2 Dollar bis zu 1500 Dollar. Ich habe keine zusätzliche Projektionsfläche verwendet. Meine Compliant-Surface hat im gesamten lediglich ungefähr 5 CHF gekostet. Mein Pergamentpapier habe ich mit weissem Isoliersilikon beschichtet. Zur Beschichtung kann das Silikon entweder direkt mit einem Farbroller aus Schaumstoff ausgerollt werden, oder man löst das Silikon zuerst in Aceton oder Xylole (Verhältnis 1:1) auf (diese Technik nennt sich Tinkermans Method). Dadurch kann man viel einfacher eine dünnere Schicht auftragen. Ich habe mit der Tinkermans Method ungefähr 4 Schichten aufgetragen, mit ungelöstem Silikon reichen 2 bis 3 Schichten. Zum Trocknen sollte man die Compliant- Surface in einem sauberen Raum, damit nicht zu viel Schmutz in die Silikonschicht eingeschlossen wird, für mindestens 4 bis 6 Stunden aufbewahren. Wenn dies trotzdem passiert, sollte man auf keinen Fall versuchen den Dreck zu entfernen. Einerseits geht dabei die Struktur kaputt und andererseits kann man, sofern das Silikon schon ein wenig getrocknet ist, riesige Löcher in die Silikonschicht reissen. Ebenfalls wenn das Pergamentpapier, für die Bearbeitung mit dem Silikon, mit Klebeband befestigt wird, muss es nach dem Trocknen des Silikons, aus den oben genannten Gründen, heraus geschnitten werden

31 4.2.4 Die Modifikation der Kamera Das Ziel der Modifikation ist, die normale Webcam zu einer Infrarotkamera umzufunktionieren. Diese soll nur noch Infrarotlicht und kein oder sehr wenig sichtbares Licht sehen. Dazu muss der eingebaute Infrarotfilter aus der Kamera entfernt und ein Filter für normales Licht eingefügt werden. Die Modifikation der Webcam ist ziemlich knifflig. Es muss mit äusserster Vorsicht gearbeitet werden, ansonsten kann die Kamera schnell beschädigt oder sogar zerstört werden. Dabei ist zu beachten, dass die Modifikation nur bedingt rückgängig zu machen ist, und durch die Modifikation die Garantie der Webcam verfällt. Der Favorit unter den Webcams der NUI-Community ist das PS3-Eye. Eine Webcam die eigentlich für die Spielkonsole Playstation 3 konzipiert ist. Aber durch, eine von der Community selbst geschriebene, Software vom PC benutzt werden kann. Das PS3-Eye bietet eine enorm hohe Anzahl von 75 Bilder pro Sekunde und hat dabei für die meisten Anwendungen eine ausreichende Auflösung. Das einzige Problem dieser Kamera ist: Es gibt zwei verschiedene Bauweisen, die von aussen nicht zu unterscheiden sind: die gute und die schlechte Bauweise. Bei der schlechten befindet sich der Infrarotfilter hinter der Linse, so dass er nicht entfernt werden kann, ohne die Kamera zu zerstören. Diese schlechte Kamera wird hauptsächlich in Europa verkauft. Nun kann zwar eine aus Amerika importiert werden und man hat eine ausgezeichnete Kamera, dies wird aber wegen den Zöllen und Versandkosten ziemlich teuer. Deshalb kann man auch zum Beispiel eine einfach erhältliche Logitech Webcam benutzen. Diese hat zwar nicht so viele Bilder pro Sekunde, aber dank vielen Erfahrungsberichten und Guides aus dem Internet kann man sich sicher sein, dass der Infrarotfilter bei den meisten neueren Webcams einfach zugänglich ist. Für meinen Multitouch-Table habe ich die Logitech C270 benutzt. Die meisten anderen Webcams sind wohl ähnlich aufgebaut, das einzig schwere dabei ist, den Infrarotfilter zu finden und zu entfernen ohne die Webcam zu beschädigen. Dabei muss aufgepasst werden, dass nicht zu viel Staub auf den Sensor oder die Linse gelangt. Sofern vorhanden, ist auch zu empfehlen, mit einem Lichtmikroskop zu arbeiten. Nun zur Modifikation der C270. Zuerst muss die Schutzplatte, wie in Abbildung 21 zu sehen, entfernt werden, um die darunterliegenden Schrauben frei zu legen. Sind diese entfernt, gelangt man zum inneren der Webcam. In der Mitte der grünen Schaltplatine sieht man das runde Mikrofon. Der quadratische Aufsatz mit dem kleinen Zahnrad, neben dem Mikrofon, ist die Linse. Darunter befindet sich der CCD-Sensor mit dem Infrarotfilter. 28

32 Abbildung 21: Die geöffnete Webcam C270. Bildquelle: [Jos12] Abbildung 22: Zusehen: links das Mikrofon, rechts die Linse. Bildquelle: [Jos12] Nun müssen zwei kleine Schrauben herausgenommen werden, welche die Schaltplatine in der Kamera befestigen. Die Schaltplatine kann dann herausgenommen werden. Auf der Rückseite können die Schrauben der Linse entfernt werden. Das nun freilegende kleine quadratische Plastikstück mit der roten Folie ist der Infrarotfilter, der direkt über dem CCD- Sensor liegt (siehe Abbildung 23). Der Filter muss nun entfernt werden ohne den Sensor zu beschädigen. Am besten beheizt man kurz den Kleber, der den Filter festhält, mit einem Föhn und schneidet dann mit einem scharfen Messer, am Rand entlang, den Filter hinaus. Die Schaltplatine sollte aber nicht zu lange erhitzt werden, da sich Lötstellen lösen könnten. Nun braucht man noch einen neuen Filter um das normale Licht herauszufiltern. Dafür gibt es mehrere Möglichkeiten: Man kann sich einen Filter kaufen der nur die Frequenz der ausgesuchten LEDs durchlässt. Ein solcher ist meist nicht so einfach erhältlich und kostet mindestens 50 CHF. Dafür können ungewollte Nebeneffekte wie falsch detektierte Finger oder Hotspots vermieden werden. Als günstigere Variante kann auch die Magnetfolie einer alten Diskette oder belichtet und entwickelter 35 mm Farbfilm verwendet werden (siehe Abbildung 24). Der gewählte Filter kann nun entweder an die Stelle des ursprünglichen Infrarotfilters gesetzt werden oder ganz aussen an der Kamera angeklebt werden. Ich verwende beide Filter: ein passend ausgeschnittenes Rechteck Magnetfolie habe ich direkt auf den CCD-Sensor gesetzt und ein kurzes Stück Farbfolie auf der Aussenseite der Kamera befestigt. 29

33 Abbildung 24: Farbfilm oder Magnetfolie als Filter. Sichtbares Licht wird von diesen Materialien abgeschirmt. Das für uns nicht sichtbare infrarote Licht kann jedoch passieren. Abbildung 23: Die Schaltplatine mit dem freien Sensor (Infrarotfilter entfernt). Bildquelle: [Jos12] Nun hat man aber noch ein kleines Problem. Mit dem Entfernen des Infrarotfilters hat man den Fokus der Kamera verändert. Um diesen wieder neu einzustellen muss man das Zahnrad der Linse drehen. Da dieses festgeklebt ist (siehe Abbildung 25), muss man auch hier entweder rohe Gewalt anwenden (Vorsicht, dass die Linse nicht kaputt geht) den Kleber durchtrennen, oder ihn mit dem Föhn erhitzen. Sobald sich das Rad drehen lässt, kann die Linse wieder hinein geschraubt werden. Nun muss man die Kamera noch anstecken und die Linse soweit hinaus oder hinein drehen, dass das Bild scharf ist. Die Modifikation ist damit fertig und die Kamera kann wieder zusammengeschraubt werden. Die Bilder der Kamera sehen nun, wie in Abbildung 26 gezeigt, aus. Abbildung 25: Die entfernte Linse. Bildquelle: [Jos12] Abbildung 26: Das Bild der Kamera nach der Modifikation. 30

34 4.3 Software Ich habe drei Tracker-Softwares getestet: Community Core Vision (CCV), Touchlib und ReacTIVision. In diesem Kapitel wird Community Core Vision genauer betrachtet und erörtert weshalb ich dieses für meinen Multitouch-Table zu verwendet habe. Dabei werden die wichtigsten Funktionalitäten und Filter zur Erkennung der Blobs, sowie die Kalibrierung der Kamera mit dem Bild, erläutert. Abbildung 27: Community Core Vision Community Core Vision 21 ist ein von der NUI-Community entwickelte Open-Source Tracking-Software. In Abbildung 27 ist die Benutzeroberfläche von CCV Version 1.4 zu sehen. Im oberen linken Feld ist das original Bildmaterial und Einstellungen zur Wahl der Kamera aufzufinden. Daneben befindet sich das Bild mit den erkannten Blobs. Darunter sind Funktionen um die Grösse der akzeptierten Blobs zu verändern. Der rechte vertikale Balken bietet verschiedene Optionen wie das Starten des Kalibrierungs-Modus, die Spiegelung des Bildes, oder die Wahl des Client-Protokolls. Am unteren Rand sieht man die verschiedenen Filter in der von CCV ausgeführten Reihenfolge. Mit dem ersten Filter (Background) kann der Benutzer ein ein Einzelbild (möglichst ohne Blobs) aus dem Bildmaterial aufnehmen. Dieses statische Bild wird als Hintergrund verwendet und von den folgenden Bildern weg subtrahiert. Umgebungslicht wird dadurch, wie in Abbildung 27 zu sehen, nicht mehr wahrgenommen und nur noch grundsätzliche