Was zum Teufel mache ich mit zehn Koordinaten gleichzeitig?!

Transkript

1 Was zum Teufel mache ich mit zehn Koordinaten gleichzeitig?!

2 Das technische Konzept_

3 Das technische Konzept_

4 Das technische Konzept_

5 Die Toucherkennung_ Die Erkennung der Berührungspunkte (Blob-Tracking) und die Weiterleitung ihrer Positionen zu den Multitouch- Programmen übernimmt eine spezielle Software. Vereinfacht gesagt sucht diese Tracking- Software Frame für Frame im Kamerabild nach hellen Punkten, den Blobs. Diese werden als Berührungspunkte interpretiert und ihre Position weitergeleitet. Indem die Software außerdem den Weg der Blobs über die Frames hinweg verfolgt, lässt sich feststellen ob ein Finger z.b. nur kurz auf den Tisch tippt, wie ein Mausklick, oder aber ob er eine längere Strecke zurücklegt was als Drag-Interaktion verwendet werden kann. Mit etwas Aufwand lassen sich sogar Gesten definieren und erkennen. Es gibt mittlerweile mehrere frei im Internet verfügbare Tracking-Softwares. Z.B. bietet auch VVVV einen Videofilter der ein Blob-Tracking durchführt. Eine sehr fortgeschrittene und benutzerfreundliche Lösung ist allerdings die Software TBeta. Diese wird von der NUI Group, einer großen Community von Multi-Touch Interessierten, entwickelt und veröffentlicht.

6 Die Toucherkennung_

7 Die Toucherkennung_ Datenverteilung per OSC TBeta schickt die Information der Berührungspunkte die von der Tracking-Software erkannt wurden als Open-Sound-Control Nachrichten über das so genannte UDP-Protokoll. Die Information über die Berührungspunkte (X-Y-Position, ID-Nummer, Bewegungsgeschwindigkeit...) sind dabei als TUIO-Nachricht formatiert. Open Sound Control (OSC) ist ein Nachrichten-basiertes Kommunikationsprotokoll, welches hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird. Steuersignale können von Hardware (z. B. Midikeyboard) oder Software (z. B. Max/ MSP, Pure Data, SuperCollider, ChucK, EyesWeb, vvvv) erzeugt und dann via OSC in Form von sog. Nachrichten (OSC-Messages), welche wiederum in Bündel (OSC-Bundles) verpackt werden, an eine Schnittstelle weitergegeben werden und so eine Ausgabe steuern. Dieses können z. B. weitere Soundausgaben sein, etwa eine Soundanwendung auf einem anderen Computer. OSC ist unabhängig vom Transportprotokoll, wobei in der Regel jedoch UDP verwendet wird. Je nach Anforderung ist es aber auch möglich, OSC etwa über TCP oder eine serielle Schnittstelle zu transportieren.

8 Die Toucherkennung_ Vorteile von OSC Klar erkennbar hat OSC eine höhere Geschwindigkeit als Midi, was für viele Musiker wichtig ist. Die größeren Datentypen und der Support von Gleitkommazahlen macht Parametersprünge nicht mehr hörbar. Ausserdem kann OSC übers Netzwerk versendet werden, also Internet, WLan usw. Was die Möglichkeit für Internet-Jams bieten würde. Wlan könnte den Kabelsalat im Studio reduzieren. Jeder moderne Computer hat schon eine Netzwerk Schnittstelle integriert was die Anschaffung eines extra Gerätes, wie bei Midi, unnötig machen würde. Ein weiterer Vorteil ist, dass die Integration und Steuerung von Hardwaregeräten wesentlich einfacher über OSC ist als über Midi SysEx Nachrichten.

9 Eigene Multitouch-Applikationen_ Prinzipiell kann man in jeder beliebigen Entwicklungsumgebung Multi-Touch Programme entwerfen, in der die OSC- Nachrichten empfangen werden können (z.b. Quartz Composer, vvvv, Processing, Flash, Java, C++ usw.). Man selbst muss dann mit Hilfe der Informationen von TBeta festlegen wie das eigene Programm auf Berührungspunkte reagieren soll, ob mehrere Punkte neue Funktionen steuern oder Gesten ergeben. Für das Entwickeln mit Flash CS3 hat die NUI Group zusammen mit TBeta bereits einige ActionScript 3 Klassen vorbereitet. Unter anderem gibt es eine Klasse die das Empfangen von TUIO-Nachrichten übernimmt sowie eine Klasse um Movieclips mit den typischen MT-Events wie Zoomen, Rotieren und Verschieben auszustatten. Somit können in Flash CS3 relativ einfach eigene Programme geschrieben werden. Leider gibt es zurzeit für diese fertigen Klassen noch keine vollständige Dokumentation, allerdings wird laut Forum der NUI Group bereits daran gearbeitet. Die neueste Version der Klassen bekommt man derzeit nur über das Download Paket des Touchlib Sourcecodes. Dort ist ein Ordner mit sämtlichen Klassen und auch den offenen.fla s der Flash-Demos enhalten.

10 Quellen_ o o o