Interaktive, audiovisuelle Installation für Computer, Videoprojektor, Lautsprecher und Kinect Kamera.

Transkript

1 Pixels

2 Pixels (2018) Format Interaktive, audiovisuelle Installation für Computer, Videoprojektor, Lautsprecher und Kinect Kamera. Beschreibung Der Grundgedanke dieser Installation ist die Verwendung eines einzigen Speichers, dessen Daten sowohl als Helligkeitswerte von Bildpixel, als auch als Audiowerte von Samples interpretiert werden. Bild und Ton basieren auf denselben Daten und sind eine Einheit. Reihenweise ausgelesen wird der Speicher zu einem 2-dimensionalen schwarzweissen quadratischen Bild, das auf den Boden projiziert wird. Der Klang andererseits entsteht durch das Auslesen des Speichers mit vier Leseköpfen, die sich durch den Speicher bewegen und das so gewonnene Audiosignal an die 4 Lautsprecher, die um die Projektion angeordnet sind, senden. Der Speicher wird durch ebenfalls 4 Schreibköpfe palimpsestartig ständig mit neuen Daten überschrieben. Die Daten stammen einerseits von den anderen Leseköpfen, so dass ein Feedbackkreis entsteht, andererseits durch die Kinect Kamera, die das Bild der Besucher*innen ins System speist. Die Daten werden aber nicht nur in der Audiodomäne bearbeitet, sondern auch visuell, indem optischen Effekte auf das Bild angewendet werden. Es geht um das Hinterlassen von Spuren, die wiederum durch neue Spuren überschrieben und durch Erosion abgetragen werden, so dass sich alles tendenziell in Rauschen auflöst. Ein Feedback Regelkreis wirkt dem entgegen und lässt aus Rauschen wieder neue Strukturen entstehen. Es ist ein Spiel zwischen digitalen Pixel und analogem Rauschen, zwischen Chaos und Ordnung.

3 Technik Das zentrale Element ist ein Float Array, der 1024x1024 Werte zwischen -1 und +1 enthalten kann. Diese Werte sind ausgelesen das Audiosignal. Um aus diesen Werten Helligkeitswerte für die Pixel zu bekommen, werden sie so skaliert, dass -1 dem Wert 0 (= schwarz) und +1 dem Wert 255 (= weiss) entspricht. 0 ist 127, also ein grau. Visuell entspricht grau dem Nichts und schwarz/weiss sind die Extremwerte. Die Werte werden Zeile für Zeile als Bild mit 1024 Pixel Breite und Höhe dargestellt. Für den Klang gibt es 4 Leseköpfe die den Speicher abfahren und die Werte als Audio an die 4 Lautsprecher schicken. Geschwindikeit und Richtung wird durch ein Flow Field, das über die Kamera von der Userinteraktion abhängt, beeinflusst. Die ebenfalls 4 Schreibköpfe folgen den gleichen Kräften. Sie überschreiben den Inhalt des Speichers mit dem Audiosignal der benachbarten Leseköpfe und dem Kamerabild. Damit die Werte durch Addition und Feedback nicht zu gross werden, gibt es eine wertabhängige Regelung. Das Flow Field beeinflusst weitere Parameter, die Einfluss auf die Werte im Speicher haben. So verändert sich unter anderem die Grösse der Pixel und deren Bearbeitung durch Bildbearbeitungsalgorithmen, wie Blurring oder Dithering, was wiederum im Klang hörbar wird. Die visuellen Effekte werden mit der Framrate für den ganzen Speicher berechnet, die akkustischen mit der Samplerate, aber nur sequentiell für einzelne Werte. Dadurch ergeben sich weitere interessante Überlagerungen von Bearbeitungsschritten. Die Interaktion erfolgt über die Kinect Kamera, die mit Hilfe des Tiefenbildes, das Infrarotbild des Publikums als Input benutzt. Bewegungen werden auf diese Art in das Flow Field übertragen, das wiederum Parameter steuert. So ist die Interaktion intuitiv und als solche erfahrbar, aber die konkreten Auswirkungen sind nicht ganz durchschaubar. Die komplette Software ist in Processing programmiert, wobei der Klang mit Hilfe der Beads Library erzeugt und bearbeitet wird.

4 Setup Der Raum sollte mindestens über eine Höhe von 5m, eine Grundfläche von 100qm und einen hellen Boden für die Projektion verfügen. Ein Kurzdistanz-Projektor mit FHD Auflösung wird zusammen mit der Kinect Kamera in Deckenhöhe installiert, so dass der quadratische Pixelausschnitt der Projektion im Blickfeld der Kamera ist. Die Lautsprecher sind am Boden in den Ecken des Bildes positioniert und gegen das Zentrum gerichtet. Der Raum sollte möglichst dunkel und nur durch die Projektion beleuchtet sein. Pixels Setup

5 Bilder

6