Schwärme. als immersive, interaktive Installation. Referent Prof. Dr. Wolfgang Taube. Koreferent Prof. Dr. Bruno Friedmann

Transkript

1 Schwärme als immersive, interaktive Installation Referent Prof. Dr. Wolfgang Taube Koreferent Prof. Dr. Bruno Friedmann vorgelegt von Franziska Maugg vorgelegt am 31. Mai 2012 Fachhochschule Furtwangen Fakultät Digitale Medien

2

3 Kurzfassung Naturphänomene wie Schwarmverhalten, aber auch schwarmintelligente Problemlösestrategien entstehen aus dem Zusammenwirken vieler, eigenständiger Entitäten. Die Konzepte der Emergenz, Stigmergie und Selbstorganisation, die sich daraus ableiten lassen, werden in der Biologie, Robotik, Sozialwissenschaft und Komplexitätstheorie untersucht und auch im gestalterischen Kontext angewandt. Diese Arbeit untersucht die Bedeutung und Auswirkung, die eine inhaltliche, technische oder konzeptionelle Anwendung von Schwärmen und deren Abstraktion für interaktive, immersive Medieninstallationen mit sich führt. Die Interaktion zwischen einem Nutzer in der Rolle eines Schwarms und eines zweiten, autonomen Schwarms wird als Konzept ausgearbeitet, implementiert und analysiert. Abstract Natural phenomena, such as flocking behavior or swarm intelligent problem-solving, emerge from the collaboration of many, independent entities. The concepts of emergence, stigmergy and self-organization, which could be deduced by this, are examined in biology, robotics, social sciences, complexity theory, and applied in an artistic context. This thesis investigates the meaning and consequences of a content wise, technical, or conceptual application, and its abstraction for interactive and immersive media installations, related to the characteristics of swarms. The interations between a user controlled and an autonomous swarm will be analyzed and implemented within this thesis. I

4

5 Inhalt Kurzfassung und Abstract Abbildungsverzeichnis i vii 1 Einleitung Motivation und Anlass der Untersuchung Zielsetzung und Herangehensweise Schwärme als Naturphänomen, Metapher und Modell Das Naturphänomen Schwarm Der naturwissenschaftliche Begriff des Schwarms Schwarmverhalten: Das Kollektiv in Bewegung Schwarmintelligenz als kollektive Problemlösestrategie Schwarmeigenschaften von Menschengruppen Der Geltungsbereich der "Weisheit der Vielen" Weitere Übertragungen und deren Anwendung Begründung für den Schwerpunkt dieser Arbeit Modellierungs- und Simulationsansätze der Schwarmforschung Boids und Gruppen autonomer Agenten zur Simulation von Schwarmverhalten Problemlösende Algorithmen nach dem Vorbild von Schwärmen Die asymptotische Komplexität von Schwarmsystemen 17 3 Interaktion mit autonomen Agenten in Medieninstallationen Interaktion und Immersion Human-Computer-Interaction Interaktion und Immersion in Medieninstallationen Interaktive Medieninstallationen und Virtual Reality Simulationen in Virtuellen Realitäten Autonome Charaktere in virtuellen Umgebungen Schwarminstallationen Schwärme im kulturell-wissenschaftlichen Diskurs Generierte Kunst auf Basis von Schwarmsystemen III

6 4.2.1 Generative Kunst und Komplexe Systeme Schwärme als regelgebende Systeme der Generativen Kunst Schwärme als künstlerisches Gestaltungsmittel Interaktionskonzepte bei Anwendungen mit Schwarmthematik Auswirkungen des Schwarmthemas auf Wirkung und Immersion Wechselwirkung der Schwarmforschung, Kunst und Technik Ansätze zur Entwicklung eines Konzepts C Konzeption und Entwicklung einer interaktiven Schwarminstallation Planung und Beschreibung des Konzepts Exkurs: Heat-Balling Hitze als Installationselement Konzeptidee und Ablauf Repräsentation des Nutzers durch einen Schwarm Die indirekte Interaktion mit einem künstlichem Schwarm Umsetzung des Konzepts Schwarmfunktion der Installation Verhaltensmodelle der Schwarmagenten Programmierung und technischer Aufbau Implementierung der Installation Die Schwarminstallation "46 C" Resultate Durchführung der Installation Schlussfolgerungen Reflektion Technische und konzeptionelle Weiterführung Aussicht 82 6 Schlussfolgerungen Technische und konzeptionelle Auswirkungen Die explorative Charakteristik von Schwarminstallationen Ausblick Eidesstattliche Erklärung 89 Quellenverzeichnis 91 Anhang 97 Skizzen und Diagramme Digitale Anhänge (CD) IV

7 V

8

9 Abbildungsverzeichnis Abb. 2.1 Unterschiedliche Ausprägungen von Schwarmdynamiken. Schwarmwolke (A), Torus (B), dynamische und hochgradig starke Parallelgruppen (C, D)... 6 Abb. 2.2 Experiment des WDR unter Leitung von Julian Krause. Die Probanden zeigen typisches Schwarmverhalten (rechts) Abb. 2.3 Die drei Interaktionszonen des Boids-Modells Abb. 2.4 Boids nach Reynolds Abb. 2.5 Funktionsweise des Ant Colony Optimization Algorithmus Abb. 3.1 Alltagsgegenstände werden zu Eingabegeräten (links). Interaktion mit Agenten virtueller Welten (rechts) Abb. 3.2 Interaktion mit einzelnen, autonomen Agenten (links) und Gruppen autonomer Agenten (rechts) Abb. 4.1 Generative Kunst: "Process 4" (Reas 2010), Visualisierung der wirkenden Kräfte (links) und Endergebnis (rechts) Abb. 4.2 Generative Art Systems (Galanter 2008: 10) Abb. 4.3 Ameisen folgen Pfaden der eigenen Farbe und generieren Strukturen. Links: Nach 10 5 und 10 6 Iterationen. Rechts: Eine Fotografie dient als Pheromonfeld Abb. 4.4 Generierte Melodie aus drei klingenden und zehn stummen künstlichen Ameisen (vgl. Monmarché et al. 2007: 233) Abb. 4.5 Swarm Light, Installation (2010), rechts: Swarms, Tanzperformance (2009) Abb. 4.6 Verhaltensmodell der Tauben aus "Pigeons in the Park" (basierend auf Reynolds 2000) Abb. 4.7 Nutzer interagiert mit Schwarm (links), Nutzer interagiert über Schwarm A mit Schwarm B (rechts) Abb. 4.8 Wechselwirkung zwischen Schwarmforschung, Kunst und Technik Abb. 5.1 Verlauf von Heat-Balling Abb. 5.2 Hitze als Installationselement Abb. 5.3 Aufbau und Ablauf. Der Nutzer steuert die Hornissen, die bei einem Angriff mit einem Heat Ball abgewehrt werden Abb. 5.4 Steuerung der Hornissen und Interaktion mit Bienen Abb. 5.5 Interaktion mit Bienen Abb. 5.6 Bienen im Landeanflug Abb. 5.7 Wahrnehmunsradien (links) und Wirkungskurven (rechts) der Anziehungs-, Angleichungs- und Abstandskräfte von vogelähnlichen Boids und Bienen Abb. 5.8 Behavioral State Diagramm der Bewegungen von Bienen (oben) und Hornissen (unten) VII

10 Abb. 5.9 Behavioral Model der Hornissen: Abstände der Hornissen zum Bienenstock, dem eigenen Schwarmzentrum und dem Nest Abb Behavioral Model der Hornissen: Abläufe Abb Behavioral Model der Hornissen: Voraussetzungen zum Landen einer Hornisse auf dem Bienenstock Abb Behavioral Model der Bienen: Abläufe Abb Behavioral Model der Bienen: Alarm breitet sich aus Abb Hitzemodul springt an und spiegelt die Intensität und Richtung des Heat Balls wieder Abb Screenshot:Hornissen formieren sich um den Körper des Nutzers Abb Codeausschnitt: Formierung der Hornissen um den Körper des Spielers Abb Screenshot: Steuerung der Hornissen durch Körperbewegungen Abb Steuerung des Hitzeelements Abb Infrarotsignale des Kinectsensors (links) und deren Beeinträchtigung durch drei brennende Infrarotbirnen des Hitzeelements (rechts) Abb Zusammensetzung des Hitzeelements aus Microcontroller und Multirelaismodul Abb Komponenten der Installation ohne Projektor (links) und Konfigurationsoberfläche der Anwendung (rechts) Abb Durchführung der Installation 46 C Abb Screenshot: Flugformationen bei unterschiedlichen Werten für Anziehung, Abstoßung und Orientierungskraft. Links: Um die y-achse rotierter Torus. Rechts: Übergang zur Wolkenform Abb Ausschweifende Körperbewegungen zur Steuerung des Schwarms Abb Anschleichen und Ruderbewegungen Abb Projektionsmöglichkeiten. Links und Mitte: Deckenprojektor mit Problem des Anschnitts bzw. der Verdeckung. Rechts: Rückprojektion VIII

11

12

13 1 Einleitung Medieninstallationen eröffnen dem Betrachter die Möglichkeit, sich in einem virtuellen Raum zu bewegen und mit künstlichen Objekten und Agenten zu interagieren. Verschiedene Faktoren tragen zu einer psychischen Einbeziehung bei. Einer dieser Faktoren stellt die Glaubwürdigkeit und Realitätsnähe dieser Elemente dar, die unter Anderem durch die für den Nutzer sichtbaren Aktionen der Charaktere zustande kommen. Intelligente, adaptive Figuren, die dynamisch auf Situationen reagieren und selbst Entscheidungen treffen, stellen die Grundlage für eine gelungene Interaktion dar. Handelt es sich nicht um einzelne Charaktere sondern um Schwärme automomer Agenten, bestehen nicht nur Auswirkungen auf gestalterischer, konzeptioneller Ebene auch der Interaktionsverlauf selbst wird durch die besonderen, selbstorganisierten und emergenten Eigenschaften des Scwharmsystems beeinflusst. Umherschwirrende Schwärme, die mit dem Nutzer interagieren, sind jedoch nicht die einzige kreative Anwendung der Schwarmthematik. Schwärme werden, neben der Verhaltensbiologie, auch in anderen Fachbereichen untersucht, wobei die entsprechend unterschiedlichen Blickwinkel und Ziele weitere Ansätze offenlegen. 1.1 Motivation und Anlass der Untersuchung Tierschwärme sind ein häufig behandeltes Thema in populärwissenschaftlichen Artikeln und Reportagen. Die Abläufe innerhalb eines Schwarms erscheinen wie von einer zentralen Instanz kontrolliert, und beruhen dennoch alleine auf dem Zusammenspiel der einzelnen Schwarmmitglieder. Die eigentlichen Prozesse auf Individualebene sind, von außen betrachtet, oft nur schwer nachzuvollziehen. Der Black Box Effekt dieser Phänomene motiviert nicht nur Verhaltensforscher dazu, der Selbstorganisation dieser Kollektive auf den Grund zu gehen. Da es sich um Beobachtungen der Natur handelt, können neugewonnene Erkenntnisse illustrativ, beispielsweise durch Mikroaufnahmen, veranschaulicht werden. Fischschulen, Ameisenstraßen, Vogelschwärmen und Bienenvölkern dienen dabei auch als vertraute Beispiele für die Eigenschaften komplexer Systeme und emergenter Zusammenhänge. Auf der anderen Seite zeichnet sich der Trend zu stärkerer Automatisierung bei der Generierung von Inhalten in Computerspielen und Filmen ab, beispielsweise die prozedurale Generierung von Oberflächen und Texturen oder eine intensivere Anwendung von Künstli- 1 Einleitung 1

14 cher Intelligenz. Entwicklungsumgebungen für kreative Programmierung ermöglichen einen leichten Einstieg in das Entwickeln interaktiver Anwendungen, deren Schwerpunkte oft die generative Gestaltung, Partikel- und Schwarmsysteme darstellen. Gleichzeitig bilden sich Communities zur experimentellen, spielerische Auseinandersetzung mit Microcontrollern, Sensoren oder Robotern, aus deren Zusammenarbeit kreative Anwendungen und interaktive Installationen entstehen. Einen besonderen Stellenwert haben interaktive Installationen, die nicht nur eine Manipulation der Parameter mit Maus oder Tastatur ermöglichen, sondern den Nutzer mit Schwärmen, ggf. unter Verwendung physischer Eingabegeräte wie Kamerasensoren, interagieren lassen. 1.2 Zielsetzung und Herangehensweise Ziel der Arbeit ist, die Auswirkungen und die Bedeutung der Thematisierung von Schwärmen in einem kreativen Kontext, speziell bei interaktiven Medieninstallationen, zu ermitteln. Zunächst werden die Begriffe der Schwarmintelligenz und des Schwarmverhaltens als Naturphänomen vorgestellt. Die Schwarmthematik erfährt auch eine Übertragung auf Menschen, nicht nur im Hinblick auf sich bewegende Menschenmassen, sondern auch im Sinne kollektiver Leistungen. Gegenstand der Arbeit bildet jedoch das Naturphänomen, welches anschließend auch auf Simulationsmöglichkeiten untersucht wird. Die zweite Grundlage der Arbeit bildet ein Umriss der Interaktivität und Immersion. Die Interaktion mit Charakteren in virtuellen Realitäten, insbesondere mit automatisch generierten und autonomen Agenten, steht im Vordergrund. Beide Grundlagen fließen in die Untersuchung aus Kapitel 4. Hier wird untersucht, auf welche Weise Schwärme in der Kunst allgemein und Medieninstallationen konkret aufgegriffen werden können, wobei die Erkenntnisse aus Kapitel 3 auf Schwärme einfließen und konkretisiert werden. Dieses Kapitel zeigt auf, welche Schwarmaspekte und Akteurskonstellationen aus konzeptioneller Sicht untersuchenswert erscheinen. In Kapitel 5 wird ein Installationskonzept entwickelt und unter Anwendung der in Kapitel 2 vorgestellten, technischen Methoden implementiert. Schwerpunkt des Konzepts bildet die Interaktion zwischen Nutzer und Schwarmsystem und die Abläufe auf Mikroebene, welche letztendlich zu den Ergebnissen auf Ebene des Schwarms führen. Abschließend werden die Ergebnisse ausgewertet und im Hinblick auf die Forschungsfrage diskutiert. 2 1 Einleitung

15 2 Schwärme als Naturphänomen, Metapher und Modell Mit dem Begriff des Schwarms werden oft die wogenden, synchron wirkenden Bewegungen eines Vogelschwarms, das Zusammenwirken vieler kleiner Fische zu einem großen Organismus mit wechselnden Konturen, die Arbeitsteilung in einem Ameisenstaat oder der Schwänzeltanz der Biene assoziiert. Um die Wirkungsweisen dieser Beobachtungen nachvollziehen zu können, befassen sich Wissenschaftler der Verhaltensbiologie, Mathematik, Informatik und Kybernetik mit der Beschreibung und Modellierung von Schwarmbewegungen und schwarmintelligentem Verhalten. Die Ergebnisse dieser Bemühungen, Algorithmen und Modelle, fließen in Simulationen ein, welche die Grundlage für schwarminspirierte, kreative Anwendungen bilden. Neben dieser verhaltensbiologischen Sichtweise wird der Begriff der Schwarmintelligenz im Kontext von User Driven Innovation, Crowd Sourcing oder Prognosemärken auch auf Menschen angewendet. Negative Effekte wie Herdentrieb und Massenpaniken werden hiermit ebenfalls in Verbindung gesetzt. Die in diesem Zusammenhang häufig thematisierte Weisheit der Vielen ist hingegen ein umstrittenes Phänomen mit einem klar abzugrenzenden Geltungsbereich, weswegen auch dieser Blickwinkel gegen Ende des Kapitels kurz vorgestellt wird. 2.1 Das Naturphänomen Schwarm Der Begriff des Schwarms wird häufig im Zusammenhang mit Lebewesen verwendet, die sich zu Gruppen zusammenfinden und ein kollektives Verhalten zeigen, welches meist erst von außen und ab einem gewissen Abstand erkenntlich wird. Betrachtet man jedoch einige der typischen schwarmbildenden Vertreter aus dem Tierreich genauer, beispielsweise Fische und Vögel, Moskitos und Quallen, Bienen und Ameisen, so fällt auf, dass sich der Zweck des Zusammenfindens und somit die Leistungen und die Verhaltensweisen, die dadurch emergieren, voneinander unterscheiden. Während sich manche Schwärme nur durch ihren Zusammenhalt und wolkenartige Bewegungsmuster auszeichnen, wirken andere aufgrund ihrer Selbstorganisation und kollektiven Problemlösestrategien wie ein ganzheitliches Wesen. Diesen Beobachtungen liegen die Konzepte des Schwarmverhaltens und der Schwarmintelligenz zugrunde. 2 Schwärme als Naturphänomen, Metapher und Modell 3

16 2.2 Der naturwissenschaftliche Begriff des Schwarms Das alljährliche Schauspiel der Honigbienen, die sich im Frühjahr im Verband auf die Suche nach einem neuen Nistplatz begeben, wird als Ausschwärmen bezeichnet. Der Begriff des Schwarms ist auf diese Beobachtung der Imkerei zurückzuführen und wird umgangssprachlich für kollonienbildende Vögel oder wolkenförmig umherschwirrende Insekten verwendet und auch auf Menschengruppen übertragen. Der Gegenstand der Schwarmforschung umfasst Zusammenschlüsse von Tieren temporärer oder dauerhafter Natur, wobei Ameisenstaaten und Bienenvölker ebenso wie Fischschulen unter diesen Ausdruck gesammelt werden (vgl. Bonabeau et al. 2010: 2081). Dabei erscheint die Wahl des Begriffs, je nach betrachtetem Phänomen, im Englischen eindeutiger: Während "flock" bzw. "flocking behavior" im Speziellen die kollektiven Bewegungen bestimmter Tierarten bezeichnet, wird "swarm" zumeist im Zusammenhang mit sozial lebenden Insekten, die sogenannte Schwarmintelligenz zeigen, verwendet (vgl. Reynolds 1987 und Bonabeau, Dorigo, Theraulaz 1999). Ohne Blick auf die jeweiligen Eigenarten zeichnen sich alle Schwärme durch eine meist hohe Anzahl quasi-identischer Individuen aus, die auf Basis der eigenen Erfahrungen und Informationen, die sie aus ihrer Umgebung entnehmen, unabhängig voneinander Entscheidungen treffen und diese direkt oder indirekt an ihre Artgenossen kommunizieren (vgl. Reynolds 1987). Aus dem individuellen Verhalten aller Mitglieder kristallisiert sich auf Ebene des Schwarms eine kollektive Entscheidung heraus. So entsteht aus den bevorzugten Bewegungsrichtungen und -geschwindigkeiten aller Schwarmmitglieder beispielsweise eine Flugformation, eine optimale Fluchtrichtung oder der kürzeste Weg zwischen Futter und Nest. Die Verhaltensweise und Bewegungen, die gesamte Lebensstrategie von Schwärmen liegt dieser Verteilung zugrunde und ist selbstorganisierend, dezentral und emergent. Wird das Potenzial, welches die Ansammlung aller Einzelinformationen zu einem kollektiven Gedächtnis bzw. einer kollektiven Wahrnehmung birgt, zum Lösen eines komplexen Problems genutzt, ist von Schwarmintelligenz die Rede. Beobachtungen aus dem Tierreich, beispielsweise der Nestbau von Bienen oder die Futtersuche von Ameisen, inspirieren die Entwicklung von Algorithmen und Robotern oder bilden die Grundlage für Generative Kunst. Doch zunächst werden Schwärme als Zusammenhalts- und Bewegungsphänomen betrachtet. 4 2 Schwärme als Naturphänomen, Metapher und Modell

17 2.2.1 Schwarmverhalten: Das Kollektiv in Bewegung Als Schwarm- oder kollektives Verhalten wird das Verhalten einiger Tierarten bezeichnet, sich zu Schwarmwolken oder anderen Formationen zusammenzufinden und sich im Kollektiv zu bewegen. Anschauliche Beispiele bilden Fischschwärme, die sich bei Gefahr zu einem dichten Körper mit wandelnden Umrissen zusammenfügen oder Vögel, welche scheinbar synchron ihre Flugrichtungen ändern. Auch Insekten, wie umherschwirrende Mücken oder ein ausschwärmendes Bienenvolk auf der Suche nach einem neuen Nistplatz fallen darunter. Craig Reynolds definiert dabei den Begriff des Schwarms im Hinblick auf diese kollektive Bewegung wie folgt: "The term 'Flock' refers generically to a group of objects that exhibit this general class of polarized (zool. alignment of animal groups), non colliding, aggregate motion." (vgl. Reynolds 1987) Die Entscheidungen, die von jedem Individuum autonom getroffen werden und welche zur Entstehung eines Verhaltens auf Gesamtebene beitragen, beziehen sich im Falle von Schwarmverhalten auf die Bewegungsrichtung und Geschwindigkeit. Dabei beachten alle Schwarmmitglieder einerseits Hindernisse, Gefahren oder Anziehungspunkte in ihrer unmittelbaren Umgebung, orientieren sich jedoch ebenso an der Bewegungsrichtung und Position ihrer Artgenossen. Bei dieser Orientierung berücksichtigt ein Individuum nicht sämtliche Mitglieder des eigenen Schwarms gleichzeitig, sondern nur jene in einem begrenzten, aber dynamischen Wahrnehmungsradius, welcher sich aus unzähligen Parametern und Bedingungen zusammensetzen kann. Aufgrund dieser lokalen Wahrnehmung wirkt sich die Anzahl der Schwarmmitglieder nicht negativ auf das Gelingen der kollektiven Bewegung aus: Selbst große Schwärme in der Natur wirken nie "überfüllt" und einzelne Tiere nicht von der Komplexität ihrer Navigation überfordert (vgl. Reynolds 1987). Eine vereinfachte Möglichkeit der Bestimmung aller relevanter, benachbarter Artgenossen, die insbesondere bei der Computersimulation von Schwarmverhalten oft verwendet wird, ist die Bestimmung der benachbarten Artgenossen innerhalb einer metrischen Sichtweite. Ein zweiter, topologischer Ansatz dieser Umfeldberechnung stützt sich hingegen auf den Erkenntnissen der Verhaltensbiologie, nachdem viele Schwarmtiere nur eine begrenzte Anzahl an Artgenossen berücksichtigen bzw. überhaupt unterscheiden können. Eine Studie der Universität Leeds ergab, dass sich im konkreten Fall einer schwarmbildenden Fischart das Kriterium der topologischen Nähe stärker auf die Bewegungsänderungen eines Tieres auswirkte als der metrische Abstand zu anderen Fischen (vgl. Krause, Couzin et al. 2010: 1217). 2 Schwärme als Naturphänomen, Metapher und Modell 5

18 Der zentrale Gegenstand der Forschungen zu Schwarmverhalten sind dabei jene Verhaltensweisen auf Individualebene, aus welchen letztendlich der Schwarmzusammenhalt und die typischen, kollektiven Bewegungen entstehen. Reynolds abstrahierte diese Verhaltensregeln Ende der 1980er Jahre u.a. zur Animation von Schwärmen in Filmen und legte damit den Grundstein für weiterführende Untersuchungen mit verhaltensbiologischem oder technischem Schwerpunkt, weswegen das von ihm beschriebene "Boids"-Modell im späteren Verlauf eingehender betrachtet wird. Demnach resultiert Schwarmverhalten, zunächst unabhängig von der Anwendung der topologischen oder metrischen Umfeldsdefinition, aus dem Wechselspiel zweier, entgegengesetzter Kräfte, die auf jedes Schwarmmitglied wirken (vgl. Reynolds 1987): Zusammenhalt: Um zu vermeiden, vom Schwarm getrennt zu werden, suchen Individuen die Nähe zu ihren Artgenossen und passend dazu entsprechend ihrer Bewegungsrichtung an. Kollisionsvermeidung: Schwarmmitglieder halten einen Mindestabstand zueinander ein, um nicht zusammenzustoßen. Couzin et al. greifen diesen Ansatz von Reynolds auf und untersuchen, wie sich verschiedene Ausprägungen dieser Verhaltensregeln auf Mikroebene auf das dynamische, kollektive Verhalten von Schwärmen auf Makroebene auswirken (vgl. Couzin et al. 2002: 5 ff). Besteht unter den Individuen beispielsweise starke Anziehungs- und Abstoßungskräfte aber nur eine geringe Richtungsangleichung, entstehen diffuse Schwarmwolken. Ein Torus, wie in Abb. 2.1 B) zu sehen, entsteht hingegen bei einem niedrigen Orientierungsgrad, hoher Anziehung und geringer Gruppenpolarisation. Diese Zustände sind von unterschiedlicher Stabilität und können bei Veränderungen von internen Faktoren oder äußeren Einflüssen, beispielsweise Gefahr, ineinander übergehen. Abb. 2.1 Unterschiedliche Ausprägungen von Schwarmdynamiken. Schwarmwolke (A), Torus (B), dynamische und hochgradig starke Parallelgruppen (C, D) (Quelle: Couzin 2002: 6) Durch die Stützung ihrer Untersuchung auf empirischer Ebene und eine intensive Zusammenarbeit mit Forschungsgruppen aus den Bereichen der Biologie, Informatik, Robotik und Kunst werden die drei "Interaktionszonen" im Kontext verhaltensbiologischer Forschungen als Couzin-Modell bezeichnet (vgl. Krause, Krause 2011). 6 2 Schwärme als Naturphänomen, Metapher und Modell

19 2.2.2 Schwarmintelligenz als kollektive Problemlösestrategie Das im vorigen Unterkapitel beschriebene Schwarmverhalten bezieht sich auf die Eigenschaft einiger Tierarten, sich zu Schwärmen zusammenzuschließen und kollektive Bewegungs- und Verhaltensweisen zu zeigen, die von umher schwirrenden Mückenwolken, plötzlich empor fliegenden Vogelschwärmen, dem Ausschwärmen von sonst solitär fliegenden Bienen bis hin zu Fischschwärmen in abwechselnder Schwimmformation reichen. Diesen Beobachtungen auf Schwarmebene liegt das Zusammenwirken der Verhaltensweisen auf Individualebene zugrunde so entstehen der Zusammenhalt und die kollektive Bewegung aus der Anziehung, Abstoßung und Orientierung der Tiere zu- bzw. untereinander. Im Untersuchungsfeld der Schwarmintelligenz steht dabei die Frage im Vordergrund, ob und inwieweit eine solche konkrete, emergente Verhaltensweise eines Schwarms nützlich, funktional, robust und intelligent ist und, nicht zuletzt, welche Einsatzmöglichkeiten sich aus einer Abstraktion dessen ergeben (vgl. Bonabeau et al. 2010). Der Begriff der Schwarmintelligenz entspringt der Robotik und dem Forschungsgebiet der Cellulären Systeme und wurde von Beni et al. im Kontext von Systemen einfacher Agenten geprägt, deren Selbstorganisation und lokale Interaktion komplexe Muster entstehen lassen (vgl. Bonabeau, Dorigo, Theraulaz 1999: 7). Begibt man sich im biologischen Kontext auf die Suche nach schwarmintelligenten Verhaltensweisen, so mag der Begriff der Intelligenz dabei irreführend sein. Tatsächlich ist hier nicht gemeint, dass Ameisenstaaten ähnliche Züge aufweisen wie Delphine oder Affen, welche in Intelligenztests ihr eigenes Spiegelbild erkennen und Logikaufgaben lösen. Stattdessen steht die verteilte, selbstorganisierte Weise, auf welche Schwarmtiere kognitive, durchaus komplexe Probleme lösen, im Vordergrund. Der Begriff der Schwarmintelligenz betont somit das Prinzip, welches Schwärmen zugrunde liegt und den Gegenpart zur Individualintelligenz bildet. Ist ein Lebewesen mit Individualintelligenz mit einer Aufgabe konfrontiert, wird es die Ausgangslage aufnehmen, die eigenen Möglichkeiten abwägen und entsprechende Entscheidungen treffen. Anders verhält es sich bei einem Schwarm Honigbienen, der vor der Aufgabe steht, einen neuen Neststandort zu finden. Zunächst nimmt auch hier jedes Individuum Informationen aus der Umgebung auf und verarbeitet diese. Durch die Diversität und Unabhängigkeit der Individuen entsteht nun aus der Vielzahl dieser Einschätzungen, Erfahrungen und Blickwinkeln ein umfangreiches Bild der Umgebung bzw. jenes zu lösenden Problems, wie es von einem einzelnen Schwarmmitglied nicht überblickt werden kann. In dieser theoretisch zusammengefügten kollektiven Wahrnehmung liegt das 2 Schwärme als Naturphänomen, Metapher und Modell 7

20 Potenzial zu Schwarmintelligenz. Obwohl es sich hierbei um keinen tatsächlich vorhandenen, zentral verfügbaren Informationspool handelt, kristallisiert sich aus dem Zusammenspiel der Individuen eine Tendenz des Kollektivs heraus, welche, von oben betrachtet, als Entscheidung bzw. Lösung des Schwarms bezeichnet werden kann. Wird dieses Potenzial der vereinten Einzelinformationen genutzt um ein kognitives Problem zu lösen, liegt Schwarmintelligenz vor (vgl. Krause, Ruxton, Krause 2009: 29). Auch wenn einzelne Schwarmmitglieder womöglich auch alleine in der Lage wären, das Problem zu lösen die Art und Weise des Lösungsvorgangs ist einzigartig für Schwärme. Soziale Insekten zeigen hierbei spezielle Fähigkeiten und Verhaltensmuster, dieses Potenzial zu verarbeiten. Neben direkter, soziale Interaktion oder ungerichteten Körpersignalen wird auch Stigmergie, die indirekte Kommunikation durch Veränderungen der Umwelt, angewandt, um Signale an weitere Schwarmmitglieder zu senden. Führen diese Signale bei anderen Schwarmmitgliedern zur Imitation, wird im weiteren Verlauf ein Grenzwert, die sogenannte Ansprechschwelle oder responsive threshold, überschritten, welcher wiederum neue Handlungen auslöst. Etwaige Fehler einzelner Individuen fallen durch die Vielzahl und Vielfalt der Einschätzungen nicht ins Gewicht. Ein anschauliches Beispiel für Schwarmintelligenz stellt die Futtersuche von Ameisen dar. Auf der Suche nach Nahrung hinterlässt jede Ameise eine Duftspur. Bei der Wahl der Bewegungsrichtung wird dabei jedes Insekt von bereits vorhandenen Pheromonpfaden beeinflusst, sodass sich auf häufig genutzten Strecken die Markierungen verdichten und lange, ungenutzte Wege schneller an Duftintensität verlieren. Nach einiger Zeit bildet sich aus diesem stigmergetischen Netz eine optimale Ameisenstraße zwischen Nahrung und Nest. Andere Insektenarten verwenden auf ähnliche Weise Stigmergie, um bei ihren Artgenossen bestimmte Reaktionen auszulösen, indem sie beispielsweise Materialien sammeln und an bestimmten Stellen anhäufen. Computersimulationen auf Basis virtueller Pheromonspuren oder anderen abstrahierten, stigmergetischen Verhaltensweisen werden zur schwarmintelligenten Lösung von vielen Optimierungsfragen herangezogen. Die theoretischen und technischen Möglichkeiten sind Gegenstand von Kapitel Schwarmeigenschaften von Menschengruppen Schwerpunkt des konzeptionellen und praktischen Teils dieser Arbeit bilden Schwärme als Naturphänomen und die Modellierung von kollektiver Bewegung und schwarmspeziellen Problemlösestrategien. Jedoch werden auch Menschengruppen Eigenschaften von 8 2 Schwärme als Naturphänomen, Metapher und Modell

21 Schwärmen zugeordnet. Untersuchungen dieser Übertragung heben sich von den biologischen oder naturwissenschaftlichen Forschungen insofern ab, dass nicht die Zusammensetzung und Funktionsweise eines Schwarms als komplexes System vordergründig sind. Stattdessen stellt sich in diesem Kontext die Frage, unter welchen Umständen das Zusammenspiel innerhalb eines menschlichen Schwarms ein brauchbares Ergebnis liefert und wie diese emergente und dezentrale Eigenschaft genutzt werden kann. Hintergrund dessen bildet die Tatsache, dass Tiere im Verband nicht nur ihre physischen Kräfte vereinen können, um bestimmte Ziele zu erreichen, sondern auch kognitive Probleme auf eine Art lösen, wie es nur im Zusammenschluss des Schwarms möglich ist (vgl. Krause, Krause 2011: 129). Diese Gruppenleistungen sind in ähnlicher Weise auch bei Menschen zu beobachten: Das meist korrekte Ergebnis einer Zuschauerumfrage bei "Wer wird Millionär?" ist hierbei ebenso zu nennen wie das erfolgreiche, kreative Zusammenspiel von Open Innovation Projekten. Auch die Bewegungen von Menschenmengen, beispielsweise in einer überfüllten Fußgängerzone, erinnern an Tierschwärme. Surowiecki verwendet in seinem Konzept der "Weisheit der Vielen" den Begriff der Schwarmintelligenz und wird daher mit diesen Beobachtungen oft in Verbindung gesetzt. Gegenbeispiele wie Massenpaniken und schadender Herdentrieb bei Menschen bewirkt hingegen die Verbreitung des Begriffs der "Schwarmdummheit". Insgesamt führen die fehlende, einheitliche Definition von Intelligenz und die stetige Trennung des Schwarmverhaltens von Menschen und Tieren zu Verwirrung (vgl. Krause, Krause 2011: 129) Der Geltungsbereich der "Weisheit der Vielen" Grundsätzlich verfügen auch Menschenmengen über ein Potenzial zu Schwarmintelligenz, da viele Teilnehmer eine Situation gleichzeitig und aus individuellem Blickwinkel und Hintergründen aufnehmen und auswerten. Beim Fällen solcher Entscheidungen auf Basis der eigenen Informationen und Kenntnisse unterlaufen den Individuen auch Fehler. Werden alle Einzelinformationen oder Einschätzungen zusammengeführt, gleichen sich diese Fehler jedoch gegenseitig aus und es resultiert ein kollektives Ergebnis, welches nach Surowiecki präziser und korrekter als die Einschätzungen einzelner Teilnehmer ist (vgl. Surowiecki 2004: 6). 2 Schwärme als Naturphänomen, Metapher und Modell 9

22 Krause et al. formulieren den Begriff der Schwarmintelligenz, der zuvor nur im Hinblick auf Tierschwärme als Vorbild für Optimierungsalgorithmen oder Simulationen definiert wurde, allgemeiner und somit auch für Menschengruppen auslegbar: Zwei oder mehr Individuen erwerben weitgehend unabhängig voneinander Informationen, die durch soziale Interaktion kombiniert und verarbeitet werden, so dass dadurch ein kognitives Problem auf eine Art und Weise gelöst wird, die für einzelne Individuen so nicht umsetzbar wäre. (vgl. Krause, Ruxton, Krause 2009: 29) Während im Tierreich das Zusammenführen und Auswerten des Informationspools durch Körpersignale oder Duftspuren erfolgt, sind Menschen in der Lage, die Funktionsweise dieser Interaktionen zu abstrahieren und durch Mechanismen, beispielsweise mathematische Berechnungen, zu ersetzen (vgl. Krause, Krause 2011: 130). Überlässt man die Verarbeitung des Schwarmpotenzials bei Menschengruppen dennoch dem natürlichen Fluss der Kommunikation, so kann sich das negativ auf die Einzelmeinungen und somit auch das Endergebnis auf Makroebene auswirken (vgl. Lorenz, Helbing et al. 2010). Die Unabhängigkeit und Unterschiedlichkeit der individuellen Einschätzungen stellen die Grundvoraussetzung für ein positives Ergebnis dieses statistischen Phänomens dar. Betrachtet man also das klassische Beispiel dieses Kontexts, das Schätzen von Murmeln in einem Glas, so kann beobachtet werden, dass durch Kommunikation unter den Teilnehmern die eigene Einschätzung an die der anderen angepasst wird, was die Vielfalt der Antworten reduziert oder gar zu einer Anhäufung um einen falschen Wert führt. Teilnehmer mit falscher Einschätzung werden dadurch in ihrem Selbstvertrauen gegebenenfalls noch verstärkt und wirken gegenüber anderen noch überzeugender. Insbesondere bei komplexen Aufgaben und niedrigem Selbstbewusstsein der einzelnen Probanden sind diese Effekte des sozialen Einfluss, der Verringerung der Varianz und dem Überzeugungseffekt (vgl. 2010: 3-6) zu beobachten. Wird jedoch unterbunden, dass die Teilnehmer eines solchen Experiments während ihrer Entscheidung miteinander kommunizieren und erfolgt die Sammlung und Auswertung automatisiert, beispielsweise im Rahmen einer anonymen Stimmenabgabe, bleibt die Unabhängigkeit der Einzeleinschätzungen erhalten und die "Weisheit der Vielen" tritt ein: Der Konsens der Menschenmenge schätzt die Anzahl der Murmeln exakter als die Besten der einzelnen Teilnehmer Weitere Übertragungen und deren Anwendung Die Weisheit der Vielen beschreibt das statistische Prinzip, dass eine kollektive Tendenz unter den Voraussetzungen der Unabhängigkeit und Varianz der Einzelmeinungen exakter 10 2 Schwärme als Naturphänomen, Metapher und Modell

23 bzw. optimaler als die Entscheidung Einzelner ist. Dieser statistische Effekt wird in Prognosemärkten eingesetzt, um die Entwicklung von Aktien, den Ausgang einer politischen Wahl oder die Akzeptanz eines Produkts vorherzusehen (vgl. Krause, Ruxton, Krause 2009: 32). Auch im Falle von kollektivem Management werden die Entscheidungen auf Kollektivebene jenen kleiner Expertenteams vorgezogen der britische Fußballclub Ebbsfleet United wird auf diese Weise von den eigenen Fans verwaltet 1. Doch nicht nur Aufgaben, deren (kollektive) Antwort eine geschätzte Zahl, eine gekaufte Aktie oder ein gewählter Fußballtrainer ist, werden daraufhin geprüft, ob sie durch die Bearbeitung von ganzen Menschengruppen besser gelöst werden können als von einzelnen Experten oder kleinen Fachkreisen. Aus der dezentralen, selbstorganisierten Zusammenarbeit emergieren auch neue, kreative Lösungen. Das Internet unterstützt diese Prozesse und bietet neue Wege des Austauschs und Zugriffs auf jenes Potenzial, welches sich aus der Vielzahl der Nutzer einer Community ergibt (vgl. Krause, Ruxton, Krause 2009). Unternehmen wie LEGO 2 ermöglichen ihren Kunden, anhand der bestehenden Produktpalette im Rahmen von Open Innovation neue Ansätze zu entwickeln oder eigene Ideen, sogenannten User Driven Content, in die Gestaltung von Produkten einzubringen. Abb. 2.2 Experiment des WDR unter Leitung von Julian Krause. Die Probanden zeigen typisches Schwarmverhalten (rechts) Dynamische Menschenmengen können, mit einigem Abstand betrachtet, Ähnlichkeiten mit den kollektiven Bewegungen von Tierschwärmen aufweisen. In einem Experiment des WDR wurden 300 Testpersonen dazu angehalten, sich durch eine Halle zu bewegen und dabei möglichst auf alle Kommunikation in Form von Sprache oder Gesten zu verzichten Lego Mindstorms: 3 Selbst bei Verzicht auf Sprache oder Gesten findet zwischen Menschen, die einander gegenüberstehen, durch nonverbale Handlungen wie Mimik oder Körperhaltung Kommunikation statt. Es ist unmöglich, nicht zu kommunizieren (vgl. Watzlawick et al. 1969:53). 2 Schwärme als Naturphänomen, Metapher und Modell 11

24 Aus den zusätzlichen Regeln, Mindestabstände einzuhalten und ein Stehenbleiben zu vermeiden, entstanden Bewegungsabläufe, die der Schwarmforscher Krause mit den torusförmigen Zusammenschlüssen von Fischschwärmen verglich (siehe Abb. 2.1; vgl. Krause, Krause 2011), wie sie durch Couzin beschrieben werden. Die Ergebnisse dieser Untersuchung fließen in die Vorhersage für Fußgängerströme oder Interaktionsmuster von Menschengruppen auf Demonstrationen oder Großveranstaltungen. So ergab das Experiment unter Anderem, dass es der Information von 5-10% der Teilnehmer bedarf, um die gesamte Menschenmenge in eine bestimmte Richtung zu lenken eine Erkenntnis, die zur Vermeidung von Massenpaniken verwendet werden kann Begründung für den Schwerpunkt dieser Arbeit Die Verhaltensweisen von Schwärmen im Tierreich werden in unterschiedlichen Forschungsdisziplinen untersucht, wobei stets andere Ausschnitte betrachtet und die Ergebnisse angewendet oder übertragen werden. Zwischen diesen Disziplinen findet nicht nur ein Austausch der inhaltlichen Ergebnisse, sondern auch ein Aufgreifen der Fachbegriffe statt. Ein Beispiel bildet die Schwarmintelligenz die, je nach Hintergrund der Betrachtung, nur das Verhalten sozialer Insekten beschreibt, das Zustandekommen der kollektiven Dynamiken begründet oder im Zusammenhang mit Menschenmengen als statistischer Effekt betrachtet wird. Allen gemein ist hierbei, dass sich durch die Interaktion der Entitäten ein neues, optimaleres oder effizienteres Ergebnis auf Schwarmebene bildet. Jedoch zeigt sich insbesondere bei der Übertragung auf Menschen, dass Schwarmintelligenz nur unter bestimmten Bedingungen zustande kommen kann, sei es die Art der zu lösenden Aufgabe (vgl. Krause, Krause 2011: 133) oder die Kommunikation und der soziale Einfluss innerhalb der Gruppe. Krause betont den Modewortcharakter der Schwarmintelligenz und bezweifelt, dass rein selbstorganisierte Strukturen in der Gesellschaft einzelne Experten oder Expertengruppen überflüssig machen könnten (vgl. 2011: 133 und Krause, Ruxton, Krause 2009: 33). Das Potenzial solcher Zusammenarbeit zeigt sich jedoch vor Allem in kreativen Projekten. Der Erfolg diverser, online initiierter Kickstarter-Projekte 4 demonstriert die allgemeine Bereitschaft, an offenen Projekten teilzunehmen oder diese, auch finanziell, zu unterstützen. Auch um bestimmte Themenbereiche oder Werkzeuge finden sich Communities zusammen, um Wissen weiterzugeben, einander zu inspirieren und an neuen Projekten zu arbeiten. Peter Gloor spricht von Collaborative Innovation Networks (COINs), die von einer swarm creativity profitieren (vgl. Gloor 2011). Auch wenn diese 4 Kickstarter, Funding platform for creative projects : Schwärme als Naturphänomen, Metapher und Modell

25 Beispiele mit dem ursprünglich naturwissenschaftlichen Begriff der Schwarmintelligenz nur die Grundidee teilen, ist die Weiterarbeit daran, nicht nur im sozialwissenschaftlichen Sinne, vielversprechend. Im Rahmen dieser Arbeit sollen die Auswirkungen des Schwarmthemas auf interaktive Medieninstallationen untersucht werden. Dabei zeigt sich, dass bereits seit Beginn der Computeranimation und -Simulation in den 1980er Jahren großes Interesse darin besteht, die Funktionsweisen von Schwärmen zu erfassen und zu modellieren. Alleine die Simulation von Emergenz mittels künstlicher Stigmergie und die generative Modellierung von Schwarmbewegungen, die nur zwei Beispiele für Schwarmverhaltensweisen darstellen, ergaben eine Vielzahl an Modellen und Algorithmen, die seitdem stets erweitert und variiert werden. Die zugrunde liegende Mechanik, die Zusammensetzung aus autonomen, untereinander interagierenden Agenten, wird in der Komplexitätstheorie und Mathematik betrachtet, stellt auf Programmierebene Herausforderungen bereit und bietet die Basis für interdisziplinäre Projekte der Robotik, Medieninformatik und Kunst. 2.4 Modellierungs- und Simulationsansätze der Schwarmforschung Es gibt unterschiedliche Gründe, Schwarmbewegungen und kollektivintelligente Problemlösestrategien als Modell zu abstrahieren und als Simulationen zu implementieren. Im Rahmen verhaltensbiologischer Untersuchungen ermöglicht diese Vorgehensweise das Prüfen aufgestellter Thesen und das Abgleichen der errechneten Ergebnisse mit realen Schwärmen. Es kann so beispielsweise ermittelt werden, ob das angenommene Verhalten einzelner Schwarmtiere das gewünschte Ergebnis auf Schwarmebene generiert. Arbeiten im Bereich der Robotik oder Künstlichen Intelligenz leiten vom Naturphänomen des Schwarms hingegen Algorithmen ab, welche zum "schwarmintelligenten" Lösen von Problemen herangezogen werden, die einer besonderen Zuverlässigkeit oder dynamischem Anpassungsvermögen bedürfen. Interdisziplinäre Projekte aus den Bereichen der Biologie, Informatik und Kunst greifen die Thematik der Schwärme auf und verhelfen zu neuen Blickwinkeln und Ansätzen für weitere Forschungen. Diese Anwendungsfelder verdeutlichen den Bedarf, die Modelle von Schwarmverhalten und -intelligenz auch auf technischer Ebene näher zu betrachten. Zentrale Untersuchungspunkte bilden dabei einerseits die grafische Implementierung von Schwarmbewegungen als "Boids" sowie der Einsatz von schwarminspirierten Algorithmen. 2 Schwärme als Naturphänomen, Metapher und Modell 13

26 2.4.1 Boids und Gruppen autonomer Agenten zur Simulation von Schwarmverhalten Die Simulation kollektiver Bewegungsabläufe wie Formationen des Vogelflugs oder das Ausschwärmen von Bienenvölkern dienen nicht nur der verhaltensbiologischen Forschung, sondern sind auch zur realistischen Nachbildung von Schwärmen bei der Produktion von Filmen, Spielen oder kreativen Anwendungen gefragt. Ähnlich wie bei der generativen Erzeugung von Rauch- oder Feuereffekten werden Schwärme als Systeme vielzähliger, eigenständiger Elemente beschrieben, welche über Eigenschaften wie Größe, Farbe oder Position verfügen und im Verlauf ihrer Existenz verschiedene Zustände einnehmen können. Um jedoch auch die Dynamiken eines Schwarms abbilden zu können, wird das Repertoire dieser Elemente erweitert, was sie als Agenten von einfachen Partikeln abhebt und das System als Multi-Agenten-System spezifiziert. Auf Grundlage von biologischen Arbeiten zu Vögeln und Fischen entwickelte Reynolds in den 1980er Jahren das Modell der "Boids", ein Multi-Agenten-System zur Darstellung von Schwarmverhalten, welches auch heute noch Grundlage der meisten Schwarmsimulationen bildet und auch im praktischen Abschnitt dieser Arbeit (Kapitel 5) herangezogen wird. Dieses Modell beschreibt die einzelnen Schwarmmitglieder, Boids, als autonome Agenten, welche neben einem internen Zustand zudem über eine externe Sicht verfügen, welche das Abgleichen und die Interaktion mit anderen Agenten einschließt (vgl. Reynolds 1987). Eine einfache Bewegungsfunktion berechnet iterativ aus Eigenschaften wie Masse, Geschwindigkeit, obere Geschwindigkeitsgrenze und maximale Anziehungskraft die herrschende Anziehungskraft, Beschleunigung und Ausrichtung und ermittelt die nächste Position des Boids. Abstoßung Orientierung Anziehung Abb. 2.3 Die drei Interaktionszonen des Boids-Modells 5 5 Quelle: Craig Reynolds, Schwärme als Naturphänomen, Metapher und Modell

27 Zu dieser grundliegenden Fortbewegungsweise kommen zusätzliche Steuerungsverhalten, engl. steering behaviors, die das Verfolgen von bzw. das Fliehen vor anderen beweglichen Objekten oder das Umfahren von Hindernissen ermöglichen (vgl. Reynolds 1999). Um auf Makroebene des Agentensystems jene wolkenähnliche Bewegungen zu generieren, die aus dem Wechselspiel von Kollisionsvermeidung und dem Streben nach Zusammenhalt entstehen, werden die Steuerungsverhalten Anziehung, Richtungsanpassung und Abstoßung miteinander kombiniert. Dabei berücksichtigt jeder Boid die Position und Ausrichtung anderer Agenten innerhalb eines definierten Umkreises und behält bei der Berechnung der Bewegung stets einen Mindestabstand zu ihnen ein. Die Blickrichtung ermittelt sich aus der durchschnittlichen Ausrichtung der Nachbarn. Zusätzlich steuert jeder Boid auf die gemittelte Position der Schwarmnachbarn zu, um nicht vom Kollektiv getrennt zu werden (siehe Abb. 2.3). Abb. 2.4 Boids nach Reynolds 6 Je nach Fallbeispiel können diese Parameter variiert und das Repertoire der Boids mit anderen Steuerungsverhalten erweitert werden. Spezielle Engines und Entwicklungsumgebungen wie OpenSteer (vgl. Reynolds 2003) oder die ISO-Flock-Bibliothek (vgl. Bisig 2010) stellen diese Funktionen zur Verfügung und ermöglichen es, Schwärme mit weiteren, generativen Eigenschaften zu erstellen. Die Boids-Implementierung des Frameworks Cinder ergänzt das Modell Reynolds, indem beispielsweise die Anzahl der berücksichtigen Schwarmnachbarn, verschiedene Sensibilitäten der drei Interaktionszonen, Faktoren wie "Angst" oder Perlin-Rauschfunktionen die Bewegung der einzelnen Boids beeinflussen. 6 Quelle: Shiffman, 2 Schwärme als Naturphänomen, Metapher und Modell 15

28 2.4.2 Problemlösende Algorithmen nach dem Vorbild von Schwärmen Die Verhaltensweisen, welche schwarmintelligenten Strategien zugrunde liegen, werden in der Informatik auf mögliche Anwendungsgebiete untersucht. Vordergründig ist dabei nicht zwangsläufig eine vollständige, realistische Abbildung des Schwarms, sondern die asynchron verteilten und emergenten Strategien, anhand derer Muster analysiert und gebildet werden (vgl. Beni 2005). Schwarmsysteme verfügen über eine hohe Anzahl quasi-identischer, einfacher Einheiten, wobei einzelne Verluste durch den restlichen Schwarm ausgeglichen werden. Aufgrund dieser Flexibilität eignen sie sich allgemein zum Verwalten und Steuern von Netzwerken oder der Bewältigung von Aufgaben, welche einer dezentralen Steuerung und hoher Ausfallsicherheit bedürfen. Neben Schwarmverhalten sind vornehmlich Beispiele der Schwarmintelligenz, wie der Futtersuche, Arbeitsteilung, Strategien des Nestbaus und Transports oder Sortierungsmethoden von Bienen, Gegenstand dieser Untersuchungen (vgl. Bonabeau, Dorigo, Theraulaz 1999), deren prominenteste Anwendungen die Algorithmen Particle Swarm Optimization und Ant Colony Optimization sind. Abb. 2.5 Funktionsweise des Ant Colony Optimization Algorithmus 7 Die Ant Colony Optimization (ACO) beruht auf der Modellierung der stigmergiegestützten Futtersuche von Ameisen, weswegen auch die Bezeichnung als Ameisenalgorithmus geläufig ist. Bei dem Durchstreifen aller möglichen Pfade hinterlässt jede Ameise eine Pheromonspur, die im Laufe der Zeit abklingt. Auf einem kurzen Verbindungsweg zwischen Nest und Futterquelle ist demnach diese Markierung am intensivsten und wird von folgenden Ameisen als Wegweiser verwendet. ACO nutzt dieses Prinzip, beispielsweise in 7 Quelle: Dréo, Johann 2006: Schwärme als Naturphänomen, Metapher und Modell

29 der Anwendung auf das Traveling Salesman Problem, indem alle Knoten eines Graphen miteinander verbunden und mit Markierungen versehen werden. Aufgrund der adaptiven Eigenschaften wird ACO als Routingalgorithmus verwendet (vgl. Bonabeau, Dorigo, Theraulaz 1999: 25 ff). Auch Schwarmverhalten bildet die Vorlage für Algorithmen. Die Particle Swarm Optimization (PSO) ist ein räumlicher Suchalgorithmus auf Basis des Boids-Modells, wobei alle Individuen potenzielle Lösungen darstellen, die sich durch eine zu minimierende Fehlerfläche bewegen (vgl. Dierk 2010: 401). Dazu werden die Agenten des Systems um die gegensätzlichen Bedürfnisse erweitert, zu landen und andererseits im Schwarm zusammenzubleiben. Werden diese Algorithmen mit Zeichenregeln verknüpft, entstehen Strukturen, Oberflächen oder Animationen, die der Generativen Kunst zugeordnet und in interaktiven Anwendungen und Installationen aufgegriffen werden Die asymptotische Komplexität von Schwarmsystemen Ein nicht zu vernachlässigendes Problem bei der Implementierung künstlicher Schwärme stellt die Performanz der Anwendung dar. Erfordert das Modell einer Schwarmsimulation Interaktionen auf Mikroebene, beispielsweise basierend auf gegenseitiger Wahrnehmung innerhalb eines metrischen Umkreises, müssen alle Agenten des Systems miteinander abgeglichen werden. Im Falle des Boids-Modells bedarf es einer Ermittlung aller relevanten Nachbarn, um Steuerungs- und Orientierungskräfte anwenden zu können. Auch bei dieser einfachen Operation der Abstandsermittlung kann dies eine hohe Auslastung des Systems bedeuten: Eine Anzahl von n Agenten ergibt dabei n (n 1) Abgleichungen, was in etwa einem quadratischen Ansteigen der Rechenschritte entspricht. Systeme mit untereinander interagierenden Agenten haben daher die asymptotische Komplexität O(n 2 ) (vgl. Reynolds 2000). Um die Anzahl dieser Berechnungen zu senken, werden die Entitäten in Parzellen vorsortiert und nur jene Parzellen zur Prüfung herangezogen, die von dem Wahrnehmungsradius eines Agenten abgedeckt oder zumindest angeschnitten werden. Da sich aufgrund der Abstoßungskraft stets eine recht übersichtliche Anzahl k an Agenten in jeder Parzelle aufhält, senkt sich so die asymptotische Komplexität auf O(nk), was bei konstantem k einem linearen Anstieg O(n) entspricht und in der Praxis eine Verbesserung der Performanz zeigt (vgl. Reynolds 2000). 2 Schwärme als Naturphänomen, Metapher und Modell 17

30

31 3 Interaktion mit autonomen Agenten in Medieninstallationen Immersion und Interaktion sind weit gefächerte Begriffe, die häufig im Zusammenhang mit Spielen, Kunstinstallationen oder anderen Anwendungen genannt werden, wenn diese den Betrachter bzw. Spieler durch ihre Wirkung und technische Funktionalität in das Geschehen einbeziehen und das Dargestellte greifbar und beeinflussbar machen. Um Schwärme als Installationskonzept zu untersuchen und darauf aufbauend ein eigenes Konzept zu entwickeln, ist es notwendig, diese beiden Begriffe zunächst allgemein vorzustellen und im Zusammenhang mit Medieninstallationen zu konkretisieren. Vorbereitend zu der Untersuchung von Interaktionen mit künstlichen Schwärmen, also Gruppen autonomer, künstlicher Agenten, werden zudem die Interaktionen mit künstlichen Agenten allgemein bzw. Gruppen betrachtet. 3.1 Interaktion und Immersion Die Grundlage für alle Untersuchungen, welche die Interaktion zwischen Menschen und Maschinen betreffen sei es die Handhabung eines Getränkeautomaten, die Ergonomie einer Software oder immersive Wirkung einer interaktiven Medieninstallation bildet die natürlichste Form der Interaktion; jene zwischen zwei Menschen. Rafaeli beschreibt aus kommunikationstheoretischer Sicht Interaktivität als feedback that relates both to previous messages and to the way previous messages related to those preceding them (vgl. Rafaeli 1988: 120). Diese Bezugnahme auf vorangegangene Nachrichten unterscheidet Interaktivität von einfacher Zwei-Wege-Kommunikation und Reaktion. Die Nachrichten, die bei einer Zwei-Wege-Kommunikation hin- und her versendet werden, nehmen keinen Bezug aufeinander und werden daher als nicht-interaktiv bezeichnet. Eine Kommunikation ist hingegen reaktiv, wenn sich eine Nachricht auf vorhergegangene Nachrichten bezieht, wie es bei einem Interview aus Fragen und Antworten der Fall ist. Von Interaktion ist erst dann die Rede, wenn eine Nachricht nicht nur vorhergegangene Nachrichten aufgreift, sondern zudem auch auf die Art und Weise Bezug nimmt, wie diese Nachrichten mit dem darauf folgenden zusammenhängen. Entsprechend handelt es sich dann um ein interaktives Interview, wenn Fragen gestellt werden, die die Zusammenhänge zwischen Antworten und Fragen betreffen. 3 Interaktion mit autonomen Agenten 19

32 Die vorliegende Arbeit betrachtet Interaktion zwischen Menschen und Computern, insbesondere im Hinblick auf Medieninstallationen. Dabei wird einer der beiden Interaktionspartner des kommunikationstheoretischen Modells durch eine Maschine ersetzt Human-Computer-Interaction Wie auch Rafaeli übernimmt Crawford die Metapher des Gesprächs zwischen zwei Menschen als Ansatzpunkt und definiert Interaktion als zyklischen Prozess zwischen zwei oder mehreren Seiten, wobei jede Seite abwechselnd hört, denkt und spricht (vgl. Crawford 2005: 29 ff). Handelt es sich um eine Mensch-Computer-Interaktion (HCI), wird eine Seite dieser zwischenmenschlichen Interaktion durch einen Computer ersetzt, welcher diese Schritte im technischen Sinne der Aufnahme, Verarbeitung und Ausgabe ausführt. Der Unterschied zur Reaktion wird im Hinblick auf Filme deutlich. Auch, wenn der Zuschauer aktiv mit dem Verarbeiten der Bilder beschäftigt ist, ist der Film nicht in der Lage, dessen Aktionen aufzunehmen oder darauf zu antworten. Wie auch bei einem guten Gespräch ist die Qualität einer Mensch-Computer-Interaktion von der Qualität der einzelnen Schritte abhängig (vgl. Crawford 2005: 30) eine intelligente Programmlogik und ein nachvollziehbares Feedback bringen dem Nutzer nichts, wenn die Anwendung die Nachrichten des Nutzers nur unzureichend aufnimmt oder fehlinterpretiert. Umgangssprachlich wird einem Spiel oder einer Medieninstallation eine hohe Interaktivität zugewiesen, wenn sich der Spieler intuitiv durch die Inhalte bewegt, also auf möglichst viele der gewünschten Eingabemöglichkeiten eingegangen wird und die Antworten des Systems zur weiteren Interaktion beitragen. Der Bezug der Nachrichten auf den Inhalt und die Art des Zusammenhangs zu anderen Nachrichten, wie er im kommunikationstheoretischen Modell nach Rafaeli besteht, berücksichtigt Crawford dabei nicht (vgl. Taube 2007). Es ist denkbar, aber nicht eindeutig ersichtlich, dass der Schritt des Denkens nach Crawford diese Bezugnahme beinhaltet. Taube schlägt eine Erweiterung des Modells nach Crawford vor, wobei die Zustände, die aus den vorangegangenen Nachrichten resultieren, auf beiden Seiten der Interaktion gespeichert werden. Auf der Seite des menschlichen Interaktionspartners fließen die drei Schritte des Wahrnehmens, Denkens und Sprechens leicht ineinander über. Manovich betrachtet Interaktivität nicht als zyklischen Prozess zweier Interaktionspartner im kommunikationstheoretischen Sinn, sondern greift diesen Sachverhalt durch die Unterteilung in menu-based interactivity, scalability, simulation, image-interface und imageinstrument (vgl. Manovich 2001: 56). Dabei zählt er neben der physischen Interaktion, einen Hebel zu drücken oder eine Maustaste zu klicken, auch die psychologische Interakti Interaktion mit autonomen Agenten

33 vität dazu, Inhalte in Gedanken zu vervollständigen oder Hypothesen zu formulieren. Computermedien sind nach Manovich per Definition interaktiv: HCI allows the user to control the computer in real-time by manipulating information displayed on the screen. Once a object is represented in a computer, it automatically becomes interactive. Therefore, to call computer media interactive is meaningless it simply means stating the most basic fact about computers. (vgl. Manovich 2001: 55) Der Nutzer einer Anwendung interagiert demnach mit den Inhalten, auf welche der Computer einen Zugriff ermöglicht. Diese Handlungen können entweder geschlossen, durch das Navigieren innerhalb einer Menüstruktur, oder als offene Interaktion umgesetzt werden, indem der Spieler frei mit den Inhalten interagiert. Jedes Produkt dieser Neuen Medien kann dabei auf diese zwei Ansätze reduziert werden: So stellt das Medium entweder die Schnittstelle zu den Inhalten, auf die man effizient zugreifen will dar, wie es bei Webseiten der Fall ist oder das Medium bietet eine freie Navigation durch dessen Inhalte, indem es den Nutzer psychologisch in eine virtuelle Welt, beispielsweise die eines Computerspiels, einbezieht Interaktion und Immersion in Medieninstallationen Crawford bezeichnet Immersion als die Eigenschaft der sensory completeness, wie sie für grafische 3D-Umgebungen typisch ist, die den Nutzer in einen konsistenten und optisch vollendeten, künstlichen Raum eintauchen lassen (vgl. Crawford 2005: 26). Eine solche Räumlichkeit kann visuell, aber auch auditiv oder über andere Sinneswahrnehmungen Teil einer Medieninstallation sein. Relevant für die vorliegende Untersuchung sind jedoch die Interaktionen zwischen dem Nutzer und den Elementen der künstlichen Welt, die zu einem psychologischen Einbezug führen. Crawford bezeichnet Interaktivität als real strength of the computer und betont dessen Stellenwert als schwerpunkt of games (vgl. Crawford 2003). Wenn die Abläufe und Interaktionsmöglichkeiten eines Spiels geplant werden, geschieht das meist im Hinblick auf eine bestimmte Wirkung, die beim Nutzer erreicht werden soll. Das Ziel ist dabei oft, den Spieler aktiv einzubeziehen, ein möglichst intensives Hineinversetzen oder Identifizieren mit künstlichen Charakteren zu bewirken. 3 Interaktion mit autonomen Agenten 21

34 Um diesen Begriff systematisch zu untersuchen, unterscheidet Adams im Kontext von Computerspiele in drei Arten der Immersion (vgl. Adams 2004): Sensorische Immersion tritt bei Spielen ein, deren Gameplay eine schnelle und geschickte Reaktion erfordert und die Konzentration des Spielers auf motorische Abläufe, beispielsweise das Drücken von Tastenkombinationen, lenkt. Zähe Reaktionszeiten, fehlende Intuition und eine unzuverlässige Steuerung zerstören diesen Effekt. Strategische Immersion wirkt bei herausfordernden Aufgaben, die eine ausgeklügelte Kombination und Planung erfordern. Zu starre und durchschaubare, aber auch zu willkürlich agierende Nicht-Spieler-Charaktere oder ein zu hoher Zufallsfaktor verhindern ein Vorausplanen und machen diese Form der Immersion zunichte. Narrative Immersion entspricht dem psychologischen Eintauchen in eine Geschichte, wie es auch beim Lesen eines Buches oder Ansehen eines Filmes eintritt. Eine unrealistische Handlung, unsinnige Dialoge oder flache Charaktere sind Merkmale eines schlechten Storytellings und vermindern somit die narrative Immersion. Interaktive Medieninstallationen werden aus der gleichen Motivation immersiv gestaltet, wie es bei Spielen der Fall ist. Dazu enthalten sie einerseits spielerische, explorative Elemente, ermöglichen dem Spieler eine Navigation durch den virtuellen Raum, beinhalten einen erzählerischen Ablauf 1 oder erfordern seitens des Nutzers das Entwickeln einer Strategie. Medieninstallationen, deren Schwerpunkt die Navigation durch eine 3D- Umgebung durch Körperbewegungen des Nutzers darstellt, müssen einerseits dessen Eingaben schnell, präzise und gemäß den Erwartungen übersetzen, um ein Eintauchen auf sensorischer Wahrnehmungsebene zu erzielen. Beinhaltet eine Installation die Interaktion mit künstlichen Charakteren, wirkt sich ebenfalls, wie auch bei Spielen, die Glaubwürdigkeit deren Handlungen, die Umsetzung und Verarbeitung der Nutzereingaben und die Stimmigkeit des Ablaufs auf das gedankliche Eintauchen aus. Unter diesen Gesichtspunkten werden diese drei Immersionstypen nach Adams zur vorliegenden Untersuchung von Medieninstallationen angewendet. 1 Beispiel für eine Installation mit narrativen Elementen: Cycles, Bisig 2010: Interaktion mit autonomen Agenten

35 Die Besonderheiten der Interaktion mit Gruppen autonomer, untereinander in Verbindung stehender Agenten beeinflussen insbesondere das strategische Vorausplanen und die sensorische Immersion des Nutzers, was Gegenstand von Kapitel 4 ist. 3.2 Interaktive Medieninstallationen und Virtual Reality Die Entwicklung von Medien von Foto über Film bis hin zu Medieninstallationen fordert immer mehr kognitive und physische Teilnahme des Nutzers, der auch nicht mehr als reiner Betrachter, sondern als Teilnehmer angesehen werden kann (vgl. Manovich 2001: 181 ff). Viele Happenings, Performances und Installationen sind zum Mitmachen ausdrücklich bestimmt. Abb. 3.1 Alltagsgegenstände werden zu Eingabegeräten 2 (links). Interaktion mit Agenten virtueller Welten 3 (rechts) In den 1980er Jahren wurden Computer immer mehr zu multimedialen Werkbänken, deren neue Möglichkeiten zur Bild- und Datenverarbeitung, Eingabe und Ausgabe auch in die Umsetzung von Medieninstallationen flossen. Mit unterschiedlichen Eingabetechniken werden hier Veränderungen in der Umgebung oder Aktionen des Nutzers erfasst, vom Computersystem ausgewertet und entsprechend Feedback gesendet, sei es visuell, auditiv, durch mechanische Bewegungen von Installationskomponenten oder auf andere Weisen. Beide Funktionen einer computergestützten Installation, sowohl die Wahrnehmung von Außenreizen und die Ausgabe eines Feedbacks an den Nutzer, müssen nicht zwangsweise über eine Kamera, Maus und Tastatur und Monitor geschehen, sondern können auch in physische Gegenstände integriert sein. So bedient der Nutzer im Falle der Klanginstallation Fine Collection of Curious Sound Objects (Abb. 3.1 links) verschiedene, 2 Quelle: Fine Collection of Curious Sound Objects, Reil, Scheuring: 3 Quelle: Flowspace, Bisig, 3 Interaktion mit autonomen Agenten 23

36 modifizierte Alltagsgegenstände wie Kaffeemühlen und Plastikeimer als alternative Einbzw. Ausgabegeräte. Virtuelle Realitäten erlauben dem Nutzer, eine computergenerierte Umgebung zu betreten und mit den mit den darin enthaltenen Objekten und Figuren zu interagieren (vgl. Maes 1997: 105). Im Gegensatz zum Cinematic Screen stellt der Bildschirm eines VR- Systems keine Grenze zwischen der künstlichen, dargestellten Welt und der physischen Umgebung dar. Vielmehr wird durch eine Skalierung des virtuellen Raums ein Verschwimmen dieser Grenze erzielt (vgl. Manovich 2001: ).Seit den 1990er Jahren werden zunehmend Techniken entwickelt, den Nutzer in eine solche Virtuelle Realität einzubinden und Interaktionen zu ermöglichen. Während die Eingaben des Benutzers zunächst durch Datenhandschuhe oder Videocapturing auf Basis von Markierungspunkten oder speziellen Aufnahmeumgebungen erfasst wurden, gewähren moderne Sensoren mehr Freiraum. Das Feedback der Virtuellen Realität zeigt sich oft auf visuelle Weise, an Monitoren oder Head Mounted Displays, durch Projektion an eine Wand, den Boden, auf Objekte oder den Körper des Nutzers. Systeme wie CAVE oder Flow Space (Abb. 3.1 rechts) arbeiten mit Rundum-Projektion, wohingegen andere Systeme das Paradigma des Spiegelbilds aufgreifen. Die 1997 entwickelte Grundidee des Systems ALIVE, welches eine kabellose Ganzkörper-Interaktion ermöglicht, wird heute u. A. bei der Entwicklung moderner Kamerasensoren wie der Microsoft Kinect aufgegriffen. Das System ermöglicht dem Nutzer, durch Bewegungen und Gesten des ganzen Körpers mit einer virtuellen Figur zu interagieren, wobei durch die Auswertung eines Videobilds auf zusätzliche Eingabegeräte vollends verzichtet wird. Auf einer großen Projektionsfläche ist ein Spiegelbild der Szene sehen, welches um die virtuellen Objekte und Agenten ergänzt ist und dem Nutzer erlaubt, sich bei der Interaktion mit dem System selbst zu sehen. Durch diese Third-Person-Perspektive und die vertraute Funktionsweise eines Spiegels fällt es leichter, die eigenen Handlungen mit den Ereignissen auf virtueller Seite zu verbinden (vgl. Maes 1997: 110). Neben dem visuellen Feedback ist auch akustisches oder anderweitiges Feedback möglich, wobei die Immersion durch das Ansprechen mehrerer Sinne, ebenso wie durch einen aktiven Einbezug des Körpers, verstärkt wird (vgl. Manovich 2001: 182). Eine weitere Dimension, mit der die Wirkung Virtueller Realitäten intensiviert werden kann, ist die Akkuratheit und Glaubwürdigkeit der dargestellten Objekte durch Simulation Interaktion mit autonomen Agenten

37 3.2.1 Simulationen in Virtuellen Realitäten Simulationen werden dazu genutzt, die Art und Weise abzubilden, wie Dinge handeln, reagieren, sich bewegen, wachsen, sich entwickeln, denken oder fühlen (vgl. Manovich 2001: 182). Dabei werden mathematische Konstrukte aus dem Repertoire von Künstlichem Leben, Fraktalen, formellen Grammatiken oder der Komplexitätstheorie eingesetzt, um natürlich wirkende Strukturen und Abläufe, das Verhalten von Charakteren oder ganzer Schwärme aus künstlichen Agenten darzustellen. Auch die Funktionsweisen, die in der Forschung von Schwarmverhalten und Intelligenz abgeleitet werden, dienen der Definition von realistisch wirkenden, künstlichen Charakteren, wie sie in Spielen und Installationen eingesetzt werden. In Abgrenzung zu wissenschaftlichen Simulationen, deren Absicht eine möglichst genaue Annäherung an real existierende Situationen ist, sollen simulierte Elemente hier die Entstehung einer in sich schlüssigen Alternativwelt begünstigen (vgl. Bisig 2010: 45). 3.3 Autonome Charaktere in virtuellen Umgebungen Ein Merkmal Neuer Medien stellt die automatisierte Erzeugung von Inhalt dar. Während bei Low-Level-Automatisierung nur einzelne Arbeitsschritte von Bearbeitungsprogrammen übernommen oder Inhalte anhand von Templates erzeugt werden, liegt bei der Generierung von Verhalten durch ein System High-Level-Automatisierung vor (vgl. Manovich 2001: 32 ff). Diese Herangehensweise wird in der Erstellung natürlicher Strukturen wie Wolken oder Wellen angewandt und lässt das Verhalten von künstlichen Lebewesen oder ganzen Partikel- und Agentensystemen entstehen. Eine besondere Form dieser High-Level-Automatisierung von Inhalt stellt künstliches, humanoides Leben dar, wie es oft in Form von Nicht-Spieler-Charakteren in Spielen zum Einsatz kommt. Hier, wie auch bei anderem künstlichen Leben, ist der sichtbare und erfahrbare Ausschnitt für die Wirkung auf den Nutzer entscheidend. Werden nur bestimmte Interaktionen seitens des Nutzers erlaubt und nur bestimmte Verhaltensweisen des Charakters dargestellt, entsteht im Verlauf der Interaktion der Eindruck eines vollständigen, intelligenten Wesen obwohl nur dessen sichtbarer bzw. wahrnehmbarer Bereich durchkonzeptioniert und implementiert ist. Erst durch diese Interaktion, so Manovich, werden Inhalte vervollständigt, die zunächst von Designern und Programmierern entwickelt und durch den Computer automatisiert erzeugt werden. Künstliche Agenten in virtuellen Welten sind aufgrund ihrer High-Level-automatisierten Erstellung und ihren Besonderheiten bei der Interaktion mit dem Nutzer für die folgenden 3 Interaktion mit autonomen Agenten 25

38 Untersuchungen zentral. Maes et al. definieren künstliche Agenten als autonomously behaving entities that have their own sensors and goals and that can interpret the actions of the participant and react to them in interactive time (vgl. 1997: ). Die Modellierung eines autonomen Agenten umfasst demnach: Virtuelle Sensoren zur Wahrnehmung der virtuellen Umgebung, zu welcher auch andere Charaktere und die virtuelle Repräsentation des Nutzers zählen Auslösemechanismen für Zustandsänderungen Motivation und interne Bedürfnisse, welche durch Variablen dargestellt werden, die unter bestimmten Bedingungen ansteigen oder absinken Verhaltensweisen und Bewegungsfunktionen Die Installation ALIVE zeigt exemplarisch eine solche Modellierung anhand eines cartoonhaften Hundes (Abb. 3.2), welcher seine Autonomität durch eine Kombination aus Verhaltens- und Motivationsmodellierung erhält. Das Projekt ermöglicht bereits 1997 eine rein videobasierte, kabellose Interaktion durch Körperbewegungen. Abb. 3.2 Interaktion mit einzelnen, autonomen Agenten 4 (links) und Gruppen autonomer Agenten (rechts) Neben den Aktionen wie fressen oder bellen verfügt der künstliche Charakter über interne Bedürfnisse wie Hunger und Aufmerksamkeit, virtuelle Sensoren und eine Steuerungseinheit, welche beispielsweise abhängig des Abstands zum Nutzer bestimmte Aktionen ausführt. Während das ALIVE-System optische Veränderungen im Blickfeld einer Kamera wahrnimmt und somit Eingaben in Form von Körperbewegungen ermöglicht, erhält der Nutzer ein visuelles Feedback auf dem Bildschirm. Aufgrund der Autonomität des künstlichen Charakters kann dabei nicht von offensichtlicher, direkter Manipulation gesprochen 4 Quelle: Maes 2007: Interaktion mit autonomen Agenten

39 werden, sondern von indirekter Interaktion, die jeder Geste eine situationsabhängige Bedeutung verleiht (vgl. Maes 1997: 110). Nicht nur der aktuelle Kontext, sondern auch vorangegangene Ereignisse werden dabei berücksichtigt. Das Konzept, natürliche Verhaltensweisen zu abstrahieren und als High-Level- Automatisierung zur Erzeugung von Inhalten, insbesondere künstlicher Agenten zu verwenden, wird auch zur Entwicklung von Multi-Agenten-Systemen herangezogen. Jedoch zeigen diese Systeme häufig nur einzelne, komplexe Verhaltensweisen, die aus der Berücksichtigung der autonomen Agenten untereinander entstehen so auch das aus einzelnen Steuerungsverhalten zusammengesetzte Flocking im Falle von Reynolds Boids- Systemen (vgl. Maes 1997: 107). Soll das Schwarmthema in einer interaktiven Installation aufgegriffen werden, besteht eine Möglichkeit darin, eine Gruppe autonomer Agenten zu implementieren und deren Verhaltensrepertoire gemäß dem oben aufgeführten Modell zu ergänzen, sodass diese den Nutzer wahrnehmen und entsprechend in ihre Aktionen einbeziehen. 3 Interaktion mit autonomen Agenten 27

40

41 4 Schwarminstallationen Der allgemeine Begriff des Schwarms umfasst verschiedene Beobachtungen in der Natur, vom einfachen Zusammenhalt eines Tierverbands über kollektive Bewegungsabläufe und komplexe Verhaltensweisen. Diese Aspekte werden in unterschiedlichen Disziplinen wie der Biologie, Informatik und Robotik, Sozialwissenschaften oder Wirtschaft untersucht und finden letztendlich auf breitgefächerter Palette Anwendung. In interdisziplinären Projekten werden die fachlichen Hintergründe genutzt und kombiniert, um die Thematik aus neuen Winkeln zu beleuchten und neue Erkenntnisse zu gewinnen. Von der Unvorhersehbarkeit, Anpassungsfähigkeit und Emergenz der Systeme und Algorithmen, die aus solchen Forschungen entstehen, profitiert auch die Kunst. Abläufe und Strukturen, die sonst manuell und starr modelliert, animiert oder anderweitig festgelegt werden, können nun gemäß den Regeln solcher Schwarmsysteme generiert werden. Neben der technischen Anwendung dieser Prinzipien werden Schwärme auch inhaltlich aufgegriffen und bilden die Grundlage für Medieninstallationen, in welchen der Nutzer mit Gruppen künstlicher, autonomer Agenten auf verschiedene Weisen interagiert. In diesem Kontext ist es wichtig, zunächst zu untersuchen, worin die Faszination von Schwärmen als Naturphänomen begründet ist. 4.1 Schwärme im kulturell-wissenschaftlichen Diskurs Schwärme, allen voran die seit dem Altertum als Nutztiere gehaltene Honigbiene, faszinieren durch ihre kollektiven Bewegungen und wecken jeher das Interesse, den internen Abläufen auf den Grund zu gehen (vgl. Tautz 2011). Dabei sind die Empfindungen gegenüber allen Schwarmphänomenen ähnlich, auch wenn es bei Schwarmverhalten eher um die kollektiven Bewegungen und bei Schwarmintelligenz eher um die Erbringung einer kollektiven Leistung geht: Gemeinsam ist, dass sich viele Tiere abzustimmen scheinen und durch das Zusammentragen ihrer Fähigkeiten und Aktionen irgendetwas neues, überraschend komplexes vollbringen womöglich, ohne davon zu wissen oder selbst einen Überblick davon zu haben. Untersuchungen zu Beginn des 20. Jahrhunders beschreiben Schwärme als geheimnisvollen, unberechenbaren Superorganismus und sprechen ihnen gar telepathische Fähigkeiten zu (vgl. Weber 2010: 25). Gemäß Autoren dieser Zeit ist es der Spirit of the Hive, über dessen kollektive Wahrnehmung jedes Schwarmmitglied gesteuert wird. Theorien über die 4 Schwarminstallationen 29

42 Kommunikation unter den Schwarmmitgliedern, beispielsweise den Schwänzeltanz von Bienen nach Karl von Frisch, werden zunächst ignoriert. Auch die Belletristik greift das Phänomen des Schwarms auf. Weber verweist auf den 1930 erschienenen Science-Fiction- Roman First and Last Men, der angreifende Aliens als intelligente, global agierende, transnationale, instant telekommunizierende und dezentrale Schwärme bezeichnet und somit die damalige, wissenschaftliche Diskussion einbezieht. Unter Verwendung von Analogien aus der Physik, Biologie und Telekommunikation wird im Roman schrittweise die Selbstorganisation und Emergenz der dort beschriebenen Alienschwärme konstruiert. Ähnlich basiert Frank Schätzings Der Schwarm (2004) auf Recherchen der Bereiche Biologie, Verhaltensforschung und Künstlicher Intelligenz. Insgesamt hat die Vorstellung von Schwärmen bis heute ihre Form behalten, die aus dem literarisch-wissenschaftlichen Diskurs entsteht (vgl. Weber 2010: 25). Die Faszination und das Interesse, Schwärme und deren Verhalten zu erklären, sind möglicherweise auch in der generellen Fremdartigkeit begründet, die sich in der Interaktion zwischen einem Individuum und einer einzelnen Einheit innerhalb des Schwarms zeigt. Die meist dichte Ballung macht es einerseits fast unmöglich, nur zu einem separaten Schwarmmitglied zu kommunizieren, andererseits kann aus den Aktionen eines oder weniger Entitäten eine Aktion auf Schwarmebene emergieren. Versucht ein Imker, den Kontakt zu einer einzelnen Biene aufzunehmen, die sich in diesem Moment im Schwarmverband befindet die unterschiedlichen Wahrnehmungen beider Lebewesen außen vorgelassen interagiert er automatisch mit dem Schwarm als Ganzes. Man tritt also einem realen Schwarm entweder als unbeachtetes Hindernis entgegen, als Bedrohung oder Anziehungspunkt, wobei es unmöglich ist, direkt und ausschließlich mit einzelnen Schwarmtieren in Kontakt zu treten. Die Wirkung von Schwärmen als fremdartige, unheimliche, unkontrollierbare Lebensform, wie sie in vielen Romanen oder Spielfilmen erzeugt wird, zeigt, wie Schwärme in den Medien, früher wie heute, verstanden werden. Doch über die Erfolge solcher Bücher und Filme lässt sich nicht rückschließen, wie Tierschwärme allgemeinhin auf Menschen wirken. Eine Ausnahme bildet die Wirkung von Unkontrollierbarkeit und Unüberschaubarkeit, die in Manchem Ekel oder Unbehagen hervorrufen mag und welche auf den Verwirrungseffekt zurückgeführt werden kann. Dieser Effekt des Schwarmverhaltens, Angreifer durch die unscharfen, veränderlichen Konturen der Schwarmmasse zu irritieren, wird als einer der evolutionären Gründe für das Zusammenfinden von Schwärmen genannt (vgl. Krause, Ruxton, Krause 2009: 30). Jedoch werden Schwärme aufgrund ihrer wogenden, gleichmäßigen Bewegungen auch als mitreißend, harmonisch und spontan empfunden, als Simultan-Gestalten in beständiger Um-Bildung (vgl. Brandstetter 2007: 71). Diese und weitere 30 4 Schwarminstallationen

43 Erfahrungen oder Emotionen im Zusammenhang mit Schwärmen sind subjektiv und eignen sich daher nur eingeschränkt dazu, eine Aussage darüber treffen, welche Bedeutung die Schwarmthematik auf Medieninstallation hat ebenso wenig kann die Wirkung von Installationen auf den Betrachter nur anhand des Schwarmthemas generalisiert werden. Im Gegensatz hierzu lässt sich die Bedeutung der Schwarmthematik auf die technische und konzeptuelle Ebene einer Medieninstallation strukturiert untersuchen. Schwärme können, als komplexe Systeme betrachtet, als Regelwerk zur Generierung von Strukturen oder Abläufen verwendet werden und sich somit auf die technische Umsetzung einer Installation auswirken. Wenn Schwärme nicht nur die generative Programmlogik inspirieren, sondern auch inhaltlich Thema der Installation sind, bestehen auch konzeptionelle Auswirkungen auf die Installation. Insbesondere die Planung der Interaktionen zwischen Nutzer und künstlichem Schwarmsystem stehen hier im Mittelpunkt. 4.2 Generierte Kunst auf Basis von Schwarmsystemen Schwärme werden komplexe Systeme betrachtet, die in der Generativen Kunst zur Erzeugung von emergenten Strukturen, Bewegungen oder Abläufen angewendet werden. Um die Auswirkungen des Schwarmthemas auf Kunstinstallationen zu untersuchen, wird zunächst der Zusammenhang zwischen den Wissenschaften und Generativer Kunst betrachtet. Von großer Relevanz für diese Arbeit stellt dabei Generative Kunst dar, die auf komplexen Systemen beruht. Daher muss zunächst geklärt werden, was Generative Kunst ist und ob bzw. inwieweit Schwärme Teil der Komplexitätstheorie sind Generative Kunst und Komplexe Systeme Wird die Kontrolle über die Entstehung und Veränderung eines Werks zu einem gewissen Grad an ein externes System übergeben, bezeichnet man dieses als generativ oder prozedural. Die Gesetzmäßigkeiten dieser Systeme werden dabei Mathematik, chemischen oder physikalischen Prozessen und Beobachtungen der Natur entliehen. Galantier fasst Werke dieser Entstehungsweise als Generative Kunst wie folgt zusammen: "Generative art refers to any art practice where the artist uses a system, such as a set of natural language rules, a computer program, a machine, or other procedural invention, which is set into motion with some degree of autonomy contributing to or resulting in a completed work of art." (vgl. Galanter 2003: 4) 4 Schwarminstallationen 31

44 Die Generierung eines solchen Werks bezieht sich dabei lediglich auf die Vorgehensweise und nicht auf dessen Inhalt. Ebenso verläuft diese Generierung nicht zwangsläufig computergestützt und hochtechnisiert. Der Grundgedanke der Generativen Kunst, Muster auf Basis eines abstrahierten Systems zu erstellen, besteht bereits seit dem Mittelalter, wie die kunstvollen Kachelmuster der islamischen Welt zeigen (vgl. 2003: 12). Abb. 4.1 Generative Kunst: "Process 4" (Reas 2010), Visualisierung der wirkenden Kräfte (links) und Endergebnis (rechts) Die generative Vorgehensweise wird bei der Betrachtung der Software-Reihe "Process" von Casey Reas 1 deutlich. Jeder "Process" zeigt eine Menge an Elementen, deren Typus durch eine geometrische Form und eine Kombination verschiedener Bewegungsregeln definiert ist. Teil der Arbeiten sind kurze Texte, die neben ihrem Inhalt auch zur technischen Erzeugung der Struktur herangezogen werden, indem sie den Raum definieren, welcher von den einzelnen Elementen iterativ erkundet wird (vgl. Reas 2010). Die Systeme, welche zur Erzeugung von Generativer Kunst herangezogen werden, weisen einen unterschiedlichen Grad an Ordnung bzw. Regellosigkeit auf und erstrecken sich dabei von Abfolgen geometrischer Regeln, über Fraktale und L-Systeme bis hin zu Chaosund Random-Systemen. Systeme mittleren Ordnungsgrades weisen dabei die höchste Komplexität auf, wie Abb. 4.2 zu entnehmen ist. Der erleichterte Zugang und die zunehmende Auswahl an technischen Möglichkeiten, wie sie beispielsweise unter dem Stichwort Creative Coding gesammelt sind, bewirkt, dass immer häufiger jene komplexen Systeme zur Generierung von Kunst herangezogen werden. Dieses recht junge Feld der Komplexitätsforschung befasst sich eingehend mit neuen, computergestützten Techniken, was in den Eigenschaften komplexer Systeme begründet ist: Ein komplexes System zeichnet sich dadurch aus, dass dessen zahlreiche, kleine Teile oder Komponenten lokal miteinander interagieren und sich ohne externes Zutun auf diese Weise selbst organisieren. Interessant ist dabei die Tatsache, dass die Merkmale und Auswirkungen des Systems willkürlich oder zufällig erscheinen, obwohl den einzelnen Komponenten nachvollziehbare Abläufe aus Ursache und Wirkung, also nicht zwangsläufig komplexe Regelwerke, zugrunde liegen (vgl. Galanter 2008). Jedoch ist es unmöglich, 1 Initiator des Open-Source-Projekts "Processing" 32 4 Schwarminstallationen

45 sämtliche Auslöser einer Reaktion dieses Systems zu erfassen und zu untersuchen, da diese so verschachtelt oder von scheinbar vernachlässigbarem Einfluss sind, dass sie sich unserer Wahrnehmung entziehen. Entsprechend ist es auch nicht möglich, komplexe Systeme exakt vorherzusehen was die Bemühungen antreibt, sich diesen Systemen zumindest durch Simulationen anzunähern. Abb. 4.2 Generative Art Systems (Galanter 2008: 10) Eine hohe Komplexität wird daher jenen Systemen zugeordnet, welche über evolutionäre Eigenschaften verfügen. Galanter führt in diesem Zusammenhang neben Genetischen Systemen auch Künstliches Leben auf. Künstliches Leben betrachtet Lebewesen in einem mathematisch-theoretischen Kontext und beschreibt sie als komplexe, adaptive Systeme, die den Prinzipien der Selbstorganisation und Emergenz unterliegen (vgl. Bisig 2010: 42). Künstliche Schwärme zählen somit zu den Komplexen Systemen. Komplexe Systeme und Generative Kunst greifen nicht nur auf gemeinsame, computergestützte Werkzeuge zurück, sondern weisen auch eine ähnliche Vorgehensweise auf (vgl. Bisig 2010: 42-44). Beide Felder beschäftigen sich mit der Abstraktion und Formalisierung ursprünglich nicht-technischer Phänomene, welche als künstliche Prozesse implementiert werden. Die Unvorhersehbarkeit und Eigenständigkeit dieser Systeme bildet dabei den Untersuchungsschwerpunkt. Die Simulationen, die auf Basis dieser abstrahierten, natürlichen Modelle entstehen, werden der Forschung zumeist um Funktionen ergänzt, die weiterführende Untersuchungen ermöglichen. Systeme, die in der Generativen Kunst eingesetzt werden, erfahren ebenfalls eine Vermischung der natürlich anmutenden und künstlichen Eigenschaften und verändern die Grenzen zwischen Vertrautheit und Fremdheit (vgl. 2010: 44). 4 Schwarminstallationen 33

46 4.2.2 Schwärme als regelgebende Systeme der Generativen Kunst Schwärme und schwarmspezielle Verhaltensweisen und Problemlösestrategien, wie sie in der Natur beobachtet werden können, werden in abstrahierter Form als Komplexe Systeme untersucht. Ausschlaggebend für diese Betrachtung ist die Eigenschaft von Schwärmen, bei der Lösung von Problemen Muster zu erkennen und selbst zu erzeugen, was sich insbesondere bei der Futtersuche, dem Nestbau, Sammeln und Sortieren von sozialen Insekten zeigt (vgl. Beni 2005: 3 und Bonabeau 2010). Auch die kollektive Bewegung, beispielsweise der Flug von Staren oder Bienen, kann als komplexes System zur Generierung von Kunst herangezogen werden. Dabei werden die Algorithmen, die aus wissenschaftlichen Simulationen entnommen oder Modellen abgeleitet werden, an Gestaltungsregeln gekoppelt. Diese Koppelung kann am Beispiel von Generativer Musik auf drei Wege erfolgen (vgl. Monmarché 2007: 229 nach Todd, Miranda 2003): 1. Die Musik gibt die Bewegungen der Agenten wieder, wobei sich diese nicht bewusst sind, was sie produzieren. Die so entstehende Musik kann demnach als Repräsentation der künstlichen Welt angesehen werden. 2. Jedes Individuum erzeugt Musik, von welcher das Überleben des Agenten abhängt. Es handelt sich hierbei um einen evolutionstechnischen Ansatz. 3. Agenten erzeugen Musik, welche wiederrum Einfluss auf das Verhalten der anderen Agenten nimmt. Diese drei Gestaltungmethoden lassen sich ebenso auf die Generierung von visueller Kunst beziehen. Monmarché et al. wenden die Vorgehensweisen 1. und 3. auf ein System künstlicher, untereinander interagierender Ameisen auf Basis des ACO Algorithmus an, deren Ergebnisse sowohl Musik, als auch Grafiken sind. Abb. 4.3 zeigt die Ergebnisse der generativen Webanwendung, welche die stigmergetischen Vorgänge des Systems abstrahiert und durch Linien visualisiert, die im Laufe der Zeit verblassen und sich gegenseitig überlagern, sodass eine veränderliche Struktur entsteht. Das interaktive Applet bietet die Möglichkeit, mit unterschiedlichen Werten für Farbgebung, Größe, Ausgangsposition und Richtung zu experimentieren und auf diese Weise stets neue Generationen von Mustern heranwachsen zu lassen. Das gleiche System künstlicher Ameisen bildet die Grundlage zur automatischen Generierung von Musikstücken, wobei die Entscheidungen der einzelnen Agenten nicht visualisiert, sondern an die Frequenz und Dauer von Tönen gebunden werden (siehe Abb. 4.4) Schwarminstallationen

47 In beiden Fällen verändern sich die Pfade der Ameisen, was zu einer Evolution des Musters bzw. der Melodie in Echtzeit führt (vgl. Monmarché 2007). Abb. 4.3 Ameisen folgen Pfaden der eigenen Farbe und generieren Strukturen. Links: Nach 10 5 und 10 6 Iterationen. Rechts: Eine Fotografie dient als Pheromonfeld. 2 Abb. 4.4 Generierte Melodie aus drei klingenden und zehn stummen künstlichen Ameisen (vgl. Monmarché et al. 2007: 233) 4.3 Schwärme als künstlerisches Gestaltungsmittel Komplexe Systeme auf Basis von konkreten Schwarmverhaltensweisen und Eigenschaften können dazu genutzt werden, Strukturen und Abläufe zu generieren. Trotz des Bezugs zu Schwärmen handelt es sich bei dieser Generierung nur um eine Herangehensweise, die in keiner Verbindung zum Inhalt des Werkes stehen muss (vgl. Galanter 2003). Im Gegensatz hierzu ist es ebenfalls denkbar, im Rahmen einer Installation das Schwarmphänomen inhaltlich zu thematisieren, ohne dabei auf technischer Ebene auf ein Schwarmsystem zurückzugreifen. Handelt sich dabei jedoch um eine softwarebasierte Medieninstallation, so impliziert die Thematisierung von Schwärmen auch gleich die Verwendung eines Schwarmsystems andernfalls müssten die Schwarmelemente der Installation manuell animiert werden, was dem ursprünglichen Gedanken, die selbstorganisierten und emergenten Eigenschaften von Schwärmen für Generative Kunst nutzen, widerspricht. Installationen, die jedoch sowohl in ihrer generativen Umsetzung als auch inhaltich von Schwärmen inspiriert sind, werden fortan als Schwarminstallationen bezeichnet. 2 Quelle: Monmarché et al bzw. 2007, 4 Schwarminstallationen 35

48 Doch abgesehen von der technischen Machart stellt sich die Frage, welche Aspekte von Schwärmen inhaltlich aufgegriffen werden. Stichworte wie Künstliche Intelligenz, verteilte Funktionsweise und kollektive Dynamik lassen sich auf die beiden zentralen Eigenschaften von Schwärmen, der Emergenz und dezentralen Selbstorganisation, herunter brechen (vgl. Krause, Ruxton, Krause 2009:28 und Bisig 2010: 42): Emergenz. Häufig thematisiert wird die Eigenschaft von Schwärmen, die aus dem Zusammenspiel vieler Entitäten ein neuer Effekt auf Makroebene ergibt. Selbstorganisation. Unter keinem oder eingeschränktem Zutun von außen erkennen die Agenten eines Schwarms Muster bzw. erzeugen sie selbst und werden dabei von keiner zentralen Instanz gesteuert. Auf Veränderungen erfolgt eine unmittelbare, kontinuierliche Anpassung. Beide Grundeigenschaften sind darauf zurückzuführen, dass ein Schwarm aus einer Vielzahl miteinander interagierender, autonomer Agenten besteht. Bei realen Tierschwärmen sind die Möglichkeiten recht eingeschränkt, in diese Interaktion einzugreifen oder daran teilzunehmen. Simulationen ermöglichen, Situationen oder Konstellationen aus Akteuren zu definieren, die in der Realität nicht auftreten (vgl. Bisig 2010: 45). Es ist denkbar, dass die Faszination an der Simulation von Schwärmen darin begründet ist und damit einhergehend die Thematisierung in computergestützten Installationen. Gegenstand dieser Untersuchung sind Schwarminstallationen, die dem Nutzer auf unterschiedlich komplexe Weise eine Interaktion mit einem Schwarmsystem ermöglichen. Je nach Art der Interaktion müssen hierzu die Verhaltensmodelle der Schwarmagenten um Funktionen erweitert werden, welche die Eingaben des Nutzers verarbeiten Interaktionskonzepte bei Anwendungen mit Schwarmthematik Messverfahren und Sensoren, welche Biologen bei der Beobachtung von Schwärmen in der Natur oder unter kontrollierten Versuchsbedingungen zur Verfügung stehen, ermöglichen wichtige Rückschlüsse über die internen Abläufe dieser Systeme. Erst durch das Einschleusen lebensnaher Schwarmroboter in reale Schwärme werden Versuche unternommen, über diese Außenansicht hinweg auch Einblicke in das Innere von Schwärmen zu erhalten (vgl. Krause, Couzin et al. 2010). Simulationen ermöglichen hingegen eine freie Wahl der Betrachtungsperspektive und zahlreiche Möglichkeiten der Kontrolle und Interaktion, wobei folgendes im weiteren Verlauf näher betrachtet wird: Manipulieren von Umweltfaktoren, Anzahl und Eigenschaften der Entitäten 36 4 Schwarminstallationen

49 Interaktion des Nutzers durch einen schwarminternen oder externen Avatar Interaktion des Nutzers in der Rolle eines Schwarms Werden die Schwarmmodelle, die diesen Simulationen zugrunde liegen, in einem künstlerischen Kontext eingesetzt und zur Implementierung von Schwarminstallationen verwendet, spielen diese Interaktionsmöglichkeiten aufgrund der Besonderheiten autonomer, künstlicher Schwarmagenten eine entscheidende Rolle. Interaktion durch Parametermanipulation, Einflussnahme und Repräsentation Schwärme und deren zugrunde liegenden, wissenschaftlich beschriebenen Modelle werden als komplexe Systeme zur Erzeugung Generativer Kunst angewendet. Das generative Prinzip, die Kontrolle über die Entstehung und Veränderung des Werks an ein externes System abzugeben, wird auch dann beibehalten, wenn interaktive Elemente in dessen Konzept einfließen. Die einfachste Form der Interaktion stellt dabei die Manipulation der Systemparameter und Umgebungsvariablen dar, die es dem Nutzer ermöglichen, das implementierte Schwarmsystem gezielt oder auf explorative Weise zu beeinflussen. Im Gegensatz hierzu gibt es auch unzählige Möglichkeiten, den Nutzer in das Geschehen einzubinden und aktiv oder passiv, direkt oder indirekt mit dem künstlichen Schwarm interagieren zu lassen. Abb. 4.5 Swarm Light, Installation (2010) 3, rechts: Swarms, Tanzperformance (2009) Schwarminstallationen 37

50 Im Kontrast zu dieser wissenschaftlich wirkenden, generativen Schwarmapplikation stehen Installationen, welche über die klassische Interaktion via Maus und Tastatur hinweg die Grenzen des virtuellen Raums auf eine physische Ebene erweitern. Die Installation Swarm Light (Abb. 4.5) repräsentiert die Bewegungen eines Schwarms in Form von Licht. Die in hängenden Ketten angeordneten Leuchtdioden werden einzeln angesteuert, sodass sich aus ihrem Leuchten der Eindruck eines fliegenden bzw. schwimmenden Kollektivs ergibt. Die Installation reagiert auf die Bewegungen und Geräusche im Raum, wodurch der Betrachter kontinuierlich durch die Veränderung der eigenen Position und Bewegungsrichtung, aber auch diskret durch Klatschen, auf das künstliche System einwirken kann. Der Schwarm bewegt sich dabei als zusammenhängende Wolke, flieht langsam vor dem Betrachter und zerbirst bei einem lauten, plötzlichen Geräusch in viele Teilschwärme. Eine weitere interaktive Installation mit Schwarmhintergrund ist Swarms (vgl. Bisig 2009). Basierend auf dem Boids-Modell zur Implementierung von Schwarmverhalten werden im Rahmen einer Performance zahlreiche Partikel an eine Wand projiziert, deren Verhalten durch die kontinuierliche Bewegung und Haltung eines Tänzers beeinflusst werden. Durch die Ballung und Anziehung der Agenten entsteht ein Eindruck der Repräsentation des Tänzers durch den künstlichen Schwarm an der Wand. Die Kontrolle des Schwarmsystems unterliegt dem Tänzer dabei nur teilweise die Schwarmobjekte werden nicht nur durch dessen Körperbewegungen gesteuert, sondern unterliegen, gemäß dem Modell nach Reynolds, zusätzlich den Anziehungs-, Abstoßdungs- und Orientierungskräften untereinander. Diese Werke zeigen beispielshaft, wie Schwarmverhalten und intelligente, kollektive Problemlösestrategien zur Generierung von Anwendungen mit unterschiedlichen Interaktionskonzepten genutzt werden können. Besonders hohes Interesse besteht dabei, subjektiv gemessen an der Menge der Publikationen, in kollektiven Bewegungsphänomenen und der schwarmintelligenten Futtersuche. Für viele dieser Verhaltensweisen existieren bereits Modelle und Simulationen wie das Boids-Modell, ACO oder PSO, die als Grundlage für die Agentensysteme einer Schwarminstallation übernommen werden. Wird jedoch im Konzept ein bisher nicht implementiertes Verhaltensmuster aufgegriffen, muss bei der Modellierung des Multiagentenystems rückwärts vorgegangen werden, beginnend auf der Ebene des kleinsten Elements. Verhaltensmodellierung von Schwarmagenten auf Basis von Interaktionskonzepten In vielen Spielen oder interaktiven Installationen begegnet der Nutzer virtuellen Figuren oder Gruppen. Verhaltensmodelle beschreiben dabei die Aktionen, Eigenschaften und 38 4 Schwarminstallationen

51 Zustände dieser künstlichen Charaktere und stellen zudem die Verbindungen zu den Eingaben des Nutzers her. Ist ein hoher psychologischer Einbezug des Nutzers erwünscht, dürfen diese Charaktere nicht zu starr umgesetzt sein und müssen über eine gewisse Eigenständigkeit verfügen, um ausreichend auf die Aktionen des Spielers reagieren zu können. Das Verhaltensmodell des in Kapitel 3.3 beschriebenen, animierten Charakters des Systems ALIVE (1997) ist in der Lage, auf adaptive, autonome Weise mit dem Nutzer zu interagieren. Ursprung dieser Forschungsbemühungen sind die unterschiedlichen Ansätze Ende der 1990er Jahre, die Animation von künstlichen Charakteren zu automatisieren und diese natürlicher und glaubwürdiger zu gestalten. Reynolds lässt dabei Verhaltensmodelle und Künstliche Intelligenz in die Animation von Agenten einfließen, wobei auch hier die realistische Modellierung einer konkreten Verhaltensweise, u. A. Schwarmverhalten, und nicht die Interaktion mit einem Nutzer vordergründig ist (vgl. Maes et al. 1997). Das ALIVE- Projekt kombiniert bei der Modellierung autonomer Charaktere neben Verhaltensweisen, Motivationen und Bedürfnissen eine interne Sensorik, die nicht nur Hindernisse oder andere Charaktere im künstlichen Raum erkennt, sondern auch die virtuelle Repräsentation des Nutzers einbezieht. Auch die kollektiven Bewegungen und Abläufe eines künstlichen Schwarms basieren auf der Wahrnehmung der lokalen Umwelt eines jeden Agenten, im Falle von Reynolds Boids-Modell in der Anwendung von Abstoßungs-, Anziehungs- und Orientierungskräften. Ist nun eine Interaktion zwischen diesem Schwarmsystem und einem Nutzer geplant, die über die Konfiguration von Systemparametern hinausgeht, wird dieses Verhaltensrepertoire auf Individualebene erweitert. Jene Funktionen, die auf Kollektivebene zu selbstorganisatorischen und emergenten Effekten führten, ziehen nun auch die Eigenschaften oder Handlungen des Nutzers mit ein. Diese Form der "Interaktion mit einer Gruppe autonomer Agenten" (vgl. Reynolds 2000) erfordert daher eine gesonderte Betrachtung der Verhaltensmodelle. Am Beispiel des Playstation2-Minispiels "Pigeons in the Park" (2000), in welchem der Spieler einen virtuellen Schwarm Tauben aufschreckt, zeigt Reynolds eine Möglichkeit der Interaktion mit derartigen Agentensystemen auf: Der Spieler steuert ein virtuelles Spielzeugauto, mit welchem er die Tauben durch den Park jagt und löst durch Knopfdruck ein Klatschgeräusch aus. Der Zustand walk einer Taube wechselt in fly, wenn sich das Auto in kritischer Nähe aufhält, sich eine bestimmte Anzahl an aufgeschreckten Tauben im Umkreis bereits in der Luft befindet oder das laute Geräusch zu vernehmen ist. Als Resultat auf Makroebene flüchten die Tiere am Boden und heben schließlich ab, wobei sie stets im Verband ihres Schwarms bleiben oder Teilschwärme gemäß eines 2- bzw. 3D-Boids-Modells bilden. Um diese Reaktionen auf Kollektivebene herbeizuführen, verfügt auch jede Taube über einen 4 Schwarminstallationen 39

52 Alarmierungsgrad, welcher bei Über- oder Unterschreiten bestimmter Grenzwerte Aktionen auslöst. Im Gegensatz zum einzelnen, autonomen Charakter in ALIVE reagieren Agenten aus Reynolds Schwarmsystem nicht nur auf die eigenen ansteigenden oder herabsinkenden Werte, sondern auch auf die der benachbarten Agenten, was entsprechend eine Kettenreaktion unter den Tauben auslöst. Auch komplexe Verhaltensweisen auf Kollektivebene, die aus mehreren, aufeinanderfolgenden Phasen bestehen oder bestimmte Akteurskonstellationen und Situationen voraussetzen, können gemäß diesem Ansatz modelliert werden. Abb. 4.6 Verhaltensmodell der Tauben aus "Pigeons in the Park" (basierend auf Reynolds 2000) Zentral ist dabei, ähnlich wie in der Verhaltensbiologe, die Frage, aus welchen Verhaltensregeln auf Individualebene das kollektive Verhalten emergiert. Aufgrund der Eigendynamik eines Schwarmsystems ist es zudem nie abzusehen, wie ein künstlicher Schwarm nach dieser Modellierung mit dem Nutzer interagiert. Da selbst ein nicht-interaktives Schwarmsystem keine exakten Vorhersagen zulässt, beispielsweise über die Bewegungsrichtung eines Schwarms, so kann man auch nur abschätzen, ob der Reiz des vom Nutzer gesteuerten Auto ausreicht, um den Taubenschwarm in Bewegung zu versetzen. Abb. 4.7 Nutzer interagiert mit Schwarm (links), Nutzer interagiert über Schwarm A mit Schwarm B (rechts) Steht nun der Nutzer nicht als einzelner, virtueller Avatar einem Schwarm gegenüber, sondern befindet sich selbst in der Rolle eines Schwarms, besteht diese Unvorhersehbarkeit und Eigendynamik auf beiden Seiten der Interaktion. Der Nutzer beeinflusst mit seinen Eingaben eine Vielzahl untereinander interagierender, autonomer Agenten, die wiederum auf Mikroebene die Agenten anderer Schwärme wahrnehmen (Abb. 4.7). Diese semidirekte Kontrolle eines Agentensystems durch den Nutzer und dessen Interaktion mit 40 4 Schwarminstallationen

53 einem zweiten, vollständig autonomen Schwarm wird in Kapitel 5 als Fallbeispiel modelliert und näher untersucht Auswirkungen des Schwarmthemas auf Wirkung und Immersion Bei der Interaktion zwischen dem Nutzer und einem künstlichen Schwarm führt die Autonomität der Agenten und deren emergentes Zusammenspiel dazu, dass das Verhalten des Schwarms als Ganzes nicht exakt vorherzusagen ist. Diese Dynamik, Spontaneität und Unkontrollierbarkeit, wie sie auch für reale Schwärme typisch ist, legt die Frage nahe, ob der kollektive Verband der Agenten Auswirkungen auf die theoretische Qualität der Interaktion und Immersion hat. Nach Crawford weist eine Anwendung eine hohe Interaktivität auf, wenn die Schritte des sinnbildlichen Hörens, Denkens und Sprechens, die von beiden Interaktionspartnern nacheinander ausgeführt werden, von guter Qualität sind. Die Art und Weise, auf die der Nutzer eine Eingabe tätigt, sei es mit gezielten Mausklicks, mit intuitiven Gesten vor einem Kamerasensor oder durch unsichtbare Schnittstellen, ist dabei von Relevanz. Jedoch gelten die Regeln für eine gute Hören -Funktion der Anwendung (siehe Kapitel 3.1) für alle Interaktionskonzepte gleichermaßen, weswegen hier von der Art der Schnittstelle abgesehen werden soll. Stattdessen wird zunächst untersucht, welche Besonderheiten bei Anwendungen bestehen, die dem Nutzer aus unterschiedlichen Perspektiven Interaktionen mit virtuellen Schwärmen ermöglichen. Manipuliert der Nutzer die Parameter des Schwarmsystems oder der Umwelt, oder steuern dessen Eingaben einen virtuellen Avatar, reagieren die einzelnen Agenten direkt auf die neue Konfiguration bzw. den virtuellen Charakter. Die wahrgenommenen Eingaben werden meist unverändert in die virtuelle Welt übertragen. Wird der Nutzer nicht durch einen einzelnen Avatar, sondern als Schwarm im virtuellen Raum repräsentiert, werden dessen Eingaben in schwarmspezielle Aktionen übersetzt, wobei je nach Verhaltensmodell kein gezieltes Steuern, sondern lediglich ein Beeinflussen möglich ist. Demnach entspricht die vom Nutzer ausgesendete Antwort im Laufe eines Interaktionszyklus aufgrund der Verarbeitung durch das Schwarmsystem nicht jenen Informationen, die später von den einzelnen, autonomen Agenten außerhalb des eigenen Schwarms wahrgenommen werden. Ist dieser Unterschied für den Nutzer spürbar oder erkenntlich, beispielsweise durch die Darstellung der eigenen, virtuellen Repräsentation in Echtzeit, kann dies als schlechtes Erkennen auf Seite der Anwendung interpretiert werden. Insgesamt ist eine ungenaue Übersetzung der Eingabe des Nutzers jedoch nicht gleichzeitig Merkmal schlechter Inter- 4 Schwarminstallationen 41

54 aktionsqualität, sondern ist in den emergenten, dezentralen Eigenschaften von künstlichen Schwärmen begründet. Zur Untersuchung des psychologischen Einbezugs des Nutzers wird die Unterscheidung in narrative, taktische und strategische Immersion nach Adams nochmals herangezogen (vgl. Adams 2004). Wie im vorigen Kapitel angesprochen, wirken autonome, virtuelle Charaktere, deren Bewegungen aus Verhaltensmodellen generiert werden, glaubwürdiger und natürlicher als Figuren mit starren, vordefinierten Handlungen. Gleiches gilt für künstliche Schwärme, deren Verhalten aus Modellen auf Individualebene emergiert was die theoretische Grundlage für eine erfolgreiche, narrative Immersion spricht. Die sensorische Immersion baut auf eine verlässliche, fließende Bedienung einer Anwendung und kann daher ebenfalls, insbesondere bei der Repräsentation des Spielers durch einen Schwarm, durch den Eigenwillen der Schwarmagenten eingeschränkt werden. Jene teilweise willkürlich oder chaotisch wirkenden Verhaltensweisen von Schwärmen sind möglicherweise auch Dämpfer für strategische Immersion. Dieses Verhalten kann jedoch auch dazu motivieren, den Umgang mit den künstlichen, autonomen Agenten zu lernen oder einschätzen zu können Schwarminstallationen

55 4.4 Wechselwirkung der Schwarmforschung, Kunst und Technik Die abstrahierten Verhaltensweisen und Eigenschaften von Schwärmen werden als regelgebende Systeme der Generativen Kunst verwendet und ermöglichen als Verhaltensmodelle emergente, selbstorganisatorische Ergebnisse in Gruppen künstlicher, autonomer und interaktiver Agenten. Durch die Verwendung im künstlerischen Kontext findet eine Auseinandersetzung mit diesen Algorithmen statt, deren Ergebnisse wieder in die Schwarmforschung zurückfließen. Im konkreten Fall von Schwarmverhalten knüpfen wissenschaftliche Untersuchungen, beispielsweise zu Flugformationen (vgl. Couzin 2002) oder Schwarmführung (vgl. Krause, Couzin et al. 2010) an das von Reynolds entwickelte, gestalterisch motivierte Boids-Modell an. Desweiteren werden Schwarmsysteme in evolutionären Prozessen von Künstlern weiterentwickelt, um neue Verhaltensweisen zu erhalten (vgl. Bisig 2010: 44). Die Entwicklung eines Bienenflug-Modells aus einem Boid- System, welches auf Vogel- und Fischschwärmen beruht, ist ein solcher evolutionärer Prozess (vgl. Hushlak, Jacob et al. 2008: 159) und wird in Kapitel 4 angewandt. Regelgebende Systeme Neue Sichtweisen Anschaulichkeit Interaktionskonzepte Schwarmforschung Versuchsaufbauten Use Cases Messmethoden Durchführung Kunst Kreativität Techn. Problemstellungen Technik Creative Coding Physical Computing Abb. 4.8 Wechselwirkung zwischen Schwarmforschung, Kunst und Technik Die künstlerische Arbeit mit Schwarmsystemen führt somit nicht nur zu neuen Einblicken, sondern macht diese für Nutzer wie Schwarmforscher anschaulicher und greifbarer, zumal Installationen und kreative Anwendungen mit anderen Interaktionsmöglichkeiten arbeiten als wissenschaftliche Simulationen. Während im Mittelpunkt von Simulationen keine freie Interaktion mit den künstlichen Agenten, sondern die Änderung einzelner Parameterwerte stehen, ermöglichen viele Schwarminstallationen das Improvisieren und Experimentieren mittels Bewegung, Gesten oder Geräuschen. Das Einbeziehen eines fachfremden Publikums und die dadurch gewonnenen Rückmeldungen führen nicht zuletzt auch dazu, dass neue Anwendungs- oder Untersuchungsfelder entstehen. 4 Schwarminstallationen 43

56 Die Techniken der Robotik ermöglichen neue Versuchsaufbauten mit realen Schwärmen, beispielsweise das Einschleusen autonomer Schwarmroboter in Tierschwärme (vgl. WDR 2007). Feinere Messinstrumente gewähren wiederrum Einsichten in das Innenleben eines Schwarms, die zuvor nicht erfasst werden konnten, beispielsweise Temperaturänderungen einzelner Tiere eines Bienenstock oder die räumlichen Flugbewegungen von Staren. Neue Software und Hardware-Produkte, ebenso wie spezielle Bibliotheken und Frameworks wie Cinder oder Processing, erleichtern Künstlern wie auch Wissenschaftlern das Zusammenführen von Programmlogik, multimedialer Ausgabe und physikalischen Komponenten. Dabei unterliegen beide Anwendungsmöglichkeiten von Schwärmen auf das künstlerische Feld, als Systematik zur Generierung von Kunst wie auch als konzeptionelle Elemente von Installationen, gleichermaßen dem Einfluss der technischen Entwicklung (siehe Abb. 4.8). Vorweg zeigt sich, dass zunehmend naturwissenschaftliche Erkenntnisse in einem kreativen Kontext aufgegriffen, interpretiert und kombiniert werden. Durch eine künstlerische Anwendung werden die wissenschaftlichen Sachverhalte nicht nur greifbarer und verständlicher, sondern auch von anderen Blickwinkeln beleuchtet. Im Gegenzug verhilft die Wissenschaft und Technologie Künstlern, die behandelten Thematiken glaubwürdiger und realistischer zu gestalten (vgl. Mahnrich et al. 2007: 11). Zum Showreel vieler Creative Coding Werkzeuge wie Cinder, Processing, Max/MPS oder OpenFrameworks zählen insbesondere Partikel- und Multi-Agenten-Systeme, allen voran das Boids-Modell nach Reynold. Diese Beispiele und Tutorials veranschaulichen, wie das jeweilige Werkzeug mit einfachen Mitteln ermöglicht, komplexe Strukturen oder Abläufe zu generieren. Zudem zeigen derartige Systeme die Anwendung von objektorientierter Programmierung und dienen bei extrem hoher Agentenanzahl auch zur Verdeutlichung der Effizienz der Programmierumgebung bzw. des Frameworks. Infolge der Entwicklung kreativer, interaktiver Anwendungen mit Schwarmsystemen eröffnen sich neue Probleme, beispielsweise betreffend die Performanz, der 2D- bzw. 3D-Darstellungen oder der Implementierung neuer Verhaltensmodelle, die wiederum seitens der Community aufgegriffen und behandelt werden. Ein Blick auf die naturwissenschaftliche Schwarmforschung zeigt, dass neben Software- Simulationen auch physische Komponenten zur Untersuchung von Schwarmverhalten und -intelligenz eine wichtige Rolle spielen. Das Transferieren eines Versuchsaufbaus von virtueller auf physische Ebene macht den Sachverhalt verständlicher und greifbarer, ein Prinzip, welches auch Physical Computing zugrunde liegt. Die Benutzerschnittstelle eines Desktop-PCs wird um Bauteile wie Sensoren, Motoren oder Licht- und Tonelemente erweitert, welche über Microcontroller und entsprechender Software mit dem Computer kommunizieren. Physical Computing umfasst somit, insbesondere im kreativen, experimentel Schwarminstallationen

57 len Kontext, die Verbindung von physikalischen Systemen mit Software und Hardware zu einem interaktiven Ganzen (vgl. Odendahl et al. 2010: 31 ff). Neue Techniken und Hardware, beispielsweise Sensoren und Microcontroller, werden zunehmend auch für den privaten Gebrauch zugänglicher, lassen Communities im Internet entstehen und regen zum kreativen Experimentieren an. Die Auswirkungen dieses Trends zeigen sich beispielsweise durch die Vielfalt an neuen, technisch-kreativen Studiengängen, internationalen, interdisziplinären Projekten oder Workshops Ansätze zur Entwicklung eines Konzepts Aus den Untersuchungen in diesem Kapitel geht hervor, dass viele Schwarmanwendungen und Installationen nur eine konkrete Schwarmverhaltensweise thematisieren, beispielsweise der kollektive Flug. Dabei ist die Erweiterung dieser Verhaltensmodelle um interaktive Funktionen, die den Nutzer in das virtuelle Gesehen einbeziehen, gestalterisch wie technisch ein interessanter Aspekt. Im Hinblick auf die Wirkung einer Medieninstallation weist das Hineinversetzen des Nutzers in einen virtuellen Schwarm einen besonderen Stellenwert auf. Die Interaktion dieses semi-direkt gesteuerten Schwarms mit einem autonomen, zweiten Agentensystem wurde dabei in keinen Arbeiten, die im Rahmen dieser Arbeit untersucht wurden, näher behandelt und bildet daher Schwerpunkt des folgenden, eigenen Konzepts. Die Wirkungen von Schwärmen auf Menschen und die damit verbundenen Erfahrungen und Emotionen wurden zu Beginn des Kapitels aufgrund des subjektiven Empfindens von einer theoretischen Betrachtung im Rahmen dieser Arbeit ausgeklammert. Stattdessen dient die Implementierung eines eigenen Konzepts im folgenden Kapitel 5 dazu, neben den oben genannten technischen Besonderheiten auch die Bedeutung der Schwarmthematik auf eine immersive, interaktive Installation praktisch zu untersuchen. 5 Als Beispiel ist der Workshop Schwarmlabor (2007) der Universität der Künste Berlin in Zusammenarbeit mit Krause und Krause zu nennen. 4 Schwarminstallationen 45

58

59 5 46 C Konzeption und Entwicklung einer interaktiven Schwarminstallation Nach der vorangegangenen Untersuchung von Schwärmen als Installationsthematik wird in diesem Kapitel ein Konzept vorgestellt, welches diese Erkenntnisse und Schlussfolgerungen beispielhaft zeigt und Grundlage der anschließenden Prüfung bildet. Das Naturphänomen des Schwarms bildet nicht nur die technische Grundlage des vorliegenden Konzepts, sondern wird auch inhaltlich aufgegriffen. Inspiration der Installation 46 C stellt das Abwehrverhalten der japanischen Honigbiene dar. Dabei wechselt der Nutzer in die Perspektive eines Hornissenvolks und erfährt beim Aufeinandertreffen mit einem Schwarm japanischer Honigbienen die Aktionen und Reaktionen der beiden rivalisierenden Insektenarten. Die Versuche, mittels Gesten einzelne Späherhornissen zu den Waben zu schicken, werden mit Hitzeangriffen der Bienen beantwortet. Neben der Steuerung des virtuellen Hornissenschwarms stellt diese Hitzeentwicklung, die der Nutzer am eigenen Körper erlebt, ein zentrales Element der Installation dar. Zunächst wird die Grundidee und Intention der Installation näher vorgestellt. Im Anschluss folgt die Ausarbeitung der Abläufe und Zusammenhänge, der Interaktionen zwischen Nutzer und Schwarmsystem und die Planung der physischen Komponenten. Auf die Programmierung und Implementierung folgte eine Vorführung, die abschließend im Hinblick auf die Wirkung, die Konzeption und technische Umsetzung reflektiert wird. 5.1 Planung und Beschreibung des Konzepts Die Entwicklung einer Installation verläuft nach keinem festgelegten Muster. Auch die Ideenfindung und Konkretisierung gestaltet sich stets individuell ist eine konkrete Kernaussage oder ein bestimmtes Thema jedoch Hintergrund der Installation, beispielsweise im Rahmen eines Workshops 1, können Schritte des kreativen Prozesses auch konstruiert werden. 1 Face/Off Digital Crosscultural Project, Hochschule Furtwangen 2010/2011: Schwarmlabor, Universität der Künste Berlin: 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 47

60 Der Rahmen dieses Konzepts setzt sich aus den Ergebnissen der vorhergegangenen Kapitel zusammen, was im Folgenden zu konkretisieren ist: Schwärme als Naturphänomen bilden aufgrund ihrer Eigenschaften als Komplexe Systeme und Vorlage für Verhaltensmodelle den Gegenstand der Installation. Der modellierte Schwarmaspekt erzielt über Interaktionsmöglichkeiten eine explorative Auseinandersetzung mit dem Thema. Die Installation verfügt über VR-Elemente und bewirkt einen psychologischen Einbezug des Nutzers. Physische Komponenten portieren die virtuelle Welt auf eine greifbare Ebene. Schwerpunkt bildet die semi-direkte Steuerung eines Schwarms durch den Nutzer und dessen Interaktion mit einem weiteren Schwarm. Die Installation im Rahmen dieser Arbeit soll sich das Spiegelparadigma zunutze machen, in dem der Nutzer auf einer großen, vertikalen Fläche einem bewegten, lebensgroßen Abbild seiner selbst gegenübersteht, welches um künstliche Elemente ergänzt ist. Der Nutzer bewegt sich ohne zusätzliche Hilfsmittel frei und in alle Richtungen vor dieser Wand. Durch die Projektion der künstlichen Elemente in dieses spiegelartige Abbild wird die virtuelle Realität besser aufgenommen (vgl. Maes 1997: 105) ein Eindruck, welcher verstärkt wird, wenn es sich um reale Objekte handelt, die in Originalgröße das Spiegelbild des Nutzers ergänzen. Dieses Konzept erfordert demnach eine Verhaltensweise von Schwärmen, die in Originalgröße für den Spieler wahrnehmbar ist und räumlich erkundet werden kann. Während diese Eigenschaften auf das Schwarmverhalten von Vögeln oder Fischen zutreffen, finden die meisten schwarmintelligenten Abläufe auf einer Ebene statt. Ameisenstraßen oder der Wabenbau von Bienen sind zwar von außen als emergierte Schwarmhandlungen sichtbar, umgeben den Beobachter bei Originalskalierung jedoch nicht. Das Flugverhalten eines Bienenschwarms erfüllt diese Anforderungen, stellt zudem eine räumliche Bewegung dar und ist in der Natur mit schwarmintelligenten Verhaltensweisen verknüpft. Heat Balling wurde als zusätzliche Verhaltensweise in das Konzept aufgenommen, da es einerseits Hitze als Installationskomponente einbringt und als mehrstufiger Ablauf komplexere Interaktionen oder spielerische Elemente ermöglicht. Hauptaugenmerk liegt hierbei auf der nahezu synchronen Ballung und Hitzeentwicklung der Insekten, das Konzept verzichtet daher auf eine verhaltensbiologisch vollständige Simulation Konzeption und Entwicklung einer interaktiven Schwarminstallation

61 In einem kurzen Exkurs sollen jedoch die groben Abläufe dieses Naturphänomens vorgestellt werden, was die Grundlage für die Modellierung des Agentenverhaltens bildet Exkurs: Heat-Balling Die orangefarbene Riesenhornisse Vespa velutina Lepeletier, eine nur in Japan auftretende Wespenart mit einer Körperlänge von fünf Zentimetern, ist der natürliche Fressfeind der japanischen Honigbiene Apis cerana cerana. Aufgrund deren Größe und Panzerdicke ist es den japanischen Bienen nicht möglich, ihr Nest wie ihre europäischen Verwandten im Falle eines Angriffs europäischer Hornissen mit Stichen zu verteidigen (vgl. Tan, Hepburn et al 2005 und 2010). Die daraus evolutionierte Abwehrmechanik des Heat-Ballings basiert auf einem Verhalten, welches auch zur Thermoregulierung des Nests eingesetzt wird. Neben abkühlendem Flügelfächeln, dem Verdunsten von herein transportiertem Wasser und einer variierenden Insektendichte im Stock sind Bienen ebenso in der Lage, durch Kontraktionen ihres Flugapparates gezielt Wärme zu erzeugen (vgl. Stabentheiner, Kovac et al 2010: 11), um eine bestimmte Bruttemperatur zu erreichen oder das Wachs der Waben zu erwärmen. Auch die japanische Honigbiene kann sich auf diese Weise auf über 46 C aufheizen, was die kritische Temperaturschwelle der Riesenhornissen knapp übersteigt. Ein Hornissenschwarm sendet einzelne Späherinnen aus, um Bienennester in der Umgebung aufzuspüren. Gelingt es einer solchen Späherin, mit entsprechenden Informationen zu ihrem Bau zurückzukehren, folgen weitere Hornissen, um das Bienennest zu plündern - eine Situation, die durchaus die Auslöschung des Volkes mit sich führen kann und daher von den Bienen dringlichst zu verhindern ist. Wird eine Hornisse auf Auskunftsflug rechtzeitig entdeckt, erfolgt jedoch keine unmittelbare Abwehr durch einzelne Schwarmmitglieder, sondern ein Ansammeln der Bienen am Nesteingang, wo sie sich durch Flügelschimmern und Körperkontraktionen vorbereitend aufheizen und gleichzeitig visuelle Alarmsignale an Artgenossen senden. Einzelne Bienen, die von der Hornisse angefallen werden, bewirken die notwendige Ablenkung für die restlichen Nestbewohner. Ist unter ca. 30 vorbereitenden Bienen eine bestimmte Temperatur erreicht, ballen sie sich schlagartig um den Eindringling und erhöhen die Kerntemperatur des Hitzeballs weiter, bis dieser den Hitzetod erleidet (vgl. Tan, Hepburn et al 2010). Dieses Verhalten der japanischen Honigbiene, deren Ablauf Tan, Li, Yang, Hepburn und Radloff aus verhaltensbiologischer Hinsicht beschreiben (2010: 4 ff) wurde zum Zeitpunkt dieser Arbeit noch nicht abstrahiert und auf Übertragungs- oder Verwendungsmöglichkeiten untersucht, wie es beispielsweise bei der Futtersuche von Ameisen der Fall ist. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 49

62 Abb. 5.1 Verlauf von Heat-Balling Um das Heat-Balling später genauer zu modellieren und in ein Konzept einfließen zu lassen, stellt sich die Frage, um welche Art von kollektivem Verhalten es sich handelt. Grundsätzlich birgt das soziale Zusammenleben der Bienen ein Potenzial zur Schwarmintelligenz, was sich durch die Entwicklung des Bienenalgorithmus zeigt (vgl. Pham et al. 2006). Wie auch bei Ameisen werden die einzelnen Wahrnehmungen, Erfahrungen und Einschätzungen der Schwarmmitglieder auf Ebene des verteilten Kollektivs mittels Stigmergie und Körpersignalen verarbeitet. Bonabeau untersucht unter dem Gesichtspunkt der Schwarmintelligenz verschiedene Verhaltensweisen der Sortierung, des Nestbaus und der Futtersuche bei Bienen auf ihre Modellierung und ihre Anwendungsbereiche (vgl. Kapitel 2 und Bonabeau, Dorigo, Theraulaz 1999). Wie auch das Heat Balling entstehen viele dieser schwarmintelligenten Verhaltensweisen sozialer Insekten dadurch, dass einzelne Tiere unabhängig voneinander und aufgrund der ihr bekannten Information eine bestimmte (Signal-)Handlung vollziehen. Weitere Insekten kopieren dieses Verhalten, wenn die Summe der Signale eine bestimmte Ansprechschwelle überschreitet. Erreicht die lokale, durchschnittliche Temperatur der vorbereitenden Bienen und das visuelle Signal des Flügelschimmerns einen bestimmten Grenzwert, wird das nächstfolgende Verhaltensmuster ausgelöst und die Bienen häufen sich um die Hornisse. Diese Entscheidung, die in diesem Fall zu einer Summierung der physischen Kräfte führt, wird 50 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

63 somit in einem sozialen Kontext getroffen. Jedoch bedarf es nach Krause et al. (vgl. 2009: 29) mehr als einem sozialen Entscheidungskontext, um ein Verhalten als schwarmintelligent zu bezeichnen die verschiedenen Vorbereitungsphasen und die Anzeichen einer Rollenverteilung zeigen jedoch, dass es sich bei Heat-Balling nicht ausschließlich um eine Frage der körperlichen Stärke, sondern auch der Kognition handelt Hitze als Installationselement Auch aus gestalterischer Sicht ist dieses Abwehrverhalten der japanischen Bienen interessant. Während sich viele Medieninstallationen der visuellen und akustischen Kanäle bedienen, um Interaktionen zwischen Mensch und System zu ermöglichen, stellt die Hitze in diesem Konzept eine zusätzliche Rückmeldung für den Nutzer dar. Hitze kann allgemeinhin flächig oder an bestimmten Bereichen einer Installation erzeugt werden, den ganzen Raum erfüllen oder nur beim Ertasten der Hitzequelle spürbar sein. Die Hitzequelle selbst kann eine sichtbare, physische Komponente der Installation darstellen oder indirekt und für den Nutzer unsichtbar wirken. Die Dauer, Temperatur, Wirkungsreichweite, Position oder Ausrichtung der Hitze ist für die Wirkung der Installationskomponente entscheidend. Aufgrund der Erfahrungen mit Hitzequellen im Alltag kann diese Wirkung zwischen Entspannung, Geborgenheit, aber auch Gefahr variieren. Abb. 5.2 Hitze als Installationselement. Das folgende Konzept verwendet Hitze als Alarmsignal und aggressive Abwehrreaktion. Ob und inwieweit eine oder mehrere Hitzequellen dazu geeignet sind, diese Wirkung des Heat-Ballings aus dem virtuellen Raum in die physische Umgebung des Nutzers zu portieren und diesen in das Geschehen einzubeziehen, stellt einen weiteren Untersuchungsaspekt dieser Arbeit und wird in der Evaluation gegen Ende des Kapitels geprüft. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 51

64 5.2 Konzeptidee und Ablauf Intention der Schwarminstallation ist, das Naturphänomen des Schwarms für den Nutzer erfahrbar aufzubereiten und eine spielerische, experimentelle Auseinandersetzung mit einem emergenten, dezentralen Systemen zu bieten. Abb. 5.3 Aufbau und Ablauf. Der Nutzer steuert die Hornissen, die bei einem Angriff mit einem Heat Ball abgewehrt werden. Der Spieler schlüpft in die Rolle eines Hornissenschwarms und umkreist in jägerischer Absicht einen Bienenstock. Setzen sich einzelne Hornissen auf den Stock und beginnen, Bienen zu fressen, verbreitet sich unter den restlichen Bienen im Umkreis ein Alarmsignal. Ist der Nutzer nicht vorsichtig genug, sammeln sich die Bienen zu einem Gegenangriff, stürzen sich auf die Angreifer und formen einen Heat Ball. Die Hitze, die sich bei dieser Abwehrreaktion bildet, wird physisch umgesetzt und ist somit für den Nutzer spürbar. Um dieser Abwehr zu entkommen, zieht sich der Spieler zurück und beobachtet, wie die Hitze abklingt und die Bienen ihren Flug wieder aufnehmen. Die Installation erreicht ihren Endzustand, wenn einer der Schwärme ausgelöscht ist und startet anschließend mit zwei neuen Populationen. Der Aufbau der Installation sieht die Projektion an eine Wand vor, welche einen frei fliegenden Hornissen- und Bienenschwarm zeigt. Die Insekten beider Arten bewegen sich, als geflügelte Punkte abstrahiert und etwa in Originalgröße dargestellt, im Schwarmverband um ihre Nester. Unmittelbar vor der Projektionsfläche befindet sich ein kastenförmiges Hitzeelement, welcher eine physische Repräsentation des virtuellen Bienennests darstellt und dessen Öffnung nach vorne in Richtung des Betrachters gerichtet ist. Wird ein Heat Ball ausgelöst, entwickelt sich innerhalb kurzer Zeit an der entsprechenden Stelle des Bienennests Wärme, die mit zunehmender Abwehr der Bienen weiter ansteigt Konzeption und Entwicklung einer interaktiven Schwarminstallation

65 Um diese Grundidee umzusetzen, wird zunächst die Einflussnahme des Nutzers auf die Hornissen beschrieben und anschließend die Interaktionen am Stock der Bienen ausgearbeitet Repräsentation des Nutzers durch einen Schwarm Mit dem Betreten der Szene werden Position und Körperhaltung des Nutzers von einem Kamerasensor erfasst und, zunächst nicht sichtbar, dem virtuellen Raum, in welchem sich die Schwärme und deren jeweilige Startpositionen befinden, hinzugefügt. Bewegungen im physischen Raum werden somit gespiegelt in den virtuellen Raum übertragen. Nähert sich der Betrachter auf diese Weise dem Hornissenschwarm, verlassen diese ihren Ausgangspunkt, das Nest, und fliegen in Richtung des Spielers. Der Körper, der in der projizierten Szenerie zuvor nicht zu sehen war, wird nun durch eine Vielzahl bewegter Agenten repräsentiert; der Nutzer schlüpft in die Rolle des künstlichen Schwarms. Der Nutzer ist nun in der Lage, den Hornissenschwarm durch Bewegen seines Körpers zu lenken. Diese Bewegungen werden erfasst und fließen dabei unmittelbar in die Berechnung der Flugbahnen jeder Hornisse ein. Dennoch orientieren sich alle Agenten neben dieser direkten Anziehung auch an benachbarten Artgenossen, weswegen die Steuerung des Hornissenschwarms im Folgenden als semi-direkt und beeinflussend bezeichnet wird. Abb. 5.4 Steuerung der Hornissen und Interaktion mit Bienen Im freien Flug, also außer Reichweite weiterer Anziehungspunkte wie dem eigenen Nest oder dem Bienenstock, zeigt der Schwarm wolkenartige, schwirrende Bewegungen. Die einzelnen Agenten vermeiden dabei Zusammenstöße untereinander und verbleiben dennoch im Zusammenhalt des Kollektivs. Dabei folgen sie im Groben den Bewegungen des Nutzers, welcher durch Ausbreiten oder anderen Körpergesten auch die Dichte des Schwarmes beeinflussen kann. Befindet sich der Schwarm in unmittelbarer Umgebung zu seinem Nest, wird dieser freie Flug um die Anziehungspunkte des Betrachters zu einem Teil aufgehoben. Einige Hornissen lassen sich darauf nieder, wohingegen sich krabbelnde Tiere dem fliegenden Schwarm anschließen. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 53

66 Hornissen, die sich am äußeren Rand des Schwarms aufhalten, nehmen den temporären Zustand einer Späherin ein und sind befähigt, Informationen über die Lage von Beute zu sammeln und darauf zu landen. So können durch ein schwungvolles Ausstrecken einer Hand einzelne Hornissen als Späherinnen aus dem Schwarm gelöst werden. Diese fliegen mit Schwung in Richtung der Bewegung und gliedern sich wieder ein, wenn sie keinen Landeplatz in Reichweite finden. Erreichen sie jedoch den Bienenstock, ist es die neue Aufgabe der Späherin, diese Informationen an andere Schwarmmitglieder weiterzugeben. Diese Weitergabe kann nicht im freien Flug, sondern nur auf der Oberfläche des eigenen Nestes an krabbelende Artgenossen erfolgen. Demnach ist es notwendig, "informierte" Hornissen wieder durch entsprechende, zurückweichende Körperbewegungen in den Schwarm einzugliedern und zur Schwarmausgangsposition zurückzuführen. Hornissen, welche diese temporäre Aufgabe einer Späherin nicht innerhalten, aber die Informationen über den Beutestandort am Nest übermittelt bekommen, fliegen zu einer Attacke in dessen Richtung. In der Natur stellen der Honig und die Larven im Stockinneren das Ziel der Hornissen dar. Einzelne Bienen werden aus diesem Grund auch hier nicht gejagt, sondern erliegen den Eindringlingen, wenn sie sich auf der Nestoberfläche in deren unmittelbaren Nähe aufhalten und an keinem Heat-Ball beteiligt sind Die indirekte Interaktion mit einem künstlichem Schwarm Im Gegensatz zur quasi-direkten Kontrolle des Hornissenschwarms durch den Nutzer ist es nur indirekt möglich, das Verhalten der künstlichen Bienen zu steuern. Demnach reagieren einzelne Bienen nicht unmittelbar auf die Körperbewegungen des Nutzers, sondern nehmen lediglich Artgenossen und Angreifer im eigenen Umfeld wahr. Die Interaktion zwischen Bienen und Hornissen, die sich auf Seite der Bienen durch ruckartiges Zusammenballen oder Ausbreiten zeigt, ist demnach nicht das Ergebnis einer direkten Kommunikation zwischen Mensch und Schwarmsystem, sondern ergibt sich durch das Einwirken der beeinflussbaren Hornissen auf die autonom bewegten Bienen. Freifliegende Bienen, die die Anwesenheit einer Späherin in der Reichweite des Bienenstocks wahrnehmen, beginnt sie mit den Vorbereitungen des Heat-Ballings, indem sie sich auf dem Bienenstock niederlassen und dort ihre eigene Körpertemperatur stetig erhöhen. Auf der Projektionsfläche bewegen sich die entsprechenden Objekte auf den Kasten zu, bis sie durch das heraus strahlende Licht nicht mehr zu erkennen sind. Die ansteigenden Temperaturen der einzelnen Schwarmtiere in Wartehaltung werden durch unruhiges Flackern der Glühbirnen dargestellt. Haben sich ausreichend Einzeltiere entsprechend erhitzt und befindet sich die angreifende Hornisse, gesteuert durch die Handbewegungen 54 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

67 des Betrachters, noch in Reichweite, beginnen sie mit dem Formen eines Heat Balls: Das Flackern der Birnen geht in ein konstantes Leuchten über, welches an Intensität und somit auch an Hitzeeinwirkung zunimmt. Um dieser Hitze auszuweichen und die Späherinnen aus den Bienencluster zu befreien, muss die Hand vom Bienenstock entfernt werden. Abb. 5.5 Interaktion mit Bienen Während Hornissen einerseits in der Lage sind, Bienen zu fressen, sind die hohen Temperaturen eines Heat Balls für Insekten beide Arten tödlich, wobei die eingeschlossenen Hornissen empfindlicher reagieren als die beteiligten Bienen. Längerfristig führt dies zu einer Dezimierung beider Populationen. Um die spielerische Komponente der Installation auszubauen, ist die Implementierung eines Mechanismus in fortführenden Arbeiten denkbar, der die Population beider Schwärme wieder ansteigen lässt. Mögliche Erweiterungen der Schwarmsysteme, beispielsweise mit Spielelementen oder Lebenszyklen der Agenten, werden gegen Ende des Kapitels aufgezeigt. Um die soeben beschriebenen Aktionen und Interaktionen umzusetzen, wird im folgenden Abschnitt der Ablauf der Anwendung modelliert und das Verhalten beider Schwärme auf Ebene der einzelnen Agenten näher betrachtet. 5.3 Umsetzung des Konzepts Im Zuge der Implementierung des Schwarmkonzepts wirft sich die Frage nach der verwendeten Algorithmen und technischen Umsetzungsmöglichkeiten auf. Zunächst werden die benötigten Schwarmelemente vorgestellt und Verhaltensmodelle der Insekten, speziell die der hitzeerzeugenden Bienen, entwickelt. Es folgt eine Formulierung der Anforderungen an das Capturing des Spielers, die Programmierung der Schwarmfunktion und die physischen Installationskomponenten und die Begründung der getroffenen Wahl. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 55

68 5.3.1 Schwarmfunktion der Installation Um die Bewegungen der freifliegenden Hornissen und Bienen glaubhaft abzubilden, wurde im Rahmen dieser Arbeit im Gespräch mit einem Imker ein Volk europäischer Honigbienen in der Phase des ersten Pollensammelns nach der Winterruhe beobachtet (Materialien siehe Anhang). Dabei zeigt sich, dass einzelne Tiere vom Stock abheben, ihn in unterschiedlichen Abständen umfliegen und dabei auch Positionen in der Luft für einige Augenblicke einhalten. Zwar wird der Zusammenstoß mit Hindernissen oder Artgenossen vermieden, jedoch wird keine Orientierung an Artgenossen des direkten Umfelds und demnach auch keine temporäre Gruppierung erkenntlich, wie sie mit Vogelschwärmen zu vergleichen ist. Das Schauspiel des Ausschwärmens, bei welchem Bienen tatsächlichen Zusammenhalt als Schwarm zeigen, konnte im Rahmen der Untersuchung nicht beobachtet werden, wird jedoch in Dokumentarfilmen und in der Literatur umfassend behandelt. In diesem Fall erhebt sich der Schwarm als Ganzes um einen neuen Neststandort zu beziehen, was eine Form der kollektiven Fortbewegung darstellt, ebenso wie bei der Abwehr eines Angriffs. Zusammenfassend lässt sich feststellen, dass sich Bienen autonom und unter Berücksichtigung ihrer Umgebung und Artgenossen bewegen und in bestimmten Situationen Schwarmwolken bilden. Abb. 5.6 Bienen im Landeanflug (Interviewergebnisse und weitere Aufnahmen im Anhang) Das vorliegende Konzept stützt sich zudem auf die Annahme, dass es sich bei dem Flug von Hornissen ähnlich verhält und demnach die Bewegungen beider Schwarmarten vereinfacht mit dem Boids-Modell von Reynolds abgebildet werden können. Das Verhältnis aus Anziehung, Orientierung und Abstoßung des ursprünglich an Vögel und Fische angelehnte Modell wird dabei so angepasst, dass daraus keine torusförmigen Bewegungen oder Parallelgruppen emergieren, sondern das für Insekten typische, wolkenhafte Flugverhalten (siehe S. 6, Abb. 2.1). Jacob und Hushlak führen die Herleitung des Bienenflugs aus dem Vogelflugverhalten als Beispiel für genetisches Swarm Design auf (vgl. 2008: ). Durch den Vergleich der Flug- und Interaktionsmuster beider Tierarten in der Natur wird demnach, wie in einer 56 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

69 evolutionären Entwicklung, das Vogelschwarmsystem schrittweise abgeändert. Um die schwirrende, lockere Insektenschwarmdynamik zu erhalten, ist eine geringe Polarisation und ein geringer Drehimpuls der Bewegung erforderlich, was bei einer gleichbleibenden Anziehungs- und Abstoßungsstärke, aber vergleichsweise geringer bzw. keiner Richtungsangleichung der Fall ist (vgl. Couzin 2002: 5). Der Flug der Bienen und Hornissen, der bei beiden Arten auf diesem Insektenflug-Modell beruht, unterscheidet sich dabei im Hinblick auf zusätzliche Anziehungskräfte. Die Hornissen im freien Flug bewegen sich um die virtuelle Repräsentation des Nutzers und folgen dessen Bewegungen, je nach Bewegungsgeschwindigkeit und Dauer, in ausholenden, parallelen Bahnen. Im Gegensatz dazu umfliegt der Bienenschwarm das eigene Nest in schnellen, bei Alarmierung enger werdenden Kreisen und wirkt dadurch chaotischer und hektischer. Wahrnehmungszonen und Wirkungsgrade Stärke Boids Bienen Anziehung Orientierung Abstoßung Radius Abb. 5.7 Wahrnehmunsradien (links) und Wirkungskurven (rechts) der Anziehungs-, Angleichungs- und Abstandskräfte von vogelähnlichen Boids und Bienen 2 Landen einzelne Bienen bzw. Hornissen, wird diese gegenseitige Einflussnahme aufgehoben und die Insekten gehen in eine zweidimensionale Laufbewegung über ein Verhalten, welches am Bienenstock aufgrund des überdeckenden Hitzemoduls nicht zu sehen ist und daher nicht implementiert werden muss. Das Heat-Balling der Bienen bildet den Schwerpunkt der Schwarminstallation. Auf Basis der Beobachtungen und empirischen Forschungen (vgl. Li, Yang, Hepburn et al und Sumper, Broomhead 2000) wird im weiteren Verlauf ein eigenes, stark vereinfachtes Ablaufmodell entwickelt. Zusammen mit den Zuständen und Interaktionen entstehen Verhaltensmodelle für beide Agentenarten der Bienen und Hornissen. 2 Quelle: Cinder Konzeption und Entwicklung einer interaktiven Schwarminstallation 57

70 5.3.2 Verhaltensmodelle der Schwarmagenten Während beide Agententypen, Bienen und Hornissen, über die gleiche Bewegungs- Grundfunktionalität verfügen, bestehen Besonderheiten im Hinblick auf deren Bewegungszustände und Zustandsübergänge (siehe Abb. 5.8). Hornissen sind in der Lage, aus dem freien Flug wie auch dem Landen in auf dem eigenen oder fremden Nest in den Angriff überzugehen, wohingegen Bienen einen Angriff, der maximalen Temperaturerhöhung zur Initiierung eines Heat Balls, erst nach einer Phase der Vorbereitung beginnen können. Abb. 5.8 Behavioral State Diagramm der Bewegungen von Bienen (oben) und Hornissen (unten) Behavioral Model der Hornissen Die Hornissen des vom Spieler gesteuerten Schwarms reagieren, ähnlich wie die Bienen, auf die Abstände zum eigenen Nest, zu Artgenossen und zum Standort ihrer Beute. Befindet sich eine Hornisse am Rande ihrer Schwarmwolke und ist demnach ihr Abstand c zum durchschnittlichen Schwarmzentrum im Vergleich denen der anderen Schwarmmitglieder am größten, nimmt sie die Rolle einer Späherin ein. In diesem Zustand verfügt sie über das Potenzial, ihre Umgebung in einem Radius b nach einem Bienenstock abzusuchen und sich gegebenenfalls darauf nieder zu lassen. Abb. 5.9 Behavioral Model der Hornissen: Abstände der Hornissen zum Bienenstock, dem eigenen Schwarmzentrum und dem Nest 58 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

71 Während Bienen untereinander und mit Hornissen interagieren, stehen diese nur mit eigenen Artgenossen und die Beute, das Bienennest, in Verbindung, die als Raumkoordinate und nicht als Agentenschwarm wahrgenommen wird. Dies lässt sich damit begründen, dass das Heat Balling an der Nestoberfläche stattfindet und nicht die einzelnen umherfliegenden Bienen, sondern deren Waben Ziel der Hornissen sind. Abb Behavioral Model der Hornissen: Abläufe Einmal auf dem Beutenest gelandet, erlangt die Hornisse den Zustand "Über Bienenstandort informiert", den es nun den restlichen Schwarmmitgliedern zu vermitteln gilt. Wird der Abstand zum eigenen Nest h unterschritten, setzt sich die Hornisse und gibt ihren Status an alle anderen Artgenossen mit dem Zustand "Sitzend" weiter. Abb Behavioral Model der Hornissen: Voraussetzungen zum Landen einer Hornisse auf dem Bienenstock 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 59

72 Freifliegende Hornissen ohne "Späher"-Status können ebenfalls auf der Beute landen, sofern sie über Informationen verfügen, die sie auf diese Weise von anderen erhalten haben (siehe Abb. 5.11). Der Zustand "Informiert" verfällt nach Ablauf einer Zeitspanne ohne Kontakt zur Beute oder eigenem Nest. Gelandete Hornissen nehmen schrittweise die Durchschnittstemperatur des Bienenstocks an, welche durch die aufheizenden Bienen im Angriffsfall stetig erhöht wird. Der Zustand des Todes tritt bei beiden Insektenarten bei Überschreitung der jeweiligen Maximaltemperatur temp max ein und im konkreten Fall der Bienen bei unterschrittenem Minimalabstand zu jagenden Hornissen. Behavioral Model der Bienen Bienen verfügen über die Zustände "Alarmiert" und einen numerischen Alarmfaktor AF, welcher die Intensität der Alarmierung wiederspiegelt. In Abhängigkeit des Abstands zu Hornissen steigt AF an oder klingt ab. Ist der Schwellenwert zur Vorbereitung der Abwehrhaltung AF Vor erreicht, gibt jede Biene ihre Alarmierung weiter, indem die Differenz AF E - AF A auf die Alarmfaktoren der Schwarmmitglieder in ihrem unmittelbaren Umfeld addiert wird. Die Überschreitung dieses Schwellenwerts führt zum Landeanflug der Biene zu ihrem Nest, somit das Eintreten des Status "Sitzend" und der Erhöhung der eigenen Temperatur. Das Überschreiten von AF Heat löst das Heat-Balling und das Aufheizen auf temp max aus. Nimmt der Abstand zu den angreifenden Hornissen wieder ab, senkt sich auch wieder der AF, das Heat-Balling wird unterbrochen und die Biene fliegt wieder empor. AF AF vor AF Heat aktueller Alarmfaktor Schwellenwert für Vorbereitung Schwellenwert für Heat-Balling Abb Behavioral Model der Bienen: Abläufe 60 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

73 Auf diese Weise verfügen die Mitglieder des Bienenschwarms über eine verschieden starke Alarmierung, die sich zunehmend im Schwarm ausbreitet, wenn sich eine angreifende Hornisse in der Nähe befindet. Hält sich der Angreifer über eine längere Zeitspanne in diesem Radius auf, steigert sich die Vorbereitung der Bienen zu einem Heat Ball. Abb Behavioral Model der Bienen: Alarm breitet sich aus Heat Balling und Steuerung des Hitzemoduls Um den Schwarm der künstlichen Hornissen zu ihrer Beute zu führen, nähert sich der Nutzer dem Hitzeelement, welches sich vor der Projektionsfläche befindet. Alarmierte Bienen ziehen nähere Kreise um ihr Nest und landen darauf, um bei einem anhaltenden Angriff einen Heat Ball zu formen. Aus der Blickrichtung des Nutzers fliegen die Bienen in das Hitzeelement, wobei nicht nur die Intensität des Heat Balls in den physischen Raum übertragen, sondern auch dessen Position am Bienenstock und somit die Angriffsrichtung der Hornissen angedeutet wird (Abb. 5.14). Das Heizelement verfügt gewissermaßen über eine Bewegungssensibiliät gegenüber dem Nutzer. Abb Hitzemodul springt an und spiegelt die Intensität und Richtung des Heat Balls wieder Der Aufbau des Hitzeelements aus neun einzeln steuerbaren Heizquellen ermöglicht die Unterscheidung der Angriffsrichtung. Entsprechend bewirkt ein Heat Ball an der rechten Nestseite ein Aufleuchten der rechten Lampen des Moduls, wobei die Anzahl der aktivierten Hitzequellen die Temperatur im Verhältnis zum Ausgangswert wiederspiegelt. Selbst, wenn der Nutzer in einer angreifenden Geste vor dem Bienennest verharrt und sich somit die Angriffsrichtung nicht ändert, zeigt das Hitzemodul die starke Aktivität der Bienen auch, wenn in diesem Fall die gleichen Elemente eingeschaltet sind. Die Alarmierung und Unruhe der Tiere wird dadurch symbolisiert, dass die Elemente am Rande des entsprechenden Areals hektisch an- und ausgeschaltet werden. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 61

74 5.3.3 Programmierung und technischer Aufbau Die Grundlage einer Mensch-Computer-Interaktion, wie sie in Kapitel 3 vorgestellt wird, ist ein zyklischer Prozess, wobei die einander gegenüberstehenden Interaktionspartner sinnbildlich oder wörtlich hören, nachdenken und sprechen und dabei auf das Vorhergegangene Bezug nehmen. Während der Nutzer der Schwarminstallation die visuelle Ausgabe und die ausgestrahlte Hitze als Antwort des Schwarmsystems aufnimmt und entsprechend durch Körperbewegungen antwortet, ist es Aufgabe der dahinter befindlichen Software, diese Eingabe möglichst vollständig aufzunehmen, zu interpretieren und daraus wiederrum eine nachvollziehbare Antwort zu generieren. Im folgenden Abschnitt werden diese drei Schritte auf Systemseite näher betrachtet. Aufnahme der Eingaben des Nutzers Die Lenkung der Hornissen und die indirekte Interaktion mit dem Bienenschwarm basiert auf den Körperhaltung und Bewegung des Nutzers. Zur Erfassung solcher Eingaben stehen unterschiedlich komplexe Techniken zur Auswahl, vom Herauslösen eines bewegten Körpers vor einem starren Hintergrund mittels einfacher Webcams bis hin zu aufwendigem, markerbasiertem Motion-Capturing. Vordergründig ist in diesem Konzept die Fähigkeit zur Erkennung des Körperumrisses, als auch zur Berechnung des räumlichen Abstands zwischen dem Körper, beispielsweise einer ausgestreckten Hand, und der Hitzequelle. Herkömmliche Kameras können zwar zur Erkennung von Körperumrissen verwendet werden, liefern aber lediglich ein zweidimensionales Abbild dessen. Der 2010 veröffentlichte Sensor Kinect der Microsoft-Spielekonsole Xbox 360 liefert hingegen neben einem RGB-Videobild auch die Tiefendaten der Szene und unter Verwendung des Microsoft Kinect Software Development Kits (SDK) auch eine Interpretation der Gelenkpunkte der Spieler. Der Kinectsensor ist somit das aktuell einzige, im Handel erhältliche Eingabemedium zur optischen Erfassung aller Körperteile des Nutzers ohne zusätzliche Steuerungsgeräte. Neben der Aktualität spricht auch die wachsende Community innerhalb und außerhalb des Herstellers Microsoft für die Verwendung dieses Kamerasensors, in welcher stets neue Kinect-basierte, kreative Anwendungen und Schnittstellen für weitere Entwicklungsumgebungen oder Hardwarekomponenten entstehen. Die Kinectleiste sendet Infrarotsignale aus, welche mit einer Infrarotkamera als kleine, helle Punkte zu sehen sind und die gesamte Szene einhüllen (Abb. 5.19). Zwei integrierte, parallele Sensoren erfassen diese Punkte und errechnen aus ihrem horizontalen Abstand 62 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

75 die räumliche Entfernung der reflektierenden Objekte. Helle Lichtquellen und auch die Nutzung der Kinect im Freien kann die Qualität der erhobenen 3D-Daten beeinträchtigen 3, was sich bei der Wahl der Hitzequelle im weiteren Verlauf als Einschränkung erweisen wird. Verarbeitung der Nutzereingaben durch ein Schwarmsystem Die Programmlogik umfasst ein Agentensystem, welches mit den Tiefendaten des Capturings sowie der Steuerung des Hitzeelements verknüpft ist. Dabei sieht das Konzept dreidimensionale Flugbewegungen vor, die an das Boids-Modell angelehnt sind. Das Schwarmsystem der Installation bildet demnach Bewegungen im dreidimensionalen Raum ab und muss mit der Heat-Balling-Funktionalität sowie der Lenkung der Hornissen durch den Spieler erweiterbar sein. Codefragmente zu Reynolds Modell oder Erweiterungen dessen existieren für viele Anwendungsfälle, jedoch gilt es, eine Entwicklungsumgebung zu finden, in der auch die anderen Komponenten des Konzepts untergebracht werden können. Forschungsgruppen wie das Schweizer Projekt um Bisig mit der Software ISO Flock (vgl. Bisig 2011) entwickeln Bibliotheken, mit denen Schwärme erzeugt und deren Verhalten aus einem Repertoire zusammengestellt oder neu definiert werden können. Diese Funktionen, wie sie auch andere in Kapitel 2.4 vorgestellte Engines oder Bibliotheken beinhalten, sind zu umfangreich für den vorliegenden Fall, der nur den Schwarmzusammenhalt, das Landen, Emporfliegen und das Modell des Heat-Ballings umfasst. Nicht zuletzt aufgrund der fehlenden Unterstützung für das Betriebssystem Windows 7, welches wiederrum eine Anforderung des Microsoft Kinect SDKs darstellt und entsprechend die Verwendung einer Schnittstelle erfordern würde, wurde vom Einsatz des ISO Flock abgesehen. Im Gegensatz zu speziellen Umgebungen zur Simulation von Schwärmen ermöglichen viele Creative-Coding-Umgebungen wie Cinder, Processing oder Open Frameworks die direkte Anbindung von Kinect-Bibliotheken und verwenden andererseits einfache Partikelsysteme zur exemplarischen Darstellung ihres Leistungsspektrums. So stellt die auf C++ basierte Open-Source-Bibliothek Cinder ein Gerüst zur Verfügung welches mittels der Cinder-Blocks-Erweiterung "Kinect" einen direkten Zugriff auf die Ressourcen des Microsoft Kinect SDKs ermöglicht (vgl. Schieberl 2012). Die Struktur und Ressourcen der Cinder- Anwendungen sind auf visuelle bzw. multimediale, kreative Anwendungen und Installationen ausgerichtet und ermöglichen zudem eine 3D-Darstellung. Die virtuellen Schwärme der Installation basieren auf einem Boids-Partikelsystem der Beispielesammlung von Konzeption und Entwicklung einer interaktiven Schwarminstallation 63

76 Cinder, welches die notwenigen Basisfunktionen der Schwarmbewegung beinhaltet, umfangreich dokumentiert ist und sich dadurch zur Erweiterung und Modifikation sehr gut eignet (Klassendiagramm im Anhang). Die Agenten der beiden Insektenarten verfügen über die gleichen Grundeigenschaften, die das Flugverhalten im Schwarmverband generieren. Neben Agenten im direkten Umfeld, die durch ihre Geschwindigkeit und Flugrichtung die Bewegung eines Insekts beeinflussen, führt eine zusätzliche Gravitationskraft zur Ballung der Bienen um den Bienenstock einerseits und zur Lenkung der Hornissen durch den Spieler andererseits. Auf diese Weise wird die Eingabe durch den Nutzer, bestehend aus den Daten der Capturingeinheit, verarbeitet. Die Grundfunktionalität des Insektenflugs Die Bewegungsfunktionen stellen eine Implementierung des Boids-Modells von Reynolds dar, wobei der metrische Abstand zwischen einzelnen Agenten über die Anwendung der Anziehungs-, Abstoßungs- und Orientierungskräfte ausschlaggebend ist. Die Beobachtung eines realen Schwarms in Kapitel zeigen dabei, dass Bienen in Nestnähe über eine hohe Anziehung und Abstoßung untereinander verfügen und sich um den Nesteingang bewegen. Die Orientierung an Artgenossen ist verhältnismäßig gering. Aus diesen Gründen wurden die Faktoren entsprechend angepasst, um die durch Couzin beschriebene Dynamik der Schwarmwolke entstehen zu lassen (vgl. 2002: 5). Das Aufeinandertreffen von Agenten innerhalb dieser Interaktionszonen verändert zudem deren Zustandsvariablen, welche unter bestimmten weiteren Bedingungen die jeweiligen Angriffs- bzw. Abwehraktionen auslösen. Um zu prüfen, welche Anziehungs-, Abstoßungs- und Orientierungskräfte auf die Bewegung eines Agenten einwirken, müssen die relevanten Nachbarn innerhalb des metrischen Abstands ermittelt werden. Dieses Prüfen auf Relevanz beinhaltet mindestens den Vergleich der eigenen Position mit der Position aller anderen Agenten im Falle von n Hornissen entspricht dies n(n - 1) Rechenoperationen, während bei m Bienen das zusätzliche Prüfen auf feindliche Späher zu m((m 1) + n) Operationen führt. Unter Berücksichtigung der Datenkapselung müsste nun jeder Agent über eine Liste aller weiteren Agenten, im Falle der Bienen eine weitere Liste mit Hornissen, als Klassenvariable verfügen. An dieser Stelle wird der Vorschlag von Schieberl übernommen, das Erstellen und Löschen aller Agenten zentral in einer Klasse SwarmController auszuführen, ebenso wie das Abgleichen deren Positionen und die Berechnung der Anziehungskräfte. Die von Reynolds vorgeschlagene Unterteilung des Raumes in Parzellen zur effizienten Ermittlung der benachbarten Elemente wird hier nicht angewandt. Stattdessen verbessert eine Vereinfachung der Abstandsmessung die Performanz des Systems. So ist es weniger rechen Konzeption und Entwicklung einer interaktiven Schwarminstallation

77 lastig, die Differenz der Positionen und den Zonenabstand eines Agenten jeweils quadriert miteinander abzugleichen, als eine mathematisch exakte Berechnung unter Verwendung von sqrt() durchzuführen. Die Werte der Bedingungen, welche letztendlich zu Zustandsänderungen der Agenten führen und Verhaltensweisen auslösen, sind Erfahrungswerte (vgl. Cinder 2011). In ihrer schwarmorientierten Bewegung werden die Agenten beider Insektenklassen von ihrem jeweiligen Mittelpunkt mcenter angezogen. Ohne diese Anziehungskraft, welche in der Methode pulltocenter() errechnet wird, flögen alle Schwarmagenten im Verband durch den virtuellen Raum und womöglich außer Sichtweite (siehe Klassen- und Ablaufdiagramm im Anhang). Das Prinzip des Schwarmverhaltens, die Anwendung der drei Umgebungskräfte, wird dennoch angewandt die Anziehung an ein Schwarmzentrum widerspricht gewissermaßen den Prinzipien des dezentral gesteuerten, emergenten Verhaltens, ist jedoch zur semi-direkten Kontrolle der Hornissen durch den Nutzer erforderlich. Die Regeln der Anpassung, Abstoßung und Anziehung werden von Agenten eines Schwarmsystems bei einem Landeanflug nicht berücksichtigt. Benachbarte Agenten nehmen die Bewegungsrichtung eines landenden Artgenossen dennoch wahr, was dazu führt, dass z. B. eine angreifende Hornisse weitere Hornissen in Richtung des Bienennests führt. Auch wenn die mitgeführte Hornisse zu diesem Zeitpunkt selbst keine Informationen über den Beutestandort empfangen hat, kann die neu erlangte Nähe zum Nest einen Angriff auslösen. Durch die geringe Orientierungsstärke unter den Agenten tritt dieser Effekt jedoch selten ein. Während die Flugbewegungen der Bienen wie Hornissen trotz der zentralen Auflistung aller Insekteninstanzen auf Agentenebene und ohne direkten Eingriff von außen berechnet werden, unterliegt die grobe Bewegungsrichtung der Hornissen den Bewegungen des Nutzers. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 65

78 Abb Screenshot:Hornissen formieren sich um den Körper des Nutzers void SwarmController::distributeHornets( std::vector<vec3f> centers ){ uint32_t i = 0; for( list<hornet>::iterator hornetit = mhornets.begin(); hornetit!= mhornets.end(); ++hornetit, i++ ) { for(int j = 0; j < centers.size(); j++ ) { if(i % centers.size() == j) hornetit->mcenter = centers.at(j); } } } void MainApp::draw(){ //... get all skeletons (skeletonit) int weight[nui_skeleton_position_count] = {1,2,4,2, // torso 3,2,1,1, // left shoulder 3,2,1,1, // right shoulde 2,1,0,0, // left leg 2,1,0,0 }; // right leg } centers.clear(); for( Skeleton::const_iterator jointit = skeletonit->cbegin(); jointit!= skeletonit->cend(); ++jointit, j++){ for(int i = 0; i < weight[j]; i++) centers.push_back(skeletonit- >at(nui_skeleton_position_index(j))); } mswarmcontroller.distributehornets(centers); Abb Codeausschnitt: Formierung der Hornissen um den Körper des Spielers 66 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

79 In ihren Bewegungen werden Agenten nicht nur von anderen Agenten und Objekten im virtuellen Raum beeinflusst. Eine zusätzliche Anziehungskraft bewirkt die Ansammlung der Bienen in Nestnähe und die semi-direkte Steuerung der Hornissen durch die Bewegungen des Nutzers. Die Form der Hornissenwolke soll im Groben den Körper des Nutzers modellieren, ohne dabei die Bewegungen der Insekten zu sehr einzuschränken oder zu frei und willkürlich erscheinen zu lassen. In einer gewichteten Aufteilung wird daher jedem Agenten des Hornissenschwarms einer der 21 Knotenpunkte, welche durch das Microsoft Kinect SDK aus den Tiefendaten des Sensors ermittelt werden, als Zentrum zugewiesen (Abb. 5.16). Abb Screenshot: Steuerung der Hornissen durch Körperbewegungen Durch Verändern der eigenen Position lassen sich nun die Hornissen ziehen und leiten, wobei den relevanteren Knotenpunkten in der Körpermitte und den Armen aufgrund der gewichteten Verteilung mehr Objekte zugewiesen sind. Die Heat-Balling Funktionalität Die neun Infrarotbirnen des Hitzemoduls werden je nach Intensität und Position des Heat Balls einzeln ein- und ausgeschaltet, indem über einen Serial Port des Rechners Befehle an einem Microcontroller gesendet werden. Hierzu wird die Richtung des Hornissenangriffs in Relation zum virtuellen Bienenstock ermittelt, wobei aufgrund der geringen Lampenanzahl eine Unterscheidung in die Modi 0-3, links und rechts oben bzw. unten, ausreichend ist. Neben dem Richtungsmodus wird auch die Heat-Balling-Temperatur der Funktion gethbdir() übergeben, deren Rückgabewert ein String aus den zu aktivierenden Lampen 0-8 ist. Zur obligatorischen Anzahl der drei Birnen in einer der vier Ecken des Heizelements werden, je nach Durchschnittstemperatur, noch bis zu drei weitere Birnen aktiviert, die zufällig aus der benachbarten Diagonale gewählt werden (siehe Abb. 5.18). 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 67

80 Position des Angreifers int gethbdir( Vec3f pos ) z. B. 0 Bienenstock- Temperatur String selectbulbs( float temp, int mode ) obligatorisch optional z. B. 013 void sendtoarduino( String s ) Abb Steuerung des Hitzeelements Eine Kommunikation mit dem Microcontroller des Hitzeelements wird nur dann getätigt, wenn sich die Temperatur- und Positionswerte ändern und eine neue Lampenkonstellation errechnet wurde. Ausgabe durch Projektion und Hitzeelement In der Installation 46 C tritt der Nutzer, ähnlich einem Spiegel, einem Abbild seiner selbst gegenüber lose zusammengesetzt aus einer Vielzahl an Schwarmagenten. Dieser Effekt wird dann erzielt, wenn das Spiegelbild über Originalmaße verfügt und nicht skaliert ist (vgl. Maes 2007: 110 und Manovich 2001: 112). Ein großer Monitor, welcher die Szene zwar in gleicher Skalierung, jedoch beispielsweise nach unten angeschnitten ausgibt, wirkt hingegen möglicherweise wie ein Fenster und lasst virtuellen und physischen Raum nicht so nahtlos ineinander übergehen, wie es eine große Projektionsfläche oder gar eine 360 -Projektionsumgebung vermag. Damit die visuelle Ausgabe der Installation vollständig und wirkungsvoll erfolgen kann, bedarf es also ausreichend Platz. Weder ein Schatten des Spielers noch das im Vordergrund platzierte Hitzeelement dürfen diese Projektion, die neben der Hitzeausstrahlung die einzige Rückmeldung des Systems bildet, beeinträchtigen. Für die Entwicklung eines Prototyps wird zunächst auf Wandprojektion zurückgegriffen. Ein flacher Projektionswinkel vermeidet hier zwar Schatten des Nutzers oder des Hitzemoduls, führt jedoch zu einem Abschneiden der virtuellen Szene, da die Projektion ggf. nicht bis auf den Boden reicht. Die Auswirkungen eines solchen Kompromiss auf die Wirkung der Installation zeigen sich in den anschließenden Testläufen. Die zweite Art der Rückmeldung bildet die Hitzeentwicklung der Installation. Die Glühbirnen, die das Heat-Balling der Bienen im physischen Raum symbolisieren, müssen in der Lage sein, einzeln aktiviert für die Dauer einiger Sekunden Temperaturen zwischen 30 und 68 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

81 40 C zu erzeugen. Die nach vorne ausgestrahlte Hitze sollte für den Betrachter in einem Abstand von ca. einem Meter deutlich spürbar, aber nicht schmerzhaft sein. Das Licht der Birnen darf dabei die Sichtbarkeit der Schwarmprojektion an der Wand nicht beeinträchtigen. Ebenso dürfen weder Spieler, noch das in einem Kasten befindliche Heizelement die Projektion oder die stereoskopischen Kamerasensoren verdecken. Um eine perspektivisch korrekte Darstellung der virtuellen Nester und der Schwärme zu gewährleisten, muss der Kamerasensor mit einem Abstand von zwei Metern und auf Hüfthöhe des Spielers, quasi an gleicher Stelle wie das Heizelement, angebracht werden und darf durch die ausgestrahlten Temperaturen keinen Schaden nehmen. Um die Anforderungen der Hitzewirkung zu erfüllen, werden neun Infrarotstrahler mit einer Leistung von jeweils 100 Watt verwendet. Neben den höheren Temperaturen, die diese Birnen bereits unmittelbar nach dem Einschalten entwickeln, ist das rote Licht auch weniger grell und intensiv als das einer weißen 60-Watt-Glühbirne, was angenehmer für den Betrachter ist und die Schwarmprojektion nicht überlichtet. Abb Infrarotsignale des Kinectsensors (links) 4 und deren Beeinträchtigung durch drei brennende Infrarotbirnen des Hitzeelements (rechts) Jedoch wirft die generelle Verwendung von Lampen als Hitzequelle in Verbindung mit der Kinect weitere Probleme auf, denn die Lichtverhältnisse sind bei Videocapturing grundsätzlich ausschlaggebend für die Qualität des Ergebnisses. Im speziellen Fall der Kinect werden Infrarotsignale versendet und empfangen, um daraus ein Tiefenbild generiert, was bei zu schwach oder zu stark ausgeleuchteten Räumen, grellen Punktlichtquellen oder der Verwendung des Systems im Freien zur Störung des Tiefenbilds und fehlerhaftem Erkennen der Skelettpunkte führen kann (vgl. Microsoft 2011). Infrarotbirnen, wie sie für dieses Konzept aufgrund ihrer Hitzeentwicklung verwendet werden, bewirken zwar im Gegensatz zu herkömmlichen Glühbirnen eine weniger starke Überlichtung des Raumes, jedoch 4 Quelle: 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 69

82 überlagern die infraroten Strahlen die Signale der Kinect. In einer Versuchsreihe wurde aus diesem Grund in Erfahrung gebracht, mit welcher Intensität dieser Effekt eintritt und ob die Anforderungen an das Capturing dennoch erfüllt sind. Abb zeigt den Einfluss einer brennenden Infrarotbirne, die sich unterhalb der Kinectleiste befindet und in die gleiche Richtung zeigt. Es wird deutlich, dass die zusätzlichen Infrarotstrahlen die Messpunkte der Kinect überstrahlen und eine räumliche Erkennung in diesen Arealen nicht mehr gewährleistet ist. Dies beeinträchtigt die Interpretation der Skelettpunkte insofern, dass einige der gleichbleibend 21 Gelenke im angeleuchteten Bereich (grau dargestellt) falsch angeordnet werden. Mit zunehmender Entfernung des Spielers verringert sich dieser Effekt und Bewegungen rechts bzw. links neben dem blinden Fleck der Kamerasensoren lassen auch eine ausreichend präzise Erkennung der Arme und Hände zu. Da das Heizelement zudem nicht durchgehend aktiviert ist und stets maximal sechs Birnen gleichzeitig brennen, erfüllen Infrarotbirnen die Anforderungen des Konzepts. Das Heizelement wird mithilfe eines Microcontrollers gesteuert, welcher über einen USB- Anschluss mittels Serial Port Communication vom ausgeführten Schwarmprogramm Werte zum An- und Ausschalten der einzelnen Birnenpositionen entgegen nimmt. Je nach Position leiten Relaisschaltungen eine Spannung von 220 V, die aus der Steckdose bezogen werden, an die Glühbirnen weiter. Das Multirelaismodul selbst benötigt eine Betriebsspannung von 12 V. Im Anhang dieser Arbeit befinden sich weitere Skizzen und Pläne dieser physikalischen Installationskomponenten. Abb Zusammensetzung des Hitzeelements aus Microcontroller und Multirelaismodul Das Gehäuse des Hitzeelements erfordert eine Unempfindlichkeit gegenüber Hitze und eine gute Durchlüftung. Eine optimale Lösung stellte ein ausgedientes PC-Gehäuse aus Metall dar, welches mit einer Zwischenwand versehen wurde und alle Komponenten einschließt Implementierung der Installation 70 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation

83 Der Kern der hier vorgestellten Installation besteht aus einer Standalone-Anwendung auf Basis von Cinder, welche mit Hardwarekomponenten erweitert wurde. Diese Anwendung kann auch losgelöst ohne Kinectsensor und Hitzeelement ausgeführt werden, wobei letzteres bei Bedarf als Simulation eingeblendet und die Bewegungen des Hornissenschwarms mit der Maus gesteuert werden können. Die Anforderungen zur Ausführung der Cinderanwendung und dessen Bearbeitung in Microsoft Visual Studio 2010 C++ auf System- und Softwareseite lauten wie folgt: Microsoft Kinect SDK V 1.0 Beta 2 (erfordert Windows 7) Cinder Microsoft Visual Studio Express 2010 oder höher,.net 4 Abb Komponenten der Installation ohne Projektor (links) und Konfigurationsoberfläche der Anwendung (rechts) Zur vollständigen Implementierung der Installation, wie sie im vorigen Verlauf vorgestellt wurde, werden zudem folgende Hardwarekomponenten und entsprechende Treiber benötigt: Videoprojektion von mindestens 2 x 1,5 m Microsoft Kinect Sensor Arduino Uno Microcontroller und modifizierter Treiber 5 Hitzemodul 5 bzw. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 71

84 5.4 Die Schwarminstallation "46 C" Resultate Das zuvor beschriebene Konzept wurde im Rahmen dieser Masterthesis umgesetzt und als Medieninstallation einer Gruppe aus Probanden vorgestellt. Zur Projektion der künstlichen Schwärme wurde ein an der Decke angebrachter Projektor verwendet, dessen Projektionsfläche bis ca. 1,10 m über den Boden reichte und das Hitzemodul zur Hälfte bedeckte. Die Softwarekomponente der Installation wurde um einen dunklen Farbmodus ergänzt, welcher eine randlose Darstellung an der Wand gewährleistet. Abb Durchführung der Installation 46 C Bei der technischen Implementierung des Konzepts fiel die Wahl der Heizelemente von herkömmlichen, weißen 60-Watt-Glühbirnen auf 100-Watt-Infrarotbirnen, die schneller und intensivere Wärme entwickeln und hingegen weniger Licht abgegeben, was in erster Linie zur Erhaltung der Schwarmprojektion erforderlich war. Als Nachteil dieser Rotlichtbirnen war eine mögliche Überlagerung des Infrarotsignals des Kinect-Sensors und somit eine unbrauchbare Interpretation der Skelettknotenpunkte abzusehen. In den Testläufen und der Durchführung der Installation bestätigte sich diese Befürchtung nicht bzw. nur teilweise: Lediglich bei der Kombination von aktivierten Rotlichtlampen und zu kurzem Abstand des Betrachters zum Kamerasensor wurden einzelne Gliedmaßen falsch zugeordnet. Die Erkennung der Rumpfposition und den groben Bewegungsrichtungen funktionierte in der Phase des Hornissenangriffs jedoch zufriedenstellend. Ausschlaggebende Situationen wie dem Freiflug der Hornissen durch den Raum, welche filigranes Capturing erfordern, waren von diesem Effekt unbeeinträchtigt Konzeption und Entwicklung einer interaktiven Schwarminstallation

85 Ein weiterer Untersuchungspunkt stellte die Temperaturentwicklung der Glühbirnen und deren Einfluss auf den Kinectsensor dar. Hierbei konnten keine Probleme beobachtet werden, da die Konstruktion einen Großteil der Hitze nach vorne ausstrahlt und die Sensorik zudem über einen integrierten Lüfter verfügt. Durch die Implementierung einer Konfigurationsleiste ist es desweiteren möglich, die virtuellen Positionen der Nester und Schwärme an die räumlichen Gegebenheiten, beispielsweise an einen größeren "Sicherheitsabstand" zwischen Wärmequelle und Kinectsensor, anzupassen. Die Installationskomponenten wurden unabhängig voneinander parallel entwickelt. Bei der Zusammenführung wurde ersichtlich, dass eine Aktualisierung der Glühbirnenzustände nicht mit jedem Programmdurchlauf erforderlich ist und an dieser Stelle Kapazitäten eingespart werden können. Auch konnte die Systemauslastung durch eine Anpassung der Framerate leicht gesenkt werden, wobei jedoch nach wie vor eine Erhöhung der Schwarmgrößen zu exponentiell ansteigenden Rechenoperationen führt. Bei geringer Agentenanzahl zeigte das Programm zwar ein flüssiges Bild, jedoch auch eine schwankende Geschwindigkeit beider Insektenschwärme. Die Ursache hierfür wird darin vermutet, dass sich die Werte der vielzähligen Parameter empfindlich auf das Schwarmverhalten als Ganzes, insbesondere auf die Flugbahnen der Insekten, auswirken. Entscheidend für die Zustandsänderungen, unter welche auch die Beschleunigung und Bewegungsrichtung zählen, sind die Abstände der Agenten zueinander. Bei einer Versuchsdurchführung mit einer sehr geringen Agentenanzahl, beispielsweise zwanzig Bienen, befinden sich demnach keine oder nur wenige Artgenossen in unmittelbarem Umfeld zueinander, was die Anziehung bzw. Abstoßung auf extreme Werte ansteigen lässt. In einem Schwarm mit der zehnfachen Menge an Agenten werden einzelne Objekte an vielen anderen ausgerichtet und emergieren in einem ausgeglicheneren Schwarmflug. Aus dieser Beobachtung heraus wurden die Schwarmgrößen erhöht, was die Schwankung der Geschwindigkeiten ausgleicht, hingegen jedoch ggf. den Umstieg auf ein leistungsfähigeres System erfordert. Bei der Implementierung des Konzeptes werden zwei Softwarekomponenten vereint, zum Einen der Zugriff auf die 3D-Skelettdaten des Kinect Sensors und zum Anderen das Multi- Agenten-System. Um die im Konzept vorgesehenen Funktionen einzubinden und das bestehende Boid-System auch optisch auf Bienen- bzw. Hornissenflugbewegungen anzupassen, sind Änderungen der Parameter und deren Größenverhältnisse notwendig. Wie auch bei der vorigen Betrachtung von impulsartigen Geschwindigkeitsschwankungen zeigt sich auch hier die Empfindlichkeit des Schwarmsystems: Änderungen der drei Umgebungskräfte, des Wahrnehmungsradius und der Agentengröße wirken sich in teilweise extremer und nicht direkt abschätzbarer Weise auf die Flugdynamik aus (vgl. Cinder 2011). 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 73

86 In mehreren Iterationen werden diese Parameter manuell ausbalanciert, wobei im Laufe der Tests auch unerwünschte Flugformationen wie Kreise oder Schlingen (Abb. 5.23) entstanden. Abb Screenshot: Flugformationen bei unterschiedlichen Werten für Anziehung, Abstoßung und Orientierungskraft. Links: Um die y-achse rotierter Torus. Rechts: Übergang zur Wolkenform Durchführung der Installation Die Installation "46 C" wurde am 12. April und am 25. Mai 2012 in den Räumlichkeiten der Fachhochschule Furtwangen aufgebaut und von zehn Studenten aus Informatik- und Medienstudiengängen getestet, wobei unterschiedliche Vorkenntnisse mit interaktiven Medieninstallationen und stereoskopischen Kamerasensoren, jedoch eine ähnliche Affinität zu digitalen Medien vorlagen. Die visuelle Ausgabe der Installation erfolgte über einen an der Decke angebrachten Projektor auf eine 3 x 2 m große Fläche der Wand, vor welcher das Hitzeelement auf Hüfthöhe der Nutzer platziert war. Die Interaktionen und Reaktionen der Betrachter wurden zur späteren Evaluation dokumentiert. In einer anschließenden Diskussionsrunde wurde den Probanden angeboten, über ihre Erfahrungen, die sie mit der Installation gesammelt hatten, zu berichten. Im Rahmen dieser Vorführungen konnten zudem die Funktionalität und das Zusammenspiel der virtuellen und physischen Komponenten des Aufbaus "in Aktion" geprüft werden. Technisches Fazit des Aufbaus Der technische Aufbau der Installation funktionierte zufriedenstellend. Bei leichter Abdunkelung des Raumes war die Projektion der Schwärme ideal zu erkennen, ohne dass eine Beeinträchtigung des Kamerasensors eintrat. Die erwarteten, leichten Ungenauigkeiten des Trackings bei aktivierten Infrarotbirnen übten keine dauerhafte Beeinträchtigung der Funktionsweise aus. Die verwendete Wandprojektion bewirkte, dass die dargestellte, virtuelle Szene das Heizelement nicht vollständig umgab, wie vom Konzept vorgesehen Konzeption und Entwicklung einer interaktiven Schwarminstallation

87 Bei zu steilem Projektionswinkel wurde die Projektion vom Schatten des Nutzers zu Teilen verdeckt, wenn dieser sich den Bienen frontal näherte und dabei den vom Kamerasensor geforderten Mindestabstand unterschritt. Beobachtungen der Probanden Nach einer kurzen, inhaltlichen Einführung in das Abwehrverhalten der japanischen Honigbienen traten nacheinander Besucher an die Installation heran. Die meisten Probanden machten sich zunächst mit der Steuerung des eigenen Schwarms vertraut und bewegten sich vor der Projektionsfläche hin und her, um die Insekten hinter sich her zu ziehen und das virtuelle Hornissennest zu erreichen. Dabei führte die Trägheit, mit welcher der Hornissenschwarm dem Körper des Betrachter folgt, bei vielen Nutzern zu langsamen, fließenden Bewegungen und auch teilweise zum Ausharren an bestimmten Positionen, beispielsweise zum Versammeln der Bienen oder zum Niederlassen auf dem eigenen Nest. Drei Probanden versetzten den Schwarm mit schnellen, rudernden Armbewegungen in Bewegung, die sie beschleunigten, um die Bienen anzugreifen (Abb. 5.25). Während ein Teil der Probanden nur die zentrale Position des Schwarms durch Umhergehen änderte, beeinflussten andere die Schwarmbewegungen und -Verteilung auch durch Zusammenkauern (Abb. 5.25), Ausbreiten der Arme und Beine (Abb. 5.24) oder nutzten den Raum durch große Schritte oder vorsichtiges Umherschleichen. Hierbei ist erwähnenswert, dass sich alle Probanden schnell als Schwarm erkannten, etwa die Hälfte sich jedoch zu Beginn zögerlich und orientierungssuchend bewegten. Hinweise und Tipps zur Steuerung des Schwarms, auch seitens der Zuschauer, wurden angenommen und unmittelbar ausprobiert. Eine Testperson nutzte die räumliche Erfassung der Installation zunächst dennoch nicht und bewegte sich nach oben und unten, um dem Schwarm an der Wand nach vorne bzw. hinten zu bewegen. Bei allen anderen Probanden war hingegen die Tendenz zu beobachten, dass der Aufnahmebereich des Kamerasensors in Vergessenheit geriet, der für eine optimale Bewegungsübertragung notwendig ist. Wurde technikinteressierten Nutzern die Konfigurationsansicht der Software vorgestellt, welche das Skelett zusammen mit beiden Schwärmen auf einem Gitternetz zeigt, verbesserte dies deren Orientierung im weiteren Installationsverlauf. Drei Testpersonen, die Erfahrungen im Umgang mit bewegungsgesteuerten Spielekonsolen wie der Nintendo Wii oder Microsoft Xbox Kinect angaben, lenkten den Schwarm beim Ansteuern eines konkreten Ziels mit den Händen. Zwei weitere Probanden mit geringen Vorkenntnissen auf diesem Feld unternahmen zusätzlich Versuche, ihre Gesten durch Wiederholen zu verstärken eine Eigenschaft, die von vielen Spielen dieser Konsolen nicht unterstützt wird. 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 75

88 Abb Ausschweifende Körperbewegungen zur Steuerung des Schwarms Das elektrische Knacken der Relaisschalter auf der Rückseite des Hitzemoduls war kein konzeptionell geplanter Bestandteil der Installation, löste jedoch bei den Nutzern teilweise deutliche Reaktionen aus. Während die Hälfte von ihnen diese Geräusche lediglich zur Kenntnis nahmen, wirkten sie auf die anderen Probanden unerwartet und verunsichernd. Erst im Anschluss an eine Eingewöhnungsphase begannen die meisten Probanden, sich dem Hitzemodul zu nähern. Die schrittweise Alarmierung der Bienen, die sich durch Farbveränderungen von Weiß über Gelb und Orange zeigt, ließ viele Spieler zurückweichen Konzeption und Entwicklung einer interaktiven Schwarminstallation

89 Abb Anschleichen und Ruderbewegungen Die anschließende Aktivierung des Hitzeelements überraschte viele Besucher zunächst als optisches Alarmsignal, führte jedoch anschließend dazu, dass die Zusammenhänge zwischen Angriffsrichtung bzw. -abstand und den aktivierten Lampen erkundet wurden. Neben einfachem Angreifen von vorne versuchten drei der Testpersonen, sich dem Bienenstock von unten, oben oder der Seite, teilweise nach vorne gebeugt, zu nähern. In kurzen Pausen der Bewegungslosigkeit warteten sie auf das Aufglühen des Hitzeelements, was als Signal genutzt wurde, den eigenen Schwarm sofort zurück zu ziehen und von einer anderen Seite eine neue Attacke zu starten. Es konnte beobachtet werden, dass es Probanden unterschiedlich schwer fiel, einen länger andauernden Angriff durchzuführen, die 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 77

90 akustischen und visuellen Signale des Heat Ballings zu ignorieren und den eigenen Schwarm zum Fortsetzen des Angriffs weiterhin am Bienennest und somit in der Nähe des Hitzeelements zu halten. Es konnte beobachtet werden, wie Probanden frontal vor dem aufleuchtenden Hitzeelement stehenblieben, wohingegen sich andere stets sofort zurückzogen oder ihre Position und Angriffsrichtung änderten. Nutzer, die zuvor eine sichere Orientierung im virtuellen Raum zeigten, begannen mit der Zeit, sich über das Reizen und Zurückweichen hinaus mit der Installation zu beschäftigen und Strategien zu entwickeln, die eigenen Angriffe effizienter zu gestalten. Hier ließ sich beobachten, wie Probanden ihre optisch hervorgehobenen Späherhornissen zum eigenen Nest führten, um dort die Informationen über die Beute im Schwarm zu verbreiten. Insgesamt schien der eingeschränkte Wahrnehmungsradius des Kamerasensors die Probanden in ihrer Bewegungsfreiheit einzuschränken. In allen Fällen richteten sich die Blicke und Bewegungen während der Bedienung der Installation konzentriert auf die projizierten Bienen und das eigene Schwarmabbild. Das Hitzeelement rückte, solange dessen Lampen nicht aktiviert waren, in den Hintergrund. Feedback der Probanden Die Form der offenen Diskussion wurde gewählt, um im Anschluss an die Durchführung nicht nur Feedback zur Bedienung oder technischen Funktion der Installation zu erhalten, sondern auch umstehende Zuschauer einzubinden und ein inhaltliches Fazit zur Installation ziehen zu können. Dabei war interessant, welcher Installationselemente eine höhere Aufmerksamkeit zugeteilt wurde und ob das Hineinversetzen in die Rolle eines Schwarms oder das Provozieren des Heat-Ballings für die Beteiligten mehr im Mittelpunkt stand. Insbesondere Zuschauer, welche zuvor die Installation selbst ausprobiert hatten, beteiligten sich an den Gesprächsrunden, stellten Fragen und zeigten Interesse an der technischen Implementierung. Alle Probanden gaben im anschließenden Gespräch an, dass die Steuerung des Hornissenschwarms glaubwürdig, realistisch und erwartungsgemäß funktionierte, selbst wenn in wenigen Fällen das Erfassen des Körpers aufgrund eines unterschrittenen Mindestabstands kurzzeitig unterbrochen wurde. Etwaige Probleme des Capturings bei aktiviertem Hitzemodul wurden von den Probanden nicht angegeben. Aufgrund der vorangegangenen Einführung in das Heat-Balling japanischer Honigbienen war inhaltlich der verhaltensbiologische Aspekt der Installation vordergründig. Der Schwerpunkt der Installation bestand daher für viele Probanden in der Interaktion zwischen Bienen und Hornissen, dem fast spielerischen Angreifen, Abwehren und Zurückwei Konzeption und Entwicklung einer interaktiven Schwarminstallation

91 chen. Einige Besucher brachten konkrete Ideen ein, die Installation zu einem Spiel zu erweitern, das projizierte Bild um Diagramme zu erweitern oder die Schwarmbewegungen mit Klängen zu verbinden. Ein Proband zeigte Interesse, die Installation mit stark unterschiedlichen, extrem hohen oder niedrigen Agentenzahlen zu konfigurieren und die Auswirkungen auf beiden Schwarmseiten zu testen. Als weitere zentrale Thematik der Installation wurden die technische Seite, das Videocapturing und das Steuern des Schwarmes durch die eigenen Körperbewegungen benannt. Fragen hierzu betrafen die Umsetzung des Multiagentensystems und das Binden der Hornissen an den Körper des Spielers. 5.5 Schlussfolgerungen Die Implementierung, Vorführung und Evaluation der Installation 46 C ermöglichen eine Auswertung des Konzepts und zeigen technische und inhaltliche Ansätze zur Weiterentwicklung auf Reflektion Gegenstand der Installation ist die explorative Auseinandersetzung mit Schwärmen. Der Nutzer bewegt das eigene Kollektiv und löst eine Konfrontation beider Schwärme aus. Ablenkende Faktoren, beispielsweise die Nähe zum eigenen Nest oder zur Beute, wirken als zusätzliche Kräfte auf die Bewegung der Agenten ein und führen temporär dazu, dass die semi-direkte Kontrolle des Hornissenschwarms durch den Nutzer weiter sinkt. Diese Installation beinhaltet zunächst eine Mensch-Computer-Interaktion. Nach Crawford müssen, um diese Interaktion qualitativ so hochwertig wie möglich zu gestalten, sowohl die Eingabe, Verarbeitung und Ausgabe optimiert werden. Wenn diese Interaktionen gut funktionieren, verhilft das auch zu einer besseren psychologischen Einbeziehung des Nutzers in die virtuelle Welt. Um die Rahmenbedingungen für eine Interaktion mit dem Schwarmsystem zu schaffen, darf der Ablauf der Installation nicht durch technische Stolpersteine gestört werden. Dazu sollte das Schwarmsystem weiterentwickelt werden, die Programmperformanz und die Skeletterkennung optimiert werden und die Auswirkungen auf den Nutzer mit einem Usability-Test geprüft werden. Jedoch zeigt sich, dass die Interaktion mit künstlichen Schwärmen eine Sonderrolle in der Mensch-Computer-Interaktion innehält. Die Eingabe des Nutzers wird nicht direkt umgesetzt, verarbeitet und angezeigt, sondern erfährt eine Bearbeitung des Schwarmsystems und eine Übersetzung (siehe auch Bisig 2010: 49). Diese Eigenschaften erforderten eine 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 79

92 erhöhte Konzentration der Teilnehmer, um den eigenen Schwarm in die gewünschte Richtung zu lenken, ohne die Kontrolle durch einen ablenkenden Anziehungspunkt zu verlieren. Die physikalische Umsetzung des Hitzeelements bringt weitere Besonderheiten in die Interaktion mit Gruppen autonomer Agenten ein. In Kombination mit der visuellen Ausgabe der Projektion wird der Temperatursinn des Nutzers angesprochen und vom Leuchten und Knacken der Glühbirnen unterstrichen. Dieses Ansprechen mehrerer Sinne verhilft, die Wahrnehmung des eigenen Körpers und der des virtuellen Schwarms zu mischen und zu überlagern (vgl. Bisig 2010 Cycles: 12, Ehrsson 2007). Die schnelle und intensive Wärmeentwicklung und das rote Licht des Heizelements taucht die Umgebung schlagartig in eine im ersten Moment bedrohlich wirkende Stimmung, die es von den Probanden zu überwinden galt Technische und konzeptionelle Weiterführung Auffälligster Kritikpunkt der Schwarminstallation bestand in der visuellen Darstellung des Schwarmsystem und das Eintauchen des Nutzers in die Rolle des räuberischen Hornissenschwarms. Die Wichtigkeit der Größe und Art des Bildschirms wurde dabei unterschätzt. Alle Nutzer erkannten sich zwar als Schwarm wieder und steuerten die Gruppe der künstlichen Agenten bewusst. War der Bildschirm jedoch zu klein oder wurden Teile der Projektion abgeschnitten bzw. von Schatten überdeckt, traten sowohl auf technischer Seite des Kamerasensors, wie auch seitens der Nutzer Missverständnisse auf. Bei einer Versuchsreihe an einem Fernsehbildschirm wurde deutlich, dass die Nutzer die eigene, virtuelle Repräsentation wiedererkannten und sich orientierten, jedoch konnte durch die begrenze Bildfläche die virtuelle Welt nicht auf die Größe des physischen Raumes skaliert und die Installation somit nicht wie im Konzept vorgesehen aufgebaut werden. Auch wenn die Beobachtungen hier ähnlich ausgefallen sind wie bei einer großen Projektionsfläche, muss bei der Evaluierung berücksichtigt werden, dass es sich um einen gänzlich verschiedenen Aufbau handelt. Für folgende Vorführungen ist aus diesem Grund die Rückprojektion auf eine Leinwand vorgesehen, welche durch die im Vordergrund befindlichen Personen oder Gegenstände nicht beeinträchtigt wird Konzeption und Entwicklung einer interaktiven Schwarminstallation

93 Abb Projektionsmöglichkeiten. Links und Mitte: Deckenprojektor mit Problem des Anschnitts bzw. der Verdeckung. Rechts: Rückprojektion. Um die Orientierung der Nutzer zu verbessern ist es notwendig, zusätzliche Anhaltspunkte in den virtuellen Raum zu integrieren, welche zum einen dessen Tiefe veranschaulicht und zum anderen die Einschätzung von Entfernungen erleichtert. Als Ansätze dieser Überlegung wurden in späteren Testphasen Schatten der Insektenschwärme und Nester im künstlichen Raum eingefügt. Ebenso wurde das Spiegelparadigma, welches aufgrund des vertrauten Spiegeleffekts eine bessere Akzeptanz und Orientierung schaffen sollte, nur zum Teil umgesetzt: Um diese Wirkung zu erzielen ist es notwendig, nicht nur den Nutzer, sondern auch dessen Umgebung abzubilden und diese um die künstlichen Elemente zu erweitern. Konkret kann im vorliegenden Fall das RGB-Videobild des Kamerasensors in der Projektion eingebunden und der Körper des Nutzers durch den Insektenschwarm ersetzt oder überlagert werden. Lösungsmöglichkeiten dieser Art reichen in das Feld der Augmented Reality. Die Arduino-Software des Microcontrollers, welcher den Rechner mit dem Hitzeelement verbindet, ist darauf reduziert, aus der eingehenden Zahlenkette die Signale zum Ein- und Ausschalten der entsprechenden Infrarotbirnen auszulösen. Eine weitere Optimierung dieser ohnehin minimalen Funktionalität stellt mit Sicherheit nicht den interessantesten Untersuchungspunkt dar. Jedoch zeigen die Entwicklung und das Testen der Cinder- Softwarekomponente, insbesondere des Schwarmsystems und der Anbindung an die interpretierten Tiefendaten des Kamerasensors, Ansätze für weitere Arbeiten. Um reale Bienen- bzw. Hornissenschwärme überzeugender nachzubilden ist eine weitere Feinjustierung der einzelnen Paramater, wie die der Anziehungs- und Abstoßungskräfte, des Wahrnehmungsradius und anderen Schwellenwerten, notwendig. Hierbei darf nicht vergessen werden, dass es sich bei dem zugrunde liegenden Modell der Boids ursprünglich um eine Vogelschwarmsimulation handelt, bei welcher Schwarmdynamiken wie Parallelgruppen oder Tori durchaus erwünscht sind, was im vorliegenden Fall von Insekten in der Natur jedoch nicht beobachtet werden kann. Neben unerwünschten Flugformationen sind dabei auch die Eigenschwingungen des Schwarmsystems selbst zu betrachten, die in Testläufen mit einer geringen Agentenanzahl zu beobachten waren. Eine vollständige Ausbalancierung aller Parameter und Größen unter dem hier verwendeten Boid- 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 81

94 Schwarmsystem bildet einen Ansatz für weiterführende Arbeiten. Mögliche Ansätze für Erweiterungen des Systems bestehen unter Anderem in einer topologischen Bemessung der Schwarmnachbarn (Schieberl 2011) oder eine Ersetzung des kugelförmigen Wahrnehmungsgebiets durch einen bewegungsverzerrten Ellipsoid (Reynolds 2005). Eine weitaus unkompliziertere Lösungsmöglichkeit besteht in der Implementierung einer Bewegungsfunktion ohne jegliche Orientierung an Artgenossen, beispielsweise auf Basis von "Wander" (vgl. Shiffmann 2011). Diese Vorgehensweise verspricht den optisch realistischen Eindruck umherschwirrender Insekten, führt jedoch durch ihre zu starke Abstraktion auf Makroebene, jedoch nicht zu Emergenz, wie sie beispielsweise für den Angriff der Hornissen erforderlich ist. Ein weiterer Anlass für Optimierung und Erweiterung stellt das Modell des Heat-Ballings dar. Zwar wurde diese Funktionalität im Rahmen dieser Arbeit ohne Anspruch auf Vollständigkeit beschrieben, jedoch ist die verhaltensbiologische Exaktheit für die immersive Gesamtwirkung oder die Interaktionsmöglichkeiten der Installation auch nicht ausschlaggebend. Wichtiger ist an dieser Stelle eine engere Verknüpfung mit dem Schwarmverhalten der Agenten. So müssen bestimmte Bewegungen, beispielsweise der Landeanflug und der Aufenthalt am Nest für den Nutzer deutlich erkennbar sein, um als Vorstufe des Heat- Ballings erkannt zu werden. Auch die Richtung und Stärke dieser Abwehr müssen ersichtlich werden, da sonst ein gezieltes Interagieren nicht möglich ist Aussicht Das Hitzeelement stellt eine abgeschlossene, robuste Komponente dar, welche auch losgelöst von der Installation als 3x3-Leuchtmatrix verwendet werden kann. Die importierte Arduino-Software des Moduls, welche die via USB-Anschluss übermittelten Zahlenreihen zum Ein- und Ausschalten der Infrarotbirnen verwendet, kann für fortführende oder anderweitige Arbeiten übernommen und angepasst werden. Ein weiterer Anreiz stellt eine komplette Neuinterpretation des Schwarmsystems, bestehend aus dem Schwarmverhalten beider Insektenarten und dem Heat-Balling der Bienen im Speziellen, dar. Anstatt diese Phänomene bildlich und fühlbar durch Projektion und Hitze nachzuempfinden ist es denkbar, das zugrunde liegende Schwarmmodell weiter auszubauen und Eigenschaften der Agenten an unterschiedliche Klänge oder Geräusche 6 6 Ein ähnliches Projekt stellt AntMusic dar, welches ACO-Algorithmen zur Generierung von Musik einsetzt (vgl. Monmarché et al. 2008: 230) Konzeption und Entwicklung einer interaktiven Schwarminstallation

95 zu koppeln. Eine Möglichkeit besteht darin, die Hornissen frei im virtuellen Raum umherfliegen zu lassen und lediglich die Bewegungen der Bienen an das Nest zu binden, deren Heat-Balling-Aktivität bestimmte Klangmuster auslöst. Dabei kann auch das Prinzip der indirekten Beeinflussung der Bienen durch die vom Nutzer gelenkten Hornissen angewandt werden. Interessant ist hierbei aus technischer Perspektive die Audiofunktionen des Kinectsensors, welche die räumliche Zuordnung von Geräuschquellen und die Erkennung von Sprache ermöglicht (vgl. Microsoft 2011). 5 Konzeption und Entwicklung einer interaktiven Schwarminstallation 83

96

97 6 Schlussfolgerungen Die theoretische und praktische Untersuchung von Tierschwärmen als Thema, als regelgebende Systeme und Verhaltensmodelle zeigen, wie sich die Anwendung der Schwarmthematik auf einen kreativen Kontext, im Speziellen auf interaktive Medieninstallationen, auswirkt. 6.1 Technische und konzeptionelle Auswirkungen Es zeigt sich, dass Schwarmverhalten und Schwarmintelligenz eng verwandte Begriffe sind, die beide gleichermaßen darauf basieren, dass sich aus dem Zusammenschluss vieler Entitäten, welche einen vorliegenden Sachverhalt aus der eigenen, begrenzten Sicht aufnehmen und verarbeiten, eine Entscheidung auf Kollektivebene herauskristallisiert. Die zentrale Funktionsweise kollektiver Problemlösestrategien stellt die Stigmergie dar, wohingegen Bewegungsformationen aus dem Streben nach Schwarmzusammenhalt und Kollisionsvermeidung der einzelnen Schwarmtiere entstehen. Die Algorithmen der Schwarmintelligenz werden auf mögliche Anwendung in Optimierungsfragen und Prozessen untersucht, die einer besonderen Ausfallsicherheit bedürfen. Diese Algorithmen und Abstraktionen bilden, als Komplexe Systeme betrachtet, einen Rahmen für Generative Kunst. Aus den Modellen, die wiederum bei der Untersuchung von Schwarmverhalten entwickelt werden, lässt sich das Verhalten autonomer Agenten in künstlichen Welten automatisieren. Somit zeichnen sich zwei Bereiche ab, die Schwärme bei der Konzeption und Umsetzung von kreativen Anwendungen einbeziehen: Schwärme als technisches Regelwerk zur automatischen Erzeugung von Strukturen und Prozessen im Sinne der Generativen Kunst Schwärme als Vorlage zur Modellierung von autonomen Agenten, die untereinander und mit dem Nutzer in Verbindung stehen Diese Auswirkung auf Technik und Gestaltung beeinflusst auch die Konzeption einer Schwarminstallation. So können bestimmte Ergebnisse aus bestehenden Schwarmsystemen in einem evolutionären Prozess entwickelt werden. Soll eine neue Verhaltensweise entwickelt werden, erfordert dies eine umgekehrte Konzeption, wobei zunächst die Aktionen auf Individualebene geplant werden müssen, um ein bestimmtes Ergebnis auf Makroebene zu erzielen. Demnach muss bei der Entwicklung eines Individual-Verhaltensmodells, 6 Schlussfolgerungen 85

98 anders als bei der Modellierung von Agentengruppen, die als Ganzes keine Schwarmeigenschaften zeigen, gleichzeitig das Zusammenwirken der Agenten beachtet werden. Doch nicht nur die Konzeption betreffend, sondern auch auf Durchführungsebene bestehen bei der Thematisierung von Schwärmen Besonderheiten. So kann der Künstler oder Nutzer die Entwicklung des Werkes beeinflussen, dessen System aufgrund der Autonomität der Agenten eine eigene Dynamik aufweist. 6.2 Die explorative Charakteristik von Schwarminstallationen Im besonderen Hinblick auf Schwarminstallationen, die eine Interaktion mit Gruppen autonomer, einander berücksichtigender Agenten ermöglichen, gibt es Auswirkungen auf die Handlungsmöglichkeiten und den psychologischen Einbezug des Nutzers. Durch die Autonomität dieser Systeme ist eine direkte Steuerung nicht möglich. Ebenso führt die Ansprache eines einzelnen Agenten stets zu einer Reaktion der Agenten, die mit ihm in Verbindung stehen, und schlussendlich des ganzen Schwarms. So gesehen handelt es sich um eine ungenaue Steuerung, die nicht vorherzusehen ist. Die Eingabe wird durch ein Schwarmsystem verarbeitet und ausgegeben, wobei die Handlungen des Nutzers nicht zwangsläufig direkt übernommen werden. Tritt der Nutzer als Schwarm einem Zweiten gegenüber, so ist hier die Interaktion semi-direkt: Zwar ist es möglich, den eigenen Schwarm in eine Richtung zu lenken, die Steuerungsfunktionen der Entitäten im Detail interferiert jedoch mit weiteren Kräften. Es zeigt sich jedoch, dass diese gewissermaßen unzuverlässige, ungenaue Art der Interaktion nicht zwangsläufig mit dem psychologischen Einbezug des Nutzers zusammenhängt. Anstatt dem künstlichen Schwarm mit den gleichen Erwartungen entgegenzutreten, wie bei normalen Avataren oder autonomen, einzelnen Charakteren, setzen sich Nutzer mit dem Schwarmsystem explorativ auseinander. Eine Medieninstallation, deren Bestandteile Schwarmsysteme sind, welche mit dem Nutzer interagieren, weist automatisch einen explorativen Faktor auf. Der Nutzer beobachtet die Auswertung der eigenen Eingaben und die Reaktion des Schwarmes Schlussfolgerungen

99 6.3 Ausblick Schwärme üben, das zeigt sich in frühen Überlieferungen, in der heutigen Belletristik und im Film, eine besondere Faszination aus. Demnach kann man sich rein inhaltlich mit diesem Thema befassen, ohne direkt ein Schwarmsystem als Methodik oder Vorlage zu verwenden. Die Parallelen zum Naturphänomen des Schwarms liegen in den verteilten Kapazitäten, welche auf Makroebene etwas Neues emergieren lassen, zu welchem einzelne Teilnehmer nicht auf diese Weise in der Lage sind. Während die Schwarmintelligenz bereits seit einiger Zeit als statistischer Effekt der Weisheit der Vielen untersucht wird, gewinnen Open Innovation, Swarm Creativity und User Driven Content im Kontext des Internets zunehmend an Bedeutung und eröffnen neue Forschungsfelder. Die Creative-Coding-Entwicklung, die selbst ein Beispiel für kollektive Kreativität und Selbstorganisation darstellt, ermöglicht immer mehr Zugang zu Software und Hardware, die eine Verbindung mit Schwarmsystemen anbietet. Die Eingabemöglichkeiten, die sich immer nahtloser und unsichtbarer in die physische Welt einfügen, lassen sich auch zur Interaktion mit künstlichen Schwärmen verwenden. Dabei zeichnet sich ab, dass viele Installationen Schwarmdynamik thematisieren und dem Nutzer, beispielsweise durch Körperbewegungen, eine Beeinflussung des Schwarms ermöglichen. Schwarmintelligenz auf Basis von Stigmergie wird zur Generierung von Strukturen und Mustern verwendet, ist jedoch selten Teil interaktive, agentenbasierte Installationen. Auch wenn im vorliegenden Konzept Heat Balling thematisiert wurde, bilden Steuerungsverhalten von Schwarmbewegungen das Gerüst der Interaktion. Weiterführende Arbeiten können, basierend auf der explorativen Auswirkung des Schwarmthemas, eine interaktive Installation mit Schwarmintelligenz als konzeptionelle und nicht rein technische Anwendung entwickeln. 6 Schlussfolgerungen 87

100 88

101 Eidesstattliche Erklärung Hiermit versichere ich, dass ich die vorstehende Arbeit selbstständig verfasst und hierzu keine anderen als die angegebenen Hilfsmittel verwendet habe. Alle Stellen der Arbeit, die wörtlich oder sinngemäß aus fremden Quellen entnommen wurden, sind als solche kenntlich gemacht. Die Arbeit wurde bisher in gleicher oder ähnlicher Form in keinem anderen Studiengang als Prüfungsleistung vorgelegt oder an anderer Stelle veröffentlicht. Ich bin mir bewusst, dass eine falsche Erklärung rechtliche Folgen haben kann. Ort, Datum Vor- und Nachname 89

102 90

103 Quellenverzeichnis Adams, Ernest W. (2004): Postmodernism and the Three Types of Immersion. Gamasutra.com. Online verfügbar unter m, zuletzt aktualisiert am Beni, Gerardo (2005): From Swarm Intelligence to Swarm Robotics. In: David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Hg.): Swarm Robotics. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg (3342), S Online verfügbar unter Bisig, Daniel (2010): Schwarm, Raum und Kunst: Das ISS-Forschungsprojekt. In: Marcus Maeder (Hg.): Milieux Sonores. Klang, Raum und Virtualität Klangliche Milieus. Bielefeld: Transcript, S Bisig, Daniel (2011): Interactive swarm space (ISS). Online verfügbar unter Bisig, Daniel (2011): ISO Flock: Zurich University of the Arts; Zurich University; Soka University Japan. Online verfügbar unter Bonabeau, Eric; Corne, David; Knowles, Joshua; Poli, Riccardo (2010): Swarm intelligence theory: A snapshot of the state of the art. In: Theoretical Computer Science 411 (21), S Bonabeau, Eric; Dorigo, Marco; Theraulaz, Guy (1999): Swarm intelligence - From natural to artificial systems. New York: Oxford University Press. Boyd, Jeffrey E.; Hushlak, Gerald; Jacob, Christian (2004): SwarmArt: Interactive Art from Swarm Intelligence. In: ACM Multimedia. Proceedings of the 12th ACM International Conference on Multimedia, October 10-16, 2004, New York, NY, USA. New York: ACM, S Online verfügbar unter Brandstetter, Gabriele (Hg.) (2007): Schwarm(E)Motion: Bewegung zwischen Affekt und Masse. 1. Aufl. Freiburg, Br: Rombach. 91

104 Cinder. Community-developed, free and open source library for professional-quality creative coding in C++ (2011): The Barbarian Group. Online verfügbar unter Couzin, Iain D.: Couzin Lab Collective Animal Behavior. Online verfügbar unter Couzin, Iain D.: Taming the Herd Mentality. Big Think. Online verfügbar unter Couzin, Iain D.; Dussutour, Audrey; Sumpter, David (2009): Collective Behavior From Cells to Animals to Us. Online verfügbar unter zuletzt aktualisiert am Couzin, Iain D.; Krause, Jens; James, Richard; Ruxton, Graeme D.; Franks, Nigel R. (2002): Collective Memory and Spatial Sorting in Animal Groups. In: Journal of Theoretical Biology 218 (1), S Crawford, Chris (2003): Chris Crawford on game design. Indianapolis, Ind: New Riders. Crawford, Chris (2005): Chris Crawford on interactive storytelling. Indianapolis, Ind: New Riders. Fetzner, Daniel; Taube, Wolfgang (2007): Interaktive Medieninstallationen im Spannungsverhältnis von medialer Gestaltung und technischer Konstruktion. In: Daniel Fetzner (Hg.): Bild - Raum - Interaktion. Angewandte empirische Wirkungsforschung. Ergebnisse interdisziplinärer Zusammenarbeit. Furtwangen: Fakultät Digitale Medien, Hochschule Furtwangen, S Flake, Gary William (1999): The computational beauty of nature. Computer explorations of fractals, chaos, complex systems and adaption. 3. Aufl. Cambridge, Mass. [u.a.]: MIT Press. Galanter, Philip (2003): What is Generative Art? Complexity Theory as a Context for Art Theory. In: International Conference on Generative Art. Online verfügbar unter Galanter, Philip (2006): Generative Art and Rules-Based Art. Vague Terrain 03. Online verfügbar unter zuletzt aktualisiert am Galanter, Philip (2007): Complexism and the Role of Evolutionary Art. In: Juan Romero und Penousal Machado (Hg.): Natural Computing Series. The Art of Artificial Evoluti- 92

105 on. A Handbook on Evolutionary Art and Music. Berlin, Heidelberg: Springer Berlin Heidelberg, S Online verfügbar unter Gloor, Peter A. (2011): COINs Collaborative Innovation Networks. Online verfügbar unter Jacob, Christian; Hushlak, Gerald (2007): Evolutionary and Swarm Design in Science, Art, and Music. In: Juan Romero und Penousal Machado (Hg.): Natural Computing Series. The Art of Artificial Evolution. A Handbook on Evolutionary Art and Music. Berlin, Heidelberg: Springer Berlin Heidelberg, S Jacob, Christian; Mammen, Sebastian von (2009): Swarming For Games: Immersion in Complex Systems. In: EvoWorkshops (Hg.): Applications of Evolutionary Computing: Springer. Online verfügbar unter Jens Krause; Stefan Krause (2010): Schwarmlabor. Videomitschnitte des Schwarmlabor- Workshops. In: Axel Kufus und Christian Zöllner (Hg.): Schwarmlabor. Universität der Künste Berlin. Berlin. Online verfügbar unter Kennedy, James; Eberhart, Russell C.; Shi, Yuhui (2001): Swarm intelligence. San Francisco: Morgan Kaufman Publishers. Online verfügbar unter Kinect for Windows sensor and software development kit (2011): Microsoft. Online verfügbar unter Krause, Jens; Couzin, Iain D.; Dyer, John R. G.; Faria, Jolyon J.; Clément, Romain O.; Holt, Natalie et al. (2010): A novel method for investigating the collective behaviour of fish: introducing Robofish. In: Behav Ecol Sociobiol 64 (8), S Krause, Jens; Krause, Stefan (2011): Kollektives Verhalten und Schwarmintelligenz. In: Klaus-Stephan Otto und Thomas Speck (Hg.): Darwin meets Business. Evolutionäre und bionische Lösungen für die Wirtschaft. 1. Aufl. Wiesbaden: Gabler, S Krause, Jens; Ruxton, Graeme D. (2002): Living in groups. Oxford: Oxford University Press. Krause, Jens; Ruxton, Graeme D.; Krause, Stefan (2009): Swarm intelligence in animals and humans. In: Trends in Ecology and Evolution (25), S Online verfügbar unter 93

106 Kufus, Axel; Zöllner, Christian (Hg.) (2010): Schwarmlabor. Universität der Künste Berlin. Berlin. Online verfügbar unter Lorenz, J.; Helbing, D.; Rauhut, H.; Schweitzer, F. (2011): How social influence can undermine the wisdom of crowd effect. In: Proceedings of the National Academy of Sciences 108 (22), S Maes, Pattie; Darrell, Trevor; Blumberg, Bruce; Pentland, Alex (1997): The ALIVE system: wireless, full-body interaction with autonomous agents. In: Multimedia Systems 5 (2), S Manovich, Lev (2002): The language of new media. 1st MIT Press pbk. Cambridge, Mass: MIT Press. Monmarché, Nicolas; Mahnich, Isabelle; Slimane, Mohamed (2007): Artificial Art Made by Artificial Ants. In: Juan Romero und Penousal Machado (Hg.): Natural Computing Series. The Art of Artificial Evolution. A Handbook on Evolutionary Art and Music. Berlin, Heidelberg: Springer Berlin Heidelberg, S Odendahl, Manuel; Finn, Julian; Wenger, Alex (2010): Arduino - Physical Computing für Bastler, Designer und Geeks. 2. Aufl. Beijing ;, Köln[u.a]: O'Reilly. Pham, D. T.; Ghanbarzadeh A., Koç E. Otri S. Rahim S. and M.Zaidi (2006): The Bees Algorithm a novel tool for complex optimisation problems. In: Innovative Production Machines and Systems (Hg.): IPROMS Conference IPROMS, S Rafaeli, Sheizaf (1988): Interactivity: From new media to communication. In: Sage Annual Review of Communication Research (Hg.): Advancing Communication Science, Bd. 16. Beverly Hills, CA: Sage, S Online verfügbar unter Reas, Casey (2010): Process Compendium. Online verfügbar unter zuletzt aktualisiert am Reas, Casey; Fry, Ben (2007): Processing. A programming handbook for visual designers and artists. Cambridge, Mass: MIT Press. Reynolds, Craig (1987): Flocks, Herds, and Schools: A Distributed Behavioral Model. In: Computer Graphics (4), S Online verfügbar unter Reynolds, Craig (2003): OpenSteer. Online verfügbar unter 94

107 Reynolds, Craig (2005): Boids. Online verfügbar unter zuletzt aktualisiert am Reynolds, Craig: Interaction with Groups of Autonomous Characters. In: Game Developers Conference 2000, S Online verfügbar unter Reynolds, Craig: Steering Behaviors For Autonomous Characters. In: Game Developers Conference 1999, S Online verfügbar unter Schieberl, Stephen (2012): Bantherewind.com. Online verfügbar unter Schröder, Dierk (2010): Intelligente Verfahren. Identifikation und Regelung nichtlinearer Systeme. In: Intelligente Verfahren. Sharp, Helen; Rogers, Yvonne; Preece, Jenny (2007): Interaction design. Beyond human-computer interaction. 2nd. Chichester ;, Hoboken, NJ: Wiley. Shiffman, Daniel (2011): Flocking. Online verfügbar unter Shiffman, Daniel: The Nature of Code. Online verfügbar unter Sumpter, David J. T. (2010): Collective animal behavior. Princeton, N.J: Princeton University Press. Online verfügbar unter Sumpter, David J. T.; Broomhead, D. S. (2000): Shape and Dynamics of Thermoregulating Honey Bee Clusters. In: Journal of Theoretical Biology (204), S Online verfügbar unter Surowiecki, James (2005): The wisdom of crowds. [Reprinted]. New York: Anchor Books. Svanaes, D. (2000): Understanding Interactivity. Tan, K.; Hepburn, H. R.; Radloff, S. E.; Yusheng, Yu; Yiqiu, Liu; Danyin, Zhou; Neumann, P. (2005): Heat-balling wasps by honeybees. In: Naturwissenschaften 92 (10), S

108 Taube, Wolfgang (2007): Interaktivität = (Actio + Reactio)*. In: Daniel Fetzner (Hg.): Bild - Raum - Interaktion. Angewandte empirische Wirkungsforschung. Ergebnisse interdisziplinärer Zusammenarbeit. Furtwangen: Fakultät Digitale Medien, Hochschule Furtwangen, S Tautz, Jürgen (2007): Phänomen Honigbiene. 1. Aufl. München: Spektrum; Elsevier. Tautz, Jürgen (2011): Bienenforschung. Universität Würzburg. Online verfügbar unter zuletzt aktualisiert am WDR (2011): Der schlaue Schwarm. Eine Folge der Sendung Quarks & Co. Unter Mitarbeit von Walter Ismeni. Westdeutscher Rundfunk, Online verfügbar unter Weber, Niels (2010): Transnationale Schwärme. In: Axel Kufus und Christian Zöllner (Hg.): Schwarmlabor. Universität der Künste Berlin. Berlin. Online verfügbar unter Zimmer, Carl (2007): From Ants to People, an Instinct to Swarm. The New York Times Online. Online verfügbar unter 96

109 Anhang Skizzen und Diagramme Ausgewählte Skizzen Screenshots Klassendiagramm Digitale Anhänge (CD) Making-Of der physischen Installationskomponente Dokumentation der Installationsvorführung Quellen Cinderanwendung Visual Studio Projekt, Treiber, Microsoft Kinect SDK Beta 1 Version

110

111 Herleitung des Installationsablaufs 99

112 100 Behavioral Model der Hornissen

113 Behavioral Model der Bienen und Heat-Balling-Funktionalität 101

114 Screenshot der Software-Komponente: Projektion der Schwärme Der Nutzer lenkt den eigenen Schwarm. In der Nähe des eigenen Nests (links im Bild) setzen sich einige Hornissen und tauschen Informationen über den Bienenstock aus. Informierte Hornissen leuchten in einem grellen grün und werden größer dargestellt. Bild 4 zeigt einen Angriff auf das Bienennest, welcher mit einem Heat Ball abgewehrt wird. Die aufgeheizten Bienen ändern ihre Farbe von Weiß zu einem dunklen Rot. 102