Entwerfen I. Musikvisualisierung. Hochschule für Gestaltung Schwäbisch Gmünd. Philipp Gräßer Thomas Techert. Sommersemester 08

Transkript

1 Hochschule für Gestaltung Schwäbisch Gmünd Entwerfen I Musikvisualisierung Philipp Gräßer Thomas Techert Sommersemester 08 Dozenten: Prof. Michael Götte Benedikt Groß

2 Vorwort In diesem Projekt ging es um die interdisziplinäre Aufgabe Musik zu visualisieren. Um Erkenntnisse, Wissen und Erfahrungen aus anderen Bereichen, in diesem Fall der Musik, zu gewinnen, müssen solche Prinzipien untersucht und übertragen werden. Betrachtet man hoch komplexe Musikstücke wie ein Orchester, so stößt man auf ein unüberschaubares Repertoir an Gestaltungsmitteln und Ausdrucksformen. Daher beschäftigten wir uns mit weitgehend minimalistischen Musikstücken und versuchten akkustische Strukturen sowie die musikalische Grammatik auf eine visuelle gestalterische Syntax zu übertragen und eine möglichst exakte Wiedergabe des Originals zu erzielen.

3 Entwerfen I Musikvisualisierung Philipp Gräßer Thomas Techert Interaktionsgestaltung Musikstück: Parov Stelar - Happy Ending

4

5 Inhalt Recherche Titelrecherche Auswahl des Musikstücks 07 Analyse Musikstück analysieren Musikalische Grammatik Notation 15 Konzeption Visuelle Parameter Formgebung Digitale Skizzen Programmwahl 25 Umsetzung Animierte Tests Animation Endversion 35 5

6

7 Recherche Titelrecherche Auswahl des Musikstücks 07 Analyse Musikstück analysieren Musikalische Grammatik Notation 15 Konzeption Visuelle Parameter Formgebung Digitale Skizzen Programmwahl 25 Umsetzung Animierte Tests Animation Endversion 35 Die erste Aufgabe war, ein geeignetes und gleichermaßen interessantes Musikstück aus dem Bereich Minimal Music also ein minimalistisches Stück zu wählen. Innerhalb dieses Stückes beschränkten wir uns auf einen Ausschnitt, der interessant, facettenreich und doch nicht zu komplex sein sollte. 7

8 Auszug einer Diplomarbeit von Jens Rehling an der Universität Wuppertal. Sein Vorhaben, ein neues System zu entwickeln, das die Möglichkeit bietet, Musik, Rhythmik neben der Wahrnehmungsgabe des Ohres auch für das Auge nachvollziehbar zu machen und Lesegewohnheiten teilweise neu zu definieren.

9 Zunächst ein Blick auf ähnliche Projekte in denen visuelle Gestalter ebenfalls die Musik als gestalterische Ausdrucksform zur Vorlage nahmen, um beispielsweise den Schall auf neue Weise sichtbar zu machen oder sogar typografisch umzusetzen. Auditiv erfahrbare Reize von Schwingungen auch optisch zu kommunizieren war ebenso wie bei uns die 9 Idee.

10 Bei dem Titel von den Dire Straits gab es Noten, die man einsehen konnte, um sich einen Überblick zu verschaffen, wie komplex das Stück aufgebaut ist. Oben zu sehen sind Auschnitte davon.

11 Recherche Im Rahmen der Auswahl unseres Musikstücks wurden erste Überlegungen und Skizzen zu verschiedenen Musikstücken gemacht. Im Fokus unserer Auswahl standen drei Stücke. In einem dominierte ein Gitarrensolo, im anderen ein Gegenspiel aus Klavier und gedämpfter Trompete. 11

12

13 Erste Skizzen Um einen Überblick über das Stück zu bekommen, wurden bereits am Anfang zur Vorauswahl grobe Skizzen einer Notation erstellt. 13

14

15 Recherche Titelrecherche Auswahl des Musikstücks 07 Analyse Musikstück analysieren Musikalische Grammatik Notation 15 Konzeption Visuelle Parameter Formgebung Digitale Skizzen Programmwahl 25 Umsetzung Animierte Tests Animation Endversion 35 Um das Musikstück zu verstehen, wurden nach der Auswahl des Liedes Einzelteile wie Instrumente, Noten, Tonhöhen, Stimmung, Amplitude und Lautstärke, die in jedem Musikstück stecken, untersucht und eine eigene Notation erstellt. Diese sollte später als Vorlage dienen, um die gesammelten Erkenntnisse auf die Visualisierung zu übertragen. 15

16 Dazu war es nötig das Stück nachzuspielen, um die Noten für eine eigene Notation zu erstellen. Oben zu sehen sind die nachgespielten Noten der Klavierspur.

17 Analyse In einem nächsten Schritt wurde das Grundgerüst des Musikstücks untersucht. Technische als auch musikalisch melodische Aspekte des Liedes wie der Tonanschlag oder Klangnuancen die man in Worte fassen kann mussten differenziert werden. Außerdem der Überblick über Amplitude oder Spektralverteilung. 17

18 Piano C C Die nachgespielten Noten wurden nun in Balkendarstellung auf Notenlinien in eine Gesamtheit übersetzt. Die Tonlänge wurde in einem nächsten Schritt abhängig von der Amplitude abgeglichen.

19 Lautstärke 0:00 0:10 0:20 0:40 1:00 db Piano: F=7x, G=1x, A=11x, B=2x, C=6x, D=0x, E=0x, F=2x, G=2x, A=9x, B=4x 44 Blasintrument: A=1x, B=0x, C=8x, D=10x, E=0x, F=12x, G=8x, A=6x,C=1x, D=1x, E=2x, F=1x, G=1x 51 Orgel: B+F=2x, G+E=2x 8 Analyse Ein weiterer Punkt war es, eine technische Basis aufzubauen und damit zu beginnen, wie häufig ein Ton angespielt wird oder wie häufig und wann welches Instrument zum Einsatz kommt oder zu welcher Zeit das Stück welche Lautstärke erreicht. 19

20 Piano 0:00 0:10 0:20 0:40 1:00 Blasinstrument Orgel Alle

21 Analyse Als Ergebnis der Auswertungen und Analysen ging eine relativ genaue Notation hervor, in der man die Instrumente, Tonverläufe, Takte und Geschwinigkeiten des Stücks ablesen und vergleichen konnte. 21

22 Einer konkreten Zuordnung gingen zunächst einige Selbststudien voraus. Ein Musikstück anzuhören und spontan nieder zu schreiben was man dabei empfindet, denkt oder sich vorstellt war ein erster Schritt um mit dem Stück vertraut zu werden.

23 subjektiv Piano ruhig beruhigend sanft gelassen gefühlvoll Ordnung Blasinstrument unruhig temperamentvoll kindlich unbeholfen mit Gefühl gespielt chaotisch technisch Anschlagstärke Töne halten Töne dämpfen Lautstärke Tonhöhe Druck Vibration Töne halten Töne dämpfen Töne verbinden Lautstärke Tonhöhr Analyse Die zunächst subjektiv empfundenen Eigenschaften wurden konkretisiert und es wurde eine Begriffsliste für jedes Instrument mit verschiedenen Klangeigenschaften erstellt, die später auch geeignet sind, um visuell umgesetzt zu werden. 23

24

25 Recherche Titelrecherche Auswahl des Musikstücks 07 Analyse Musikstück analysieren Musikalische Grammatik Notation 15 Konzeption Visuelle Parameter Formgebung Digitale Skizzen Programmwahl 25 Umsetzung Animierte Tests Animation Endversion 35 Im weiteren Projektverlauf war das Ziel eine sinnvolle Verbindung über die Notation zu schaffen und ein System zu entwickeln, das die ausgewerteten Eigenschaften optimal ausschöpft. In diesem Rahmen fanden diverse Untersuchungen zur Übersetzung musikalischer Eigenschaften auf visuelle Parameter, der Umgang mit Zeichenoperationen sowie die passende Formgebung der Musik statt. 25

26

27 Konzept Erste Skizzen zu darstellbaren grafischen Transformationen, die den musikalischen Eigenschaften zugewiesen werden können. Es wurden außerdem erste digitale Skizzen zur Form- und Darstellungsfindung erstellt. 27

28 Klavier weich

29 Blasinstrument hart Konzept In diesem Arbeitsschritt wurden visuelle Parameter erprobt mit denen man Tonveränderungen, verschiedene Instrumente und Vorgänge übersetzen könnte. 29

30 In diesen Modellen wurden Varianten wie Pendel, Ringe und Bänder erstellt sowie Tonübergänge skizziert.

31 Konzept Die Erprobung verschiedener Modelle zur späteren Umsetzung durch digitale Skizzen. Vor-und Nachteile dieser Modelle wurden diskutiert. 31

32

33 Konzept Aufgrund der guten Nachvollziehbarkeit und Nähe zum Musikstück selbst und seiner Notation erstellten wir weitere Entwürfe zur Darstellung der Töne durch eine Art Band. 33

34

35 Recherche Titelrecherche Auswahl des Musikstücks 07 Analyse Musikstück analysieren Musikalische Grammatik Notation 15 Konzeption Visuelle Parameter Formgebung Digitale Skizzen Programmwahl 25 Umsetzung Animierte Tests Animation Endversion 35 Um Musik visuell verständlich zu machen zeigen wir die Töne, bzw. das Gesamtstück nicht komplett entfremdet von der Originalnotation sondern transformieren und transportieren die vorhandenen Noten und Töne in eine dreidimensionale Bühne und sehen die Reihe der gespielten Töne, als den Weg, den ein Musikstück geht. 35

36 Erste Tests gingen in verschiedene Richtungen. Von der Darstellung des Bands aus einzelnen Elementen bestehend über ein generativen Schlauch bis hin zu einer Landschaft, die aus den Wellen der Tonhöhen entsteht.

37 Umsetzung Über erste animierte Tests und die Animation in Echtzeit mit Musik konnte man sich auf ein Programm festlegen, das für das Vorhaben geeignet ist. Durch den Vergleich verschiedener Ansätze und den Gebrauch der erfahrenen Erkenntnisse aus der Notation konnten diese Inhalte nun auf die Animation übertragen werden. 37

38

39 Umsetzung Mit dem Vorsatz den Notenverlauf möglichst genau zu übernehmen wurde dieser nun auf verschiedene Arten als Pfad dargestellt und in den dreidimensionalen Raum transportiert. 39

40 Gesamtstück als Pfad Übertrag der Töne 1 Ton Die Form der angespielten Töne des Pianos wurde dem technischen Grundprinzip angeglichen. Der Ton wird bei Anschlag laut, anschließend expotentiell leiser und klingt ab.

41 Umsetzung Nun wurde abgeleitet von der Tonlautstärke am Anschlag die Form der Töne auf dem Band erstellt und exakt aus dem wachsenden Band herausgeschnitten. 41

42

43 Umsetzung Ein weiterer Schritt war die passende Formgebung des Blasinstruments, was in seiner Art im Gegensatz zum Klavier eine kantige, rauhe Form erzeugen sollte. 43

44 Einige Versuche zur Materialbeschaffenheit sowie der Beleuchtungs- und Umgebungssituation sind hier zu sehen.

45 Umsetzung Durch die abschließende Inszenierung mit Licht, einer Kamerafahrt und der Abstimmung der Hintergrundfarbe wurde zuletzt versucht, die gewünschten Eigenschaften zum Ausdruck zu bringen, sowie die erhofften Formen passend darszustellen. 45

46 In unseren Versuchen gab es Versionen mit einem Bodenobjekt, das die Farbe verändert um eine Orgel im Hintergrund in einer leichten Farbigkeit darzustellen.

47 Die Visualisierung Letztendlich entschieden wir uns für einen hellen Hintergrund in dem die Protagonisten ohne Glanz, angeleuchteter Farbe oder Schatten agieren, da die Formen, die entstehen aussagekräftig genug wirken. Durch feine Grauabstufungen im Hintergrund könnte das stimmungsvolle Spiel der Orgel angedeutet werden. 47