MUSIC FINGERPRINT - Semesterprojekt - Melanie Glauz Generative Gestaltung - Sommersemester Hochschule für Künste Bremen

Transkript

1 Music Fingerprint Semesterprojekt Melanie Glauz (Mat.-Nr ) Generative Gestaltung (Stefan Töws) Sommersemester 2013, Hochschule für Künste Bremen University of the Arts Bremen

2 EINLEITUNG Im Kurs Generative Gestaltung bei Stefan Töws im 2. Semester des Studiengangs Digitale Medien haben wir uns mit der Gestaltung von Medien auf Basis von Algorithmen beschäftigt. Am Semesterende sollten die Erfahrungen auf ein Projekt unserer Wahl angewendet werden, welches sich mit generativer Gestaltung beschäftigt. Beliebige Ein- und Ausgaben, z.b. Sound, Grafik, Bewegung, Daten konnten zu einem Gesamtprodukt- oder konzept kombiniert werden. Music Fingerprint Music Fingerprint ist ein eigenständiges ausführbares programm, welches sich mit der Visualisierung von Ton (z.b. Musik oder Sprache) beschäftigt. Idee In Bildern ist es heutzutage leicht, eine Mustererkennung zu erstellen. Farben und Formen können leicht analysiert und Bilder somit verglichen und eingeordnet werden. Im Sound-Bereich ist diese Analyse noch nicht so weit verbreitet, da sie schwieriger umzusetzen ist. Programme wie Shazaam können zwar Musikstücke analysieren und aufgrund von übereinstimmenden Merkmalen den passenden Song aus Datenbanken auslesen. Ein direkter und individueller Vergleich der Eigenschaften ist aber noch nicht möglich und die wichtigste Sinneswahrnehmung des Menschen, der visuelle Eindruck, wird nicht angesprochen. Genau dies wird mit der Anwendung Music Fingerprint verwirklicht. Hier wird der auditive Eindruck eines Songs als visueller Fingerabdruck sichtbar gemacht, um Musik mit mehreren Sinnen wahrnehmen zu können. DAS PROGRAMM Das Programm Music Fingerprint ist als plattformübergreifende und international verständliche Anwendung gedacht. Daher ist es komplett in englischer Sprache angelegt und die Menüfunktionen sind zum besseren Verständnis einfach und übersichtlich gehalten. Das Programm läuft als ausführbare Jar-Datei, es basiert auf Java-Technologie und kann daher auf jedem Betriebssystem ausgeführt werden, auf dem eine Java-Laufzeitumgebung vorhanden ist. Das Menü ist mit Java Swing erstellt und zeigt somit auf allen Betriebssystemen das gleiche Aussehen und Verhalten. Das Programm erstellt von einem beliebigen Song einen individuellen visuellen Fingerabdruck nach festgelegten Kriterien. Diese Kritierien basieren auf den vorhandenen Tonhöhen (Frequenz) und den Laustärken (Amplituden) über die Zeit. Die im Stück vorkommenden Frequenzen werden in 9 Frequenzbänder aufgeteilt, welche den standardmäßigen Bass-, Mittel- und Hochtonfrequenzen entsprechen. Die Frequenzen und die jeweilige Amplitude werden in Echtzeit während des Abspielen des Songs ausgelesen und in eine Farb- und Forminformation umgewandelt. Zusätzlich wird die allgemeine Lautstärke zu jeder Zeit analysiert und bildet einen weiteren Bestandteil der Grafik

3 Durch die Kombination der verschieden ausgeprägten Frequenzen entsteht nach und nach eine Grafik auf dem Bildschirm, welche repräsentativ die Eigenschaften des Musikstücks darstellt. Es lässt sich herauslesen, ob in einem Song besonders viele Basstöne vorkommen, oder die Frequenzen eher im höheren Bereich liegen. Auch der Beat lässt sich erkennen und so lassen sich auch Aussagen über die Schnelligkeit des Musikstückes treffen. Somit wird ein Gesamteindruck des Songs wiedergegeben und die Stimmung kann grafisch eingefangen werden. Ein individueller, grafischer Abdruck des hörbaren Sounds entsteht. Ähnliche Musikstücke führen zu unterschiedlichen Ergebnissen, deren Ähnlichkeit aber visuell erfassbar ist. Die Grafik Ein Musikstück besteht zu jedem Zeitpunkt aus vielen gleichzeitig klingenden Einzeltönen. Diese haben unterschiedliche Frequenzen mit zu jeder Zeit verschiedenen Amplituden. Das gesamte hörbare Frequenzspektrum (meistens der Bereich von 20 Hz bis Hz) wird in neun repräsentative Bänder aufgeteilt. Diese werden durch verschiedene Farben repräsentiert. Die Farben orientieren sich am HSB-Kreislauf, sodass die Hue-Werte (Farbton) abhängig vom jeweiligen Frequenzband gewählt sind. Dies bedeutet, dass tiefe Töne rot bis orange angezeigt werden, mittlere Töne von gelb bis grün verlaufen und die hohen Töne im Bereich blau bis violett liegen. tief mittel hoch Die neun Frequenzbänder werden als farbige Bänder dargestellt, die um einen gemeinsamen Mittelpunkt angeordnet sind und sich leicht überlappen. Während des Abspielens entsteht dynamisch ein in sich geschlossener Kreis aus den Einzelbändern. Der Winkel der Linien hängt von der Länge des Musikstücks ab. Er wird so berechnet, dass sich das lauteste Band im Laufe des Stückes einmal um den Kreis schließt. Der Standardwert für den Kreisradius ist so festgelegt, dass die Fensterhöhe ausgenutzt wird, er kann vom Benutzer aber beliebig angepasst werden. In der Mitte befindet sich der zehnte Kreis, welcher den Verlauf der Gesamtlautstärke darstellt. Er ist in einem schlichten hellgrau gehalten, um informativ zu sein, aber nicht den Farbeindruck des Gesamtbildes zu verändern. Der Ausschlag eines Frequenzbandes und die Sättigung der ausgeschlagenen Linie hängen von der relativen Lautstärke des Frequenzbandes ab. Diese repräsentiert den jeweiligen Anteil an der Gesamtlautstärke aller Frequenzen zum aktuellen Zeitpunkt. So erzeugen die Ausschläge von sehr lauten Frequenzbändern besonders lange und helle Linien und treten damit in der Grafik stark hervor. Programmiersprache und Libraries Die Anwendung ist mit der Programmiersprache Java erstellt, benutzt aber auch Elemente aus Processing, weswegen die Processing Library eingebunden - 2 -

4 ist. Für die Analyse von Musik werden weitere Libraries eingebettet. Für das Abspielen der Musik und die Soundanalyse werden die Minim-Library Audio- Player und die Standard-Minim-Library eingesetzt. Die Frequenzanalyse nutzt die Minim Library Fast Fourier Transform. Bedienung Der Benutzer kann eine beliebige MP3-Datei von seinem Computer auswählen. Im Einstellungsfeld kann er zusätzlich den Radius der Kreisgrafik anpassen. Im About-Fenster finden sich Informationen zum Projekt und zur Funktionalität des Programms. Nachdem der Benutzer einen Song analysiert hat, kann er die Fingerprint-Grafik auf seinem Computer abspeichern. Hat er mehrere Songs durchlaufen, kann er sich einen individuellen Überblick über die Gemeinsamkeiten und Unterschiede seiner Musik verschaffen. IMPLEMENTIERUNG Die Start-Klasse initialisiert das Sketch-Objekt und erstellt das Programmfenster inklusive des Menüs. Das Sketch-Objekt ist die zentrale Komponente. Dort wird die Musik analysiert, die Werte an die Band-Klasse übergeben und die Linien werden gezeichnet. Die Band-Klasse repräsentiert ein Frequenzband und berechnet für dieses Band anhand der übergebenen Wert die Länge und die Farbe der Linien. Wenn ein Musikstück abgespielt wird, rechnet die Fourier Transformation Werte eines Signals auf Zeitbasis in Werte auf Frequenzbasis um. Dabei ergibt sich ein Frequenzspektrum, welches nicht die einzelnen Frequenzen, sondern Frequenzbänder repräsentiert. Von den Frequenzbändern werden zu jedem Zeitpunkt die mittlere Amplitude berechnet und an die Band-Objekte übergeben. Ein Band-Objekt berechnet dynamisch eine obere Schranke für die Amplitude, die auf der Frequenz des Bandes und der aktuellen Gesamtlautstärke basiert. Diese Maximalamplitude liegt bei niedrigeren Frequenzen höher als bei hohen, damit die vergleichsweise seltenen Ausschläge der hohen Frequenzen stärker ins Gewicht fallen. Auf Grundlage der zu einem Zeitpunkt übergebenen mittleren Amplitude des Band-Objektes wird ein Faktor berechnet, der den Anteil gegenüber dem Maximalwert repräsentiert. Dieser Wert stellt die relative Intensität des Frequenzbandes zu einem Zeitpunkt dar und bestimmt die Helligkeit und den Ausschlag der Linie. FAZIT MUSIC FINGERPRINT macht Musik zusätzlich zur auditiven Wahrnehmung auch visuell erlebbar und vergleichbar. Es ensteht also ein multimodales Medium. Das Look and Feel des Programmes ist bewusst schlicht gehalten, um nicht vom eigentlichen Ergebnis abzulenken: der Grafik. Die einfache und intuitive Bedienung lädt den Benutzer dazu ein, immer neue Songs zu analysieren und die Werte zu verändern, um sich von dem immer neuen Ergebnis überraschen zu lassen

5 MUSIC FINGERPRINT - Semesterprojekt - Melanie Glauz BEISPIELE Lacrimosa - Britten dies illa Nature s Retreat - My Garden Vara - Vallabha Schandmaul - Das Mädchen und der Tod Orishas - Represent Samsas Traum - Stromausfall -4-