Computer compositing Paul Preuschoff

Größe: px

Ab Seite anzeigen:

Download "Computer compositing Paul Preuschoff"

Lorenz Böhmer
vor 5 Jahren
Abrufe

1 Computer compositing Paul Preuschoff

2 Inhalt Einleitung Methodik Probleme State of the Art Ausblick 2

3 Einleitung Einleitung Methodik Probleme State of the Art Ausblick 3

4 Computer Compositing Das Generieren von neuer guter Musik 4

5 Historie 5

erscheint posthum 1960: Komponist Iannis Xenakis schreibt ein Fortran Programm das Partituren erzeugt

6 Historie 1026: Benediktinermönch ordnet den Silben religiöser Texte verschiedene Töne zu 1660: Athanasius Kircher baut eine Komponiermaschine 1793: Mozarts Anleitung zum Componieren von Walzern erscheint posthum 1960: Komponist Iannis Xenakis schreibt ein Fortran Programm das Partituren erzeugt Arca musarithmica (Komponiermaschine) Bild: Wikimedia Mozarts Buch zum Komponieren mit Würfeln 6 Bild: Amazon

7 Computer Compositing Das Generieren von neuer guter Musik 7

8 Was ist Musik? 8

9 Was ist Musik? - Definition Folge von organisierten Schallereignissen (Töne) verschiedener Lautstärke Tonhöhe Auslösezeit, Tondauer Mehrere Töne hintereinander bilden eine Melodie Mehrere Töne übereinander bilden eine Harmonie Töne stammen aus einer Skala 10

10 Computer Compositing Das Generieren von neuer guter Musik 11

11 Was ist gute Musik? 12

12 Das fundamentale Gleichgewicht der Musik Rhythmus Refrain Melodie Strophe Musik Sicherheit Emotion Abenteuer Periodizität Umwelt Abwechslung 13

13 Oft macht grade das Brechen der formalen Kriterien besonders gute Musik aus. 17 Bild: Cover des Beatles Albums Sergeant Pepper

14 Computer Compositing Das Generieren von neuer guter Musik 18

15 Wie erzeugt man neue, gute Musik? Einleitung Methodik Probleme State of the Art Ausblick 19

16 Vorbereitung 20

17 Format: Noten oder Waveform Noten Geringe Komplexität Berechnung: Realtime wenige Stunden Leicht editierbar, kein Endprodukt Musik ist nicht so komplex, keine Vocals Waveform Hohe Komplexität Berechnung: wenige Stunden - Tage Endprodukt, Editierung eingeschränkt Musikalische Komplexität potentiell sehr hoch, Vocals theoretisch möglich 21

18 Vereinfachung Beispiel Original MIDI-File 23

19 Vereinfachung Beispiel Original MIDI-File Quantisieren 24

20 Vereinfachung Beispiel Original MIDI-File Quantisieren Varianz entfernen 25

21 Vereinfachung Beispiel Original MIDI-File Quantisieren Varianz entfernen Monofonie

22 Methoden 27

23 Methoden zur Erzeugung 1. Stochastische Methoden 2. Wissensbasierte Systeme 3. Musik als Sprache 4. Evolutionäre Algorithmen 5. Künstliche neurale Netzwerke 28

24 1. Stochastische Methoden Stochastische Analyse einer Eingabe, zur Erzeugung einer stochastisch ähnlichen Ausgabe Positiv Negativ Niedrige Komplexität geeignet für Echtzeitanwendungen Es sind Loop Escape Mechanismen nötig Um einen Stil gut zu simulieren benötigt man sehr große Datenmengen Es ist schwer höhere abstraktere Muster zu erkennen und zu imitieren Abweichungen von der Norm sind in bestimmten Fällen besonders wichtig 29

25 1. Beispiel Markow-Ketten Mathematisches System um die Wahrscheinlichkeiten von Zustandsveränderungen zu erfassen Genutzt z.b. von Textvervollständigung oder dem PageRank Algorithmus von Google Andrei Andrejewitsch Markow, russischer Mathematiker, Bild: Wikimedia 30

26 1. Markow Ketten - Vorgehensweise Aus Trainingsdaten werden die Transitionswahrscheinlichkeiten ermittelt z.b. bildet eine Note einen Zustand Daraus werden neue Ketten nach den ermittelten Wahrscheinlichkeiten gebildet 31

27 1. Musik durch Markov Ketten - Beispiel Markow Kette erster Ordnung Es wird immer aus der aktuellen Note auf die Nachfolgende geschlossen Dauer Note Auf die Note A6 folgte 28 mal die Note G# mit einer Länge von 500ms 32

28 Input: 1. Musik durch Markov Ketten - Beispiel River Flows In You - Yiruma Output: River Flows In You (Markow Version) Alvin Lin 33

29 2. Wissensbasierte Systeme Werden z.b. genutzt um Usern neuen Content vorzuschlagen Symbolisches erzeugen von Musik nach definierten Regeln Positiv Negativ Ergebnisse können genau nachvollzogen werden (benutzte Regeln) Viele Regeln sind bekannt -> Musiktheorie Regeln präzise festlegen ist langwierig, Musikexperten erforderlich Subjektivität Benötigt keine Trainingsdaten Systeme neigen dazu sehr kompliziert zu werden, Vereinfachungen kaum möglich 35

30 3. Musik als Sprache Melodieerzeugung mithilfe von Grammatiken Beispiel anhand von Mozarts frühen Stücken 36

31 3. Musik als Sprache - Beispiel LIED -> SONATE RONDO FUGE SONATE -> INTRO MENUETT FINALE INTRO -> MELODIE_C_DUR MELODIE_F_DUR MELODIE_C_DUR 37

32 3. Musik als Sprache - Beispiel Nachteile: das Finale sollte die selben Melodien enthalten wie das Intro Melodiegenerierung Grammatiken werden sehr schnell sehr kompliziert Vorteile: Geeignet für die Struktur eines Stücks als Teil eines Hybridsystems 38

4. Evolutionäre Methoden Naturanaloges Optimierungsverfahren Fitness Function Kriterien Mensch Die Antenne der Space Technology 5 Satelliten, von EAs entwickelt Bild: Wikimedia Positiv Effizient,

33 4. Evolutionäre Methoden Naturanaloges Optimierungsverfahren Fitness Function Kriterien Mensch Die Antenne der Space Technology 5 Satelliten, von EAs entwickelt Bild: Wikimedia Positiv Effizient, besonders bei großem Suchraum Stellen mehrere Lösungen zur Verfügung Negativ Automatische Fitness Function ist sehr begrenzt möglich Bei menschlicher Variante: äußerst ineffektiv und subjektiv Lösung nicht begründet/nachvollziehbar 40

Hidden layers Output Künstliche neuronale Netzwerke sind Netze aus künstlichen

34 5. Künstliche neurale Netzwerke Kein Vorwissen Werden mithilfe von Trainingsdaten trainiert Momentan populärste und erfolgreichste Methode zur Musik Erzeugung Input Hidden layers Output Künstliche neuronale Netzwerke sind Netze aus künstlichen Neuronen. Sie stellen einen Zweig der künstlichen Intelligenz dar. Bild: Wikimedia 41

35 5. Beispiel Zahlenerkennung Nutzungssrichtung Trainingssrichtung 42

36 5. Neurale Netze - Stiladaption Quelle: 43

37 5. Musikalische Stiladaption bachbot Output Twinkle twinkle little Star Nutzungssrichtung Trainingssrichtung 44

38 5. Musik generieren Input Output 45

39 Probleme Einleitung Methodik Probleme State of the Art Ausblick 46

40 Probleme Originalität Völliger Zufall Overfitting Qualität 47

41 State of the Art Einleitung Methodik Probleme State of the Art Ausblick 48

42 State of the Art Ersteller Methode Ausgabe Eigenschaften BachBot Feynman Liang (Cambridge University) Neuronale Netzwerke Noten, Stil von Bach Bis zu 4 Stimmen parallel, Eingabe Melodie Mensch oder Maschine Quiz: 51

43 State of the Art Ersteller Methode Ausgabe Eigenschaften Google WaveNet Neuronale Netzwerke Audio Waveform Hier mit Klassik trainiert, eigentlich für Spracherzeugung konzipiert reden brabbeln Musik 52

44 Ausblick Einleitung Methodik Probleme State of the Art Ausblick 53

45 Ausblick Personalisierte Musik Möglichkeiten wie Bachisieren oder Mozarten in Musik Software Assistenten mit Melodievorschlägen in Musik Software Film-/Gamemusik Generierung nach vorgegebener Spannungskurve 54

46 Vielen Dank für die Aufmerksamkeit

47 Hauptquellen AI Methods for Algorithmic Composition: A Survey, a Critical View and Future Perspective; George Papadopoulos, Geraint Wiggins Music and Computer Composition; James Anderson Moorer Genetic Algorithms and Computer-assisted Music Composition; Andrew Horner Using machine-learning Methods for Musical Style Modeling; Shlomo Dubnov, Gerard Assayag, Oliver Lartillot, Gill Bejerano 56

48 Detailquellen Musik: Aufbau: Stilentwicklung: Markov Chains: Markow Audio: State of the Art Neurale Netze Wave net 57

Ähnliche Dokumente

Der Sprung in die Zukunft! Einführung in neuronale Netzwerke

Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale