Extraktion von Takt und Rhythmus

Transkript

1 Universität Dortmund, LS XII Musik als Daten Extraktion von Takt und Rhythmus Von Anna Schulze

2 3 4 Übersicht 1 Musiktheorie Beat Detection 3 Rhythmische Merkmale Extraktion rhythmischer Muster Anna Schulze

3 3 4 Musiktheorie 1 Metrum Rhythmus 3 3 Tempo 4 Rhythmik der Gesellschaftstänze Anna Schulze

4 3 4 Metrum Verhältnis unterschiedlicher Betonungen 1 3 Regelmäßig auftretende Betonungen werden Hauptzählzeiten genannt Takt: Gruppierung der Betonungen zu einer gedachten Einheit Taktschlag Notenwert Taktart Auftakt Anna Schulze

5 3 4 Rhythmus 1 Relative Dauer von Klang und Pausen Klänge können in Nebenzählzeiten erklingen 3 Musikstücke verwenden Rhythmusmuster These: Es lassen sich typische rhythmische Muster zu bestimmten Musikrichtungen finden Genreklassifizierung Anna Schulze

6 Tempo Zusammenhänge: Absolute Dauer der Taktschläge Angabe hier immer in BPM ( beats per minute, Taktschläge pro Minute) Weitere Möglichkeiten: MM ( Metronom Mälzel ) bpm ( bars per minute, Takte pro Minute) Abb. 1: Zusammenhänge zwischen Zählzeiten, Takt Rhythmus und Tempo Anna Schulze

7 3 4 4 Rhythmik der Gesellschaftstänze 1 Tänze Samba Taktart 2/4 Grundrhythmus 1 a2 Normales Tempo (in BPM) 104 Tempo Bereiche (in BPM) Rumba 4/ Cha Cha Cha 4/ Jive Langsamer Walzer 4/4 3/4 1 a2 1 (2) Wiener Walzer 3/4 1 (2) Quickstep 4/4 1 2 a3 4 a Tango 2/4 4/ a ( ) Tab. 1: Merkmale der Musiken (Quellen: [1], [2], [4]) Anna Schulze

8 3 4 Beat Detection 1 1 Onset Detection Clustering of Inter-Onset Intervals 3 BeatRoot (Dixon) Anna Schulze

9 3 4 1 Onset Detection 1 Filtern (Hochpass) und glätten des Signals Bilden der Amplitudenhülle 3 Suchen der Maxima dieser Hülle Anschlagsverzögerung beachten Anna Schulze

10 3 4 1 Clustering of Inter-Onset Interval Zeit (in sec) zwischen zwei aufeinander folgenden Betonungen Erweiterung durch sämtliche Paare von Betonungen 3 Gruppierung der Intervalle (in Cluster) Ordnen der Cluster nach Elementanzahl (Annahmen/Hypothesen über das Tempo) Repräsentation in einem Inter-Onset Interval Histogram (y-achse: Auftrittshäufigkeit der Intervalle, x-achse: Zeit in sec.) Anna Schulze

11 3 4 BeatRoot Programm zur Taktschlagserkennung (Dixon) 1 3 Graphische und akustische Darstellung der ermittelten Taktschläge Arbeitet in 2 Phasen: Tempo Einschätzung Beat Tracking Abb. 2: Screenshot des beat trackers (entnommen aus [3]) Anna Schulze

12 3 4 Beat Tracking 1 3 Erstellen von beat tracking agents für jede Hypothese Möglichkeiten der agents Voraussagen von Taktschlägen Verknüpfung mit rhythmischen Ereignissen Erzeugen eines neuen agent Einstellen der Arbeit Wahl der besten Hypothese mittels einer Auswertungsfunktion Anna Schulze

13 3 4 Rhythmische Analyse 1 Diskrete Wavelet Transformation (DWT) Beat Histogram 3 3 Rhythmische Merkmale Anna Schulze

14 3 4 Diskrete Wavelet Transformation (DWT) 1 3 Zeitlich lokale Betrachtung des Signals (wie bei STFT) Bereiche können zeitlich skaliert werden; hohe zeitliche Auflösungen möglich Zerlegung des Signals (Fequenzbänder) Kompakte, leicht zu verarbeitende Darstellung Anna Schulze

15 3 4 Beat Histogram 1 3 Häufigkeit und Stärke (y-achse) der Periodizitäten in BPM (x-achse) Phasen zum erstellen des Beat Histograms (vorher DWT): Full Wave Recitification (FWT) Low Pass Filtering (LPF) Downsampling Normalization (NR) Autokorrelation (AR) Anna Schulze

16 Phasen zu Erstellung eines Beat Histogram Full Wave Recitification (FWR) y n = x n ( ) ( ) Low Pass Filtering (LPF) y ( n) = ( 1 α ) x( n) + αy( n 1) Downsampling ( n) x( kn) y = Normalization (NR) y ( n) = x( n) E( x( n) ) Autokorrelation (AR) 1 y( n) = x( n) x( n + τ ) N n Anna Schulze

17 3 4 3 Rhythmische Merkmale 1 3 Merkmale: Period0(P0) Amplitude0(A0)/ Amplitude1(A1)/ Amplitude2(A2)/ Amplitude3(A3) RatioPeriod1(RP1)/ RatioPeriod2(RP2)/ RatioPeriod3(RP3) Merkmalsvektor: m = ( P0, A0, RP1, A1, RP2, A2, RP3, A3) Anna Schulze

18 3 4 Extraktion rhythmischer Muster 1 Aufbereitung der Daten Bestimmung des Taktes 3 Extraktion der Muster Genreklassifizierung Anna Schulze

19 3 4 Aufbereitung der Daten 1 3 Umwandlung in PCM Format Bilden einer Amplitudenhülle mit einem RMS ( root mean square ) Filter: y ( n) mit h = = rl b ( n + k ) h 1 x() i i= nh kh Genau b Werte pro Takt 2 Anna Schulze

20 3 4 Bestimmung des Taktes 1 3 Position des ersten Taktes m(1) wird mit Hilfe von BeatRoot bestimmt Bestimmung jedes weiteren Taktes mit Korrekturfaktor δ () i : m i + 1 = m i + b + δ i δ z ( ) ( ) ( ) d b 1 () i = arg max y( m() i + b + k + j) z( i, j) i ( i, j) = y( m( k) + j) k = 1 b d = 20 k = d ( 5% ) j= 0 Anna Schulze

21 3 4 1 Extraktion der Muster Zusammenfassen der b Werte pro Takt zu einem Vektor: v i ( m() i ), y( m( i) + 1 ),..., y( m( i) + 1) = y b 3 Verwenden eines k-means-algorithmus (4 Cluster) Charakteristisches rhythmisches Muster aus dem größten Cluster C j 1 p( n) = y( m( k) + n) C k C j j Keine Informationen über das Tempo p( n) Anna Schulze

22 Extraktion von Takt und Rhythmus Beispiele rhythmischer Muster Abb. 3 (entnommen aus [2]) Anna Schulze

23 Genreklassifikation Extraktion typischer Muster eines Genre mit 10-fold cross-validation Klassifikation mit verschiedenen Algorithmen: k-nearest-neighbour Algorithmus decision tree learning Regressionsanalyse Distanz zweier Muster: ( ) i j b (, j) = p ( k) p ( k) D i k = 1 Klassifikationsrate von bis zu 50% Bei Kombination bis zu 96% 2 Anna Schulze

24 Literaturverzeichnis [1] Schmidt, U.: Tanzen ist Musik, Auflage. Deutscher Tanzbuch Verlag (dtb), 2001 [2] Dixon, Gouyon, Widmer: Towards Characterisation of Music via Rhythmic Pattern. Universität Pompeu Fabra, 2004 [3] Dixon, S.: Automatic Extraction of Tempo and Beat from Expressive Performance. Austrian Research Institute for Artificial Intelligence, 2001 [4] Gouyon, Dixon: Dance Music Classification: A Tempo- Based Approach. Universität Pompeu Fabra, 2004 [5] Krol, L. und Mzyk, M. Extraction of Rhythmical Fetures of Audio Signal. Seminararbeit Uni Münster, 2005 Anna Schulze