Beat Detektion. Proseminar Computer und Musik. Daniel Sous. 12. Dezember 2017

Transkript

1 Beat Detektion Proseminar Computer und Musik Daniel Sous 12. Dezember / 50

2 Inhalt Einleitung Onset-Detektion Lautstärke Spektrum Tempo-Tracking Beat-Tracking 2 / 50

3 Einleitung Beat Periodische Impulse Definiert Rhythmus 3 / 50

4 Einleitung Beat Periodische Impulse Definiert Rhythmus Verwendung von Beat-Detektions Systemen 4 / 50

5 Verwendung von Beat-Detektion Musikverarbeitung insbesondere Dj-Programme zu einem Beat synchrone Lichteffekte Musik Klassifizierung 5 / 50

6 Verwendung von Beat-Detektion Musikverarbeitung insbesondere Dj-Programme zu einem Beat synchrone Lichteffekte Musik Klassifizierung Medizinische Anwendungen Pulsoximetrie Herzarrhythmie-Detektion Herzzeitvolumen-Überwachung 6 / 50

7 Verwendung von Beat-Detektion Musikverarbeitung insbesondere Dj-Programme zu einem Beat synchrone Lichteffekte Musik Klassifizierung Medizinische Anwendungen Pulsoximetrie Herzarrhythmie-Detektion Herzzeitvolumen-Überwachung Weitere Anwendungen z.b. in der Physik... 7 / 50

8 Einleitung Beat Periodische Impulse Definiert Rhythmus Verwendung von Beat-Detektions Systemen Probleme Tempomehrdeutigkeit Tempoveränderungen 8 / 50

9 Einleitung Beat Periodische Impulse Definiert Rhythmus Verwendung von Beat-Detektions Systemen Probleme Tempomehrdeutigkeit Tempoveränderungen Ziel: Tempo- und Beat-Tracking 9 / 50

10 Onset-Detektion Zeitliche Erfassung von Noten- und Tonanschlägen Tempo Verschiedene Ansätze Erkennung anhand der Lautstärke Erkennung anhand des Spektrums Abbildung: Tonanschlag auf Klavier; idealer Verlauf 10 / 50

11 Onset-Detektion: Lautstärke Übersicht 1. Veränderungen der Lautstärke werden verwendet Audiosignal zu Lautstärkekurve umformen 2. Diskrete Veränderung berechnen 3. Lautstärkeverhältnis wiederherstellen Logarithmische Kompression 11 / 50

12 Onset-Detektion: Lautstärke Audiosignal Abbildung: Audiosignal der ersten 70 Sekunden von Zedd - Papercut 12 / 50

13 Onset-Detektion: Lautstärke Umformung des Audiosignals zu Lautstärke Glockenfunktion w(m), x R t Audiosignal mit t N Samples m [ M, M] mit M N - Einbeziehung benachbarter Samples Gewichtung durch Glockenkurve E x w(n) := M m= M x n+m w(m) 13 / 50

14 Onset-Detektion: Lautstärke Lautstärkekurve Abbildung: Zugehörige Lautstärkekurve 14 / 50

15 Onset-Detektion: Lautstärke Übersicht 1. Veränderungen der Lautstärke werden verwendet Audiosignal zu Lautstärkekurve umformen 2. Diskrete Veränderung berechnen 3. Lautstärkeverhältnis wiederherstellen Logarithmische Kompression 15 / 50

16 Onset-Detektion: Lautstärke Ableiten mit diskreten Werten Differenz benachbarter Werte 16 / 50

17 Onset-Detektion: Lautstärke Ableiten mit diskreten Werten Differenz benachbarter Werte Negative Differenzen filtern: r 0 := r + r 2 = { r falls r 0, 0 falls r < 0 17 / 50

18 Onset-Detektion: Lautstärke Ableiten mit diskreten Werten Differenz benachbarter Werte Negative Differenzen filtern: r 0 := r + r 2 = { r falls r 0, 0 falls r < 0 Differenz berechnen: Lautstärke (n) := E x w(n + 1) E x w(n) 0 18 / 50

19 Onset-Detektion: Lautstärke Diskrete Ableitung der Lautstärke Abbildung: Ableitung der Lautstärkekurve 19 / 50

20 Onset-Detektion: Lautstärke Übersicht 1. Veränderungen der Lautstärke werden verwendet Audiosignal zu Lautstärkekurve umformen 2. Diskrete Veränderung berechnen 3. Lautstärkeverhältnis wiederherstellen Logarithmische Kompression 20 / 50

21 Onset-Detektion: Lautstärke Logarithmische Kompression anwenden Abbildung: Nach Anwendung der Kompression 21 / 50

22 Onset-Detektion: Lautstärke Übersicht Abbildung: Plot-Übersicht 22 / 50

23 Onset-Detektion: Spektrum Berücksichtig Intensität einzelner Frequenzen 23 / 50

24 Onset-Detektion: Spektrum Berücksichtig Intensität einzelner Frequenzen Benötigt STFT (short-time Fourier transformation) 24 / 50

25 Onset-Detektion: Spektrum Berücksichtig Intensität einzelner Frequenzen Benötigt STFT (short-time Fourier transformation) Abbildung: Spektrogramm zu Ausschnitt von Zedd - Papercut 25 / 50

26 Onset-Detektion: Spektrum Intensitätsdifferenzen vermeiden logarithmische Kompression 26 / 50

27 Onset-Detektion: Spektrum Intensitätsdifferenzen vermeiden logarithmische Kompression Abbildung: Spektrogramm mit logarithmischer Kompression 27 / 50

28 Onset-Detektion: Spektrum Ableitung bilden: Spektrum (t) := m Y i,t+1 Y i,t 0 i=1 Dabei sei Y R m n Ausgabe der STFT nach logarithmischer Kompression (mit m N die Anzahl der Frequenzbänder und n N die Anzahl der Samples) 28 / 50

29 Onset-Detektion: Spektrum Abbildung: Blau: Ableitung des Spektrogramms; Rot: durchschnittlicher Verlauf 29 / 50

30 Onset-Detektion: Spektrum Abbildung: Unterer Graph: Differenz der oberen 30 / 50

31 Tempo-Tracking Ziel Informationen der Onset-Detektion Tempo Dafür müssen wir zwei Annahmen treffen: Beat bei Onsets positioniert Beat ist periodisch (in Intervall) 31 / 50

32 Tempo-Tracking Ziel Informationen der Onset-Detektion Tempo Dafür müssen wir zwei Annahmen treffen: Beat bei Onsets positioniert Beat ist periodisch (in Intervall) Probleme Tempomehrdeutigkeit 32 / 50

33 Tempo-Tracking Ziel Informationen der Onset-Detektion Tempo Dafür müssen wir zwei Annahmen treffen: Beat bei Onsets positioniert Beat ist periodisch (in Intervall) Probleme Tempomehrdeutigkeit Schlecht erkennbare Onsets: Abbildung: C 4 auf Klavier, Geige und Flöte gespielt 33 / 50

34 Tempo-Tracking Tempomehrdeutigkeit Abbildung: Verschiedene Pulslevel von Happy Birthday To You [1] 34 / 50

35 Fourier Tempogramm Wendet STFT auf Onset-Ergebnis an Lokales Tempo 35 / 50

36 Fourier Tempogramm Wendet STFT auf Onset-Ergebnis an Lokales Tempo Beispiel: Abbildung: Onsets von BPM Klick-Sound [1] 36 / 50

37 Fourier Tempogramm Anwendung der STFT auf Onsets-Kurve Tempogramm mehreren Tempos Tempomehrdeutigkeit 37 / 50

38 Fourier Tempogramm Anwendung der STFT auf Onsets-Kurve Tempogramm mehreren Tempos Tempomehrdeutigkeit Beispiel: Abbildung: Tempogramm des Klick-Sounds 38 / 50

39 Fourier Tempogramm Abbildung: Korrelation zwischen Onset-Kurve und Sinusfenstern 39 / 50

40 Tempo-Tracking Übersicht Fourier Tempogramm Lokales Tempo wird sichtbar Obertöne werden sichtbar Gut um Tatum und Tactus Pulslevel zu analysieren 40 / 50

41 Tempo-Tracking Übersicht Fourier Tempogramm Lokales Tempo wird sichtbar Obertöne werden sichtbar Gut um Tatum und Tactus Pulslevel zu analysieren Andere Möglichkeit ein Tempogramm zu erzeugen: Autokorrelation Gut um Tactus und Measure Pulslevel zu analysieren 41 / 50

42 Beat-Tracking PLP-Kurve (Predominant Local Pulse) Abbildung: Sinuskurven der lokal dominantesten Tempos 42 / 50

43 Beat-Tracking PLP-Kurve (Predominant Local Pulse) Abbildung: Nach Addition der Sinuskurven 43 / 50

44 Beat-Tracking PLP-Kurve (Predominant Local Pulse) Abbildung: PLP-Kurve (Negative Werte auf 0 gesetzt) 44 / 50

45 Beat-Tracking PLP-Kurve - Beispiel mit nicht konstantem Tempo Abbildung: PLP-Kurve zu Ausschnitt von Ungarischer Tanz Nr. 5 von Brahms 45 / 50

46 Beat-Tracking Zusammenfassung 1. Dominantestes Tempo zu verschiedenen Zeitpunkten bestimmen 46 / 50

47 Beat-Tracking Zusammenfassung 1. Dominantestes Tempo zu verschiedenen Zeitpunkten bestimmen 2. Zugehörige Sinuskurve in festem Zeitfenster berechnen 47 / 50

48 Beat-Tracking Zusammenfassung 1. Dominantestes Tempo zu verschiedenen Zeitpunkten bestimmen 2. Zugehörige Sinuskurve in festem Zeitfenster berechnen 3. Sinuskurven aller Zeitpunkte addieren 48 / 50

49 Beat-Tracking Zusammenfassung 1. Dominantestes Tempo zu verschiedenen Zeitpunkten bestimmen 2. Zugehörige Sinuskurve in festem Zeitfenster berechnen 3. Sinuskurven aller Zeitpunkte addieren 4. Negative Werte gleich 0 setzen PLP-Kurve (guter Indikator für Beat-Positionen) 49 / 50

50 Literatur 1. Meinard Müller. Fundamentals of Music Processing: Audio, Analysis, Algorithms, Applications. 2. Audio Labs Erlangen. Tempo and Beat Tracking (https: // youtu. be/ FmwpkdcAXl0 ). 3. Mateo Aboy, James McNames, Tran Thong, Daniel Tsunami, Miles S Ellenby, and Brahm Goldstein. An automatic beat detection algorithm for pressure signals. 4. JA Marohn, PJ Carson, JY Hwang, MA Miller, DN Shykind, and DP Weitekamp. Optical larmor beat detection of high-resolution nuclear magnetic resonance in a semiconductor heterostructure. 5. Peter Grosche, Meinard Müller, and Frank Kurth. Cyclic tempogram a mid- level tempo representation for musicsignals. 50 / 50