Music Information Retrieval - automatische Genre-Klassifikation

Transkript

1 Music Information Retrieval - automatische Genre-Klassifikation Julian Hartmann & Christoph Sünderkamp Institut für Informatik, Seminar Mustererkennung im Alltag 8./

2 Gliederung 1. Einordnung 2. Begriffe und Grundlagen 3. Merkmalsextraktion 4. Klassifikation 5. Fazit automatische Genre-Klassifikation 2

3 1. Einordnung Music Information Retrieval (MIR) Feature Extraction Melody Feature Extraction Rhythm Similarity (Query by Humming) Fingerprinting User Behaviour Genre Classification automatische Genre-Klassifikation 3

4 2. Begriffe und Grundlagen 2.1 Taxonomie, Genre-Hierarchie 2.2 Audioformat 2.3 Klang 2.4 Fouriertransformation 2.5 PCA automatische Genre-Klassifikation 4

5 2.1 Taxonomie, Genre-Hierarchie automatische Genre-Klassifikation 5

6 2.1 Taxonomie, Genre-Hierarchie automatische Genre-Klassifikation East Coast West Coast 6

7 2.1 Taxonomie, Genre-Hierarchie Zuordnung von Musikstücken in Gruppen (Genre) Genre enthält Stücke ähnlichen Stils Genre lässt sich weiter untergliedern (Subgenre) Je weiter untergliedert, umso unschärfer die Abgrenzung automatische Genre-Klassifikation 7

8 2.2 Audioformat WAVE Repräsentation von Audiosignal als PCM kontinuierliches Signal diskretisiert (Abtastrate, Quantisierung) verlustfrei hinsichtlich psychoakustischer Wahrnehmung Audioanalyse basiert auf Signal automatische Genre-Klassifikation 8

9 2.3 Klang - Bestandteile der Musik Töne Grundelemente der Musik Ton/Klang: Grundton + Obertöne Eigenfrequenzen des Klangerzeugers (z.b. schwingende Klaviersaiten) Parameter eines Tons Tonhöhe Frequenz Lautstärke Amplitude Klangfarbe wird durch Gewichtung von Obertönen bestimmt, die mit Grundton mitschwingen automatische Genre-Klassifikation 9 9

10 2.3 Klang - physikalische Musik Frequenz f und Amplitude y 0 Schwingung künstlich erzeugter Ton: Sinuston yt () = y sin(2 π ft) 0 mitschwingende Obertöne überlagerte Wellen Gesamtheit aller Obertöne Frequenzspektrum automatische Genre-Klassifikation 10

11 2.3 Klang - Beispiel automatische Genre-Klassifikation 11

12 2.4 Fouriertransformation Transformation von zeit-basierter in frequenzbasierte Darstellung Zerlegung des Signals in Frequenzen Merkmalsberechnung auf Spektrum N 1 2 π * F* n Re( F) = x( n)*cos n= 0 N N 1 2 π * F* n Im( F) = x( n)*sin n= 0 N ComplexAmplitude( F) = Re( F) i*im( F) automatische Genre-Klassifikation 12

13 2.4 Fouriertransformation - Überlagerung von Schwingungen automatische Genre-Klassifikation 13

14 2.4 Fouriertransformation - Beispiel peaks geben ursprüngliche Sinusschwingungen an automatische Genre-Klassifikation 14

15 2.5 PCA Ausgangspunkt: Vektoren in einem festgelegten Koordinatensystem Ziel: Dimensionsreduktion durch Projektion in anderes Koordinatensystem Beiträge (Linearkombinationen) mit geringer Entropie können vernachlässigt werden PCA minimiert Projektionsfehler, jedoch nicht den Klassifikationsfehler automatische Genre-Klassifikation 15

16 3. Merkmalsextraktion 1. Einordnung 2. Begriffe und Grundlagen 3.1 Vorgehen 3.2 Merkmale Timbral Texture Features Rhythmic Content Features 4. Klassifikation 5. Fazit automatische Genre-Klassifikation 16

17 3.1 Vorgehen - Fenster Signal Überlappung Texture Window Analysis Window automatische Genre-Klassifikation 17

18 3.1 Vorgehen - Fenstergröße Auswertung nur mittels eines Ausschnitts (Texture Window) Wahl des Ausschnitts? Größe des Ausschnitts? Analysis Window: wenige ms um Stationarität des Signals zu erhalten - z.b. 23 ms (512 samples bei 22 khz Abtastrate) Texture Window: umfasst mehrere Analysis Windows z.b. 1 s (43 Analysis Windows) Wieviele Ausschnitte? automatische Genre-Klassifikation 18

19 3.1 Vorgehen - Extraktion automatische Genre-Klassifikation 19

20 3.2.1 Timbral Texture Features signal-basiert Zero-Crossing RMS-Energy / Loudness Low-Energy spektrum-basiert Spectral Centroid Spectral Rolloff Spectral Flux Mel-Frequency Cepstral Coefficients (MFCC) automatische Genre-Klassifikation 20 20

21 3.2.1 signal-basierte Merkmale automatische Genre-Klassifikation 21 21

22 3.2.1 Zero-Crossing approximatives Maß für Noisiness misst die Überkreuzungen der Amplitude mit dem Nullwert (Nullstellen) N n=1 Z t = 1 2 sign(x[n]) sign(x[n 1]) automatische Genre-Klassifikation 22 22

23 3.2.1 Energy Features RMS-Energy / Loudness Maß für die Lautstärke des Stücks basiert auf Amplituden 1 n Low-Energy n i=1 s i 2 höherer Wert korrespondiert mit mehr Dynamik Fenster mit geringerem RMS als Durchschnittswert automatische Genre-Klassifikation 23 23

24 3.2.1 spektrale Merkmale automatische Genre-Klassifikation 24 24

25 3.2.1 Spectral Centroid repräsentiert das Zentrum der Verteilung des Frequenz-Spektrums Maß für die Schärfe des Klanges je höher der SC, umso heller klingt der Ton C t = N n=1 N n=1 M t [n] n M t [n] automatische Genre-Klassifikation 25 25

26 3.2.1 Spectral Rolloff weiteres Maß, um das Spektrum zu beschreiben Ermittelt wird die Rolloff-Frequenz, bis zu der sich α % der Frequenz- Verteilung aufsummieren. R t n=1 M t [n] = α 100 N n=1 M t [n] automatische Genre-Klassifikation 26 26

27 3.2.1 Spectral Flux misst die Fluktuation des Spektrums Differenz einzelner Magnituden zwischen den Ausschnitten/Frames automatische Genre-Klassifikation 27 27

28 3.2.1 MFCC die ersten fünf Koeffizienten für Musik- Klassifikation geeignet sog. perzeptive bzw. wahrnehmungs-gerechte Mel-Skala der Frequenzen berücksichtigt dies insbesondere im Frequenzbereich gesprochener Sprache FFT log Spektrum Mel-Skala DCT MFCC automatische Genre-Klassifikation 28 28

29 3.2.1 subfeatures Von allen Timbral Texture Features können subfeatures berechnet werden: Mittel M Standardabweichung S Mittel der Ableitung DM Standardabweichung der Ableitung DS... Jeweils über alle Analyse-Fenster. automatische Genre-Klassifikation 29 29

30 3.2.2 Rhythmic Content Features basieren auf beat-histogram repräsentiert die Rhythmik eines Stückes z.b. geeignet zur Unterscheidung zwischen Hip-Hop und Kammermusik automatische Genre-Klassifikation 30 30

31 3.2.2 beat-histogram 1. Wavelet-Transformation: Zerlegung des Signals in mehrere Frequenzbänder 2. Full-Wave-Rectification für einzelne Bänder 3. Low-Pass-Filtering 4. Downsampling 5. Mean-Removal 6. Aggregation 7. Enhanced-Autocorrelation automatische Genre-Klassifikation 31 31

32 3.2.2 beat-histogram - Beispiel automatische Genre-Klassifikation 32 32

33 3.2.2 Merkmale A0,A1: Relative Amplitude der beiden Hauptpeaks, im Verhältnis zur Amplitudenverteilung RA: Verhältnis der beiden größten Amplituden: P1,P2: Periodenlänge der beiden Hauptpeaks, gemessen in BPM SUM: Summe aller Amplituden des Beat-H. automatische Genre-Klassifikation 33 33

34 4. Klassifikation 1. Einordnung 2. Begriffe und Grundlagen 3. Merkmalsextraktion 4.1 Hierarchischer Ansatz 4.2 Eigene Umsetzung 4.3 Erweiterungen 5. Fazit automatische Genre-Klassifikation 34 34

35 4.1 Hierarchischer Ansatz Klassifikation anhand der Genre-Hierarchie Genre-Abhängigkeit der Merkmale Probleme der Dimensionalität Anpassung eines Klassifikators an eine geänderte Taxonomie automatische Genre-Klassifikation 35 35

36 4.1 Burred und Lerch Taxonomie mit 17 zu unterscheidenden Subgenres direkter Ansatz mit hierarchischem verglichen ähnliche Erfolgsquoten ABER: Fehler unterschiedlich zu bewerten Zuordnung eines East Coast Stücks zu West Coast weniger negativ zu werten, als zu Klassik beim direkten Ansatz keine Unterscheidung möglich automatische Genre-Klassifikation 36 36

37 4.2 Eigene Umsetzung vereinfachte Taxonomie: classic (30), non-classic (23) pop (11), rock (12) Testmenge (29) knn-klassifikator mit euklidischer Distanz als Metrik auf erster Stufe Klassifikation mit Merkmalen Loudness.M und ZeroCrossings.DS wie von Burred und Lerch vorgeschlagen automatische Genre-Klassifikation 37 37

38 4.2 Ergebnis Stufe 1 classic vs. non-classic Merkmal Loudness automatische Genre-Klassifikation 38 38

39 4.2 Ergebnis Stufe 1 classic vs. non-classic Merkmal ZeroCrossings automatische Genre-Klassifikation 39 39

40 4.2 Ergebnis Stufe 1 classic vs. non-classic Klassik-Stücke werden korrekt klassifiziert Problem: non-classic Stück zu classic zugeordnet automatische Genre-Klassifikation 40 40

41 4.2 Ergebnis Stufe 2 pop vs. rock Merkmale Low-Energy und MFCC(2).S überwiegend richtige Trennung Problem: unscharfe Klassengrenzen automatische Genre-Klassifikation 41 41

42 4.2 Vergleich hierarchisch / direkt direkte Zuordnung zu Genre Klassifikation auf Basis aller 4 Merkmale Genre Klassifikation classic pop rock classic 11 / 11 1 / 1 1 / 2 pop 6 / 3 1 / 2 rock 2 / 5 7 / 5 automatische Genre-Klassifikation 42 42

43 4.3 Erweiterungen Ausbau der Genre-Hierarchie Hinzunahme mehrerer Merkmale Auswahl und Dekorrelation per PCA größere Trainingsmenge mehr Stücke mehr Ausschnitte pro Stück automatische Genre-Klassifikation 43 43

44 5. Fazit es funktioniert es wird benötigt junges Forschungsgebiet weitere genrespezifische Merkmale allgemeingültige Taxonomien einbeziehen von Metadaten (MPEG-7) automatische Genre-Klassifikation 44 44

45 Literatur Burred, J.J.; Lerch, A.; A hierarchical approach to automatic musical genre classification; In Proc. of the 6. Int. Conference on Digital Audio Effects (DAFx-03), London, UK, September Cook, P.;Tzanetakis, G.; Musical Genre Classification of Audio Signals; IEEE Transaction on Speech and AUDIO Processing, Vol. 10, No. 5, Juli 2002 automatische Genre-Klassifikation 45 45

46 Vielen Dank für Ihre Aufmerksamkeit! automatische Genre-Klassifikation