Biosignale und Benutzerschnittstellen

Transkript

1 Vorlesung WS 2012/2013 Biosignale und Benutzerschnittstellen Digitale Signalverarbeitung Prof. Dr. Tanja Schultz Dipl. Math. Michael Wand 1

2 Vorlesungsplan Bereits durchgenommen: Biomedizinische Messkette Entstehung von Biosignalen Erfassung von Biosignalen Dieser Vorlesungsteil befasst sich mit dem Weg des Signals von seiner Entstehung bis zum Erkenner Digitalisierung des Signals (A/D-Wandlung) Sampling, Quantisierung Digitale Signalverarbeitung Transformation in den Frequenzbereich, Z-Transformation Filterung Feature Extraction (Frequenzbasierte Features) Kompression: besonders PCA, LDA 2

3 Literatur Signalverarbeitung: Samuel D. Stearns, Don R. Hush: Digital Signal Analysis. Prentice Hall, 1990 Übersetzte Version: Digitale Verarbeitung analoger Signale. Oldenbourg Verlag, 1999 (in Lehrbuchsammlung vorhanden) Maschinelles Lernen (PCA, LDA): Christopher M. Bishop: Pattern Recognition and Machine Learning. Springer, 2006 PCA: LDA: Abschnitt PCA: Abschnitt 12.1 Jonathon Shlens: A Tutorial on Principal Component Analysis. Online verfügbar: 3

4 Überblick: Klassifikationssystem für Biosignale Unser Thema für heute: Ergebnis Biosignal Entstehung Ausbreitung Erfassung Signalabhängig Applikationsabhängig Signalverarbeitung, z.b. A/D-Wandlung (abtasten, quantisieren) Artefaktbereinigung, Normalisierung evtl. Fensterung, Extraktion relevanter Merkmale Kompression Training + Klassifikation Applikationen Training d. Klassifikators: evtl. überwachte Kompression (LDA) Token Modeling: GMMs, SVMs, evtl. (!) Sequence Modeling: HMMs evtl. Adaption Modelle Signalverarbeitung, Merkmalsextraktion Test (Durchführung der Klassifikation): Erkennung Identifizierung / Verifizierung Wissen A/D-Wandlung Analoges Signal 4

5 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 5

6 Vom analogen zum digitalen Signal Ziel: Wir wollen für ein in Zeit und Amplitude kontinuierliches Signal eine diskrete Repräsentation finden. Zeit: x-achse, Amplitude: y-achse. Dazu sind zwei Schritte nötig, Sampling und Quantisierung. Quantisierung entspricht einer Diskretisierung der y-achse Sampling entspricht einer Diskretisierung der x-achse 7

7 Quantisierung Gegeben: Ein Signal f[i], das quantisiert werden soll, q[i] soll das quantisierte Signal sein Annahme: f ist zwischen f min und f max Teile y-achse in n gleichlange Intervalle auf Üblicherweise ist n=2 b, in der Spracherkennung typischerweise b=16 (also 16- bit-quantisierung) q[i] kann nur die Werte haben, die den Zentren der Intervalle entsprechen Quantisierung: q[i] wird gleich dem Zentrum des Intervalls gesetzt, das f[i] enthält 8

8 Quantisierung Die Quantisierung erzeugt einen Quantisierungsfehler e[i]=f[i] - q[i] Der durchschnittliche Quantisierungsfehler e[i] ist (f max -f min )/(2n) (das ist die halbe Breite der Quantisierungsintervalle) Für die Messung von Fehlern/Ungenauigkeiten bei der Signalerfassung definiert man das Signal-Rausch-Verhältnis (signal to noise ratio) SNR = E{f 2 [i]} / E{e 2 [i]} oder logarithmisch (in Dezibel): SNR[dB] = 10 log (E{f 2 [i]} / E{e 2 [i]}) db Wir können die SNR verwenden, um den durch Quantisierung erzeugten Fehler zu beschreiben. Beispiel für Quantisierung (Quelle: Wikipedia, Quantization Error) 9

9 Sampling (Abtastung) Input: Analoge (elektrische) Repräsentation des Signals im Zeitbereich x(t) Output: Digitale Repräsentation des Signals x[n], auch im Zeitbereich Zeitbereich: Die x-achse (unabhängige Variable) ist die Zeit: t (kontinuierlich) oder n (diskret) Die y-achse ist die Amplitude (Signalstärke, z.b. mv) Bild: Originales Signal (links) und abgetastetes Signal (rechts) Fragen: Geht Information beim Sampling verloren? Wie können wir das verhindern? 10

10 Sampling Die Rate, mit der wir diskrete Datenpunkte erfassen, heißt Abtastrate (Sampling Rate) und wird in Hertz (1 Hz = 1 s -1 ) gemessen Wir beginnen mit einem Beispiel, wie man es nicht machen soll: Undersampling: Ein Signal mit 8 khz (also 8000 Schwigungen pro Sekunde) wird mit einer Frequenz von 10 khz abgetastet Im abgetasteten Signal (blaue Balken) erkennen wir eine Frequenz von 2 khz! Dieser Effekt heißt Aliasing. Wie können wir Aliasing verhindern? Input frequency 8 khz x Resulting frequency 2 khz x

11 Sampling: Der Aliasing-Effekt Aliasing: Noch ein Beispiel, diesmal mit einem komplizierterem Signal (Mitte). Oben: Hohe Abtastrate, alles in Ordnung Unten: Niedrige Abtastrate (um den Faktor 3 verringert), man findet falsche Frequenzen im abgetasteten Signal (gelb) Offensichtlich ist eine hohe Samplingrate besser als eine niedrige. Welche Samplingrate ist nötig? 12

12 Sampling: Das Nyquist-Theorem Können wir Aliasing verhindern? In praktischen Anwendungen sind Signale in der Regel bandbegrenzt: Sie enthalten keine beliebigen Frequenzen, sondern es gibt eine maximale Frequenz, die im Signal auftritt. Dann lässt sich zeigen, dass wir das Signal durch ein diskretes Sampling vollständig erfassen können! Die Bandbegrenztheit kann schon bei der Aufnahme durch entsprechende A/D-Wandler (mit analogen Frequenzfiltern) sichergestellt werden. Theorem von Nyquist: Wenn ein f l -bandbegrenztes Signal mit einer Frequenz von größer als 2f l abgetastet wird, dann kann das originale Signal aus den Samples vollständig rekonstruiert werden. 13

13 Sampling: Das Nyquist-Theorem Theorem von Nyquist: Wenn ein f l -bandbegrenztes Signal mit einer Frequenz von größer als 2f l abgetastet wird, dann kann das originale Signal aus den Samples vollständig rekonstruiert werden. (Wie die Rekostruktion durchführbar ist, ist Thema der Vorlesung "Methoden der Biosignalverarbeitung".) Anderenfalls tritt Aliasing auf, das ursprüngliche Signal wird verzerrt und kann nicht wiederhergestellt werden. Diese Frequenz 2f l nennen wir auch Nyquist-Rate. Die maximale Frequenz f l, die korrekt wiedergegeben wird, heißt Nyquist-Frequenz. 14

14 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Fensterung und Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 15

15 Frequenzanalyse In diesem Block betrachten wir Frequenzrepräsentationen in kontinuierlicher und diskreter Zeit: Continuous-time Fourier transform (CTFT) Discrete-Time Fourier transform (DTFT) Short-time Fourier transform (STFT) Erfordert Fensterung des Signals diese Fensterung erzeugt aber Fehler in der Frequenzdarstellung (nachher) Z-Transformation 16

16 Der Frequenzbereich Bisher haben wir das Signal im Zeitbereich betrachtet, d.h. wir haben die Amplitude (Signalstärke) als Funktion der Zeit dargestellt Jetzt betrachten wir das Signal im Frequenzbereich, d.h. wir wollen wissen, welche Frequenzanteile im Signal in welcher Stärke vorkommen Warum tun wir das? Was bedeutet der Ausdruck Frequenzanteil? Zum Übergang vom Zeit- in den Frequenzbereich: Fourier-Transformation 17

17 Der Frequenzbereich Frequenz: "Schwingungen pro Zeiteinheit", Beispiel: Die Frequenz der Sinuswellen steigt von oben nach unten. x ist die Zeitachse. Üblicherweise ist die Zeiteinheit eine Sekunde. Die Frequenz misst man dann in Hertz: 1 Hertz = 1 Schwingung pro Sekunde. Quelle: Wikipedia (englisch, "Frequency") 18

18 Der Frequenzbereich Wir können Frequenzen auch direkt aufzeichnen. Beispiel: Links Signale im Zeitbereich, rechts Signale im Frequenzbereich. Oben: Frequenz sei ω 0, Mitte: Frequenz sei ω 1. Bei reellen Signalen ist die Frequenzdarstellung symmetrisch. Unten sieht man die Summe der Signale. Ein kompliziertes Signal besteht also aus mehreren Frequenzen. Sinusschwingungen haben eine reine Frequenz. Frequenzbereich: Die x-achse zeigt die Frequenz! (rechts) -ω 1 -ω 0 ω 0 ω 1 19

19 Der Frequenzbereich Warum stellen wir ein Signal im Frequenzbereich dar? Nützlich für Signalverarbeitung Hilft beim Verstehen des Signals Bedeutungstragende Information kann in den Frequenzen liegen Die Wirkung von Filtern kann man sehr gut im Frequenzbereich beschreiben. Beispiel: UKW-Radio mit Frequenzmodulation Beispiel: Spracherkennung (unser Ohr unterscheidet auch Frequenzen!) Die Frequenzrepräsentation eines Signals bezeichnet man auch als dessen Spektrum. 20

20 Continuous-Time Fourier Transform (CTFT) Sei x(t) ein Signal (eine Funktion) im Zeitbereich. Dann ist die Fourier- Transformierte gegeben durch Die Umkehrung der Fourier-Transformation ist 1 j t x( t) X ( ) e d 2 wobei z=re jφ =r(cos(φ)+j sin(φ)) (Eulersche Identität) und j 1 X ( ) F( x)( ) x( t) e jt dt. r heißt Betrag der komplexen Zahl z, j ist ihr Argument. 21 Grafik: Wikipedia, Komplexe Zahl

21 Biosignale Background und Benutzerschnittstellen Digitale Signalverarbeitung Exkurs: Skalarprodukt Sei V ein Vektorraum, <x,y>: V V C ein (komplexes) Skalarprodukt, d.h. <ax+by,z> = a<x,z>+b<y,z> (Linearität im ersten Argument) x, y y, x für alle x aus V (daraus folgt, dass <x,x> reell ist) <x,x> 0 für alle x aus V x ist das konjugiert-komplexe von x. Das Skalarprodukt induziert eine Norm auf V: x x, Zwei Vektoren x,y heißen orthogonal, wenn <x,y>=0. x Hinweis: Die Definition des reellen Skalarprodukts ist sehr ähnlich, wir überspringen sie hier. 22

22 Biosignale Background und Benutzerschnittstellen Digitale Signalverarbeitung Exkurs: Skalarprodukt Orthonormalbasis: Eine Basis eines Vektorraum, die aus Vektoren der Länge 1 (normal) besteht, die paarweise orthogonal zueinander sind. Wenn ein Vektorraum V eine Orthonormalbasis φ 1, φ 2,... hat, dann kann jedes x aus V dargestellt werden als x i mit Koeffizienten c i = <x, φ i >. c i φ i ist die Projektion von x auf die Richtung φ i. Man kann sagen, dass <x, φ i > genau den Anteil von x in Richtung des (normierten!) Vektors φ i enthält. c i i Können wir dies auf Funktionen anwenden? 23

23 Biosignale Background und Benutzerschnittstellen Digitale Signalverarbeitung Exkurs: Skalarprodukt Wir definieren für Funktionen f,g: R C ein Skalarprodukt f g : f ( x) g( x) dx, (Erinnerung: zu einer komplexen Zahl a sei ā das konjugiert-komplexe) Dieses Skalarprodukt induziert auch eine Norm x 2 2 x, x f ( x) dx 1/ 2 Wer sieht den Zusammenhang zwischen der Formel für die Fourier- Transformation und dem Skalarprodukt zweier Funktionen? 24

24 Biosignale Background und Benutzerschnittstellen Digitale Signalverarbeitung Exkurs: Skalarprodukt Betrachten wir die Funktion z(t) = e jφt. Geht t von 0 bis 2π / φ, so wandert z(t) einmal gegen den Uhrzeigersinn entlang der blauen Kreislinie. Diese Funktion ist die komplexe Schwingung, ihr Realteil ist cos(φt), ihr Imaginärteil ist sin(φt). Wir erkennen: Die Fourier-Transformation ist nichts anderes als ein Skalarprodukt zwischen der ursprünglichen Funktion im Zeitbereich und einer Oszillationsfunktion e jωt parametrisiert durch die Frequenz ω. Insbesondere ist damit klar, weshalb wir X(ω)=[F(x(t))](ω) als Frequenzanteil der Funktion x(t) zur Frequenz ω bezeichnen können! Wenn wir den Frequenzanteil eines Signals zu einer Frequenz φ bestimmen, so projizieren wir das Signal auf eine (komplexe) Schwingung bzw. eine (reelle) Sinus/Cosinusfunktionen 25

25 Biosignale Background und Benutzerschnittstellen Digitale Signalverarbeitung Exkurs: Skalarprodukt Die Fouriertransformierte ist einfach das Skalarprodukt zwischen der Funktion x(t) und der komplexen Schwingung e jφt. FAQ: Woher kommt das Minuszeichen im Exponenten? X ( ) F( x)( ) Die Formel für das Skalarprodukt ist x( t) e jt dt. f, g : f ( x) g( x) dx und das konjugiert-komplexe von e jφt ist e -jφt. Wichtige Eigenschaften der Fourier-Transformation (insbesondere die Linearität) folgen nun automatisch! 26

26 Continuous-Time Fourier Transform (CTFT) Die wichtigsten Eigenschaften der Fourier-Transformation: Linearität: Es ist F((x+y)(t)) = F(x(t)) + F(y(t)) und F(a x(t))=a F(x(t)). Umkehrbarkeit: Auf geeigneten Definitionsbereichen hat die Fourier- Transformation ein Inverses (siehe letzte Folie). Daraus folgt direkt, dass bei der Fourier-Transformation keinerlei Information verlorengeht. X(ω) ist ein Wert, der angibt, welchen "Anteil" die Frequenz ω am Eingabesignal hat. Die Fourier-Transformierte einer Funktion ist (i.a.) komplex: Der Betrag X(ω) ist die zur betreffenden Frequenz gehörende Amplitude, das Argument ist die Phase. Problem: Aus der Fourier-Transformation eines Signals kann man nicht herauslesen, zu welcher Zeit ein bestimmter Frequenzanteil aufgetreten ist. 28

27 Discrete-Time Fourier Transform (DTFT) Die soeben definierte Fourier-Transformation ist eine kontinuierliche mathematische Funktion. Wie können wir die Idee auf diskrete Signale übertragen? Wir definieren die zeitdiskrete Fouriertransformation (DTFT) eines diskreten Signals x[n] durch mit der Umkehrung X ( e j ) x[n] 1 2 F( x[ n]) n X(e j )e jn d jn Wenn x[n] durch diskretes Sampling einer kontinuierlichen Funktion entstanden ist, dann approximiert die DTFT die kontinuierliche Fourier-Transformation. Achtung: die DTFT eines diskreten Signals ist (erst einmal) durch einen kontinuierlichen Parameter ω parametrisiert. x[ n] e 29

28 Discrete-Time Fourier Transform (DTFT) Die DTFT ist periodisch in ω mit Periode 2π, daher betrachtet man im Frequenzbereich nur die Frequenzen von π bis π. In der DTFT sind nur Frequenzen unterhalb der halben Abtastrate (die halbe Abtastrate nennt man auch Nyquist-Frequenz) korrekt wiedergegeben. π entspricht dann der maximalen Frequenz. Es gibt einen schnellen Algorithmus (FFT), um die diskrete Fourier- Transformation auszurechnen. Daher kann man die DTFT in der Praxis sehr gut anwenden. Auch die DTFT ist komplex. Selbes Problem wie bei der CTFT: Aus der diskreten Fourier-Transformation eines Signals kann man nicht herauslesen, zu welcher Zeit ein bestimmter Frequenzanteil aufgetreten ist. 30

29 Kontinuierliche und diskrete Frequenz Achtung: Wenn wir die DTFT eines diskreten Signals ausrechnen, sind die Frequenzen auf den Bereich [,] normiert! Welche Frequenzen lagen im ursprünglichen kontinuierlichem Signal vor? Klar: Die Frequenzen im diskreten Signal hängen von der Abtastrate ab! Klar: maximale enthaltene Frequenz im diskreten Signal ist die Nyquist- Frequenz. Nehmen wir an, x[n] sei durch Sampling eines kontinuierlichen Signals x(t) entstanden, wobei zwischen zwei Samples die Zeit T liegt und die Abtastrate f s =T -1 hoch genug gewählt wurde (d.h. oberhalb der Nyquist-Rate). Sei Ω=2πf die kontinuierliche Kreisfrequenz des Signals (in rad/s: Eine vollständige Schwingung entspricht 2π rad) Sei ω die diskrete Frequenz des Signals Dann gilt ω=ω T. Zum Merken: (maximale) Frequenz π im diskreten Signal Nyquist-Frequenz im kontinuierlichen Signal! 31

30 Beispiel für die DTFT Zugrundeliegendes Signal: Reellwertige Exponentialfolge (oberes Bild) Mittleres Bild: Amplitude (Betrag) der DTFT Unteres Bild: Phase (komplexes Argument) der DTFT 32

31 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Fensterung und Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 33

32 Fensterung Problem der Fourier-Transformation: Das Signal verändert sich mit der Zeit, aber wir erhalten keine (nutzbare) Information, an welcher Stelle welche Frequenzen aufgetreten sind. Lösung: Wir zerlegen das Signal in kleine Abschnitte und betrachten die. Dies nennt man Fensterung oder Framing. 34

33 Fensterung Die Fensterung erzeugt ein neues Signal im Zeitbereich. Vorgehensweise: Wir multiplizieren das Signal abschnittsweise mit einer Fensterfunktion und führen dann eine beliebige Operation durch. Wir erhalten für jedes Fenster ein Resultat. Diese Resultate können wir wieder als Funktion der Zeit betrachten. Die Fenster (engl. frames) sollten sich in der Regel 0 überlappen, damit an ihren Rändern keine Ungenauig keiten auftreten Gefenstertes Signal 35

34 STFT Eine typische Signalverarbeitung in der Mustererkennung ist die Fensterung + Anwendung der DTFT auf jedem Fenster: STFT (short-time Fourier transform) Die Fensterlänge und verschiebung wird experimentell bestimmt. In der Spracherkennung z.b. Fensterlänge 16ms, Verschiebung 10ms. Damit ist das ursprüngliche Problem gelöst: Wir können jetzt den Frequenzanteil des Ursprungssignals z.b. in Zeitabschnitten von jeweils 16 ms berechnen! Neues Problem: Die Fensterung verzerrt das Spektrum des Signals! Trotzdem: Diese Transformation, die als gefensterte Fourier-Transformation oder Short-Time Fourier Transform (STFT) bezeichnet wird, ist grundlegend für die gesamte Signalverarbeitung. Durch Fensterung kann man auch andere nützliche Informationen bestimmen: Frame-based power (Energie im Fenster) Frame-based mean (Mittelwert im Fenster)... 36

35 STFT Die STFT erzeugt aus dem Ursprungssignal eine Folge von Tokens im Zeitbereich. Diese Tokens sind Vektoren, die die Frequenzanteile des jeweiligen Frames enthalten. Diese Tokens können nun als Input für einen Mustererkenner dienen oder noch weiter verarbeitet werden. Mit anderen frame-basierten Vorverarbeitungen verfährt man entsprechend. 37

36 STFT: Fensterfunktionen Wie sollten wir die Fensterfunktion wählen? Bei Extraktion zeitbasierter Merkmale (z.b. frame-based power, framebased mean): Rechteckfenster ist völlig OK Bei der STFT müssen wir uns überlegen, was die Fensterung im Frequenzbereich bedeutet Vergleichen wir noch einmal! Hier die DTFT: X(e j ) n Dies ist die formale Definition der STFT mit Fensterfunktion w: x[n]e jn m X[ n, ] x[ m] w[ m n] e jm Die Fensterung ist eine (punktweise) Multiplikation des Signals x mit dem entsprechend verschobenen Fenster w. 38

37 STFT: Fensterfunktionen Man kann zeigen, dass eine Multiplikation im Zeitbereich einer Faltung im Frequenzbereich entspricht, und umgekehrt. Die Faltung von Funktionen x[n], y[n] ist folgendermaßen definiert: Dann ist unsere Aussage: und x y : x[ ] y[ n ] F( x y) F( x) F( y) 1 F( x y) F( x) F( y) 2 Wie sollten wir die Fensterfunktion wählen? Sie sollte das Frequenzspektrum des Signals möglichst wenig verändern! Fensterung erfolgt durch Multiplikation im Zeitbereich, was einer Faltung im Frequenzbereich entspricht. d.h. das Spektrum wird mit der (fourier-transf.) Fensterfunktion gefaltet! 39

38 STFT: Fensterfunktionen Eigenschaften der Faltung machen wir nachher. Jetzt ist für uns wichtig: Die Faltungsoperation hat ein "neutrales Element", nämlich den Dirac-Impuls [n] 1für n 0 0 sonst Also: Für jeden Funktion x[n] ist x*δ=x. Da die Fensterung im Frequenzbereich einer Faltung entspricht, hätten wir gern ein Fenster, das "so gut wie möglich" gleich dem Dirac-Impuls ist (im Frequenzbereich). 40

39 Zwei typische Fensterfunktionen Rechteckfenster: w[ n] 1, 0 n 0 sonst N Links: Fensterfunktion Rechts: Fourier-Transformierte Eine Fourier-Transformierte möglichst nahe der Impulsfunktion wäre optimal cos(2n / N), 0 n N Hamming-Fenster: w[ n] 0 sonst 41

40 Das Spektrogramm Wir können jetzt die Frequenzanteile einer Funktion (bzw. eines Signals) über die Zeit auftragen: Es ergibt sich das Spektrogramm x-achse: Zeit y-achse: Frequenz Spektrogramm eines Sprachsignals Abhängige Variable: Frequenzanteil zum betreffenden Zeitpunkt: je roter, desto höher 42

41 Frequency Effekte verschiedener Fensterlängen Frequency Neben der Form der Fensterfunktion hat auch ihre Skalierung, d.h. die Fensterlänge, einen wesentlichen Effekt. Short-duration window: Long-Duration window: Time Time Kurze Fenster: ungenau im Frequenzbereich Lange Fenster: ungenau im Zeitbereich Kompromiss: Geeignete Fenstergröße muß empirisch gefunden werden, aber der Genauigkeit werden durch die Heisenbergsche Unschärferelation Grenzen gesetzt 43

42 Vergleich von Spektren nach Verarbeitung Originalsignal nach Filterbank Weiter Verarbeitungsmethode: Filterbänke (genaue Definition nachher) Anwendung der Filterbank verschmiert und verzerrt das Signal auf der vertikalen (Frequenz-)achse Wenn man's richtig macht, werden unwichtige Fluktuationen unterdrückt. Das wird die Erkennungsleistung typischerweise verbessern! 44

43 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 45

44 Was ist ein Filter? Ein Filter transformiert ein Eingabesignal in ein Ausgabesignal Filter treten in der Natur/Technik überall auf! Beispiele: Akustisches Filter (z.b. Auspuff eines Autos, Konzertsaal, menschlicher Mund) Analoges (elektrisches) Filter (Kombination von Widerständen, Kondensatoren und Spulen) Digitales Filter (ein Programm, oder einfach eine Koeffizientenfolge) Filtereigenschaften von Objekten (z.b. wirkt bei der Messung von elektrischen Biosignalen die Haut als Tiefpassfilter) Wir beschäftigen uns an dieser Stelle nur mit digitalen Filtern. 46

45 Warum filtern wir? Die in der Natur auftretenden Filter können durch digitale Filter beschrieben werden. Die Filterung ist damit eine wichtige Operation der Signalverarbeitung, um die Entstehung eines Signals zu modellieren. Mit Filterung können wir (im Idealfall) mathematisch beschreiben, welche Einflüsse nacheinander ein Signal geformt haben (typisches Beispiel: das Quelle-Filter-Modell der Sprachentstehung). Wir werden sehen, dass Filter auf die Frequenzen des Eingabesignals wirken. Daher können wir eine Reihen wichtiger Signalverarbeitungsschritte (Modulation, Rauschunterdrückung,...) durch Filter repräsentieren. Für einen Filter sind seine Impulsantwort und seine Frequenzantwort (Übertragungsfunktion) charakteristisch. 47

46 Einführung: Lineares zeitinvariantes Filter Sei H ein Filter, der Eingabesignal x[n] in Ausgabesignal y[n] transformiert. x[n] Filter H y[n] Annahme: Die Transformation sei Linear (y[ ] ist eine lineare Funktion von x[ ]) Zeitinvariant (Funktion ändert sich nicht mit der Zeit) Kausal (Ausgabe hängt nur von Vergangenheit ab) Außerdem soll ein endliches Eingabesignal nur eine endliche Ausgabe erzeugen Wir regen das Filter nun mit einem einzelnen Impuls (einem Dirac-Impuls) an und erhalten ein (endliches) Ausgabesignal h[n]. h[n] heißt die Impulsantwort des Filters. Was passiert, wenn wir ein komplexeres Signal als Eingabe des Filters verwenden? 48 1für n 0 [n] 0 sonst Bild: Wikipedia (en), Dirac Delta Function

47 Einführung: Lineares zeitinvariantes Filter Sei nun x[n] ein beliebiges Signal. x[n] Filter H y[n] x ist offensichtlich eine (gewichtete) Summe von (verschobenen) Impulsen! x[ n] x[ ] [ n ] Da H linear (und zeitinvariant) ist, ist die Ausgabe y schon durch die Impulsantwort h[n] festgelegt: Es gilt (wobei die Summe hier endlich ist, falls x endlich ist) Diese Operation hatten wir vorhin schon, das ist die (diskrete) Faltung: Setze dann gilt für das Ausgabesignal: y=x*h. y[ n] x[ ] h[ n ] xh : x[ ] h[ n ] 49

48 Filterung und Fourier-Transformation Wir haben jetzt auf Basis einfacher Annahmen beschrieben, wie ein Filter im Zeitbereich wirken sollte. Wir haben ein Filter durch seine Impulsantwort charakterisiert. Wenn wir aber Eingabe- und Ausgabesignal in den Frequenzbereich transformieren, wird die Faltung zu einer Multiplikation! y[ n] ( h x)[ n] Y( e (Beweis: durch Ausrechnen der Summen und der Transformation) Die Linearitätseigenschaft bleibt auch im Frequenzbereich erhalten (klar). (Lineare, zeitinvariante) Filter sind also Multiplikationen im Frequenzbereich! Jeder Frequenzanteil (komplex) wird mit einem (ebenfalls komplexen) Faktor multipliziert! Frequenzen können verstärkt oder abgeschwächt werden Zusätzlich treten Phasenverschiebungen auf. ) X ( e Definition: Der Dreifachpunkt symbolisiert, dass links und rechts dieselben Terme oder Gleichungen stehen, einmal im z-bereich, einmal im Zeitbereich. j ) H( e j j ) 50

49 Filterung und Fourier-Transformation Definitionen: H( ) heißt Übertragungsfunktion H(e jω ) heißt Frequenzgang das ist eigentlich ein Spezialfall der Übertragungsfunktion, wenn das Eingabesignal eine reine Frequenz ist. Man kann Real- und Imaginärteil des Frequenzgangs gesondert betrachten: H(e jω ) ist der Amplitudengang oder die Amplitudenantwort arg(h(e jω )) (das komplexe Argument) heißt dementsprechend Phasengang. 51

50 Bandpassfilter Typische Beispiele für lineare Filter sind Hoch-, Tiefpassfilter: Lassen hohe bzw. tiefe Frequenzen durch Bandpassfilter: Lassen Frequenzen in bestimmtem Bereich durch Warum ist dies eine Filterung? Beachte Die Bandpassfilterung entspricht einer Multiplikation im Spektralbereich (bei einem idealen Filter mit einem Rechteckfenster). Daher entspricht sie einer Faltungsoperation (also einer Filterung mit einem geeigneten Filter) im Zeitbereich. Es gibt noch kompliziertere Beispiele: F( h x) F( h) F( x) Differentiator: Approximiert Ableitung der durch das Eingabesignal gegebenen Funktion (das ist aber bei analogen Filtern interessanter) Hilbert-Transformation: Erzeugt Phasenverschiebung, nützlich bei Modulationsverfahren (Nachrichtentechnik) 52

51 Digitale Filter: Beispiele Wir betrachten nur lineare, zeitinvariante (LTI linear time-invariant) Filter. Diese kann man noch unterteilen in: Finite impulse response (FIR)-Filter oder nichtrekursive Filter: Wenn das Eingabesignal endlich ist, ist das Ausgabesignal ebenfalls endlich: Bsp: y[n] = x[n] + 3x[n 1] x[n 2] 0.4 x[n 3] Infinite impulse response (IIR)-Filter oder rekursive Filter: Hier tritt Rekursion auf: Die Ausgabe des Filters wirkt auf die Eingabe zurück. Ein endliches Eingabesignal kann ein nicht endendes Ausgabesignal erzeugen (das in praktischen Anwendungen aber irgendwann gegen 0 gehen wird): Bsp: y[n] = x[n] 0.5 x[n 1 ] y[ n 1 ] IIR-Filter können ebenso wie FIR-Filter im Frequenzbereich betrachtet werden. 53

52 Die z-transformation Ehe wir Filter im Detail behandeln, benötigen wir noch ein Werkzeug: Die z- Transformation. Generalisierung der diskreten Fourier-Transformation Ziel: Eigenschaften von Filtern besser beschreiben Die DTFT noch einmal: X ( e j ) n Die Z-Transformation ist definiert durch wobei z wieder eine komplexe Zahl ist: x[ n] e jn X ( z) Z( x[ n]) x[ n] z n z n r n e jn r n (cos( n) jsin( n)). Der Unterschied zur DTFT: Wir betrachten nicht nur den Fall z = 1, sondern z kann alle komplexen Werte annehmen. 54

53 Eigenschaften der z-transformation Die DTFT ist die Einschränkung der z-transformation auf den Einheitskreis. Die z-transformation ist linear. Z(x[n]) ist ein Polynom in z. Die z-transformation konvergiert nicht immer und nicht überall, aber bei allen Folgen mit endlicher Energie enthält der Konvergenzbereich den Einheitskreis der z-ebene. Die z-transformation überführt (wie die Fourier-Transformation) eine Faltung im Zeitbereich in eine Multiplikation im z-bereich. Die Verschiebungseigenschaft: wenn dann x[ n] X ( z) N x[ n N] z X ( z) Das ist interessant, wenn wir Filter im z-bereich beschreiben. 55

54 Filter als Differenzengleichung Betrachten wir wieder ein Filter H, das diesmal (möglicherweise) ein IIR-Filter (oder rekursives Filter) sein soll. x[n] Filter H y[n] So wie wir FIR-Filter (nichtrekursive Filter) durch eine Faltung charakterisiert haben, können wir auch rekursive Filter charakterisieren. Im Zeitbereich ergibt sich eine Differenzengleichung. Betrachten wir als Beispiel: y oder anders geschrieben y [ 0 n] a1 y[ n 1] a2 y[ n 2]... am y[ n m] b x[ n]... bl x[ n l] [ 0 n] a1 y[ n 1] a2 y[ n 2]... am y[ n m] b x[ n]... bl x[ n l] Wie sieht das im z-bereich (oder im Frequenzbereich) aus? 56

55 Filter als Differenzengleichung x[n] Filter H y[n] Transformation in den z-bereich geht wie beschrieben. Linke Seite: Rechte Seite: Dabei ist b=(b 0,..., b l ) und a=(1, a 1,..., a m ) (der Koeffizient a 0 ist zu 1 normiert). Jetzt können wir wieder die Übertragungsfunktion im z-bereich definieren: Y( z) B( z) H( z) X ( z) A( z)...sie ist durch die z-transformierten der Koeffizientenfolgen gegeben. Aus der Filterung wird eine Multiplikation im z-bereich: 57 a y [ n] A( z) Y( ) y[ n]... am y[ n m] z b x [ n] B( z) X ( ) b0 x[ n]... bl x[ n l] z Y( z) H( z) X ( z) Koeffizienten-Folge

56 Filter als Differenzengleichung x[n] Filter H y[n] Betrachten wir als Beispiel die Differenzengleichung y[n]1.27y[n 1].81y[n 2] x[n] x[n 1] Die Koeffizientenfolgen sind a=(1, -1.27, 0.81) und b=(1, -1). Transformation in den z-bereich ergibt 1 2 ( ) A z z 0.81z und B( z) 1 z Damit ergibt sich die Übertragungsfunktion des Filters zu H Y( z) X ( z) B( z) A( z) 1 z 11.27z.81z 1 ( z)

57 Pole und Nullstellen Die Nullstellen von Zähler und Nenner des Systems geben die Nullstellen und Pole (Unendlichkeitsstellen) des Systems an: 1 ( Y( z) 1 z z( z 1) H z) 1 2 j / 4 j / X ( z) 11.27z.81z ( z.9e )( z.9e 4 ) (Hinweis: Bruch wurde mit z 2 erweitert) Nullstellen: z=0, z=1 Pole: z =.9e j/4, z =.9e -j/4 Aus den Nullstellen und Polen kann man nun die Eigenschaften des Systems ablesen (wird in dieser Vorlesung nur kurz behandelt, vgl. Linear Predictive Coding in der Sprachverarbeitung). Liegt z.b. eine Polstelle auf dem Einheitskreis, so handelt es sich hier um eine Resonanzfrequenz, die (theoretisch) niemals abklingt. FIR-Filter, d.h. nichtrekursive Filter, haben nach Definition keine Polstellen außer dem Ursprung, daher ist die endliche Impulsantwort garantiert. Diese Filter sind also eine Spezialform der rekursiven Filter, die hier behandelt werden. 59

58 Pole und Nullstellen abs(h) Von der z-transformation können wir auf die DTFT rückschließen: Um den Betrag der DTFT zu finden, betrachte die z-transformation auf dem Einheitskreis. Für jeden Punkt auf dem Einheitskreis gilt: Der Betrag der DTFT ergibt sich aus dem Produkt der Distanzen zu den Nullstellen, dividiert durch das Produkt der Distanzen zu den Polstellen der z-transformation. Diese Regel können wir verwenden, um die Auswirkungen eines Filters auf gewisse Frequenzen zu beschreiben. Hierfür muss man in der Tat die gesamte z-ebene betrachten, nicht nur den Einheitskreis. z-transformierte (Betrag) DTFT (Betrag) Imag[z] omega/pi Real[z] 60

59 Filterdesign Wie bestimmt man nun die Filterkoeffizienten? Beschreibe gewünschte Eigenschaften im Frequenzbereich Bestimme Übertragungsfunktion H Transformiere H zurück in den Zeitbereich, erhalte Filterkoeffizienten (Impulsantwort) h[n] Alles ganz einfach...? Problem dabei: Mit endlicher Arithmetik können keine idealen Filter erreicht werden Beispiel: Ein exakter Bandpassfilter hat eine unendlich lange Impulsantwort Also muss man Abstriche machen: Es gibt eine Reihe Algorithmen zum Filterdesign, die verschiedene Anforderungen erfüllen Steile Flanke zwischen Durchlass- und Sperrbereich Monotonie im Amplitudengang Keine oder wenig Phasenverschiebung Nicht Thema dieser Vorlesung! 61

60 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 62

61 Warum Kompression? Wir nehmen an, dass wir eine Repräsentation unseres Signals haben: typischerweise hochdimensional (Michaels EMG-Experimente: 5 Kanäle, 5 vorverarbeitete Koeffizienten pro Kanal, 31x Kontext 775 Dimensionen) Typischerweise vorverarbeitetes Signal (z.b. Frequenzrepräsentation des Sprachsignals) Manche Methoden lassen sich auch auf Rohsignal (z.b. 16 Kanäle EEG) anwenden, z.b. zur Artefaktreduktion Problem: Kanäle enthalten redundante Information: wie extrahiere ich relevante Merkmale? Kann ich dabei Signal und Rauschen trennen? Rechenzeit? Speicherplatz? hochdimensionales System generalisiert schlecht Fluch der Dimensionalität: Die nötige Menge an Trainingsdaten, um einen guten Klassifikator zu trainieren, steigt exponentiell mit der Dimensionalität des Merkmalsraums! 63

62 Kompressionsmethoden Ziel: Verringerung der Dimensionalität der Daten Dabei bedeutungstragende Merkmale belassen Gegeben: Eine Menge bzw. zeitliche Abfolge von Feature-Vektoren, die Ausschnitte des Signals repräsentieren und vorher irgendwie vorverarbeitet wurden Ein Feature-Vektor = ein Vektor im R N Einfache Methode: Featureauswahl (feature selection) Wir haben xxx Features (=Komponenten des Feature-Vektors) Nehmen wir einfach die besten yy Kompliziertere Methoden: typisch beim Sprachsignal: Filterbänke nichtparametrisch, unüberwacht: PCA, ICA und Varianten überwacht: LDA 64

63 Feature Selection Theorem: Um sicher die beste Untermenge von n Dimensionen ( features ) zu finden, muss man alle möglichen 2 n Untermengen ausprobieren unpraktikabel Es gibt eine Reihe systematische Ansätze zur Featureauswahl. Einfaches Beispiel: Feature Ranking Berechne Qualitätsmaß für jede Dimension: Diskriminanz, Korrelation mit abhängiger (zu erkennender) Variable, Fehlerrate definiere Threshold für Qualitätsmaß, behalte alle Dimensionen, die diesen Threshold überschreiten, oder behalte die n besten Dimensionen Achtung: unbedingt unabhängiges development set verwenden! Nicht auf Testset optimieren! Subset selection: evaluiere Untermengen von Features und vergleiche sie oft Greedy-Algorithmus (Schritt für Schritt die beste Dimension dazunehmen) Forward Feature Selection oder rückwärts: beginne mit allen Features und streiche unwichtige Backward Feature Selection 65

64 Probleme bei Feature Selection Die Algorithmen sind relativ einfach, aber unter Umständen nicht einfach anwendbar: Wie initialisiere ich z.b. einen Greedy-Algorithmus, wenn mit einer Dimension gar nichts funktioniert und mit allen Dimensionen auch nicht? Welches Qualitätsmaß kann man verwenden? Greedy-Algorithmus findet u.u. nicht die optimale Lösung Außerdem können derartige Algorithmen keine Information erkennen, die in einer Kombination von Features zu finden ist. Die Features werden als unabhängig voneinander angesehen das sind sie aber oft nicht: Beispiel Frequenzkomponenten im Sprachsignal, Gelenkwinkel von Bewegungen des menschlichen Körpers,... Wir sollten versuchen, gemeinsame Information in den Dimensionen auszunutzen! Diese Vorlesung: Filterbänke (gut für das Sprachsignal und für frequenzbasierte Features), PCA, LDA (lineare Transformationen des Featureraums). 66

65 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 67

66 Kompressionsmethode: Filterbänke Ausgangsdaten: Spektrum eines Signals nach STFT (d.h. Kurzzeitspektrum als Funktion der Zeit) Wenn kleine Variationen der Frequenz unwichtig sind, können wir im Frequenzbereich downsamplen: Dafür berechnen wir (gewichtete) Mittelwerte benachbarter Frequenzen. Dies führt zu einer robusteren Signalrepräsentation, da solche kleinen Variationen durch Noise (Störungen) hervorgerufen sein können schwer zu modellieren sind Beispiel: Bei der Spracherkennung kann nach der N-Punkt-STFT ein Signal der Dimensionalität N=256 entstehen, Kompression kann bei Verbesserung der Erkennungsleistung die Dimension auf z.b senken. 68

67 Beispiel für eine Filterbank Wir berechnen gewichtete Mittelwerte über benachbarte Frequenzen. Unten eine Filterbank aus Dreiecksfiltern, die Form dieser Filter ergibt sich aus den physiologischen Eigenschaften des menschlichen Gehörs (niedrige Frequenzen sind wichtiger)! horizontale Achse: Frequenz (khz) vertikale Achse: Gewicht

68 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 70

69 Principal Component Analysis (PCA) PCA: Principal Component Analysis, Hauptkomponentenanalyse Eingabe: Eine Menge von Eingabesamples (multidimensionale Vektoren). Die PCA sucht sukzessive zueinander orthogonale Richtungen (im multidimensionalen Featureraum) mit größter Varianz und liefert diese geordnet nach ihrer Varianz zurück Annahme: Richtung mit größter Varianz ist auch von größtem Interesse Die gefundenen Richtungen, die Hauptkomponenten, bilden eine Orthogonalbasis des Featureraums Wenn die Hauptkomponenten gefunden sind, wird im Featureraum ein Basiswechsel durchgeführt, so dass die Eingabevektoren bezüglich der neuen Basis bestehend aus Hauptkomponenten dargestellt werden. Dann sind die Komponenten der transformierten Vektoren nach Varianz geordnet. Kompression wird durchgeführt, indem die hinteren Komponenten (also die mit kleinerer Varianz) einfach weggelassen werden. 71

70 PCA: Beispiel Beispiel: Berechnung der Hauptkomponente(n) Betrachte die gemessene Positionen eines Pendels. Offensichtlich kann sein Schwingungsverhalten mit einer einzigen Variablen beschrieben werden, aber: Unglücklicherweise hat ein unbegabter Experimentator die Messapparatur so aufgebaut, dass die Schwingrichtung zu keiner der völlig willkürlich gewählten Achsen parallel ist Das Laborfenster war geöffnet, und der Luftzug hat der Pendelschwingung eine Rausch komponente hinzugefügt Offensichtlich ist die grün eingezeichnete Richtung die Richtung größter Varianz. Wenn diese der eigentlich gesuchten Schwingung entspricht (also das Rauschen nicht allzu groß ist), sollte uns die PCA diese Richtung als Hauptkomponente zurückliefern. Die Rauschkomponente kann man dann vernachlässigen. 72

71 PCA: Beispiel Beispiel: Durchführung der Transformation Wir nehmen an, die Wolke von Messwerten sei in etwa so verteilt wie unten links. Die PCA wird uns die unten eingezeichneten Faktoren zurückliefern. Ein Basiswechsel im Featureraum liefert uns dann die rechts dargestellte Situation. Basiswechsel Interessant wird die PCA natürlich besonders dann, wenn es viele Dimensionen gibt. 73

72 Wiederholung Ehe wir die PCA für einen gegebenen Datensatz nun berechnen, wiederholen wir einmal zwei der wichtigsten Begriffe der Wahrscheinlichkeitstheorie: Erwartungswert Varianz und Kovarianz Kovarianzmatrix Dies ist als ganz kurze Wiederholung gedacht Wir werden diese Begriffe noch häufiger benötigen Weitere Details im Skript der Vorlesung Wahrscheinlichkeitstheorie / Stochastik. 74

73 Wiederholung Erwartungswert Der Erwartungswert wird in Anlehnung an den beobachteten Mittelwert einer Zufallsfolge definiert. Wenn wir z.b. einen Würfel 10x werfen und die Zahlen 4,2,5,1,6,6,1,1,2,3 bekommen, ist der Mittelwert d.h. wir addieren die geworfenen Zahlen, gewichtet nach relativer Häufigkeit Wenn wir eine Zufallsvariable nehmen und die relative Häufigkeit durch die theoretische Wahrscheinlichkeit ersetzen, erhalten wir den Erwartungswert Erwartungswert e. diskreten Zufallsvariablen Erwartungswert e. kontinuierlichen Zufallsvariablen E ( X ) p( i) i i E ( X ) x p( x) dx 75

74 Wiederholung Erwartungswert Der Erwartungswert wird in Anlehnung an den beobachteten Mittelwert einer Zufallsfolge definiert. Wenn wir z.b. einen Würfel 10x werfen und die Zahlen 4,2,5,1,6,6,1,1,2,3 bekommen, ist der Mittelwert d.h. wir addieren die geworfenen Zahlen, gewichtet nach relativer Häufigkeit Wenn wir eine Zufallsvariable nehmen und die relative Häufigkeit durch die theoretische Wahrscheinlichkeit ersetzen, erhalten wir den Erwartungswert Erwartungswert e. diskreten Zufallsvariablen Erwartungswert e. kontinuierlichen Zufallsvariablen E ( X ) p( i) i i E ( X ) x p( x) dx 76

75 Wiederholung Varianz und Kovarianz Die Varianz ist ein Maß für die Streuung einer Zufallsvariablen, d.h. ein Maß für die Abweichung einer Zufallsvariable X von ihrem Erwartungswert Definiert ist sie als die mittlere quadratische Abweichung vom Mittelwert Var 2 2 ( X ) E( X E( X )) E( X ) E( X ) 2 Hat eine Zufallsvariable Varianz Null, so nimmt sie fast sicher nur einen Wert a an: P(X=a) = 1 Sehr ähnlich definiert man die Kovarianz zweier Zufallsvariablen. Sie misst den linearen Zusammenhang zwischen zwei Variablen X und Y: Cov( X, Y) E[( X E( X ))( Y E( Y))] E( XY ) E( X ) E( Y) Offensichtlich gilt Var(X) = Cov(X,X). Zufallsvariablen X,Y mit Cov(X,Y) = 0 heißen unkorreliert. Sind die Variablen stochastisch unabhängig, so sind sie immer auch unkorreliert. Umgekehrt stimmt dies aber nicht! 77

76 78 Biosignale und Benutzerschnittstellen Digitale Signalverarbeitung Wiederholung Die Kovarianzmatrix Wie können wir die Definition der Varianz sinnvoll auf einen Zufallsvektor erweitern? Bei diesem Vektor müssen wir auch den Zusammenhang der verschiedenen Komponenten des Vektors betrachten! Wir definieren die Kovarianzmatrix Die Kovarianzmatrix hat folgende wichtige Eigenschaften: Sie ist symmetrisch und positiv-definit (alle Eigenwerte sind positiv) Auf der Hauptdiagonalen stehen die Varianzen der Komponenten von X. Es gilt X n X X X 2 1 ), ( ), ( ), ( ), ( ), ( ), ( ), ( ), ( ), ( n n n n n n X X X Cov X X Cov X X Cov X X Cov X X Cov X X Cov X X Cov X X Cov X X Cov ] )) ( ))( ( [( T X X E X X E X E

77 PCA: Berechnung Wie berechnet man die PCA? Zunächst einige Definitionen: Seien die x xn : ( xn (1) m) Dann definieren wir: n (n=1,..., N) unsere Eingabesamples. den (empirischen) Mittelwert die (empirische) Kovarianzmatrix x : Der Mittelwert ist wieder ein N-dimensionaler Vektor, die Kovarianzmatrix eine quadratische NxN-Matrix. C 1 N X N n1 : x n 1 N N n1 ( x n x)( x n x) T 79

78 PCA: Berechnung Seien x 1,..., x n die m-dimensionalen Eingabevektoren. 1. Wir wollen zunächst nur eine Richtung (nämlich die mit größter Varianz) suchen. D.h. wir suchen den Vektor p=(p 1,...,p n ), der die x i in Skalare y i =px i transformiert, so dass die empirische Varianz Var(y 1,...,y n ) maximal ist. 2. Von p fordern wir als Nebenbedingung 3. Rechnen wir s aus! Sei obda der Mittelwert der x i gleich Null. Es gilt Var ( y 1,..., y n 1 ) n i ( px)( px) T p 2 1 p n i T pp xx T 1 p T pc X p T Das heißt, die Varianz der transformierten Werte y i ergibt sich aus der ursprünglichen Kovarianzmatrix durch die Transformation T C pc p X 4. Zu maximieren ist also der Ausdruck pc X p T unter der Nebenbedingung pp T =1. Wir führen einen Lagrange-Multiplikator ein und erhalten als Zielfunktion T T h( p, ) pc p ( pp 1) X X 80

79 PCA: Berechnung Ableiten führt zu h p T T 2C X p 2p und Nullsetzen dieser Ableitung ergibt schließlich die Forderung C X p T p T d.h. es ist eine notwendige Bedingung für die Maximalität von pc X p T, dass λ ein Eigenwert von C X ist! Insbesondere sehen wir, dass nach der Transformation y i =px i gilt: Var(y 1,...,y n )=λ, d.h. wenn wir den größten Eigenwert von C X gefunden haben, haben wir mit dem zugehörigen Eigenvektor auch wirklich die Richtung größter Varianz gefunden. Entsprechend suchen wir nun nach den weiteren Richtungen mit nächstniedriger Varianz, die zusätzlich zu allen bisher gefundenen Richtungen orthogonal sein sollen (sonst würden wir bei der Maximierung der Varianz immer wieder dieselbe Richtung bekommen). 81

80 PCA: Berechnung Sei nun x ein Eingabevektor, P eine quadratische Transformationsmatrix, y=px der transformierte Vektor. Wir fordern, dass P orthogonal ist. Aus der Beziehung C Y = PC X P T ergibt sich dann zusammenfassend: Die Richtung mit höchster Varianz entspricht genau dem Eigenvektor der Matrix C X mit höchstem Eigenwert. Die verbleibenden Richtungen mit jeweils höchster Varianz lassen sich bestimmen, indem man die Eigenvektoren zu den nächstniedrigeren Eigenwerten bestimmt. Die Matrix C X ist symmetrisch, daher lässt sie sich in der Tat durch eine orthogonale Transformation P diagonalisieren, und alle Eigenwerte sind reell. Da darüber hinaus die Eigenwerte Varianzen unabhängiger Messreihen im transformierten Featureraum sind, sind die Eigenwerte auch alle nichtnegativ. Die Bestimmung der Eigenwerte von C X kann mit einem beliebigen Verfahren durchgeführt werden. Damit haben wir den PCA-Algorithmus vollständig beschrieben und seine Korrektheit bewiesen! 82

81 PCA: Dekorrelation und Unabhängigkeit Der entscheidende Schritt bei der PCA ist die Dekorrelation der ursprünglichen Dimensionen. Das bedeutet, dass die Kovarianzen zweier verschiedener Dimensionen durch die Transformation zu Null gemacht werden. Dies ist optimal für normalverteilte Datensätze, denn in diesem Fall sind nach der Transformation die einzelnen Dimensionen nicht nur unkorreliert, sondern auch statistisch unabhängig. Wenn die Daten anders verteilt sind, können die Dimensionen nach der Transformation immer noch voneinander abhängig sein. (Weitere) Vorteile der PCA: Die PCA ist parameterlos und unüberwacht: sie lässt sich gut anwenden, wenn über die Struktur der zugrundeliegenden Daten nichts bekannt ist. Die PCA ist recht einfach zu berechnen, auch die mathematische Theorie ist gut erforscht. Das Grundprinzip lässt sich vielfältig erweitern, um gewisse Schwächen des Basisalgorithmus zu lindern (s. nächste Folien). 83

82 PCA: Probleme und Lösungen Problem: Die PCA dekorreliert die einzelnen Dimensionen, was im Falle nicht normalverteilter Daten möglicherweise nicht ausreicht, damit die Dimensionen voneinander unabhängig sind. Eine mögliche Lösung: ICA (Independent Component Analysis): Berechne die Transformationsmatrix so, dass die Dimensionen von vornherein so bestimmt werden, dass sie voneinander maximal stochastisch unabhängig sind. Algorithmus ist anders (komplizierter) als PCA, aber auch hier wird eine lineare Transformationsmatrix bestimmt, die ein bestimmtes Optimierungskriterium erfüllt. Optimierungskriterien ergeben sich z.b. durch Betrachtung der Entropie der (abgeschätzten) Wahrscheinlichkeitsverteilungen der Dimensionen. Bei der Blind Source Separation (Trennung einer Signals in Bestandteile von verschiedenen Quellen) ist die ICA sehr wichtig. 84

83 PCA: Probleme und Lösungen Problem: Der PCA-Algorithmus beachtet nicht die Verteilung der Datenpunkte über die Zeit, d.h. Strukturen, die nur durch Betrachtung des Signals in seiner zeitlichen Abfolge zu erkennen sind, werden möglicherweise nicht gefunden. Lösung: Man kann Features definieren, die eine zeitliche Struktur enthalten, etwa durch Stacking benachbarter Frames: ein Feature, entstanden z.b. durch STFT auch ein Feature Man könnte auch mehrere Kovarianzmatrizen mit jeweils kleinen Timeshifts des Signals berechnen und dann eine Transformation suchen, die diese möglichst gemeinsam diagonalisiert. 85

84 PCA: Probleme und Lösungen Problem: Die PCA versagt, wenn die Hauptrichtungen der Daten nicht linear oder nicht zueinander orthogonal sind. Beispiele: Links: Eine kreisförmige Bewegung. Auch sie ließe sich durch eine einzige Variable (den Drehwinkel θ) beschreiben, die PCA ist aber nicht in der Lage, dies zu erkennen, weil θ eine nichtlineare Funktion der Koordinaten x, y, z ist. Rechts: hier liegen die offensichtlichen Hauptrichtungen keineswegs orthogonal zueinander. Die wichtigste Richtung wird noch korrekt gefunden, die zweite Richtung nicht mehr. Lösung: Übergang zu nichtlinearen Transformationen, z.b. mit Hilfe der Kernel PCA. 86

85 PCA: Ein schönes Beispiel Eine gängige Anwendung der PCA ist die Beschreibung und Erkennung von Gesichtern. Sehr hochdimensionaler Featureraum (100x100 Pixel sind schon einzelne Features). Aber typische Gesichtseigenschaften, die bei verschiedenen Personen ähnlich sein können. Normalisierung der Gesichter (Zentrierung, gleiche Größe) ist nötig. In der Grafik sieht man ein typisches Mittelwertsgesicht und die sieben ersten Hauptkomponenten, die in einem Experiment berechnet wurden. Ein beliebiges Gesicht wird dann mit einer gewichteten Summe der Eigenfaces unten approximiert. Quelle: Shakhnarovich & Moghaddam, Face Recognition in Subspaces Mitsubishi Electric Research Laboratories, Technical Report,

86 Überblick Digitalisierung A/D-Wandlung, Sampling, Quantisierung Frequenzanalyse Kontinuierliche Fouriertransformation Diskrete Fouriertransformation Kurzzeitfouriertransformation Filterung Einführung Z-Transformation Signalkompression Filterbank PCA LDA 88

87 Linear Discriminant Analysis (LDA) Der LDA-Algorithmus Fisher s linear discriminant ist ein linearer Kompressionsalgorithmus, der ähnlich wie die PCA aufgebaut ist: LDA basiert wie die PCA auf einem linearen Basiswechsel. Ziel des Algorithmus ist diesmal nicht, eine möglichst hohe Varianz nach der Transformation zu erhalten, sondern die Trennbarkeit gewisser Klassen zu maximieren. Daher der große Unterschied zur PCA: Bei der LDA muss vorher die Klassenzugehörigkeit der Daten bekannt sein! Das heißt, wenn man n Klassen unterscheiden will, wird man dem LDA- Algorithmus n Sampledatensätze übergeben, die jeweils aus Daten einer Klasse bestehen. Der LDA-Algorithmus berechnet dann eine Transformationsmatrix, deren Anwendung auf die Eingabedatensätze deren Dimensionen so transformiert, dass neue Dimensionen nach Diskriminanz, also nach Unterscheidungsfähigkeit, geordnet erscheinen. Wie bei der PCA kann man dann die ersten m transformierten Dimensionen verwenden und die restlichen Dimensionen ignorieren. 89

88 Linear Discriminant Analysis (LDA) Die folgende Grafik veranschaulicht, wie die LDA optimal wirken sollte. Der Einfachheit halber ist die Darstellung auf zwei Dimensionen und zwei Klassen beschränkt. Links ist der originale Datensatz, in der Mitte der Datensatz nach der Transformation. Bei der mittleren Darstellung kann man nun ohne Probleme die 2. Dimension (2. Achse) weglassen. Beachte, dass eine PCA hier ein ganz anderes Ergebnis gebracht hätte (welches?) originaler Datensatz nach LDA- Anwendung 90 nach Dimensionsreduktion

89 LDA: Berechnung Zunächst der einfachste Fall: Wir betrachten eine Menge von Samples {x 1,..., x N }, die in zwei Klassen unterteilt ist: C k { n x Klasse k}, k 1,2 n N K sei die Anzahl der Elemente in Klasse C K. Nehmen wir an, dass die beiden Klassen einer Gaussverteilung folgen. Wir wollen die Samples x n auf eine Gerade (also eine Dimension) projizieren, so dass die Klassentrennbarkeit maximal wird. Die Projektion hat die Form y w wobei w ein Vektor ist, der die Projektion beschreibt, y ist ein Skalar. Wie bei der PCA wird der Projektionsvektor normiert: w Ein Kriterium zur Klassentrennbarkeit könnte sein, dass die Mittelpunkte c i 2 1 N T 1 der Klassen nach der Projektion möglichst weit entfernt liegen, d.h. mit J(w)=(ĉ 2 - ĉ 1 ), wobei ĉ i =w T c i, suchen wir w ~ arg max J( w ) w k n C k x x n 91

90 LDA: Berechnung Dieser Ansatz lässt sich einfach lösen (es ergibt sich w argmax =c 2 -c 1 ). Optimal ist er dennoch nicht, wie das untenstehende Bild zeigt: Die beiden Klassen sollten nach der Projektion nicht nur möglichst weit auseinanderliegen, sondern jede von ihnen sollte auch möglichst kompakt sein, d.h. eine niedrige Varianz haben. Quelle: C. M. Bishop, Pattern Recognition and Machine Learning. Springer, 2006 Figure 4.6, Seite