Adaptive Filter. Elektrotechnik / Nachrichten- und Kommunikationstechnik

Transkript

1 Adaptive Filter Fachbereich Lothar Klaas Elektrotechnik / Nachrichten- und Kommunikationstechnik

2 ADFI Inhaltsverzeichnis Seite Seite Literatur 3 Nomenklatur 4 Einführung 5 Was ist ein adaptives Filter? 5. Wie ist ein adaptives Filter aufgebaut? 7 3 Optimalfilter nach Wiener und Kolmogorow 8 3. Das Orthogonalitätsprinzip 8 3. Optimale Impulsantwort und minimaler MSE Beispiel eines Wiener-Filters 3.4 Das FIR-basierte Wiener-Filter 3.5 Beispiel eines Wiener-FIR-Filters 3.6 Eigenschaften der Korrelationsmatrix R 4 4 Die Methode des steilsten Abstiegs (SD) 6 4. Stabilitätsgrenze und Konvergenzzeit 7 4. Beispiel eines adaptiven SD-Filters 8 5 Der LMS-Algorithmus 9 5. Stabilitätsgrenze 5. Konvergenzzeit Abweichung der Fehlerfunktion vom Optimum Beispiel eines LMS-Filters Varianten des LMS-Algorithmus 3 6 Die Methode der kleinsten Fehlerquadrate (LS) 3 6. Die LS-Methode bei unterbestimmtem Gleichungssystem Beispiele von Optimierungen nach dem LS-Prinzip 4 Anhang Anhang A: Repetitorium Lineare Algebra A : Matrizen A : Vektoren A3 : Lineare Gleichungssysteme A4 : Spezielle Matrizen A5 : Quadratische Form einer Matrix A6 : Eigenwerte und Eigenvektoren A7 : Singulärwertzerlegung einer Matrix A8 : Einige Rechenregeln Anhang B: Beschreibung diskreter, stochastischer Signale B : Beschreibung im Zeitbereich B : Beschreibung im Frequenzbereich Anhang C: Ableitung von Funktionen und Vektoren, die von mehreren Variablen abhängen C : Gradient einer von mehreren reellen Variablen abhängigen skalaren Funktion C : Gradient von Vektor-Matrix-Produkten, die von mehreren reellen Variablen abhängen Anhang D: Eigenschaften von digitalen Filtern D : Eigenschaften von FIR-Filtern D : Eigenschaften von IIR-Filtern Anhang E: Berechnung der Leistungsspektraldichte des Fehlersignals eines Wiener-Filters Anhang F: Zur Frage der Kausalität beim FIR- Wiener-Filter A A A A4 A4 A5 A6 A7 B B6 C C3 D D E F 7 Der RLS-Algorithmus Der RLS-Algorithmus mit Wichtungs- und Regularisierungsmatrix Beispiel eines RLS-Filters 48 8 Lineare Prädiktion 5 8. Lineare Vorwärts-Prädiktion 5 8. Lineare Rückwärts-Prädiktion Die erweiterten Wiener-Hopf-Gleichungen Der Levinson-Durbin-Algorithmus Prädiktionsfilter mit Lattice-Struktur Beispiel einer linearen Prädiktion 57 Prof. Dr. L. Klaas Arbeitsgebiet Nachrichtentechnik Fachhochschule Bingen Berlinstraße 9 D-554 Bingen klaas@fh-bingen.de Bearbeitungsstand: 7..5

3 ADFI 3 Literatur [] Bronstein : Taschenbuch der Mathematik. Verlag Harry Deutsch, 5 [] Moschytz. G. ; Hofbauer, M. : Adaptive Filter. Springer [3] Haykin, S. : Adaptive Filter Theory. Prentice Hall [4] Vaseghi, S. V. : Advanced Signal Processing and Adaptive Noise Reduction. Wiley 996 [5] Söderström, T. : Discrete - time Stochastic Systems. Springer [6] Chonavel, T. : Statistical Signal Processing. Springer 3 [7] Zaknich, A. : Principles of Adaptive Filters and Self-learning Systems. Springer 5 [8] Beucher, O. : Wahrscheinlichkeitsrechnung und Statistik mit Matlab. Springer 5 [9] Benker, H. : Statistik mit Matcad und Matlab. Springer [] Gray, R. M. ; Davisson, L. D. : An Introduction to Statistical Signal Processing. Cambride Univ. Press 4, [] Papoulis, A. ; Pillai, S. U. : Probability, Random Variables and Stochastic Processes. Mc Graw Hill, papoulis [] Weinrichter, H. ; Hlawatsch, F.: Stochastische Grundlagen nachrichtentechnischer Signale. Springer 99 [3] Oberg, H. J. : Stochastische Signale. Wißner 995 [4] Girod,B. et al. : Einführung in die Systemtheorie. Teubner 5 [5] Stearns, S. D. ; Hush, D. : Digitale Verarbeitung analoger Signale. Oldenbourg 999 [6] Proakis, J. G. ; Manolakis, D. G. : Digital Signal Processing. Prentice Hall 7 [7] Oppenheim, A. V. ; Schafer, R. W. : Zeitdiskrete Signalverarbeitung. Oldenbourg 995 [9] Köhler, B. : Konzepte der statistischen Signalverarbeitung. Springer 5 [] Zoubir, A. M. : Stochastic Signal Processing. Vorlesungsskript TU Darmstadt 7 [] Unbehauen, R. : Systemtheorie. Oldenbourg 997 [] Unbehauen, R. : Systemtheorie. Oldenbourg 998 [3] Yousef, N. R. ; Sayed, A. H. : A Unified Approach to the Steady-State and Tracking Analyses of Adaptive Filters. IEEE Trans. on Signal Processing, Vol. 49, / [4] Nascimento, V. H. ; Sayed, A. H. : On the Learning Mechanism of Adaptive Filters. IEEE Trans. on Signal Processing, Vol. 49, / [5] Sayed, A. H. ; Nascimento, V. H. : Energy Conservation and the Learning Ability of LMS Adaptive Filters. In : Haykin, S. ; Widrow, B. (editors) : Least Mean Square Adaptive Filters: New Insights. Wiley 3 [6] Sklar, B. : Digital Communications. Prentice Hall [7] Sayed, A. H. : Fundamentals of Adaptive Filtering. Wiley Interscience 3 [8] Poularikas, D. ; Ramadan, Z. M. : Adaptive Filtering Primer with Matlab. CRC Press 6 [9] Golub, G. H. ; van Loan, C. F. : Matrix Computations. The Johns Hopkins University Press 996 [3] Widrow, B. ; Walach, E. : Adaptive Inverse Control. Wiley Interscience 8 [3] Sayed, A. H. ;: Adaptive Filters. Wiley 8 [3] Zurmühl, R. : Matrizen. Springer 964 [33] Narendra, K. S. ; Annaswamy, A. M. : Stable Adaptive Systems. Dover 5 [34] Diniz, P. S. R. : Adaptive Filtering. Springer 8 [8] Wunsch, G. ; Schreiber, H : Stochastische Systeme. Springer 6

4 ADFI 4 Nomenklatur Abkürzungen: ADW AF AFG AKF DSP FIR GSM IIR KKF LMS LPC LS LSD LTI MAC MACOP's MMSE PDF PFG RLS SD SNR WSS Analog Digital Wandler Adaptives Filter Amplitudenfrequenzgang Autokorrelationsfunktion (-folge) Digital Signal Processor Finite Impulse Response Global System for Mobile Comm. Infinite Impulse Response Kreuzkorrelationsfunktion (-folge) Least Mean Square Linear Predictive Coding Least Square Leistungsspektraldichte Linear Time Invariant Multiplier Accumulator Multiplier Acc. Operations Minimum Mean Square Error Probability Density Funktion Phasenfrequenzgang Recursive Least Square Steepest Descent Signal to Noise Ratio Wide Sense Stationary (schwach stationär) q e r ff (t); r ff (n) r ff (t); r ff (n) r xf (t); r xf (n) r xf (t); r xf (n) R S ff S xf t T T W ff x(t); x(n) y(t); y(n) z {f(n)} Fehlerfunktion Autokorrelationsfunktion (-folge) zweier Energiesignale Autokorrelationsfunktion (-folge) zweier Leistungssignale Kreuzkorrelationsfunktion (-folge) zweier Energiesignale Kreuzkorrelationsfunktion (-folge) zweier Leistungssignale Autokorrelationsmatrix Leistungsspektraldichte von f(n) Kreuzleistungsdichte v. x(n) und f(n) Zeit Abtastperiode Toeplitzmatrix (A4) Energiespektraldichte (B7) Sollsignal, gewünschtes Signal Ausgangssignal eines Filters Unabh. Variable der z-transform. Operator der z-transformation Mathematische Zeichensetzung: a a b k D e(t); e(n) E E{} f(t); f(n) F(j) F( ) {f(t)} {f(n)} g(k) G(z) G(j) G( ) Vektor (klein, fett gesetzt) Matrix Koeffizient eines FIR-Filters Diagonalmatrix (A6) Fehlersignal Einheitsmatrix Operator des Erwartungswerts Eingangssignal eines Filters Fouriertransformierte von f(t) Zeitdiskrete Fouriertransf. von f(n) Operator der Fouriertransformation für kontinuierliche Signale Operator der zeitdiskreten Fouriertransformation für diskrete Signale Impulsantwort Systemfunktion, z-übertragungsfunkt. Frequenzgang, kontinuierl. System Frequenzgang, diskretes System H Ergebnismenge (B; B) H Hankelmatrix (A43) H q Hess'sche Matrix bzgl. q (C7) J Austauschmatrix (A38) M Ordnung eines FIR-Filters n diskrete normierte Zeitvariable P Wahrscheinlichkeit Konvergenzfaktor i i-ter Eigenwert einer Matrix Kreisfrequenz Abtastkreisfrequenz normierte Kreisfrequenz (B55) Residuum (A36) Konditionszahl einer Matrix x = E{x} Linearer Mittelwert (Erwartungswert) b k optimaler Koeffizient eines FIR-Filt. a Schätzwert des Vektors a <a,b> Skalarprodukt det(a); a Determinante von a (A) spur(a) Spur der Matrix a (A;A) rang(a) Rang der Matrix a (A5) e L -Norm des Vektors e e p L p -Norm des Vektors e

5 ADFI 5 Einführung Die stochastische Signalverarbeitung beschäftigt sich mit der Verarbeitung stochastischer Signale oder determinierter Signale, die durch stochastische Signale verfälscht sind, mit dem Ziel, die in solchen Signalen vorhandene Information optimal darzustellen oder zu gewinnen. Die Randbedingungen, unter denen diese Verarbeitung erfolgt, können sich dabei u. U. ständig zeitlich verändern. Stochastische Signalverarbeitung war bis 98 eine eher nur in Forscherkreisen verbreitete Wissenschaft. Durch die exponentiell zunehmende Rechengeschwindigkeit von Mikrochips wurde es jedoch in den letzten Jahrzehnten möglich, Methoden der stochas tischen Signalverarbeitung - z. B. in der digitalen Über tragungs technik oder der Quellencodierung - weit verbreitet einzusetzen. Insbesondere adaptive Filter, die ihr Verhalten stochastisch ändern, haben unbemerkt Einzug in zahlreiche Anwendungen gefunden, die ohne diese Filter z. T. gar nicht möglich wären. Dies beweist auch die Robustheit der komplexen Algorithmen, die dazu mit hoher Geschwindigkeit ausgeführt werden müssen. Die zweistündige Vorlesung Adaptive Filter gibt eine Einführung in dieses Gebiet mit dem Ziel, die in solchen Filtern eingesetzten Basis algorithmen anschaulich zu erklären. Da adaptive Filter heute nur noch digital implementiert werden, sind für eine solche Vorlesung umfangreiche mathematische Vorkenntnisse aus den Gebieten - Lineare Algebra - Numerik - Statistik - Systemtheorie - Digitale Signalverarbeitung Voraussetzung, die in dieser Vorlesung nicht vermittelt werden können. Sie müssen anhand der Literatur bzw. des Anhangs aufgefrischt werden. Naturgemäß können in der Kürze der Zeit nicht alle mathematischen Aussagen bewiesen werden. Der Schwer punkt liegt auf der Erklärung des praktischen Einsatzes der Methoden, für ein tiefer gehendes Verständnis muss auf die Literatur verwiesen werden. konstanten äußeren Einflüssen nach einer gewissen Zeit das Verhalten eines linearen Systems im Sinne der Systemtheorie einstellt. Die adaptiven Filter lassen sich je nach Zielsetzung der zu lösenden Aufgabe in vier verschiedene Gruppen klassifizieren, die in Bild. dargestellt sind. f(t) f(t) >Systemidentifikation< SYSTEM >Inverse Systemidentifikation< Rauschen * f(t) + Rauschen AF VERZÖGERUNG a(t) AF e(t) SYSTEM AF + e(t) >Störunterdrückung< - e(t) a(t) a(t) Was ist ein adaptives Filter? Ein adaptives Filter hat keinen konstanten Frequenzgang, sondern passt seinen Frequenzgang bestimmten äußeren Einflüssen an, die sich u. U. auch während des Betriebs unvorherbestimmbar ändern können. Ziel dieser Adaption ist es, zu jeder Zeit ein Filter zur Verfügung zu haben, das für die gegebene Aufgabe optimal eingestellt ist. Obwohl ein adaptives Filter prinzipiell ein nichtlineares System darstellt, spricht man von einem linearen adaptiven Filter, wenn sich bei VERZÖGERUNG AF e(t) a(t) f(t) >Vorhersage< Bild.: Klassifizierung von adaptiven Filtern - +

6 ADFI 6 AF ist diesen Abbildungen das adaptive Filter, f(t) das Eingangssignal, a(t) das Ausgangssignal des Gesamtsystems und e(t) das Fehlersignal, das das adaptive Filter beeinflusst. Je nach Anwendung kann auch ein anderes als das in den Abbildungen dargestellte Signal als Ausgangssignal dienen. Im folgenden sollen die vier Klassen von adaptiven Filtern anhand je eines typischen Beispiels erklärt werden. Systemidentifikation: In Bild. ist ohne Rechnung ersichtlich, dass das adaptive Filter die gleiche Übertragungsfunktion wie das (unbekannt vorausge setzte ) System haben muss, wenn das Fehlersignal e(t) verschwindet. Eine typische Anwendung dieses Falls ist das bei ISDN auf der U-Schnittstelle eingesetzte Echokom pensationsverfahren (Bild.). Sender Empfänger f(t) AF _ e(t) Zw / _ a(t) Bild.: Echokompensationsverfahren k Zw System (Leitung) Bei der gleichzeitigen Übertragung zweier digitaler Signale auf einer Leitung stört das eigene Echo infolge nicht korrekt abgeschlossener Leitung die von der anderen Seite ankommende Information. Zur Kompensation wird zunächst das Signal des eigenen Senders vom Leitungssignal subtrahiert, um dann mit dem Echosignal als Fehlersignal ein adaptives Filter einzustellen, das die Leitung simuliert, also die gleiche Übertragungsfunktion wie die Leitung bezüglich ihres ersten Echos besitzt.. Der Abgleich erfolgt, bevor die andere Seite mit dem Senden begonnen hat, durch Senden eines Barker-Codes, dessen Echo duch Korrelation detektiert wird. Ist das eigene adaptive Filter durch Minimierung des Echos eingestellt, vollzieht die andere Seite die gleiche Prozedur, erst dann wird mit der gleichzeitigen Übertragung in beide Richtungen begonnen. Die Beseitigung von Echos in einer Beschallungsanlage zur Beseitigung des Rückkopplungspfeifens ist ein ähnliches Problem. Inverse Systemidentifikation: In Bild. ist auch hier ohne Rechnung ersichtlich, dass das adaptive Filter den Kehrwert der Übertragungsfunktion des (unbekannt vorausge setzten ) Systems haben muss, wenn das Fehler signal e(t) verschwindet. Eine typische Anwendung dieses Falls ist die Kanalentzerrung eines Funkkanals (Channel equalisation), z. B. im GSM-Netz. Trifft nach Bild.3 das Signal eines Senders nicht nur direkt, sondern auch reflektiert und damit verzögert beim Empfänger ein, kann dies einen Einbruch im Amplitudenfrequenzgang des benutzen Kanals zur Folge haben. Ändert sich die Position des Empfängers, ändert sich auch dieser Amplitudenfrequenzgang ständig und kann zu einer erheblichen Störung der Verbindung führen. Sender IGI System Kanal Normal Burst ,5 Daten TS Daten Empfänger TS Trainingssequenz AF _ f(t- ) Bild.3: Kanalentzerrer bei GSM + a(t) Empfänger f(t- ) TS Um diese Störung zu minimieren, wird vom Sender in jedem Burst eine 6 Bit lange, sogenannte Trainingssequenz (TS) übertragen, die sich nicht ändert und dem Emp fänger bekannt ist. Immer dann, wenn die TS gesendet wird, kann dann im Empfänger ein adaptives Filter nachgeführt werden, das den Fehler zwischen empfangener und gesendeter TS minimiert. Bei angenommenen Fehler von Null hätte die Kettenschaltung von System und adaptivem Filter den Frequenzgang, das Filter also den Kehrwert des Frequenzgangs des Systems. Es gibt auch Methoden, die Kanalentzerrung ohne einen bekannten Signalanteil des Senders vorzu nehmen, man spricht dann von blinder Kanalent zerrung (blind channel equalization). Störunterdrückung: Mit Hilfe eines adaptiven Filters ist es möglich, das einem Signal überlagerte Störgeräusch zu reduzieren, wenn ein Referenzsignal (Rauschen*) zur Verfügung steht, das mit dem Störgeräusch korreliert ist. Soll z. B. in einem Flugzeug die Stimme des Piloten durch ein an der Decke des Cockpits angebrachtes Mikrofon aufgenommen werden, ist dem Nutzgeräusch das Turbinengeräusch als Störsignal überlagert. Man kann nun an anderer Stelle nur das Turbinengeräusch mit Hilfe eines Referenzmikrofons aufnehmen. f

7 ADFI 7 Referenzmikrofon (Turbine) Sprachsignal Mikrofon (Pilotenkanzel) AF Bild.4: Störunterdrückung bei einem Sprachsignal Dieses Signal ist zwar nicht mit dem Störgeräusch identisch, aber mit ihm korreliert (ihm ähnlich), so dass mit Hilfe eines adaptiven Filters (Bild.4) die Qualität des aufgenommenen Sprachsignals erheblich verbessert werden kann. Vorhersage (Prädiktion): Der Verlauf stochastischer Signale ist häufig von ihrer Vergangenheit abhängig, d. h. die Autokorrelationsfunktion verschwindet nicht für. Bei der Prädiktion wird versucht, den momen tanen Signalverlauf aus den vergangenen - oder nach Zeitverschiebung - den zukünftigen Signalverlauf aus den momentanen Werten des Signals voherzu sagen. In Bild.5 sind die Signale zeitverschoben so angegeben, dass das Signal am Ausgang des Verzö gerungsglieds als momentanes Signal f(t) gilt. Das adaptive Filter versucht dann, durch Minimierung des Fehlersignals das zukünftige Signal f(t + ) vorherzu sagen. f(t+ ) (Gegenwart) f(t) a(t) (Zukunft) Bild.5: Prädiktion AF e(t) - y(t) Ist das Fehlersignal klein, ist f(t) im Wesentlichen durch den (zeitlich veränderlichen) Frequenzgang G(j) bestimmt. Dieser Sachverhalt wird bei der Sprachsig nalverarbeitung - sowohl bei der Quellen codierung als auch bei der Sprechererkennung - ausgenutzt (LPC - Linear Predictive Coding).. Wie ist ein adaptives Filter aufgebaut? Entsprechend Bild.6 besteht ein adaptives Filter immer aus zwei Blöcken, dem eigentlichen ein stell baren Filter und einem mit Adaptionsal gorithmus bezeich neten Block, in dem aus dem Fehler- und eventuell auch aus dem Eingangssignal die Einstell parameter des Filters berechnet werden. f(t) Filter Adaptionsalgorithmus e(t) Bild.6: Prinzip eines adaptiven Filters y(t) - + x(t) In dem Block Filter werden hier nur Filter betrachtet, die lineares Verhalten zeigen, wenn die Einstell parameter konstant sind. Man spricht dann von einem linearen adaptiven Filter, obwohl ein solches Filter wegen seines zeitvarianten Verhaltens prinzipiell ein nichtlineares System ist. Analoge Filter werden wegen der schwierigen Einstellbarkeit als adaptive Filter nicht eingesetzt, als Filter kommen also digitale FIR-oder IIR-Filter in Frage. Da FIR-Filter bei konstant angenommenen Koeffizienten immer stabil sind und der Adaptionsalgorithmus hier besser beherrscht werden kann, werden FIR-Filter weitaus häufiger eingesetzt. Wir werden uns in der Vorlesung auf diesen Fall beschränken, so dass adaptive Filter hier immer den in Bild.7 gezeigten Aufbau aufweisen. Das Signal f(t) kann durch das Fehlersignal e(t) und durch den zu einem bestimmten Zeitpunkt als konstant angenommenen Frequenzgang G(j des adaptiven Filters angegeben werden. f(n) z - z - z - z - e(t) f(t ) y(t) E(j) F(j) e j G(j) F(j) E(j) F(j) e j G(j) (.) (.) (.3) b b b b b 3 M Rechner Adaptionsalgorithmus Bild.7: Lineares adaptives FIR-Filter y(n) e(n)

8 ADFI 8 3 Optimalfilter nach Wiener und Kolmogorow Ein Wiener-Filter ist ein LTI-Filter, das ein stochastisches Eingangssignal, bestehend aus dem ge wünschten Signal und additiven Störungen, optimal in dem Sinne filtert, dass der quadratische Mittelwert der Differenz des Ausgangssignals des Filters und des gewünschten Signals minimal wird. Das Wiener-Filter setzt schwach stationäre Prozesse voraus (wide sense stationary, WSS) und wurde unabhängig voneinader von Wiener und Kolmogorow in den Jahren 94/94 veröffentlicht. Kolmogorow weitete diese Theorie 964 auf zeitdiskrete Signale aus. Die hier vorgestellte (und in der Praxis immer eingesetzte) Ableitung für zeitdiskrete Signale müsste also eigent lich Kolmogorow-Filter heißen, der Begriff "Wiener-Filter" ist jedoch gebräuchlicher. Damit kann man schreiben: e(n) = e[ n, g(k) ] = e( n, g ). (3.) e E{e ( n, g )} e (g) q(g) (3.) Die Impulsantwort g(k) des Filters soll nun so berechnet werden, dass e minimal wird. e ist eine skalare Funktion, die von unendlich vielen Variablen g(k), -<k<+, abhängt, oder anders formuliert, von dem unendlich-dimensionalen (,)-Vektor g abhängig ist. Diese Fehlerfunktion wird im folgenden immer q(g) genannt. Außerdem wird vorausgesetzt, dass x(n) und f(n) mittelwertfrei sind, d. h. es gilt: x(n) E{x(n)} E{f(n)} E{y(n)} E{e(n)} (3.3) f(n) g(k) G( ) y(n) _ e(n) 3. Das Orthogonalitätsprinzip Bild 3. : Aufgabenstellung des Wiener-Filters Wir betrachten eine Anordnung nach Bild 3., in der eine stochastische Zahlenfolge f(n), die x(n) gestört enthält, durch ein Digitalfilter mit der Impulsantwort g(k) und dem Frequenzgang G( ) so gefiltert werden soll, dass das Fehlersignal zwischen dem Ausgang des Filters und dem gewünschten Signal x(n) in einem noch näher zu definierenden Sinn minimal wird. Die Impulsantwort des Filters werde zunächst in beide Richtungen unendlich ausgedehnt angenommen, d. h. es handele sich zunächst um ein nichtkausales IIR-Filter. Man beachte, dass f(n) beobachtbar, x(n) jedoch nicht beobachtbar sei. Ziel ist die Minimierung des Fehlers nur durch Kenntnis statistischer Daten von x(n) und f(n). Kriterium für minimalen Fehler sei das Minimum des quadratischen Mittelwerts von e(n), der von der Impulsantwort g(k) des Filters abhängig ist. Vorausgesetzt wird, dass f(n) und x(n) verbunden schwach stationären Prozessen (WSS-Prozessen) entstammen, dann ist das Fehlersignal ebenfalls schwach stationär und sein quadratischer Mittelwert nicht von der (Zeit-) Variablen n abhängig. Das Fehlersignal ist aber von g(k) abhängig, g(k) soll optimiert werden in Abhängigkeit stationärer statistischer Daten von f(n) und x(n), also nicht von n abhängiger Daten. Daher wurde für die Impulsantwort die abhängige Variable k gewählt, die Impulsantwort ändert sich nicht mit der Zeit, also nicht mit n Norbert Wiener, amerik. Mathematiker, In Gl. (3.) ist der quadratische Mittelwert eine skalare Funktion des unendlich-dimensionalen Vektors g. Zur Ermittlung des Minimums wird der Gradient bezüglich g ermittelt. grad g [q(g)] grad g [E{e (n,g)}] grad g [q(g)] E{grad g [e (n,g)]} grad g [q(g)] E{e(n,g) grad g [e(n,g)]} grad g [q(g)] E{e(n,g) grad g [x(n) y(n,g)]} (3.4) grad g [q(g)] E{e(n,g) grad g [ g(m) f(n m) ]} m (3.5) Mit Gl. (C3) ist der Gradient der Ausgangsfolge y(n,g) des Filters bezüglich g ein unendlich-dimensionaler Vektor, der nur noch die verschobenen Eingangswerte des Filters enthält. grad g [y(n,g)] grad g [ m g(m) f(n m)] (.,.,., f(n ), f(n), f(n ), f(n ),.,.,.) T (3.6) Notwendige Bedingung für minimalen quadratischen Mittelwert des Fehlers ist das Verschwinden seines Gradienten. Mit Gl. (3.5) und (3.6) muss daher Andrei Nikolajewitsch Kolmogorow, russ. Mathematiker,

9 ADFI 9 E{e(n,g opt ) : f(n ) f(n)! } f(n ) f(n ) : (3.7) gefordert werden. g opt ist dabei die optimale Impulsantwort, bei der der quadratische Mittelwert des Filters minimal wird. Da der Erwartungswert eines Vektors gleich dem Vektor der Erwartungswerte seiner Komponenten ist, muss gelten: E{ e(n,g opt ) f(n m) } ; m (3.8) Gl. (3.8) wird als Orthogonalitätsprinzip bezeichnet, wobei der Begriff orthogonal in diesem Zusammenhang einer näheren Erläuterung bedarf. Zunächst einmal ist festzustellen, dass g opt in Gl. (3.8) die optimale Impuls antwort, also eine "Konstante" (konstanter unendlich-dimensionaler Vektor) ist. Mit Gl. (B, B) lässt sich der Erwartungswert des Produkts der Folgen in Gl. (3.8) ausschreiben: lim N N N! e(n,g opt ) f(n m) m nn (3.9) Definiert man nun die beiden unendlich-dimensionalen Vektoren Aus Gl. (3.8) folgt: E{ [x(n) E{x(n) f(n m)} r xf (m) r fx (m) r fx (m) g opt (k) f(n k)] f(n m) } k g opt (k) E{f(n k) f(n m)} k r ff (mk) g opt (k) r ff (m k) k r fx (m) g opt (m) r ff (m) (3.3) (3.4) (3.5) Mit Hilfe des Theorems von Wiener und Khinchine kann Gl. (3.5) in den Frequenzbereich transformiert werden. Der optimale Frequenzgang des Filters ergibt sich damit zu: G opt ( ) S fx ( ) S ff ( ) (3.6) Gl. (3.5) ist die diskrete Form der sogenannten Wiener-Hopf - Gleichung, die besagt, dass das optimale Filter nur von der Autokorrelationsfolge des Eingangssignals und der Kreuzkorrelationsfolge zwischen dem gewünschten Signal und dem Ein gangssignal abhängig ist. Über die Realisierbarkeit des Filters ist damit noch keine Aussage getroffen. Die Leistungsspektraldichte des Fehlersignals errechnet sich zu (Anhang E) : e(g opt ) (...e(,g opt ), e(,g opt ), e(,g opt ),...) T (3.) S ee ( ) gg opt S xx ( ) S yy ( ) (3.7) f m (...f( m), f( m), f( m),...) T, (3.) Mit Gl. (3.6) kann dann die LSD des Fehlersignals bei optimalem Filter angegeben werden. dann entspricht Gl. (3.9) der Forderung e(g opt ), f m ) e T (g opt ) f m (3.) Dies ist aber gerade die Definition der Orthogonalität zweier Vektoren. Damit muss also der Fehlervektor (von der "Zeit"- Variablen n abhängig) bei optimaler Impulsantwort des Filters auf dem Eingangsvektor des Filters (bei beliebiger Verschiebung m des Vektors) senkrecht stehen. 3. Optimale Impulsantwort und minimaler MSE Ausgehend von der Orthogonalitätsbeziehung (3.8) leiten wir jetzt eine Beziehung zwischen der optimalen Impulsantwort des Filters und den statistischen Daten der Signale her, und geben den minimalen quadratischen Mittelwert des Fehlers (Minimum Mean Square Error, MMSE) an. S ee ( ) gg opt S xx ( ) G opt ( ) S ff ( ) S xx ( ) S fx ( ) S ff ( ) (3.8) Mit Hilfe des Theorems von Wiener und Khinchine berechnet man daraus die AKF des Fehlersignals. r ee (k) [Sxx ( gg opt ) S fx ( ) ] e j k d S ff ( ) (3.9) Da der quadratische Mittelwert einer Folge gleich ihrer AKF bei ist q(g opt ) e gg opt MMSE r ee () gg opt, (3.) Eberhard Hopf, österreichischer. Mathematiker, 9-983

10 ADFI gilt für den MMSE: MMSE Sxx ( ) S xf ( ) S ff ( ) d (3.) Die Gl. (3.) gibt den MMSE als Funktion der Leistungsspektraldichten an. Im folgenden soll der MMSE noch als Funktion der Autokorrelationsfolgen angegeben werden. Mit r ee (k) E{e(n) e(n k)} und Gl. (3.) erhält man: q(g) E{e (n)} E{x (n) x(n)y(n,g) y (n,g)} (3.) (3.3) dem in Gl. (3.) bzw. (3.7) angegebenen Wert ansteigt, ein realisierbares Filter ist also mit Ausnahme von Spezialfällen immer eine Näherung der oben angegebenen Wiener-Lösung. Anhand eines einfachen Beispiels, bei dem die Wiener- Hopf-Gleichung geschlossen lösbar ist, soll nun zunächst die Funktionsweise des Wiener-Filters an schaulich erklärt werden. 3.3 Beispiel eines Wiener-Filters æ Beispiel: Das Eingangssignal des Filters enthalte neben dem gewünschten Signal additiv überlagert Rauschen, das Rauschen und das gewünschte Signal seien unkorreliert. Nach dem Abtasten sei das Rau schen durch die Zahlenfolge w(n) repräsentiert. f(n) = x(n) + w(n) (3.8) r xw (m) r wx (m) (unkorrelliert) (3.9) q(g) r xx () E{ x(n) g(k) f(n k) } k E{ g(k) f(n k) g(m) f(n m) } k m (3.4) Wegen der Unkorreliertheit von x(n) und w(n) addier en sich die AKF's: r fx (m) r xx (m) r xw (m) r xx (m) (3.3) Nach Vertauschung von Summenzeichen und Erwartungswerten kann die Fehlerfunktion als Funktion der AKF's und der Impulsantwort des Filters angegeben werden. q(g) r xx () g(k) E{ x(n) f(n k) } k g(k) g(m) E{ f(n k) f(n m) } k m q(g) r xx () g(k) r fx (k) k g(k) g(m) r ff (m k) k m (3.5) (3.6) Im Falle von g = g opt kann mit Gl. (3.4) der rechte Teil der letzten Teilsumme in Gl. (3.6) durch r fx ersetzt werden, so dass man zusammengefasst folgende Darstellung erhält: MMSE q(g opt ) r xx () g opt (k) r fx (k) k (3.7) r ff (m) r xx (m) r ww (m) (3.3) Die Wiener-Hopf-Gleichung liefert dann folgendes Ergebnis: r xx (m) g opt (m) [r xx (m) r ww (m)] S xx ( ) G opt ( )S xx ( ) G opt ( )S ww ( ) G opt ( ) S ww( ) S xx ( ) (3.3) (3.33) An Gl. (3.33) lässt sich anschaulich die Wirkung eines Wiener-Filters erklären. Der Frequenzgang des optimalen Filters ist dem frequenzabhängigen Signal-zu- Rausch-Abstand (Signal to Noise Ratio, SNR) angepasst. Ist SNR groß, also S ww /S xx klein, strebt der optimale Frequenzgang gegen eins. Ist dagegen SNR klein, also S ww /S xx groß, wird auch der Frequenzgang klein, und strebt in den Frequenzbereichen gegen Null, in denen die Leistungsspektraldichte des Signals verschwindet. ø Die hier vorgestellte Lösung des Wiener-Filter- Problems führt im allgemeinen zu nichtkausalen und damit nicht realisierbaren optimalen Filtern. Zur Realisierung muss die Impulsantwort g(k) für k< Null gesetzt werden, wodurch der MMSE gegenüber

11 ADFI 3.4 Das FIR - basierte Wiener - Filter Bei der praktischen Realisierung von adaptiven Filtern werden am häufigsten FIR-Filter eingesetzt, da sie uneingeschränkt stabil sind. Wir werden uns daher jetzt auf das Wiener-Filter beschränken, bei dem die Impulsantwort nicht nur für k<, sondern auch ober halb einer gewissen Schranke verschwindet. Zur Realisierung wird zunächst vorausgesetzt, dass die statistischen Daten der Signale (AKF, KKF) exakt bekannt sind. Erst später werden in einem Teil der numerischen Algorithmen auch diese Daten durch Schätzwerte ersetzt. Wir betrachten ein Filter nach Bild 3., mit dem die Problemstellung nach Bild 3. gelöst werden soll. z - z - z - (-<m<+), die jeweils auf der rechten Seite eine unendliche Summe infolge der nicht beschränkten Impuls antwort enthalten. Bei Verwendung eines FIR- Filters werden diese letztgenannten Summen endlich. Beschränkt man sich bei der Berechnung der AKF's auf den "Beob achtungszeitraum" m M, besteht Gl. (3.39) aus M+ einzelnen Gleichungen der folgenden Form: M r fx (m) b k r ff (m k) ; m M k Dabei wurde b opt b (3.4) (3.4) f(n) b b b b 3 b M y(n) gesetzt. Gl. (3.4) ist ein lineares Gleichungssystem mit (M+) Gleichungen und (M+) Unbekannten, den Komponenten des Vektors b. Definiert man den Kreuz korre lations vektor Bild 3.: FIR-Filter Das Filter besitzt die endliche Impulsantwort g(k) b k ; k M, (3.34) und die Ausgangsfolge errechnet sich aus der Ein gangsfolge zu M y(n) b k f(n k) b n f(n) k Definiert man die beiden (M+,)-Vektoren b (b, b, b,...b M ) T. (3.35) (3.36), f(n) (f(n ), f(n ), f(n ),...f(n M)) T (3.37) dann kann die Ausgangsfolge als Vektormultiplikation dieser beiden Vektoren formuliert werden. y(n) b T f(n) (3.38) Auch bei endlicher Impulsantwort des Filters muss das Orthogonalitätsprinzip Gl. (3.8) gelten, d. h. die optimalen Filterkoeffizenten sind durch die Wiener-Hopf- Gleichung r fx (r fx (), r fx (), r fx (),...r fx (M)) T und die Korrelationsmatrix r ff (), r ff ( ), r R ff (), r ff (), : : r ff (M), r ff (M ), :... r ff ( M) r ff ( M ) : r ff (), (3.4), (3.43) dann kann das Gleichungssystem (3.4) in Matrixform geschrieben werden: r fx R b (3.44) Den optimalen Koeffizientenvektor erhält man also zu b R r fx, (3.45) vorausgesetzt, dass die Matrix R invertierbar ist. Den MMSE erhält man nach Gl. (3.7) zu: MMSE q(b) q min r xx () b k r fx (k) k, (3.46) diese Gleichung kann ebenfalls in Matrixform ge schrieben werden. r fx (m) g opt (m) r ff (m) (3.39) q min r xx () r T fx b r xx () rt fx R r fx gegeben. Im allgemeinen Fall besteht die Wiener-Hopf- Gleichung aus unendlich vielen einzelnen Gleichungen (3.47)

12 ADFI Ersetzt man in Gl. (3.6) die Impulsantwort g(k) durch die Koeffizienten b k des Filters, kann die Fehlerfunktion als Funktion der oben definierten Ma tri zen und Vektoren angegeben werden. S ww Sxx q(b) r xx () r T fx b bt R b (3.48) Im Falle von b b geht also Gl. (3.48) in Gl.(3.47) über. An dieser Stelle sei darauf hingewiesen, dass es sich bei dem Wiener-Filter nicht um ein adaptives Filter, sondern um ein LTI-System handelt, dessen Ko ef fi zi en ten im Falle eines FIR- oder auch IIR-Filters und sta tio nären statistischen Verhaltens der Signale optimal nach Gl. (3.45) eingestellt sind. Die Koeffizienten sind al so nicht von der Zeit, nicht von n abhängig. Zu einem adaptiven Filter wird das Filter erst dann, wenn im laufenden Betrieb versucht wird, ausgehend von b b das Minimum der Fehlerfunktion Gl. (3.48) zu finden und damit b b zu erreichen. b wird dann wäh rend des Abgleichs von der Zeit, also von n ab hängig, wobei es Optimierungsalgorithmen gibt, die ver suchen, dieses Minimum auch ohne Kenntnis der exakten sta ti sti schen Daten der Eingangssignale zu erreichen. Auch wurde bisher nicht darüber ge sprochen, ob ein Mi ni mum der Fehlerfunktion Gl. (3.48) überhaupt existiert. Denn in die Ableitung des Koeffizientenvektors ist bisher nur die notwendige Be dingung, dass der Gradi ent von q verschwinden muss, eingeflossen. Die hinrei chen de Bedingung, dass die Hess'sche Matrix von q(g) positiv-definit sein muss, bedarf noch der Un ter suchung. Bevor wir die Autokorrelationsmatrix näher un ter suchen, seien die bisher abgeleiteten Zusammenhänge an ei nem einfachen Beispiel erläutert. 3.5 Beispiel eines Wiener-FIR-Filters æ Beispiel: x(n) sei eine stochastische Folge mit der periodischen Leistungsspektraldichte Bild 3.3 : Leistungsspektraldichten im Beispiel x(n) und w(n) seien statistisch unabhängig, damit kann der Frequenzgang des optimalen Wiener-Filters mit Gl. (3.3) leicht angegeben werden. G opt ( ) cos( ) cos( ),5 (3.5) Nach Bild 3.4 soll nun versucht werden, das Wiener- Filter mit einem FIR-Filter mit nur zwei Koeffizienten zu realisieren. f(n) z - b b x(n) - Bild 3.4 : Wiener-Filter des Beispiels y(n) e(n) Wir berechnen jetzt den Autokorrelationsvektor r fx und die Autokorrelationsmatrix R, um den optimalen Vektor b zu erhalten und anschließend den Frequenz- gang des Filters mit der Wiener Lösung gemäß Gl. (3.5) zu vergleichen. Nach dem Theorem von Wiener und Khinchine ist die AKF bzw. KKF die Rücktransformierte der LSD bzw. der Kreuzleistungsdichte: r fx (m) r xx (m) cos ( ) e jm d S xx ( ) cos(, ),, Periode (3.49) und es gelte cos ( ) cos(m ) d (3.53) f(n) = x(n) + w(n) (3.5) Bei w(n) handele es sich um weißes Rauschen mit der Leistungsspektraldichte S ww ( ) (3.5) r fx (m) ( )m (4m ) (3.54) Berücksichtigt man nur die ersten beiden Werte von r fx (m), ergibt sich der Kreuzkorrelationsvektor nach Gl. (3.4) zu S xx und S ww sind in Bild 3.3 grafisch dargestellt, man beachte, dass eine normierte Kreisfrequenz von der halben Abtastfrequenz entspricht. r fx (, 3 )T (a, a ) T (3.55)

13 ADFI 3 Mit Gl. (B85, B86) kann man die AKF des Rauschens r ww (m) (m) (3.56) und mit r ff (m) r xx (m) r ww (m) ( )m (4m ) (m) die Autokorrelationsmatrix angeben. (3.57) R r ff () r ff () r ff () r ff () (3.58) Bild 3.4: Lage des Minimums des Paraboloiden Damit lässt sich der optimale Koeffizientenvektor nach Gl. (3.45) berechnen. b R r fx b,544 b,85 (4) Die Fehlerfunktion nach Gl. (3.48) 3 4 = 3 (3.59) Bild 3.5: MMSE im Beispiel Der MMSE nach Gl. (3.47) erechnet sich zu q(b) r xx () r T fx b bt R b b a b a (b b )r b b r = (3.6) ist ein nach oben geöffneter Paraboloid, b gibt das Minimum dieses Paraboloiden an, der MMSE ist der Restfehler nach Gl. (3.47). Die Bilder 3.3 bis 3.5 verdeutlichen dies. MMSE r xx () r T fx b (, 3 ),544,85 MMSE =,7 (3.6) Wir berechnen nun den Frequenzgang des FIR-Filters mit dem Koeffizientenvektor b, um ihn anschließend mit dem Frequenzgang des Filters der optimalen Wiener-Lösung zu vergleichen. Es gilt: G(z) b b z (3.6) G( ) b b e j (3.63) G( ) [b b cos( )] b sin ( ) (3.64) Bild 3.3: Fehlerfläche nach Gl. (3.6) In Bild 3.6 ist G mit Gopt im logarithmischen Maßstab verglichen, man erkennt, dass der ideale AFG des Wiener-Filters nicht erreicht wird. Dies liegt daran. dass der AFG aus Gl. (3.5) mit einem Filter, dessen Impulsantwort nur zwei von Null verschiedene Werte aufweist, nicht besser nachgebildet werden kann.

14 ADFI 4 dessen erste Komponente b heißt. Die Korrelationsmatrix R ist dann eine (M+)(M+)-Matrix, und die Fehlerfläche q(b) ist eine (M+)-dimensionale Funktion. (Ein Filter.Ordnung hat zwei Koef fizienten b, b, und eine dreidimensionale Fehler fläche.) Die Komponenten der Hess'schen Matrix H q nach Gl. (C7) errechnen sich damit zu h i j q b i b j (3.64) H q ist eine (M )(M ) Matrix mit i M und j M. Bild 3.6: Vergleich der AFG's im Beispiel Eine Erhöhung der Koeffizientenzahl erhöht die Genauigkeit der Approximation. Aber selbst ein kausales IIR-Filter kann mit seiner unendlichen Impulsantwort die Wiener-Lösung nicht in jedem Fall exakt nachbilden, da die exakte Lösung von einem nichtkausalen Filter ausging (siehe dazu Anhang F).Æ 3.6 Eigenschaften der Korrelationsmatrix R Zunächst sei an dieser Stelle ein Hinweis zur Indizierung der Vektoren und Matrizen in diesem Vorlesungsskript gegeben. In der digitalen Signalverarbeitung ist es üblich, die Koeffizienten eines FIR- Filters beginnend mit b bis zu b M zu indizieren, um Indexgleichheit bei der Impulsantwort {g() = b )} zu erreichen. Damit hat ein Filter der Ordnung M jedoch M+ Koeffizienten. Dies führt zu gewissen Inkonsistenzen, wenn die Berechnungen mit der Matrizenrechnung durchgeführt werden, weil es in der Mathematik üblich ist, die Zeilen und Spalten von Matrizen beginnend mit dem Index zu indizieren. Um bei der Korrelationsmatrix zu einer (MM)-Matrix zu kommen, beschränken manche Autoren den Index der Koeffizienten des Filters auf (M), arbeiten also mit einem Filter der Ordnung (M). Andere beginnen die Indizierung der Koeffizienten des Filters mit und enden mit M, was bei einem Filter der Ordnung M ebenfalls zu einer (MM)-Matrix R führt, aber nicht mehr konsistent zu der üblichen Darstellung in der digitalen Signalverarbeitung und Systemtheorie ist. Jede Darstellung hat ihre spezifischen Vor- und Nachteile. Es sei daher noch einmal auf die Darstellung in diesem Skript hingewiesen: Die in der digitalen Signalverarbeitung übliche Indi zierung der Koeffizienten von FIR-Filtern, beginnend mit b und endend mit b M, wird beibehalten, d. h. das Filter ist hier immer ein Filter der Ordnung M. Dies führt dazu, dass, wenn die Koeffizienten als Vektor dargestellt werden, b ein (M+,)-Vektor ist, Setzt man in Gl. (3.6) anstelle der allgemeinen Impulsantwort eines Filters die Koeffizienten des FIR- Filters ein, erhält man für die Fehlerfunktion den Ausdruck: q(g) r xx () b k r fx (k) k b m b k r ff (m k) m k (3.65) Schreibt man die rechte Doppelsumme in Gl. (3.65) als (M+) einzelne Summen über das Summenzeichen k, b b k r( k) b b k r( k)... b M b k r(m k) k k k (3.66) erkennt man, dass (Stetigkeit der Fehlerfläche vorausgesetzt) folgende beiden Gleichungen gelten: q b i r() q b i b j r(i j) r(j i) r(i j) Damit gilt H q R (3.67) (3.68), (3.69) und notwendige Untersuchungen der Hess'schen Matrix können damit direkt an der Korrelationsmatrix R durch geführt werden. Im folgenden sind wichtige Eigenschaften der Korrelationsmatrix ohne Beweis angegeben, für die Beweise sei auf die Literatur verwiesen [3].. Die Autokorrelationsmatrix ist bei komplexen Signalen hermitesch, bei reellen Signalen symmetrisch. Dies folgt aus: r(k)=r * (-k) {komplex}, r(k)=r(-k) {reell} (3.7)

15 ADFI 5. Die Autokorrelationsmatrix ist eine Toeplitzmatrix (s.a4). Für reelle Signale hat damit die Korrelationsmatrix nach Gl.(3.43) immer folgendes Aus sehen r ff (), r ff (), r R ff (), r ff (), : r ff (M), : r ff (M ), :... r ff (M) r ff (M ) : r ff (), sie ist durch Angabe ihrer ersten Spalte bestimmt., (3.7) 3. Hinreichende Bedingung, dass bei grad b {q(b)} = ein Minimum der Fehlerfläche vorliegt, ist eine positivdefinite (s. A46) Hess'sche Matrix und damit wegen Gl. (3.69) eine positiv-definite Korrelationsmatrix R. Da die Fehlerfunktion wegen der Bedingung, dass der quadratische Mittelwert des Fehlers minimal wird, immer eine quadratische Funktion der Koeffizienten des Filters ist, muss es sich bei der Fehlerfläche immer um einen Hyperparaboloiden handeln, d.h. Sattel punkte können in der Fehlerfläche nicht auf treten. Im dreidimensionalen Fall sind damit nur folgende in Bild 3.7 gezeigten Fehlerflächen möglich: - nach unten geöffnete "Dachrinne", R ist negativsemidefinit. - nach unten geöffneter Paraboloid, R ist negativdefinit. - nach oben geöffnete "Dachrinne", R ist positivsemidefinit. - nach oben geöffneter Paraboloid, R ist positiv-definit. q b bo Bild 3.7: Mögliche Formen der Fehlerfläche Für das Vorliegen eines Minimums muss neben dem Verschwinden des Gradienten der Fehlerfunktion also die Autokorrelationsmatrix positiv-definit sein. Man kann zeigen, dass R mindestens positiv-semidefinit und meistens positiv-definit ist. Die unklare Be zeichnung "meistens" besagt, dass es nur wenige spezielle Eingangssignale gibt, die zu einer nach oben geöff neten mehrdimensionalen "Dachrinnenfläche" führen, bei der das Minimum nicht eindeutig bestimmt ist. Eine solche Funktion ist z. B. ein reiner Sinus oder eine periodische, bandbegrenzte Funktion, die in der Praxis jedoch nie auftreten, weil bereits geringes überlagertes Rauschen zu einer positiv-definiten Auto korrelationsmatrix führt. 4. Die Autokorrelationsmatrix ist, wenn sie positiv definit ist, auch nichtsingulär und damit invertierbar. Die optimale Einstellung der Koeffizienten eines FIR- Filters erfordert nach Gl. (3.44) zunächst die Be rechnung der Autokorrelationsmatrix R und des Korre lationsvektors r fx, dann die Invertierung von R sowie die Multiplikation der inversen Matrix R - mit r fx.obwohl bei einem stationären Prozess R und r fx konstant, also nicht zeitabhängig sind, sind sie im Empfänger oft nicht bekannt und müssen als Schätz werte aus endlich langen Folgen f(n) und x(n) er rech net werden. Angenommen, die Anzahl der Koeffi zienten (M+) sei ausreichend groß und R und r fx würden aus ebenfalls (M+) - langen Folgen f(n) und x(n) errechnet. Dann benötigt die Berechnung dieser beiden Größen ungefähr (M+) MACOP's in einem DSP, die Invertierung der Matrix (M+) 3 MACOP's und die abschließende Multiplikation (M+) MACOP's, so dass insgesamt 3(M+) + (M+) 3 MACOP's erforderlich sind. Diese hohe notwendige Rechenkapazität ist bei einem stationären Prozess kein Problem, weil sie nur einmal benötigt wird, denn das Minimum der Fehler fläche ist ja nicht zeitabhängig. In der Praxis sind die statistischen Daten jedoch oft nichtstationär, weil z. B. die Eigenschaften eines Übertragungskanals sich ständig ändern. Der Hyperparaboloid wandert dann im Kordinatensystem und mit ihm das Minimum, was in regelmäßigen Abständen die Neuberechnung der optimalen Koeffizienten des Filters notwendig macht. Ein solches Filter nennt man dann "adaptives Filter", weil sein Übertragungsverhalten adaptiv an die sich ändernde Statistik der Eingangssignale angepasst wird. Eine direkte Berechnung mit Invertierung der Autokorrelationsmatrix ist i.a. für Echtzeitanforderungen viel zu rechenaufwendig. Deshalb werden in der Regel sogenannte "gradientenbasierte" numerische Algorithmen eingesetzt, die weniger rechenintensiv sind und im Mittel gegen die Wiener-Lösung konvergieren. Bei hinreichender Konvergenzgeschwindigkeit sind sie dann auch in der Lage, einem wandernden Minimum der Fehlerfläche zu folgen (tracking). Wir werden im folgenden die vier wichtigsten Algorithmen dieses Typs ableiten, - die Methode des steilsten Abstiegs (steepest descent), - den LMS- (least mean square) Algorithmus, - den LS- (least square) Algorithmus, - den RLS- (recursive least square) Algorithmus, die z. T. auch ohne Kenntnis der exakten statistischen Daten gegen die Wiener-Lösung konvergieren.

16 ADFI 6 4 Die Methode des steilsten Abstiegs (SD) Die Methode des steilsten Abstiegs (Steepest Descent) ist ein iteratives, gradientenbasiertes Verfahren, um, ausgehend von einem beliebigen Vektor b(), Schritt für Schritt den optimalen Vektor b zu finden. Wir werden in diesem Skript das Verfahren kurz SD- Verfahren nennen. Zunächst sei vorausgeschickt, dass der Vektor b jetzt von der Schrittnummer k abhängig ist. Da für die Berechnungen in jedem Schritt Zeit vergeht, ist b also auch von der (normierten) Zeit abhängig, jedoch nicht in dem Sinne, dass die Schritte immer in äquidistanten Zeitabständen errechnet werden müssen. Wir schreiben b(k) und wählen k als Variable der Schritt nummer, um sie von der Variablen in den zeitabhängigen Signalfolgen zu unterscheiden, diese sind von der nor mierten äquidistanten Zeitvariablen n abhängig. Nach Gl. (3.48) ist q[b(k)] r xx () r T fx b(k) bt (k) R b(k) (4.) ein Punkt auf der Fehlerfläche, der nach der k-ten Iteration erreicht wird. Der Gradient in diesem Punkt errechnet sich nach Gl. (C, C3) zu grad b {q[b(k)]} r fx Rb(k) (4.) aufgrund sich ändernder statistischer Daten wandern den Fehlerfläche zu folgen. Der allgemeine Beweis, dass Gl. (4.5) die Gl. (4.3) erfüllt, kann z. B. in [] und [3] nachgelesen werden. Wir wollen hier das Verfahren für ein FIR-Filter mit nur einem Koeffizienten anschaulich erklären. Für diesen Fall gilt b(k) b (k) r fx r fx () R r ff () b [ r ff () ] r fx (), (4.6) und Gl. (4.4) wird zu der skalaren Gleichung b (k ) b (k) d q[b (k)] d b b (k) a (4.7) Die Fehlerfunktion q(b ) ist dann eine Parabel in der Ebene, die in Bild 4. dargestellt ist. Gesucht ist ein iterativer Algorithmus für b(k), der sicherstellt, dass q(b) q[b(k)] und q[b(k )] q[b(k)] k (4.3) q(b o) q[b (k)] o Gerade Steigung a gilt. Der Gradient einer skalaren Funktion ist bekanntlich ein Vektor, der in Richtung der größten Steigung der Funktion zeigt. Ein Verfahren gemäß Gl. (4.3) kann gefunden werden, wenn man einen neuen Koeffizientenvektor b(k+) dadurch errechnet, dass man zu dem alten Vektor b(k) einen Vektor in umgekehrter Richtung des Gradienten addiert, also einen Teil des Gradienten als Korrektur subtrahiert. Man definiert: b(k ) b(k) grad b {q[b(k)]} Mit Gl. (4.) erhält man: b(k ) b(k) [ Rb(k) r fx ] (4.4) (4.5) Diese Gleichung ist die Iterationsvorschrift des SD- Verfahrens. ist dabei ein Konvergenzfaktor, dessen Wahl die Konvergenzgeschwindigkeit und auch die Stabilität des Algorithmus' beeinflusst. Das Verfahren benötigt zwar wie die Lösung der Wiener-Hopf- Gleichung die Matrix R und den Vektor r fx, kommt jedoch ohne die Invertierung der Autokorrelationsmatrix aus und ist in der Lage, dem Minimum einer q[b (k+)] o MMSE bo b (k+) o bo b o (k) Bild 4. : Darstellung des SD-Verfahrens bei einem Koeff. Es ist ersichtlich, dass man bei positiver Steigung a und hinreichend kleinem Konvergenzfaktor ein b (k+)<b (k) erhält, bei negativer Steigung a und hinreichend kleinem b jedoch b (k+)>b (k), d.h. man nähert sich schrittweise dem Minimum. Es ist jedoch auch vorstellbar, dass bei zu großem das Verfahren unter Umständen divergiert. Wir werden jetzt zunächst zeigen, dass das SDverfahren bei einem Koeffizienten unter bestimmten Bedingungen gegen die Wiener-Lösung konvergiert. der Beweis für beliebig viele Koeffizienten kann in der Literatur [], [3], nachgelesen werden. Mit nur einem Koeffizienten reduziert sich die Gl. (4.5) zu b (k ) b (k) [ r ff () ] r fx () (4.8)

17 ADFI 7 Die ersten Iterationen beginnend mit b ()= lauten: b () b () r fx () b () r fx () [ r ff ()] r fx () b (3) r fx () { [ r ff ()] [ r ff ()] } (4.9) Man erkennt, dass sich b (k) als geschlossener Ausdruck folgendermaßen darstellen lässt: k b (k) r fx () [ r ff ()] m m Mit der geometrischen Reihe m für m gilt dann lim k b (k) r fx () r ff () (4.) (4.) lim b (k) [r ff ()] r fx () b für r ff () k (4.) Unter der in Gl. (4.) genannten Bedingung konvergiert das SD-Verfahren also tatsächlich gegen die in Gl. (4.6) genannte Wiener-Lösung. 4. Stabilitätsgrenze und Konvergenzzeit Da die Gl. (4.) nur für für den Konvergenzfaktor ableiten, der stabilen Betrieb garantiert. r fx () Bild 4. : Äquivalentes IIR-Filter [- r ff ()] z - b o(k) Im Fall von mehreren Koeffizienten wird diese Bedingung durch max( i ) max (4.6) ersetzt [3], wobei i die Eigenwerte der Korrelationsmatrix R sind (s. Gl. (A48)). Die Eigenwerte einer positiv-definiten Matrix sind immer reell und positiv. Man beachte, dass die Stabilität nur von und R abhängig ist, nicht jedoch von dem Korrelationsvektor r fx. Nach [3] ist es nicht möglich, die Konvergenzzeit direkt als Funktion des Konvergenzfaktors anzugeben. Man kann lediglich eine untere und obere Schranke nennen, die neben dem Konvergenzfaktor eine Abhängigkeit von dem minimalen bzw. maximalen Eigenwert der Korrelationsmatrix aufweisen. Definiert man im Sinne einer Zeitkontanten als die Zeit, in der der Restfehler auf das /e - fache seines Anfangswerts gesunken ist, so gilt: ln( max ) ln( min ) Setzt man (4.7) { r ff ()} (4.3) c max, c const., c (4.8) gilt, ist zu vermuten, dass mit dieser Gleich ung auch die Stabilitätsgrenze gegeben ist. Ein exakter Beweis kann mit Hilfe der Theorie der IIR-Filter geführt wer den. Mit Gl. (4.8) gilt: fest, erkennt man, dass bei festem Konvergenzfaktor die Konvergenzzeit von dem Verhältnis des maximalen zum minimalen Eigenwert der Autokorrelationsmatrix abhängt. b (k) b (k ) [ r ff ()] r fx () (4.4) Dies ist die Differenzengleichung eines IIR-Filters.Ordnung, das in Bild 4. dargestellt ist. Ein solches Filter ist bekanntlich nur unter der in Gl. (4.3) angegebenen Bedingung stabil. Daraus lässt sich der Bereich ln( c min ) max Man definiert die sogenannte Konditionszahl Autokorrelationsmatrix als (4.9) einer r ff () (4.5) (R) max min (4.)

18 ADFI 8 liegt zwischen (alle Eigenwerte sind gleich) und unendlich. Eine Matrix mit großer Konditionszahl heißt schlecht konditioniert, sie bereitet auch Probleme bei der numerischen Invertierung, weil Rundungsfehler zu großen Fehlern in der invertierten Matrix führen können. Die Konvergenzzeit ist nach Gl. (4.9) bei gegebenem Konvergenzfaktor umso länger, je schlechter R konditioniert ist. Die folgende Grafik zeigt die obere Bild 4.3: Konvergenz auf der Fehlerfläche bei =, Bild 4.: Beispiel einer Schranke der Konvergenzzeit Schranke von für ein c=,3 als Funktion der Konditionszahl. Die Funktion ist in dem interessierenden Bereich näherungsweise eine Gerade, so dass man sagen kann, dass die doppelte Konditions zahl maximal zu einer Verdoppelung der Konvergenz zeit führen kann. 4. Beispiel eines adaptiven SD-Filters æ Beispiel: Wir betrachten das Beispiel aus Kap. 3 und wiederholen noch einmal die Autokorrelationsmatrix und den optimalen Koeffizientenvektor. 4 R b,,544 (4.) b,85 Die Eigenwerte der Autokorrelationsmatrix lauten: Bild 4.4: Konvergenz im Höhenliniendiagr. bei =, Bei =,3 konvergiert der SD-Algorithmus in diesem Bei spiel wesentlich schneller, es wird nach 5 Iterationen das Minimum erreicht. Prinzipiell kann man sagen, dass ein größerer Konvergenzfaktor zu einer schnelleren Konvergenz führt, dies gilt jedoch nicht mehr unbedingt, wenn der Konvergenzfaktor in der Nähe der Stabilitätsgrenze liegt.,944 ;,3488 (4.) Die Stabilitätsgrenze liegt damit nach Gl. (4.6) bei grenz,483 (4.3) Bild 4.3 zeigt, wie bei =, unter diesen Bedingungen der SD-Algorithmus in Richtung des Minimums der Fehlerfläche nach 5 Iterationen konvergiert. Jeder Kreis auf der Linie stellt ein Ergebnis q(k) des SD- Algorithmus' dar, beginnend bei k=. In Bild 4.4 ist die Iteration im Höhenliniendiagramm dargestellt, d. h. die Fehler fläche ist auf die b, b -Ebene projiziert und die Ellipsen zeigen die Linien gleichen Fehlers. Bild 4.5: Konvergenz im Höhenliniendiag. bei =,3

19 ADFI 9 5 Der LMS-Algorithmus Bild 4.6: Konvergenz im Höhenliniendiagr. bei =,3 Bei =,3 springt die Iteration auf der Fehlerfläche bei Steigungen verschiedenen Vorzeichens hin und her, das Verfahren konvergiert aber noch. Eine weitere Erhöhung des Konvergenzfaktors unterhalb der Sta bilitäts grenze bringt jedoch keinen Gewinn an Geschwindigkeit mehr, weil die Sprünge zu groß werden. Bild 4.7 zeigt mit =,5 schließlich den Fall der Divergenz. Bild 4.7: Divergenz im Höhenliniendiagr. bei =,5 ø Der SD-Algorithmus hat den entscheidenden Nachteil, dass die Autokorrelationsmatrix R und der Korrelatinsvektor r fx bekannt sein müssen. Dies ist z. B. auf der Empfangsseite eines Übertragungssystems in der Regel nicht der Fall, so dass man nach Algorithmen sucht, die ohne diese beiden Größen Konvergenz sicherstellen. Der zunächst behandelte LMS-Algorithmus baut auf dem SD-Verfahren auf und ersetzt den Gradienten der Fehlerfläche durch einen Schätzwert, um die Berechnung von R und r fx zu umgehen. Der LMS- (Least-Mean-Square-) Algorithmus ist nach wie vor der am häufigsten eingesetzte und daher wichtigste Algorithmus, weil er sehr einfach ist und nur eine geringe Rechenleistung benötigt. Hinzu kommt, dass er sehr robust, d. h. unempfindlich gegen Rundungsfehler bei der Berechnung und stabil bei sich ändernder Statistik ist. Der LMS-Algorithmus baut auf dem SD-Algorithmus auf, indem er den Gradienten des Fehlervektors in der Rekursionsvorschrift durch eine grobe Schätzung ersetzt, die aus den am Filter zur Verfügung stehenden Signalen berechnet wird. Er setzt einen ergodischen Prozess voraus und benötigt weder die Autokorrelationsmatrix R noch den Korrelations vektor r fx. Da der Gradient in dem LMS-Algorithmus durch einen groben Schätzwert zeitlich aufeinanderfolgender Signale ge wonnen wird, gibt es zwei grundsätzliche Unterschiede zum SD-Algorithmus: - Da der Schätzwert des Gradienten der Fehlerfunktion im Gegensatz zum Gradienten selbst ein stochastischer Wert ist, ist der LMS-Algorithmus ein stochastisches Verfahren, der SD-Algorithmus aber ein determiniertes Verfahren. Der SD-Algo rithmus konvergiert bei gleichen Eingangssignalen und bei unterschiedlichen Eingangssignalen gleicher Statistik immer auf dem gleichen Weg zum Minimum. Der LMS-Algorithmus konvergiert nur bei exakt gleichen Eingangssignalen auf dem gleichen Weg, bei Eingangssignalen gleicher Statistik verläuft die Konvergenz jedoch immer auf einem anderen, einem stochastischen Weg. - Da der Schätzwert des Gradienten der Fehlerfunktion aus zeitlich aufeinanderfolgenden, also von n abhängigen Signalen gewonnen wird, geht man beim Standard - LMS-Algorithmus, der hier zunächst abgeleitet wird, auch von einer Aktualisierung des Koeffizientenvektors des FIR-Filters in äquidistanten Abständen aus. Wir verwenden jetzt also für die Schrittzahl die Variable n, die in äquidis tanten Zeitpunkten (normierte Abtastperiode) inkremen tiert wird. Wird im SD-Algorithmus nach Gl. (4.4) eine Aktualisierung der Koeffizienten mit n vorgenommen und der Gradient durch einen Schätzwert ersetzt, erhält man die Rechen vorschrift : b(n ) b(n) gradb{q[b(n)]} (5.) Um einen Schätzwert des Gradienten zu erhalten, werden in Gl. (4.) sowohl die Autokorrelationsmatrix als auch der Korrelationsvektor durch einen Schätzwert ersetzt: gradb{q[b(n)]} rfx (n) R(n) b(n) (5.)

20 ADFI Da die Schätzwerte aus sich mit der Zeit ändernden Daten gewonnen werden, sind sie jetzt selbst von n abhängig. Wir betrachten zunächst den Vektor r fx nach Gl. (3.4): r fx (r fx (), r fx (), r fx (),...r fx (M)) T (5.3) r xf kann mit (B34) und (3.37) auch wie folgt formuliert werden: r xf ( p) E{x(n)f(n)} (5.4) Die Komponenten des Vektors sind die gespiegelten Kreuz korre lationsfolgen zwischen x(n) und f(n) für die diskreten Werte pm. Es gilt: r xf ( p) E{x(n) f(n p)} r fx (p) r fx (p) lim N N x(k) f(k p) N k N (5.5) (5.6) Jede der Komponenten wird jetzt durch einen Schätzwert ersetzt. rfx (rfx (), rfx (), rfx (),...rfx (M)) T (5.7) In einer ersten Näherung werden nur endliche Ausschnitte n N sowohl von x(n) als auch von f(n) betrachtet. Beide Ausschnitte werden außerhalb des Beobachtungszeitraums Null gesetzt und die Kreuzkorre lationsfolge nach der Vorschrift für Energie folgen, Gl. (B6), errechnet. N r fx (p) x(k) f(k p) k (5.8) rfx(n) [x(n)f(n), x(n)f(n ),...,x(n)f(n M)] T (5.) Mit Gl.(3.37) erhält man dann: rfx(n) x(n) f(n) (5.) Die Autokorrelationsmatrix R kann mit (B36) und (3.43) auch wie folgt formuliert werden: R E{f(n) f T (n)} (5.3) R enthält als Kompo nenten die Autokorrelationsfolgen von f(n) für die diskreten Werte pm. Die Komponenten werden ebenfalls alle durch einen Schätzwert ersetzt, es wird wieder von einem endlichen Beobachtungsfenster nn ausgegangen. Mit Gl. (5.9) gilt dann für die Komponenten von R: N rff (n,p) rff (n, p) f(n k) f(n k p) k rff(n,), rff (n, ),... rff (n, M) R(n) rff (n, ), rff (n,),... rff (n, M ) : : : : rff (n, M), rff (n, M ),... rff (n,), (5.4) Berücksichtigt man in den Komponenten der Matrix auch wieder nur den ersten Summanden, dann kann der Schätzwert der Autokorrelationsmatrix mit Gl. (3.7), (B38) als Vektorprodukt dargestellt werden. Da die Berechnung nach jedem n aktualisiert wird und die Werte in den Ausschnitten sich mit n ändern, ist der Schätzwert jetzt von n abhängig und es gilt genauer: rff (n,p) f(n) f(n p) R f(n) f T (n) (5.5) N rfx (n,p) x(n k) f(n k p) k (5.9) Wird dieser Schätzwert zur Vereinfachung des SD- Verfahrens herangezogen, spricht man auch von "Block-LMS-Algorithmus". Für den Standard-LMS- Algo rith mus wird Gl. (5.9) weiter so vereinfacht, dass nur der erste Summand berücksichtigt wird. rfx (n,p) x(n) f(n p) (5.) Der Schätzwert des Kreuzkorrelationsvektors kann dann folgendermaßen dargestellt werden: Vergleicht man (5.) und (5.5) mit (5.4) und (5.3), wird also in beiden Fällen der Erwartungswert durch sein Argument als Schätzwert ersetzt. Setzt man nun Gl. (5.) und (5.5) in (5.) ein, ergibt sich: gradb{q[b(n)]} x(n) f(n) f(n) f T (n) b(n) gradb{q[b(n)]} f(n) [x(n) y(n)] e(n) Eingesetzt in Gl. (5.) erhält man: y(n) (5.6) (5.7)