Vorlesung Vertiefung Signalverarbeitung Adaptive Filter LVA

Transkript

1 Vorlesung Vertiefung Signalverarbeitung Adaptive Filter LVA Univ. Prof. DI. Dr.-Ing. Markus Rupp Institut für Nachrichtentechnik und Hochfrequenztechnik TU Wien 16. August 2007

2 Inhaltsverzeichnis 1 Adaptive Filter : Eine Übersicht Anwendungsgebiete Adaptiver Filter Einordnungsschemata Adaptiver Filter Nomenklatur Grundlagen Stochastik Least-Mean-Squares Linear Least-Mean-Squares Komplexität der exakten Wienerlösung Durbin Algorithmus Levinson Algorithmus Trench Algorithmus Verfahren des Stärksten Abfalls: Der Steepest Descent Algorithmus Literaturhinweise Der LMS Algorithmus Klassischer Ansatz: Approximative Wiener Lösung Verhalten in stationärer Umgebung Annahmen Der Fehlervektor im Mittel Der Fehlervektor im Mittleren Quadrat Kenngrößen Konvergenz mit Wahrscheinlichkeit Eins Verhalten bei sinusförmiger Anregung Anwendungsspezifische Varianten Literaturhinweise Der RLS Algorithmus Problemstellung der Kleinsten Quadrate Existenzaussagen LS Schätzung

3 Univ.-Prof. DI. Dr.-Ing. Markus Rupp Anregungsbedingung Verallgemeinerungen und Spezialfälle Zusammenfassung Klassische RLS Herleitung Unterbestimmte Formen Verhalten in stationärer Umgebung Andere Lösungsformen Literaturhinweise Nachführverhalten Adaptiver Verfahren Nachführverhalten von LMS und RLS Algorithmus Kalman Algorithmus Literaturhinweise Verallgemeinerte LS Verfahren Rekursiver Algorithmus Robustheit Robuste Adaptive Filter Lokale Passivitätseigenschaften Robustheitsanalyse bei Gradienten-Algorithmen Minimax Optimalität der Gradientenverfahren Hinreichende Konvergenzbedingungen Die Rückkopplungsnatur des Gradientenverfahrens Der Gauß-Newton Algorithmus Algorithmen mit Nichtlinearem Filter ohne Gedächtnis im Schätzpfad Der Perceptron-Learning Algorithmus Adaptive Entzerrerstrukturen Nachführverhalten von Entzerrerstrukturen Algorithmen mit Nichtlinearem Filter im Fehlerpfad Algorithmen mit Linearem Filter im Fehlerpfad Algorithmen mit Linear Gefiltertem Regressionsvektor Literaturhinweise A Zum Ableiten von Vektoren 119 B Anmerkungen zu sphärisch Invarianten Zufallsprozessen 121 C Anmerkungen zu Gaußprozessen 130 D Grundlagen linearer Algebra 137

4 4 Adaptive Filter E Zur Zustandsdarstellung von Systemen 139 F Methode der Lagrange-Faktoren 141 G Small-Gain Theorem 144 H Parametrische Modellprozesse 146 I Konvergenz von Zufallsfolgen 149

5 Kapitel 1 Adaptive Filter : Eine Übersicht 1.1 Anwendungsgebiete Adaptiver Filter Lautsprecher Echopfad N Gabel Zur Vermittlungsstelle Mikrofon Abbildung 1.1: Nahecho-Verbindung. Adaptive Filteralgorithmen haben in den vergangenen 20 Jahren überall Einzug in elektronischen Produkten gehalten. Meist ist dem Anwender ihr Vorhandensein gar nicht bewußt, was auf ihre perfekte Arbeitsweise schließen lässt. Adaptive Filter haben die Eigenschaft, sich an eine ständig ändernde Umgebung anzupassen und damit optimale Betriebseigenschaften (meist von digitalen Filtern) zu erreichen. Im Folgenden werden verschiedene Anwendungsmöglichkeiten adaptiver Filter gezeigt. In Bild 1.1 wird das Blockschaltbild einer Telefonanlage beim Teilnehmer gezeigt. Eine sogenannte Gabelschaltung (Wien-Brücke) sorgt dafür, dass der Zweidrahtanschluss des Mikrofons an die 5

6 6 Adaptive Filter Vermittlungsleitung weitergeschaltet wird, während gleichzeitig der Zweidrahtanschluss des Lautsprechers auch von dieser Zweidrahtleitung versorgt wird. Die perfekte Ausbalancierung der Gabelschaltung ist dann erreicht, wenn der Teilnehmer sich selbst nicht hört. Diese optimale Situation ist jedoch meist nicht gegeben, da der Abschluss der Vermittlungsleitung unbekannt ist. Eine Nachbildung N versucht den Abschlusswiderstand nachzubilden. Üblicherweise wird ein Übersprechen von Mikrofon zu Lautsprecher als angenehm empfunden, da der Teilnehmer das Gefühl hat, dass das Telefon funktioniert (es reagiert auf seine Eingangssignale). Im Zusammenhang mit Freisprechanlagen, kann dies jedoch zum Problem werden und muss entscheidend gedämpft werden. Ein adaptives Filter kann hier Abhilfe schaffen indem es zunächst den Übertragungspfad von Mikrofon zu Lautsprecher schätzt, damit das zugehörige Echosignal berechnet und es vom Lautsprechersignal subtrahiert. A Echo von B Gabel A N N Gabel B Sprecher A Echo von A Sprecher B B Abbildung 1.2: Fern-Echo Verbindung. In Abbildung 1.2 werden vereinfacht zwei Teilnehmer gezeigt, die über ihre lokalen Gabelschaltungen verbunden sind. Überall dort, wo in Vermittlungsanlagen von Zweiauf Vierdrahtbetrieb umgeschaltet wird, werden solche Gabelschaltungen eingesetzt. Bei Weitverkehrsverbindungen können also mehrere dieser Umsetzstellen auftreten. Dabei werden an der Gabelschaltung nicht nur die Echos des lokalen Sprechers an den lokalen Lautsprecher weitergegeben, sondern auch die Signale des fernen Teilnehmers an der lokalen Gabel (wieder wegen der vorhandenen Fehlanpassung) reflektiert zum fernen Teilnehmer zurückgesendet. Gerade bei Weitverkehrsverbindungen mit ihren großen

7 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 7 Laufzeiten (500ms) kann dies ein Problem darstellen. Wenn die Gabeldämpfung das Signal nur um 6dB verringert, und des weiteren durch digitale Weitverkehrsübermittlung das Echo ungedämpft zurückübertragen wird, wird das ferne Teilnehmersignal dem fernen Teilnehmer ins eigene Wort fallen und die Verbindung dadurch gehörig stören. Adaptive Filter können ähnlich wie beim Nahecho den Echopfad schätzen und das Echo rekonstruieren, um es vom Nutzsignal zu subtrahieren. Anders als beim Nahecho hat man es hier allerdings mit sehr großen Filterlängen ( Koeffizienten) zu tun. Freisprechtelefonanlagen haben in den letzten Jahren enorme Verbreitung gewonnen. Sie werden sowohl in Büroräumen zu (Video-)Konferenzen als auch bei Freisprechanlagen in Autos eingesetzt. Abbildung 1.3 zeigt die Problemstellung. Das ferne Teilnehmersignal gelangt durch den Lautsprecher in den Raum und somit auch an das Mikrofon des lokalen Teilnehmers. Zusammen mit dem eigentlichen Signal des lokalen Sprechers wird es zurück an den fernen Teilnehmer übertragen und erscheint dort als Echo. Betreibt dieser auch eine Freisprechanlage kann es eine geschlossene Schleife geben und ein Rückkopplungspfeifen wird hörbar. Ein adaptives Filter kann die Impulsantwort von Lautsprecher-Raum-Mikrofon System schätzen und wie bei der Gabelschaltung auch das Echosignal rekonstruieren. Die großen Impulsantwortlängen von solchen akustischen Systemen spielen hierbei eine besondere Rolle. Ebenso erscheint der lokale Sprecher nun als Störung für das Schätzverfahren und erfordert somit eine besondere Behandlung. 7 Abbildung 1.3: Lautsprecher-Raum-Mikrofon System. Alle bisher beschriebenen Anwendungsgebiete fallen in die Kategorie Systemidentifikation. Wie Abbildung 1.4 zeigt, kann der Echopfad in allen drei Fällen als eine unbekannte (lineare) Übertragungsfunktion dargestellt werden. Durch Beobachten von Ein- und Ausgang dieses additiv gestörten Systems, gewinnt das adaptive Filter soviel Information, dass es den unbekannten Pfad schätzen kann. Mit bekanntem Eingangssignal lässt sich dann das Echosignal rekonstruieren und wird vom Nutzsignal subtrahiert.

8 8 Adaptive Filter v(k) x(k) y(k)? e(k) ŵ ŷ(k) Abbildung 1.4: Systemidentifikation. Eine ganz andere Anordnung findet man in der aktiven Geräuschunterdrückung. Abbildung 1.5a zeigt die Problemstellung. Eine primäre Rauschquelle (Motor, Föhn, etc.) verursacht ein ungewolltes Geräusch an der Stelle des Mikrofons. Durch eine zweite Quelle wird versucht, das Störgeräusch an der Mikrofonstelle (und der näheren Umgebung) zu reduzieren. Oft hat man keinen direkten Zugriff auf die Primärquelle. Dann wird mit einem zweitem Sensor versucht ein Signal zu gewinnen, das zu dem der Primärquelle stark korreliert ist. Abbildung 1.5b zeigt das entsprechende Blockschaltbild mit adaptivem Filter. Die Strecke P von Primärquelle zum Mikrofon wird nicht mehr als Gesamtimpulsantwort geschätzt, sondern um den um H verminderten Anteil, dem Pfad zwischen Sekundärquelle und Mikrofon. Dies kann zu nichtkausalen Anteilen in der Lösung führen. Wie wir später sehen werden gehört die adaptive Geräuschreduktion zur Klasse der Fehlerpfad-gefilterten Referenzmodelle.

9 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 9 Primäre Quelle Elektrisches Filter Sekundäre Quelle Fehler Mikrofon 1 (a) x(t) y(t) e f (t) W P (z) d(k) (b) x(k) y(k) W H(z) e f (k) Abbildung 1.5: (a) Aktive Geräuschunterdrückung. (b) Äquivalentes Blockdiagramm des Kontrollalgorithmus.

10 10 Adaptive Filter Im Bereich Sprachverarbeitung finden adaptive Filter Anwendung in der linearen Prädiktion. In Abbildung 1.6 wird solch eine Anordnung gezeigt. Das Sprachsignal wird durch eine Verzögerungsstufe geführt und dann wird damit das adaptive Filter gespeist. Referenzsignal ist das Originalsignal. Das adaptive Filter wird also versuchen mit Hilfe von vergangenen Werten das Originalsignal anzunähern. Typische Anwendungen solcher Prädiktoren sind datenreduzierende Verfahren zur Sprachübertragung. Dabei wird im einfachsten Fall nur das Fehlersignal e(k) übertragen, denn es trägt weniger Energie als das Originalsignal und kann somit mit weniger Bit pro Abtastwert dargestellt werden. Eine weitere Anwendung ist das Vokoderprinzip. Da Sprachsignale ihr Spektrum nur etwa alle 10ms ändern, genügt es, nur die Prädiktionskoeffizienten zu übertragen. Damit können enorme Datenreduktionen gewonnen werden. 1 d(k) x(k) y(k) z 1 w e(k) Abbildung 1.6: Linearer Prädiktor Ein weiteres Einsatzgebiet adaptiver Filter besteht in adaptiven Entzerrerfiltern bei der Datenübertragung. Bild 1.7 verdeutlicht die Problemstellung. Eine digitales Signal wird durch einen Kanal c übertragen und durch additives Rauschen v(n) gestört. Am Empfänger ist ein digitales Filter w so einzustellen, dass eine nachfolgende nichtlineare Abbildung die erhaltenen Symbole eindeutig auf das Sendealphabet abbilden kann. Die Schwierigkeit besteht dabei oftmals weniger in der geeigneten Wahl der Filterstruktur oder der sehr großen Anzahl von Koeffizienten, als darin den geeigneten adaptiven Algorithmus zu finden, der Kanaländerungen schnell zu folgen versteht und zugleich keine überaus großen Anforderungen an numerische Genauigkeit stellt. Anders als bei der Systemidentifikation liegt bei dieser Problemstellung kein Referenzsignal vor. Es kann dadurch gewonnen werden, dass ein bekanntes Signal (Trainingssequenz) übertragen wird, durch dessen Hilfe das Filter eingestellt werden kann. Allerdings besteht Datenübertragung darin, unbekannte Daten zu übertragen, d.h. der Anteil der Trainingssequenz muss sehr klein sein gegenüber der

11 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 11 zu übertragenden Datenmenge. Eine zweite Methode besteht darin, das dekodierte Signal als Referenzsignal zu nutzen. Dekodierfehler wirken allerdings dann auch auf die Qualität der Adaption. v(k) x(k) y(k) z(k) ˆx(k) c w f Abbildung 1.7: Optimaler Entzerrer und Dekodierer. Beide Anwendungen, lineare Prädiktion und adaptiver Entzerrer genügen der selben Referenzstruktur, wie in Abbildung 1.8 gezeigt. Bei der linearen Prädiktion wird c = z 1 gesetzt und = 0, während bei der adaptiven Kanalentzerrung c den Kanal darstellt und die Trainingssequenz das um verzögerte Referenzsignal darstellt. z d(k) x(k) y(k) c w e(k) Abbildung 1.8: Referenzmodell zur inversen Modellierung Eine ähnliche Problemstellung aber ungleich komplizierter ergibt sich bei dem Problem der nichtlinearen Vorverzerrung für Leistungsverstärker (engl. power amplifier) wie sie im Funkbereich häufig auftreten. Um einen möglichst großen Wirkungsgrad zu erzielen, werden

12 12 Adaptive Filter diese Verstärker im C oder F Modus betrieben, und erzeugen damit eine starke Nichtlinearität. Bei Bandbreiten bis 1 MHz ist diese Nichtlinearität noch typischerweise gedächtnisfrei ausgeprägt (Saleh Modell) A (r) = α Ar 1 + β A r 2 Φ (r) = α Φr β Φ r 2, (1.1) und kann in Form von nichtlinearen Abbildungen für Amplitude und Phase korrigiert werden. Bei größeren Bandbreiten jedoch zeigen sich immer stärker auch gedächtnisbehaftete Effekte. Eine Möglichkeit diese Effekte zu beschreiben sind so genannte Volterrareihen. Eine Abbildungsvorschrift durch eine Volterrareihe der Ordnung P vom Eingangssignal u(n) zum Ausgang y(n) kann folgendermassen aussehen y(n) = P h p,n [u (n)], (1.2) p=0 wobei der Operator h p,n [ ] eine mehrdimensionale Faltung repräsentiert: h p,n [u (n)] = N n 1 =0 N h p,n (n 1,... n p ) n p=0 p u (n n i ). (1.3) Der Vorteil der Darstellung liegt darin, dass die Koeffizienten alle linear bzgl. des Eingangssignals vorliegen, wobei die Nichtlinearität dadurch zustande kommt, dass das Eingangssignal mit zeitverzögerten Varianten ein neues Signal bildet. Ein weiterer Vorteil der Beschreibung durch Volterrareihen besteht auch darin, dass es immer möglich ist eine Inverse zu bilden, denn die ist ja nötig, um das nichtlineare System zu entzerren. Allerdings zeigt es sich in der Praxis, dass solch eine Volterradarstellung sehr viele Koeffizienten benötigt, um eine gewisse Genauigkeit zu erreichen. Abbildung 1.9 zeigt eine typische Anordnung zur Vorverzerrung. Nach der Identifikation des Leistungsverstärkers wird das Modell invertiert und dann dieser so erhaltene Vorentzerrer vor den Leistungsverstärker geschaltet. Die Übertragung in der Gesamtkette Vorentzerrer-Leistungsvertärker verhält sich dann wieder linear. Um die hohe Komplexität zu verringern, versucht man andere nichtlineare Strukturen einzusetzen. Hierbei haben sich vor allem so genannte Wiener und Hammerstein Modelle als geeignet erwiesen. Abbildung 1.10 zeigt ein Wiener Modell bei dem die Nichtlinearität gedächtnisfrei hinter dem linearen Anteil erfolgt. Bei Hammerstein Modellen ist die Reihenfolge umgedreht. Arbeitet man mit solchen vereinfachten Modellen, so ist momentan noch unklar wie die adaptiven Algorithmen mit Sicherheit Konvergenz garantieren können. Eine ähnliche Problemstellung wie die der adaptiven Entzerrung liegt in der Mustererkennung. Gegebene (oft binäre) Muster müssen klassifiziert werden. Beispielsweise liefert i=1

13 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 13 Ref. model y r (n) Adapt. laws u(n) Controller NL Plant y(n) Abbildung 1.9: Nichtlineare, adaptive Vorverzerrung. u(n) L(h, ) x(n) f (θ, ) y(n) Abbildung 1.10: Nichtlineares Wiener Modell. eine digitale Kamera an einer Abflaschungsmaschine das Bild einer Flasche. Bei dieser muss nun erkannt werden, ob sie die richtigen Maße hat und ob das Etikett korrekt angebracht ist. Die gelieferten (Bild-)Muster werden mit Referenzmustern verglichen und es wird eine Entscheidung gefällt, ob die geforderte Bedingung erfüllt ist oder nicht. Gut geeignet zum Aufbau solcher Mustererkenner sind neuronale Netzwerke. Abbildung 1.11 zeigt ein solches einfaches Netzwerk, das sich durch einen Entscheider f() und eine Rückkopplung der Entscheidung auszeichnet. Beim Trainingslauf werden dem neuronalen Netzwerk verschiedene Beispielmuster am Eingang x und zugehörige Entscheidungen d angeboten. Die Aufgabe des neuronalen Netzwerkes besteht darin, die Koeffizienten a und b so einzustellen, dass es bei ähnlichen Mustern ebensolche Entscheidungen korrekt liefern kann.

14 14 Adaptive Filter x b a z f(z) d q 1 Abbildung 1.11: Rückgekoppeltes Neuronales Netzwerk. 1.2 Einordnungsschemata Adaptiver Filter Adaptive Filteralgorithmen sind ihrer Natur nach Optimierungsalgorithmen. Anders als Standardoptimierungsverfahren versuchen sie jedoch mit einer sich ständig verändernden Umgebung zurechtzukommen. Im vorigen Abschnitt wurden adaptive Filter bereits nach ihrer Anwendung eingeordnet. Dabei spielen verschiedene Referenzmodelle eine entscheidende Rolle. Das Referenzmodell erklärt ein Signal zum Referenzsignal nachdem sich die adaptive Filterung richtet. Wie es erzeugt wird hat entscheidende Auswirkung auf die Anordnung des Filters und dessen Eigenschaften. Bisher hatten wir Systemidentifikation, inverse Modellierung und Identifikation mit gefiltertem Fehlerpfad angesprochen. Dabei können jeweils wieder lineare und nichtlineare Filter zur Anwendung kommen. Eine weitere Unterscheidung ergibt sich in On- und Offline-Betrieb der Algorithmen. Liegen alle erforderlichen Daten vor, so kann der Optimierungsalgorithmus laufen, um nach einer bestimmten Anzahl von Iterationen ein (sub-)optimales Ergebnis auszugeben. Man spricht dabei üblicherweise von Offline Betrieb, da während der Iterationen keine neuen Daten hinzukommen. Im Onlinebetrieb ist dies anders, mit jedem Schritt erhält der Algorithmus einen neuen Datensatz und wird erneut ablaufen, um sich an die sich verändernde Situation neu anzupassen. Eine dritte übliche Unterscheidung erfolgt aufgrund von Kostenfunktionen. Das Referenzsignal liefert ein Normal, das Referenzsignal, das wir durch den adaptiven Vorgang versuchen anzunähern. Das dadurch entstehende Fehlersignal kann auf verschiedene Weise zur Kostenfunktion herangezogen werden, je nachdem ob Information über die Signale in determinierter oder statistischer Art vorhanden ist. So kann es das Ziel sein E[ e(n) p ] zu minimieren oder dessen zeitliches Pendant n i=0 e(n) p. Aber auch Minimax-Formulierungen sind nicht unüblich.

15 Univ.-Prof. DI. Dr.-Ing. Markus Rupp Nomenklatur Die folgende Nomenklatur wurde versucht durchgängig im Skript zu verwenden. steht für konjugiert komplex T steht für transponiert H steht für hermitesch, also transponiert und konjugiert komplex. a, b, c... ist ein (determinierter) Skalar. a, b, c,... ist eine Zufallsvariable mit Wahrscheinlichkeitsdichtefunktion f a (a), Varianz σa 2 und Mittelwert ā. a,b,c... ist ein (Spalten-)Vektor mit einer Anzahl von Elementen. 1 ist ein Vektor dessen Elemente alle Eins sind. a, b, c... ist ein (Spalten-)Vektor dessen Elemente Zufallsvariablen darstellen. Die Verbunddichte dieser Zufallsvariablen ist gegeben durch f a (a). Die Autokorrelationsmatrix dieses Vektors wird mit R aa =E[aa H ] bezeichnet. A, B, C,... bezeichnet eine Matrix bestimmter Dimension, deren Elemente Skalare sind. A, B, C,... bezeichnet eine Matrix bestimmter Dimension, deren Elemente Zufallsvariablen sind. I bezeichnet die Einheitsmatrix mit geeigneter Dimension. a q p angewandt auf den Vektor a bezeichnet die p te Norm zur q ten Potenz. a q p = ( i a i p ) q/p a Q angewandt auf den Vektor a bezeichnet diese Norm: a H Qa. Wird ein Argument (k) bei skalaren Größen angehängt oder ein Index k (kleiner Buchstabe) bei Vektoren oder Matrizen eingeführt, so handelt es sich um eine weitere Zeitabhängigkeit. Zufallsvariablen sind dann als Zufallsprozess zu interpretieren. Wird dagegen ein Großbuchstabe als Index verwendet so kennzeichnet er meist die Dimension des Vektors. Positiv definite Matrizen werden oftmals mit der Größer-Relation, also A > 0 bezeichnet. Konkret bedeuted dies, dass alle Eigenwerte von A größer als Null sind. Lineare Filter werden mit Großbuchstaben und oftmals um die Notation eindeutiger zu machen mit einem Argument q 1 gekennzeichnet. Zum Beispiel schreiben wir B(q 1 )[v(k)] = B[v(k] für eine Folge v(k), die mit den Filterkoeffizienten b(0), b(1)...b(m 1) gefiltert werden. Auch rekursive Filterstrukturen können auf diese Weise einfach notiert werden: [v(k)] bedeutet ein rekursives Filter der Form: B(q 1 ) 1 A(q 1 ) y(k) = N a(l)y(k l) + l=1 M 1 l=0 b(l)v(k l). (1.4) Wir werden diese Notation der Z-Transformation vorziehen, denn sie verlangt anders als die Z-Transformation keine (Energie-)Bedingung an die Eingangsfolge.

16 16 Adaptive Filter Da wir mit Vektoren und Matrizen hantieren werden, ist es hilfreich, eine wenige, aber häufig benutzte Operationen in einer Kurznotation anzugeben. Hierzu gehört insbesondere das Ableiten nach reell-wertigen und komplex-wertigen Vektoren. Wir vereinbahren für das Ableiten nach Vektoren folgende Regeln (für w IR und z Cl, siehe auch Anhang A für eine ausführliche Diskussion): Rw w = R w T Rw w = w T [R + R T ] Rz z = R z H Rz z = z H R. Übung 1.1 Betrachte die folgende Anordnung in Bild Man gebe das Fehlersignal in Abhängigkeit vom Eingangssignal x(k) und der Störung v(k) an. Welche Lösung ist für w bei erfolgreicher Adaption zu erwarten? Zu welcher Klasse von Adaptionsschemata handelt es sich bei der Anordnung? Zu welcher Klasse gehört es, wenn man a und w vertauscht? d(k) v(k) b c x(k) y(k) a w e(k) Abbildung 1.12: Adaptive Anordnung Übung 1.2 Zeigen Sie unter welchen Umständen die Entzerrerschaltung in Abbildung 1.7 eine Systemidentifikation darstellt.

17 Kapitel 2 Grundlagen Stochastik Im folgenden Kapitel werden die benötigten Grundlagen der Stochastik präsentiert. Es werden dabei Least-Mean-Squares (LMS), lineare Lösungen (LLMS) hierzu und schließlich die Wiener-Lösung vorgestellt. Eine iterative Lösung, der sogenannte Steepest-Descent- Algorithmus wird diskutiert. 2.1 Least-Mean-Squares Im Folgenden werden wir uns mit dem Problem befassen wie man aus Beobachtungen Größen schätzen kann, die man nicht direkt beobachten kann. Betrachten wir eine Zufallsvariable x mit Mittelwert x und Varianz σ 2 x. Also: σ 2 x = E[x x] 2 = E[x 2 ] x 2. (2.1) Für mittelwertfreie Zufallsvariablen gilt: σ 2 x = E[x 2 ]. Intuitiv gibt diese Information vor, dass sich der gesuchte Wert nicht weit vom Mittelwert befindet; genauer gesagt befindet er sich mit großer Wahrscheinlichkeit in einer Umgebung um den Mittelwert, die durch die Varianz σ 2 x definiert ist. Eine kleine Varianz σ 2 x zeigt an, dass der gesuchte Wert nahe am Mittelwert liegen wird. Eine große Varianz σ 2 x zeigt an, dass der gesuchte Wert in einem großen Intervall um den Mittelwert liegen wird. Die Varianz liefert ein Maß für die Unsicherheit welcher Wert wohl der Richtige ist. Etwas genauer wird diese Aussage durch die Tschebyscheff-Ungleichung beschrieben: P ( x x δ) σ2 x δ 2. (2.2) 17

18 18 Adaptive Filter Die Wahrscheinlichkeit, dass der gesuchte Wert im Intervall [ x δ, x + δ] liegt, ist also beschränkt durch σ2 x δ 2. Beispielsweise ist die Wahrscheinlichkeit, dass der Wert außerhalb von ±σ liegt, beschränkt durch 100%, während das Intervall [ x 5σ x, x + 5σ x ] schon eine Beschränkung auf 4% zulässt. Im Folgenden wird angenommen, dass Mittelwert und Varianz des unbekannten Wertes bekannt sind. Durch geeignete Schätzmethoden kann der unbekannte Wert x durch den Wert ˆx geschätzt werden. Je nach Schätzverfahren können unterschiedlich gute Schätzwerte erhalten werden. Die Qualität der Schätzung kann durch ein Gütemaß ermittelt werden. Ein geeignetes Gütemaß könnte beispielsweise darin bestehen, den Abstand des Schätzwertes zum Zufallswert zu bestimmen: E[x ˆx]. (2.3) Offensichtlich gehen hier sowohl negative wie auch positive Werte ein und können durch Ausmitteln ein falsches Bild ergeben. Besser geeignet ist ein quadratisches Maß E[(x ˆx) 2 ]. Derjenige Schätzer, der für dieses Maß den geringsten Wert liefert, ist offensichtlich der Beste. Gesucht ist also ein Schätzverfahren, das folgendes Gütemaß minimiert: min ˆx E[(x ˆx) 2 ]. (2.4) Quadratische Gütemaße sind sehr beliebt, da sie mathematisch einfach zu manipulieren sind und üblicherweise zu analytischen Lösungen führen. Andere Gütemaße, wie die l 1 -Norm (Absolutnorm) sind bei manchen Problemen aber auch sehr aufschlußreich und führen manchmal zu geringerem Aufwand in der Realisierung. Lemma 2.1 Gegeben sei Mittelwert x und Varianz σ 2 x einer Zufallsvariablen x. Der LMS (Least-Mean-Squares) Schätzer ˆx ist optimal, wenn gilt: ˆx = x. Beweis: E[(x ˆx) 2 ] = E [([x x] + [ x ˆx]) 2 ] = σ 2 x + ( x ˆx) 2. Offensichtlich ist in Abwesenheit von weiterer Information der beste Wert zum Schätzen, der Mittelwert. Man betrachte den Schätzfehler e: e = x ˆx = x x. An dieser Stelle ist es Wert zu bemerken, dass die Varianz des Schätzfehlers genauso groß ist, wie die Varianz der Zufallsvariablen x 1. Offensichtlich hat unser Schätzverfahren die anfängliche Unsicherheit bzgl. x nicht verändert. 1 Man prüfe dies nach.

19 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 19 Im Folgenden werden wir annehmen, dass unser Wissen bzgl. x dadurch vergößert wird, dass wir eine zu x korrelierte Zufallsvariable y kennen. Da die Korrelation zwischen den beiden Zufallsvariablen eine Information über das gemeinsame Verhalten der beiden trägt, können wir davon ausgehen, durch y auch mehr Information über x zu erhalten. Diese zusätzliche Information muß sich so formulieren lassen, dass unser Schätzwert ˆx für x besser wird. Nehmen wir an, dass eine funktionale Abbildung von y auf den Schätzer für x derart existiert, dass ˆx = h[y]. Diese Funktion h[ ] wird Schätzverfahren oder Schätzer (engl. estimator) genannt. Beim Einsetzen eines Argumentes erhalten wir einen Schätzwert (engl. estimate). Bemerkenswert ist, dass es sich beim Schätzwert auch um eine Zufallsvariable handelt, da sie ja als Abbildung aus einer anderen Zufallsvariablen entstanden ist. Lemma 2.2 Das LMS Schätzverfahren (LMSE=least mean squares estimator) von x gegeben y ist E[x y]. (Der LMS Schätzwert lautet E[x y = y].) Das minimale Fehlerquadrat (MMSE= Minimum mean-square-error) ist gegeben durch: Beweis: Per Definition gilt min ˆx E[(x ˆx) 2 ] = E[x 2 ] E[ˆx 2 ]. E[(x ˆx) 2 ] = E[(x h[y]) 2 ] (2.5) = (x h[y]) 2 f x,y (x, y)dxdy (2.6) ( ) = f y (y)dy (x h[y]) 2 f x y (x y)dx. (2.7) Da der erste Term f y (y) 0, kann er als positiver Gewichtungsterm gedeutet werden. Wir können uns also dem zweiten Term zuwenden. Dieser lässt sich bzgl. ˆx differenzieren und man erhält als Lösung für das Minimum: ˆx = E[x y = y] = xf x y (x y)dx. (2.8) Beispiel 2.1: Betrachtet wird eine Zufallsvariable z = x + y. Die beiden Zufallsvariablen x und y seien unabhängig. x nehme die Werte ±1 mit gleicher Wahrscheinlichkeit an und y sei mittelwertfrei gaußverteilt mit Varianz σ 2 y. Gesucht ist der LMS Schätzer für x gegeben z = z.

20 20 Adaptive Filter Lösung: The LMS Schätzer ist gegeben durch ˆx = E(x z = z) = xf x z (x z)dx. (2.9) Um die bedingte Wahrscheinlichkeit zu erhalten, wird zunächst die Wahrscheinlichkeitsdichtefunktion f z (z) berechnet. Da x nur zwei Werte annimmt und dies mit gleicher Wahrscheinlichkeit, gilt: f z (z) = 1 2 f y(z + 1) f y(z 1). Im nächsten Schritt wird die Verbunddichtefunktion f x,z (x, z) bestimmt: f x,z (x, z) = f x,y (x, z x) (2.10) = 1 2 f y(z + 1)δ(x + 1) f y(z 1)δ(x 1), (2.11) wobei δ(x) die Diracsche Delta Funktion beschreibt. Somit lässt sich die Verbunddichte geschlossen angeben: f x z (x z) = f y(z 1)δ(x 1) f y (z + 1) + f y (z 1) + f y(z + 1)δ(x + 1) f y (z + 1) + f y (z 1) Das Integral in (2.9) lässt sich somit lösen. Man erhält: f y (z 1) ˆx = f y (z + 1) + f y (z 1) f y (z + 1) f y (z + 1) + f y (z 1) ( ) z = tanh σ 2 y (2.12) (2.13) Der beste Schätzer, der bei gegebener Beobachtung z, einen Schätzwert für x liefert ist offensichtlich ˆx = tanh(z). Üblicherweise ist es nicht einfach einen expliziten Ausdruck anzugeben. Wenn x und z verbunden gaußverteilt sind, ist dies gewöhnlich möglich. Geometrische Interpretation: Betrachtet werde die Funktion g( ) auf einer Zufallsvariablen y. Da folgender Zusammenhang gilt: gilt auch Somit gilt also: E(x) = E y [E x (x y)], (2.14) E[xg(y)] = E y (E x [xg(y) y]) = E y (E x [x y]g(y)) = E[ˆxg(y)]. (2.15) E[(x ˆx)g(y)] = 0. (2.16) Die Fehlerzufallsvariable e = x ˆx ist somit unkorreliert zu beliebigen Funktionen einer zweiten korrelierten Zufallsvariablen. Man sagt auch: der Fehler steht orthogonal.

21 Univ.-Prof. DI. Dr.-Ing. Markus Rupp 21 Übung 2.1 Gegeben seien zwei mittelwertfreie, komplexwertige, verbundgaußverteilte Zufallsvariablenvektoren x und y der Dimensionen p 1 und q 1. Ihre Wahrscheinlichkeitsdichtefunktionen sind gegeben durch Weiterhin gilt, dass R xy = R H yx 0. Man berechne: f x (x) = 1 π p 1 det R xx exp{ xh R 1 xxx} (2.17) f y (y) = 1 1 π q exp{ y H Ryyy}. 1 (2.18) det R yy 1. Die Verbundwahrscheinlichkeitsdichte f x,y (x, y). 2. Die bedingte Wahrscheinlichkeitsdichte f x y (x y). 3. Die Terme der bedingten Wahrscheinlichkeitsdichte sind so zu arrangieren, dass ein Term nur von y abhängt. Hinweis: [ Rxx R xy R yx R yy ] 1 [ = I 0 I R 1 yyr yx Dabei muss Σ noch bestimmt werden! 4. Man gebe den optimalen Schätzer h(y) für x an. 5. Man gebe den MMSE für die Schätzung von x an. ] [ Σ R 1 yy ] [ I Rxy R 1 yy 0 I 6. Wie lässt sich die Lösung modifizieren, wenn die Zufallsvariablen nicht mittelwertfrei sind? ] 2.2 Linear Least-Mean-Squares Nachdem im vorhergehenden Abschnitt gezeigt wurde, dass die Lösung zum LMS Problem durch den bedingten Erwartungswert ˆx = E[x y 1, y 2,..., y n ] gegeben ist, werden wir uns in diesem Abschnitt speziellen Lösungen zuwenden. Wie bereits gezeigt wurde, führen Verbund-Gaußprozesse bei den Observablen dazu, dass die Lösung des Problems linear beschreibbar ist. Wir werden uns daher konsequent mit den linearen Lösungen befassen. Diese sind dann von großem Interesse wenn die beteiligten