Übung 7: Methode der kleinsten Quadrate

Transkript

1 ZHAW, DSV2, 2007, Rumc, 1/8 Übung 7: Methode der kleinsten Quadrate Aufgabe 1: Lineare Annäherung im Skalarprodukt-Raum. Finden Sie für den Vektor y = [2 2 2] T eine Linearkombination y e der Vektoren x 1 = [1 0 0] T x 2 = [1 2 0] T so, dass der Fehlervektor e = y - y e minimale quadratische Norm IIeII 2 bzw. minimale Länge hat (Least-Squares-Lösung). a) Zeichnen Sie die Vektoren x 1, x 2 und y im folgenden Diagramm ein. b) Bestimmen Sie mit der Normalgleichung die LS-Koeffizienten b LS und zeichnen Sie den resultierenden Schätzvektor y e = A b LS im Diagramm oben ein. c) Wählen Sie x 2 = [2 0 0] T und lösen Sie das LS-Problem nochmals mit Matlab. Was ist das Problem? Hinweis: Die Matlab-Funktion pinv(a) berechnet die Pseudoinverse von A.

2 ZHAW, DSV2, 2007, Rumc, 2/8 Aufgabe 2: Einfache, lineare Regression. Sie messen für 4 gegebene x-werte (z.b. Strom) die folgenden, verrauschten y-werte (z.b. Spannung): n x n y n Sie vermuten (im rauschfreien Fall) einen linearen Zusammenhang zwischen den x- und den y-werten und suchen nun die optimalen Koeffizienten b 0 und b 1, so dass die angenäherten Messwerte y en = b 0 + b 1 x n im Least-Squares-Sinn möglichst gut mit den verrauschten Messwerten y n übereinstimmen. a) Formulieren Sie das Problem in Matrizenform und bestimmen Sie die Datenmatrix A. b) Bestimmen Sie mit Hilfe der Normalgleichung die optimalen Koeffizienten b LS. c) Bestimmen Sie die angenäherten Messwerte y en, n=1,...,4 und tragen Sie sie im Diagramm oben ein. d) Die Werte y n sind tatsächlich am Ausgang des folgenden stochastischen Modells gemessen worden: y n = x n + z n, wobei die Rauschwerte z n unkorreliert sind und je eine gaussverteilte Amplitude mit einer Standardabweichung von σ = 0.2 aufweisen. Was müssen Sie tun, damit die LS-Koeffizienten b LS noch besser mit den echten Modellparametern [ ] übereinstimmen?

3 ZHAW, DSV2, 2007, Rumc, 3/8 Aufgabe 3: Lineare Prädiktion eines Sinus-Signals. Betrachten Sie den folgenden linearen Prädiktor, der mit Hilfe von 2 vergangenen Werten den aktuellen Wert eines Sinus-Signals im LS-Sinn schätzt. x[n] = sin(2π f 0 nt s ) z -1 x[n-1] z -1 x[n-2] b 1 b 2 d[n] + y[n] - + Fehlersignal e[n] In dieser Aufgabe soll das Prädiktorverhalten untersucht werden, wenn die Frequenz des Sinus-Signals f 0 = 1000 Hz und die Abtastfrequenz f s = 1/T s = 8000 Hz beträgt. Der Prädiktor soll die folgende Fehlerquadratsumme minimieren: wobei M=2 und N=4. N n=m 2 e[n] a) Stellen Sie den Prädiktionswert-Vektor y = [ y[m]... y[n] ] T als Multiplikation der Datenmatrix A und des Koeffizientenvektors b = [ b 1 b 2 ] T dar. b) Bestimmen Sie mit der Normalgleichung die optimalen Filterkoeffizienten b LS. c) Zeigen Sie, dass der LS-Prädiktor mit nur 2 Filterkoeffizienten das Sinus-Signal perfekt voraussagen kann. Hinweis: Diese Aussage gilt übrigens für jede Frequenz f 0 <f s /2 und jede Fenstergrösse N. d) Bestimmen Sie das Analyse-Filter A(z), mit dem Sie aus dem Eingangssignal x[n] das Fehlersignal e[n] berechnen können. Bestimmen Sie dann das Synthese-Filter H(z), mit dem Sie aus dem Fehlersignal e[n] das ursprünglichen Signal x[n] wieder herstellen können. Zeichnen Sie nun das Blockdiagramm des Digitalfilter, mit dem Sie das Sinus-Signal x[n] mit Hilfe der beiden Startwerte x[0] = 0 und x[1] = sin(2π f 0 /f s ) berechnen können. Welche Limiten sind dieser Art Frequenzsynthese in der Praxis gesetzt? Hinweis: Wo liegen die Pole von H(z)? Skizzieren Sie das Betragsspektrum IH(f)I. e) Matlab-Teil: Betrachten Sie nun das Tonsignal x[n] = sin(2π f 0 nts) + z[n] im Intervall n=0,...,n, N=20, das an der Stelle t=10 T s einen Click aufweist. Für das impulsartige Rauschen z[n] gelte: z[10] = -0.5 und z[n] = 0 sonst. Detektieren Sie den Click bzw. den Glitch, indem Sie das Fehlersignal e[n] des oben dargestellten linearen Prädiktors analysieren. Was geschieht, wenn man die Ordnung des linearen Prädiktors vergrössert (nur qualitative Aussage)?

4 ZHAW, DSV2, 2007, Rumc, 4/8 Musterlösung Aufgabe 1 a) Geometrische Darstellung: y e y e x 2 x 1 b) b LS = (A T A) -1 A T y A = [ ] A T A = [ ] (A T A) -1 = [ ] A T y = [2 6] T b LS = [1 1] T c) A enthält zwei abhängige Spalten und kann nicht mehr invertiert werden. Trotzdem kann mit der Pseudoinversen eine (von unendlich vielen) LS-Lösungen bestimmt werden. Der folgende Matlab-Code generiert das Resultat: x1=[1 0 0]'; x2=[2 0 0]'; y=[2 2 2]'; bls=pinv(a)*y; ye=a*bls; b LS = [ ] T y e = [2 0 0] T y e ist eindeutig und entspricht der Projektion von y auf die Gerade mit dem Einheitsvektor x 1. Es gibt aber unendlich viele Linearkombinationen, um y e zu bilden, z.b. auch b=[0 1] T. Unter all den möglichen Lösungen weist b LS aber die kleinste Länge auf.

5 ZHAW, DSV2, 2007, Rumc, 5/8 Aufgabe 2 a) Darstellung der geschätzten Messwerte in Matrizenform: ye1 1 x1 1 x1 y 1 x 1 x b = b + b = = A b e y e3 1 x 3 1 x 3 b1 y e4 1 x4 1 x4 A = [ ] b) Optimale Koeffizienten b LS = (A T A) -1 A T y A T A = [ ] (A T A) -1 = [ ] A T y = [ ] b LS = [ ] T c) y e = A b LS = [ ] T Die geschätzten Messwerte y en liegen auf einer Geraden mit Offset und Steigung d) Die LS-Koeffizienten b LS stimmen mit den echten Modellparametern immer besser überein, je mehr Messwertpaare (x n,y n ) vorliegen.

6 ZHAW, DSV2, 2007, Rumc, 6/8 Aufgabe 3: y[2] x[1] x[0] b1 a) y[3] = x[2] x[1] b 2 y[4] x[3] x[2] bzw. y = A b A = [ ] b) b LS = (A T A) -1 A T d A T A = [ ] (A T A) -1 = [ ] A T y = [ ] b LS = [ ] T c) Sinus-Signal: x[n] = [ ] Prädiktion: y[n] = [ ] z.b. y[2] = = usw. d) E(z) = X(z) A(z) wobei A(z) = 1-2 z -1 + z -2 X(z) = E(z) H(z) wobei H(z) = 1 / A(z) = 1 / (1-2 z -1 + z -2 ) 0 x[n] = sin(2π f 0 nt s ), n 2 z -1 2 z -1 x[1] = sin(2π f 0 /f s ) -1 x[0] = 0 H(z) ist ein Allpol-IIR-Filter. IH(f)I weist bei f=f 0 einen hohen Peak auf. Die Pole liegen auf dem Einheitskreis. Es besteht die Gefahr der Instabilität, wenn viele x[n]-werte generiert werden.

7 ZHAW, DSV2, 2007, Rumc, 7/8 e) In der folgenden Abbildung sind das Signal x[n] (Linie), die Prädiktionswerte y[n] (Kreise) und das Fehlersignal e[n] (Sterne) dargestellt. Der Click an der Stelle t=10 T s ist gut sichtbar. Der lineare Prädiktor kann an dieser Stelle den Signalverlauf von x[n] nicht gut vorhersagen. Das Fehlersignal e[n] ist deshalb an dieser Stelle (plus die Filterverzögerung) deutlich grösser als Null. An allen anderen Stellen kann der lineare Prädiktor das Signal x[n] aber gut vorhersagen. Durch Analyse des Peaks im Fehlersignal e[n] kann der Click detektiert und in einem weiteren Schritt allenfalls restauriert werden. Bitte beachten Sie, dass durch Differenzieren der Click in diesem Beispiel nicht detektiert werden kann, weil der Ton so hoch ist bzw. das Tonsignal sich so schnell ändert, dass die zusätzliche Signaländerung durch den Click nicht auffällt. Click-Detektion mit Hilfe der Ableitung funktioniert nur gut für tiefere Töne.

8 ZHAW, DSV2, 2007, Rumc, 8/8 Matlab-Code: % ============================================================ % DSV1, Uebung 7, Aufgabe 3 % ============================================================ clear; close all; % Parameter % ============================================================ fs=8000; f0=1000; N=20; M=2; % Harmonisches Signal % ============================================================= x=sin(2*pi*f0*[0:n]/fs); x(11)=x(11)-0.5; % Glitch d=x(m+1:n+1)'; % Bestimmung der optimalen Filterkoeffizienten % ============================================================= A=[x(M:N)' x(m-1:n-1)']; b=inv(a'*a)*a'*d; % Prädiktion % ============================================================= y=zeros(1,n-1); for n=3:n+1, y(n-2)=b(1)*x(n-1)+b(2)*x(n-2); end % Prädiktionsfehler % ============================================================== e=x(3:n+1)-y; % Ausgabe bzw. Verifikation % ============================================================= plot([0:n],x,[2:n],y,'o',[2:n],e,'x','linewidth',2.0); grid; xlabel('zeit [Ts]'); ylabel('x[n], y[n] und e[n]');