3.8 Methode der kleinsten Quadrate

Transkript

1 3.8 Methode der leiste Qudrte Lest Squres Normlgleichug usggsput: Üerestimmtes System.? Mehr Gleichuge ls Uete Sei eie m Mtri mit m> ud miml vollem Rg: rg d.h. ildet de R m i de gze R. Ds System ist d i.. icht lösr! Versuche ds Prolem so gut wie möglich zu löse! Miimiere dzu die weichug - i psseder Norm!

2 m este eiget sich dzu die eulid sche Norm d sie uf eie differezierre Futio f führt: : mi + m m m f : M K

3 Die Futio f eschreit eie Proloide -dim. Prel. Ds eideutige Miimum dieser Futio ist der Stelle der die leitug gleich Null ist wgrechte gete. m i i d df für i... oder m i m i

4 I Mtrischreiweise: i i i Normlgleichug zu : Die Mtri ist eie Mtri vo Rg d Rg ht ud eschreit dher ei eideutig lösres qudrtisches lieres Gleichugssystem. llerdigs ist die Koditio vo oft sehr viel schlechter ls die vo de: - 6 -

5 / / * mi m mi m m m m m cod iv cod σ σ λ λ λ λ λ λ Im folgede schitt werde wir dher ei esseres Verfhre zur Lösug dieses Prolems ee lere. Dzu werde esser orthogole Mtrize verwedet um diese Koditiosverschlechterug zu vermeide

6 Lieres usgleichsprolem usgleichsgerde Gegee: Putepre i der Eee i yi i...; Gesucht: este Gerde die möglichst he de Pute liegt y g +. + M Es soll lso gelte: + oder i Mtrischreiweise y M y - 6 -

7 mit ud y M M. y y y M Die Normlgleichug lutet lso. y y Die Lösug dieses Gleichugssystems liefert ud ud dmit die gesuchte Gerde y

8 llgemeier: stzfutioe ud g g m K Pute >m y y K Gesucht : mit m g f y f K Mit ist d m m g g g g G L M M L m y y G G G M M zu löse. Ergeis ist die äheste Futio de vorgegeee Pute die us de g... g m lier zusmmegesetzt ist

9 3.9. Die QR-Zerlegug eier Mtri Scho vorher he wir emert: - codu i GE ev. groß uch ei leiem cod; - Für schlecht oditioiert: ws ist der Rg vo! - cod groß - er codq cod flls Q orthogol. lso sid orthogole Mtrize sehr gut für äquivlete Umformuge vo geeiget vgl. LU-Zerlegug. ußerdem ist Q Q lso sid Gleichugssysteme i Q leicht zu löse. Versuche dher log zu LR eie Zerlegug der Form QR zu fide mit Q orthogol ud R oere Dreiecsmtri

10 3.9. Elemetre orthogole Mtrize Orthogole Mtri : G cos ϕ si ϕ si ϕ cos ϕ Givesrefleio. De G G GG cos ϕ si ϕ si ϕ cos ϕ cos ϕ si ϕ si ϕ cos ϕ cos ϕ + si ϕ si ϕcos ϕ cos ϕsi ϕ cos ϕsi ϕ si ϕcos ϕ si ϕ + cos ϕ ;

11 ltertiv Givesrottio: cos ϕ si ϕ si ϕ cos ϕ G ist eideutig estimmt durch de Wiel ϕ. Bestimme u ϕ so dss ~ ~ G ~ ~ ~ Dzu muss gelte: ~ oere Dreiecsmtri wird.! si ϕ cos ϕ si ϕ cos ϕ Lösug: cot ϕ ; ϕ rcctg oder ϕ rctg Ist so ist eie weitere rsformtio ötig!

12 Numerisch stilere rt der Berechug : oder öte fst sei: ρ sig + ; cos ϕ ; si ϕ ; ρ ρ Gives-Refleio für de llgemeie Fll: Im Wesetliche Eiheitsmtri is uf Bloc der wie oe defiiert ist hägig vo ϕ. Multiplitio mit llgemeier Gives-Mtri:

13 i i G i cos si si cos O O O ϕ ϕ ϕ ϕ

14 zur Elimitio eies Elemetes i der Mtri. Dzu multipliziere wir G i. Dieses Produt verädert ur die i-te ud die -te Zeile vo. Es geügt vom Gesmt-System ur diese eil zu etrchte. lso muss wieder ϕ rcctg i gesetzt sei wie oe. ud i Mit eier solche Mtri G wird d im erste Schritt zu Null gemcht. G G I G cos ϕ si ϕ si ϕ cos ϕ c s s c - 7 -

15 Geuere lyse eies llgemeie Elimitiosschritts: O i c s O s c O O M M i O i ii O verädert ur -te ud i-te Zeile; i-te Zeile: i s ci für... speziell: i s ci! soll Null werde ud legt dher ϕ fest. -te Zeile: c + si für... mit c ud s zu oige ϕ. G i - 7 -

16 G G K G Verwede der Reihe ch 3 zur Bereitug der erste Splte lso um 3 K zu Null zu mche ud dch G3 G4 K G... G ud um 3 4 K... ud zu Null zu mche. G G Die Reihefolge i der die i zu Null gemcht werde ist gegee durch: - 7 -

17 .... M M. 3 L /. Jeweils ötig ist eie Multiplitio mit Gives-Refleio G i i...- ud i+... lso eötigt m isgesmt -/ Givesrefleioe um eie qudrtische Mtri uf Dreiecsgestlt zu trsformiere. M eutze lso immer ds Digolelemet ud eie Komitio vo i-ter/-ter Zeile um i zu Null zu mche

18 Q : G G LG LG LG Mit ergit sich lso Q G G LG mit eier oere Dreiecsmtri R. Q G LG LG LG G L G D ist d i i ud Q*R. Q ist gegee durch die eizele G i ; edes G i ist eideutig gegee durch ds ϕ i ds ötig wr um geu ei i zu elimiiere. Geuso m für eie m Mtri m> r eie QR- Zerlegug ereche mit G Q. R R

19 Wie ei der Guss-Elimitio elimiiert m lso mit de Digolelemete der Reihe ch sämtliche Uterdigolelemete. Der Vorteil der QR-Zerlegug: cod codqr codr Gut für schlecht oditioierte Systeme wedr uf rechtecige Systeme dere Orthogolisierugsverfhre: - Grm-Schmidt orthoormlisiere Vetore - Householder erzeuge i eiem Schritt eie gze Nullsplte

20 wedug ei Lierer usgleichsrechug: mi mi QR mi Q QR mi R Q d Q orthogol ud eulid sche Norm. R ist oere Dreiecsmtri der R Dimesio m ud volle R Rges

21 Ds oige Miimum erhält m durch mi mi mi ~ ~ ~ ~ R R Q R + us der Lösug des Dreiecssystems ~ R. Der Wert des Miimums ist gegee durch ~

22 Beispiel: QR-Zerlegug für Lest Squres: mi mi Erster Schritt: : + + c s c s s c s c c s s c mit 4 / / π ϕ s c Zweiter Schritt: 3 :

23 c s c s s c mit / π ϕ s c / / / / Q R

24 / / / / Q lso wedug uf Miimierugsprolem : mi mi / / / / mi mi - 8 -

25 Lösug ls Lösug des Dreiecsgleichugssystems: I diesem Fll liefert sogr eie geue Lösug vo d der Fehlerterm gleich Null ist. QR-Zerlegug ist i dieser Form wedr für elieige rechtecige Mtri so lge volle Rg esitzt. Koste des QR-Verfhres mit Gives für Mtri: 3 + O lso teuerer ls Guss-Elimitio mit 3 /3 Ei Elimitiosschritt ei Splte : mult + dd 6 flop s 3 Isgesmt: *6 + O Bei m Mtri mit m> ud Rg: 3m

26 wedug des QR-Verfhre ei - schlecht oditioiertem Gleichugssystem - üerestimmtem Gleichugssystem mit vollem Rg Stelle der Normlgleichug wie oe eschriee - llgemeiem ichtqudrtische System i der Form QP R mit Permuttio P zum Vertusche vo Splte. P ist ötig um eie Bloc volle Rges ch vore/oe zu trsportiere Beispiel ud zur - Etdecug fst lier hägiger eigetlich üerflüssiger Gleichuge umerische Bestimmug des Rgs vo - Redutio der Mtri uf de wesetliche eil Noise-reductio - 8 -

27 3. Regulrisierug I viele prtische weduge ht m zwr ei üerestimmtes lieres Gleichugssystem vorliege er so dss die Normlmtri uch och fst sigulär ist! Ddurch erhält m ei der Lösug dieses Prolems eie Vetor der sehr groß ist: Ist i B die Mtri B fst sigulär ivb sehr groß ivb* sehr groß Durch Mess/Rudugsfehler ethält er die rechte Seite viele leie Störuge oise Rusche die i d sehr groß werde so dss die eigetlich geu erechete Lösug uruchr ist. ~ B + Δ B + B Δ + B Δ

28 usweg: Suche verüftige Lest Squres Lösug durch Miimierug mit Neeedigug: soll icht zu groß werde. mi + γ Miimerug Nullstelle der leitug führt uf ds sog. regulrisierte Gleichugssystem + γ I Idee: Verschiee durch ufddiere vo γ I so dss die eue Mtri esser oditioiert ist

29 D ist iv +γ I << iv Dher führe i dem eue Gleichugssystem die Ruschompoete i icht mehr zu eiem etreme wchse der Lösug. M weiß dss die gesuchte Lösug icht zu groß sei ud dies wird durch die Regulrisierug gewährleistet. γ heißt Regulrisierugsprmeter ud die hier eschrieee Methode heißt ihoov-regulrisierug. Regulrisierug wird häufig gewedet ei Proleme der Bildverreitug z.b. ei verruschte uschrfe Bilder Guss-Elimitio Normlegleichug ud QR-Zerlegug ud Regulrisierug sid die wichtigste Werzeuge für