Methode der kleinsten Quadrate

Transkript

1 Methode der kleiste Quadrate KAPITEL 5: REGRESSIONSRECHNUNG Die Methode der kleiste Quadrate (MklQ) ist ei Verfahre zur Apassug eier Fuktio a eie Puktwolke. Agewadt wird sie beispielsweise, um eie Gesetzmäßigkeit aus stichprobeartig aufgeommee Messwerte herzuleite. Aufgabe: Suche eier optimale Apassug eier Fuktio (Kurve, Fläche) gemäß folgeder Gleichuge: y f x ;, (Kurve), ud sid die ubekate Parameter. z f x, y;, (Fläche), ud sid die ubekate Parameter, x, y ud z sid bekat (Messwerte). Eie optimale Apassug liegt vor, we die Summe der Abweichugsquadrate der Messwerte vo de Werte der Fuktio miimal ist. Wichtig ist, dass die Quadrate der Abweichuge betrachtet werde, de die Summe der eifache Abweichuge köte ja auch dadurch sehr gerig sei, dass sich egative ud positive Abweichuge aufhebe. Die eifache Abweichuge sid die Differeze aus Messwert ud geschätztem Wert: i f ;, bzw. i f, ;,. Wir formuliere also für die Summe der Abweichugsquadrate: S, f ;, mi. (Kurve) bzw. S, z i f, ;, mi. (Fläche). Abbildug 05 7

2 Quatifizierug der Abweichuge i Gegebe sid: (, ), i,... (Puktwolke). Fuktiosasatz: z.b. y x (Gerade). Gesucht werde:, mit S, f ;, mi. y y y x y y y x y y y x Aäherug a eie Gerade beispielhaft für Messwerte: P,, P 5,, P 8,, P,5 Summe der Abweichugsquadrate: S, Um die Summe der Abweichugsquadrate zu miimiere, müsse wir wie bei der Ermittlug vo Extrema bei Fuktioe mehrerer uabhägiger Variable verfahre, ämlich zuächst die erste partielle Ableituge bilde ud gleich Null setze: S 0 y x y x y y x 0 S y x x y x x y y x x 0 Die Multiplikatio der Gleichuge mit 0 ud x i 0 ud Summatio ergibt: Wir forme um: 7

3 x i ( Azahl der Messuge) Diese Gleichuge werde als Normalgleichuge bezeichet. Sie köe verwedet werde, um die Ubekate, zu bereche. Für de allgemeie Fall ergebe sich durch eie aaloge Rechug folgede Normalgleichuge: I Matrizeschreibweise: x i ] ] i] y, oder, abgekürzt: X T X X T y (Erklärug folgt!) Wir defiiere die Desig-Matrix X, de Vektor der abhägige Variable y ud de Fehlervektor : x x X : ] ; ;. x y: y y y y ] ] y x Da ist y x y x i Matrizeschreibweise: 7

4 y y ] y y x x ] x x 0 ] ] y X Es ist: ud x x... x x... x ] ] x (, ) (, ) (, )... x x... x ] y ] y y y i] y ] X T y. X T X Das System der Normalgleichuge, das wir aus de erste partielle Ableituge (s.o.) erhalte habe, lautete: X T X X T y. Um die Fuktio zu bestimme, die die Abweichugsquadrate miimiert, beötige wir die Ubekate i, also de Vektor. Dazu forme wir die Normalgleichuge ach de Regel der Matrizerechug um: ud erhalte de Lösugsvektor. X T X X T y (Voraussetzug: X T X 0 ). Die Desig-Matrix X ka für viele verschiedee Asätze (beliebige Azahl vo Messwerte; beliebiger Fuktiostyp (Gerade, Parabel, Polyom, Logarithmusfuktio etc.); auch für mehrdimesioale Fälle (x, y, z ud mehr)) kostruiert werde. Bedigug ist jedoch, dass das Modell additiv ist ud beim Polyom: y x x... k x k. i liearer Form bzw. Positio steht, z.b. 75

5 Allgemei wäre die Desig-Matrix für de Polyomausgleich: Nochmals ei eifaches Beispiel: Durch die drei Pukte: x ; y ; x ; y ; ; y ; x x x x x x... x k... x k... k... x x x... x k] ist eie Ausgleichsgerade zu lege, d. h. eie Gerade y x, so dass die Summe der Quadrate der Fehler, i,,, miimal ist. ( sei, also der mittels der Gerade abgelesee y-wert zu ). Gesucht sid ud. Lösugsformel ( Gaußsche Normalgleichug ): X T X X T y Dari ist ] der gesuchte Koeffizietevektor für die Geradegleichug, x x X : ] ud, x X ist die Desig-Matrix. Awedug der Formel a userem Beispiel: y y y y ] X : ], y ] ; die gegebee Pukte (i,,..., ). X T X ] ] 0 0 6], X T y ] ] 8] 5 Normalgleichug somit: 0 0 6] ] 8] 5. 76

6 Als lieares Gleichugssystem umgeschriebe: Lösugsschema ach Gauß-Jorda: Die Gleichug der gesuchte Ausgleichsgerade lautet also: y 0 x x (Abb. 06). Abbildug 06 77

7 Das sollte ma ach dem Besuch vo Vorlesug ud Übug beherrsche: Was ist die Methode der kleiste Quadrate? Warum verwedet ma die Quadrate der Abweichuge? Wie ist die Desig-Matrix aufgebaut? Wie laute die Normalgleichuge? Awedug der Methode der kleiste Quadrate zur optimale Apassug eier Gerade oder eier Polyomfuktio a eie Mege vo Messwertepaare (Puktwolke) 78