= y - r --Y. x + r -.Y x.

Transkript

1 -7- METHODE DER KLEINSTEN QUADRATE Manfred Borovcnik, Klagenfurt Kurzfaung: In [] habe ich Ideen und Konzepte zu Regreion und Korrelation möglicht ohne bzw. mit elementarter Mathematik entwickelt. In dieer Note ollen mathem~qhe Ergänzungen dazu in einfacher Form dargetellt werden.. Einleitung Daten von zwei Zufallvariablen können durch Punktwolken dargetellt werden. Die Problemgechichte, wann und warum man an eine Punktwolke eine Regreiongerade anpaen möchte, habe ich in [] auführlich gechildert. Nicht näher erläutert wurde in [IJ jedoch, wie man zur peziellen Getalt der Regreiongeraden kommt. Darauf oll im folgenden eingegangen werden. Dabei werden gleichzeitig wichtige mathematiche Konzepte der Regreion und Korrelation miterchloen. Die Regreiongerade: x + (x) = a + bx wurde in [] in der folgenden peziellen Getalt verwendet: = r. x - x Löt man die nach auf o erhält man die Standardform der Geraden mit Achenabchnitt und Steigung = (x - x) = - r --Y. x + r -.Y x. x x Die Regreiongerade (x) bietet einen Schätzwert für den Mittelwert für die abhängige Variable, wenn man ich nur auf "Objekte" bezieht, deren Wert für die unabhängige Variable mit x bekannt it. Dieer Schätzwert untercheidet ich vom gewöhnlichen Mittelwert umo mehr, je weiter x von, x entfernt it"je größer da Verhältni der Standardabweichungen / it und je größer der x Korrelationkoeffizient r it. Die Berechnungmethode für den Korrelationkoeffizienten in [] kann man in einer Formel o zuammenfaen:

2 -8- r :::: n L n- i:::: X.-x (x.-x) (.-) n- L., cov(x,) :::: :::: S S S S S S x x x Bemerkung: In [] wurde der Einfachheit halber l/n al Faktor gewählt, nunmehr wird /(n-) genommen. Auf die innermathematichen Gründe kann hier nicht eingegangen werden. Für die numeriche Berechnung kann man folgende Formel verwenden (Die Daten brauchen dabei nur einmal in den Tachenrechner eingegeben werden) : r :::: LX.. - LX. L. n Dabei kann man die x- bzw. -Daten noch durch eine lineare Tranformation vereinfachen, z.b. X-v X + Xl :::: --, c ohne daß dadurch der Wert von r verändert wurde. Wie aber kommt man zu den Formeln für r owie zur peziellen Gleichung der Regreiongeraden? Gerade da oll im folgenden augeführt werden.. Optimierungproblem zur Fetlegung der Regreiongeraden Eine beliebige Gerade it durch Wahl der Parameter a (Achenab-... chnitt) und b (Steigung) fetgelegt: :::: a + bx. Durch Wahl der Parameter a und b kann man eine Gerade der Punktwolke möglicht gut anpaen. Gut anpaen oll dabei folgende bedeuten: Hat die unabhängige Variable den Wert X., o chätzt man den Wert der ab- hängigen Variablen durch den Punkt (x.,.) auf der Regreionge-... raden, der Schätzfehler dabei it d.:::: (.-.). A Y =a+bx I Xi Fig.l: Schätz fehler bei Eretzung der -Daten durch entprechende Punkte auf der Regreiongeraden. X

3 -9- Zwei Forderungen an die Schätzfehler d. ercheinen "vernünftig": ) Summe, der Seha~z6ehleh gleich Null: L:d. = ) Summe der Quadha~e der Sehä~z6ehleh minimal: L:d~ = minimal Der Audruck L:d~ it abhängig von a und b: Q(a,b) = = L:(. - a - bx.) und oll durch Wahl von a und b minimiert werden. Die Forderung ) ergibt folgende Nebenbedingung:,., L:d i =,d.h. L: (Yi - Y i ) = 0, alo: L: (. - a - bx.) = o. Darau ergibt ich: L:....,. n a - b L:x. = 0 Aufgelöt nach a:, a = - bx. Da bedeutet gleichzeitig, daß der Punkt (x,) auf der Regreiongeraden liegen oll. Die aufgelöte Neben~edingung in die Zielfunktion Q eingeetzt, ergibt: Q(b) = L:[.--b(x. _x)] Auquadrieren ergibt: Q(b) = Die Minimaltelle der Parabel Q(b) erhält man am einfachten durch Nulletzen der Ableitung: Q' (b),., Löung b: = -L:(x. -x)(. -) + bl:(x. _x) = 0,., b = L:(x. - x) (. - ) ~l~ ~l~ = cov(x,) L:(x i - x) ~ =...Y x cov(x,) x = --.Y r x

4 b it Minimum, wie man ich anhand der zweiten Ableitung von Q überzeugen kann. Für a ergibt ich: '" a = - -Y. r. x x 3. Retfehler und Korrelationkoeffizi~nt Die -Daten werden durch die Punkte (x.,.) auf der Regreionge ]. ]. raden gechätzt. Der minimale quadratiche Fehler bei der betmöglichen Wahl der Regreiongeraden it dabei: '" = L( -.) = ]. ]. = L [ i - Y - -Y. r. (xi x = - L (. -) ~Y-----' (n-l) + -Y. r x - L(X.-X) ~-;:;--' (n-l) x. r. L (x. -x) (. -),]. ]. J Y (n-l)r x = (n-) + (n-)r = (n-) [-r ] Meen wir "Varianz" vorübergehend durch die Summe quadraticher Abweichungen und nicht wie biher üblich durch die "mittlere" quadratiche Abweichung, alo durch: - L (. - ) ]. tatt o können wir die letzte Formel plakativ wie folgt auprechen:... () Q(b) = Naiv kann man die Differenz "Urprüngliche Varianz" minu "Retvarianz" L (. - ) _ L (. _.) ]. ].]. al Va~~anz~~dukt~on anprechen und erhält durch entprechende Umformung von () die Beziehung:

5 Urprüngliche Varianz minu -- Retvarianz Urprüngliche Varianz r l: (. - - ) r ~ Da Quadrat de Korrelationkoeffizienten it daher einer ganz einfachen Deutung zugänglich: E gibt an, um welchen Anteil die urprüngliche Varianz der -Daten um den Mittelwert durch Bezugnahme auf die (untertellte) Regreionbeziehung verringert wird. 4. Zerlegung der Streuung Für die mathematiche Theorie der Regreionrechnung it e wichtig, daß man dieen naiv formulierten Sachverhalt abtützen kann: Die individuellen Abweichungen.- kann man o zerlegen: treuen der -~aten um Mittelwert treuen der -Daten um Regreiongerade (x) '" = a + bx treuen der_augleichpunkte (x.,.) um ~ ~ '\ "./"0._.- I x x ordnung l:(._.). Die it die in den -Daten verbleibende Streu- ung, naehdem man chon Bezug auf die Regreionbeziehung genomx Fig.: Zerlegung der Streuung in Komponenten, die verchiedenen "Urachen" zugeordnet we,rden. Die Verringerung der Abweichung von auf nunmehr hat die Größenordnung.- "".-. ",, _.- Abweichung vom Mittelwert Retabweichung Abweichung, enriänt durch Regreionbeziehung Würden die -Daten exart dem Verlauf der Regreiongeraden folgen,,., - o wäre ihre Streuung (quadratiche Abweichung) durch l:(.-) gel geben. Diee Streuung it der Regreion von und x zuzuchreiben, ie it "durch die Regreionbeziehung erklärt". Darüberhinau jedoch weichen die -Daten durch weitere "Fehlerquellen" von der Regreiongeraden ab, und zwar in der Größen

6 -- men hat, diee Re~~~~heuu»g it»iqh~ durch die Regreionbeziehung erklärt. Nicht nur da Streuverhalten einzelner Daten läßt ich in die angeprochenen zwei Komponenten zerlegen, ondern auch die Summen der Abweichungquadrate. Behauptung: + Varianz, erklärt Regreionbeziehung Bemerkung: Diee Streuungzerlegung hat u.a. dazu geführt, daß ich in der Entwicklung der Statitik die Varianz und nicht die mittlere lineare Abweichung al Kennziffer für da Streuverhalten von Daten durchgeetzt hat. Der Bewei it leider nur formal, ohne begleitende tiefere und davon unabhängige Einicht zu führen. Durch Auquadrieren der individuellen Abweichungzerlegung und Umordnen ergibt ich: -... A - A L:(. - ) = L:(. -.) + L:(. - ) + L:(. -.) (. - Y) Der Bewei it geführt, wenn die gemichte Summe verchwindet, d.h. fall A L:(Yi - Yi) (Yi - Y) = 0 E gilt (iehe Fig.) A. -. =. - Y + - Yl' =. - - (. - ). Weil (x.,.) und (x,) auf der Regreiongeraden liegen, gilt ferner:. - Y Die kann man zur Umformung beider Faktoren verwenden alo gilt: L:[.--b(X.-X)] b(x.~x) A A - = bl:(.-)(x.-x) - (b) L:(x.-X) Jetzt kann man die pezielle Getalt der Löung b de Regreionproblem aunützen: L: (x. -x) (. --) All b = L:(x.-x) L:(x.-x) (.-) =, worau ich ergibt: Setzt man dieen Audruck oben ein, o ieht man, daß die gemichte Summe wirklich verchwindet.

7 -3-5. Prüfgrößen al Anteil erklärter Streuung Eine Regreiongerade paßt anchaulich dann gut, wenn die Varianzreduktion in Formel () groß it, d.h. fall r groß it. Eine andere Möglichkeit, die Güte der Anpaung der Geraden an die Punktwolke zu prüfen, beteht darin, die durch die Regreionbeziehung erklärte "Varianz" L:(~._) in Formel () anteilmäßig a) auf die urprüngliche Varianz in den -Daten zu beziehen: ( 3) A - L (Yi- ) L(._) = r (leichte Umformung von () ) b) auf die "Retvarianz" zu beziehen: ( 4)... - L: ( i -)... L (. -. ) Sind die Werte von (3) und (4) groß, dann paßt die Re~reion-' gerade gut, dann it die Regreionbeziehung al Quelle, die Variabilität in den -Daten erzeugt, groß im Vergleich zu allen Quellen, die Variabilität in den -Daten erzeugen (Nenner in a» bzw. groß im Vergleich zu in der Regreionbeziehung nicht erfaßten Quellen, die "verurachen", daß die -Daten treuen (Nenner in b». Statt den Quadratummen in (3) und (4) verwendet man in der tatitichen Literatur mittlere Quadrate, (3) bleibt davon unberührt, (4) wird zu (4 J ) (iehe dazu [4]). L(._) (4) ~... - L (.-.) n- 6. Abchließende Bemerkungen Die Methode, die Regreiongerade durch Minimierung der quadratichen Fehler fetzulegen, heißt Methode der kleinten Quadrate. Die vorantehenden überlegungen ollten zeigen: Da der Regreionrechnung zugrunde liegende Optimierungproblem it eigentlich leicht zu faen. Die Löung it durch die einichtige Zuatzforderung ) (Summe der Schätz fehler it Null) direkt und überchaubar - iehe jedoch []. Der Korrelationkoeffizient hat in der Form _r al Varianzreduktion (Formel (» und in der Form von (3) al Anteil erklärter Streu-

8 -4- ung an der Geamttreuung eine ehr direkte Interpretation. Die Zerlegung der Streuung von in Komponenten, die dann verchiedenen "Urachen" zugeordnet werden ollen, Formel (), erchließt eine wichtige inhaltliche Beziehung, it jedoch exakt nur ehr umtändlich zu beweien. Die in der Statitik üblichen Prüfgrößen, (3) und (4'), dafür, daß die Regreion gut paßt, ind eigentlich durch die Deutung al "relative, durch Regreion erklärte Varianz" auch ehr plauibel. Neben den inhaltlichen überlegungen in [] ollten auch die hier erläuterten mathematichen Beziehungen untermauern, daß Regreion und Korrelation "gar nicht o chwierig" ind und daß die Konzepte einen tieferen, durchau vertändlichen Sinn haben. Literatur: () Borovcnik, M.: Regreion und Korrelation - Ein inhaltlicher Zugang zu den grundlegenden Konzepten. In: Stochatik in der Schule 8(988), S 5-3. () Goode, S.M. und Gold, E.M.: Lineare Regreion und Korrelation - Ein elementarer Zugang. In: Stochatik in der Schule 8(988), S (3) KOßwig, F.W.: Auwertung von Meßdaten im naturwienchaftlichen Unterricht. Ein elementarer Zugang zur Regreionrechnung. In: Beiträge zum Mathematikunterricht 983, S (4) Riedwl, H.: Regreiongerade und Verwandte. UTB Tachenbücher. Haupt: Bern und Stuttgart, 980.