9 Verallgemeinerte Lineare Modelle

9 Verallgemenerte Lneare Modelle 9.1 Das Modell der Posson-Regresson a Während sch de logstsche Regresson mt bnären Zelgrössen befasst, lefert de Posson- Regresson Modelle für andere Zähldaten. Wr wollen desen Fall ncht mehr ausführlch behandeln, sondern hn benützen, um auf ene allgemenere Klasse von Modellen vorzubereten. b Bespel gehemmte Reprodukton. In ener Stude zur Schädlchket von Flugbenzn wurde de Reprodukton von Cerodaphna n Abhänggket von verschedenen Konzentratonen des Schadstoffs für zwe Stämme von Organsmen untersucht (Quelle: Myers, Montgomery and Vnng (2001), example 4.5). We Abbldung 9.1.b zegt, fällt de Anzahl der reproduzerenden Organsmen stark ab; de Abnahme könnte etwa exponentelle Form haben. Anzahl 0 20 40 60 80 100 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 Konzentraton Abbldung 9.1.b: Anzahl reproduzerende Indvduen m Bespel der gehemmten Reprodukton. De beden Stämme snd mt verschedenen Symbolen angegeben. c Vertelung. DeZelgrösse Y steneanzahlvonindvduen.deswegenlegt esnahe,hre Vertelung, gegeben de Engangsgrössen, als Posson-vertelt anzunehmen, Y P λ. Der Parameter λ wrd von den Regressoren x abhängen. Ernnern wr uns, dass der Parameter λ der Posson-Vertelung glech hrem Erwartungswert st. Für desen Erwartungswert nehmen wr nun, we n der multplen lnearen und der logstschen Regresson, an, dass er ene Funkton der Regressoren st, zusammen also Y P λ, E Y = λ = h x, und de Y sollen stochastsch unabhängg sen. Verson Dezember 2009, c W. Stahel

154 9 VERALLGEMEINERTE LINEARE MODELLE d Lnk-Funkton. Da der Erwartungswert ncht negatv sen kann, st ene lneare Funkton β 0 + j β jx (j) weder ncht geegnet als Funkton h. Für bnäre Zelgrössen verwendeten wr desen lnearen Prädktor trotzdem und setzten hn glech ener Transformaton des Erwartungswertes, g E Y = η = x T β. (Wrschreben,wefrüher,derKürzehalber x T β statt β 0+ j β jx (j) oderstatt j β jx (j), wenn ken Achsenabschntt β 0 m Modell vorkommen soll.) Als Transformatons-Funkton egnet sch der Logarthmus, denn er macht aus den postven Erwartungswerten transformerte Werte, de kene Begrenzung haben. Der Logarthmus des Erwartungswertes der Zelgrösse Y st also gemäss dem Modell ene lneare Funkton der Regressoren x. Man nennt solche Modelle log-lnear. De Posson-Regresson kombnert nun de logarthmsche Lnk-Funkton mt der Annahme der Posson-Vertelung für de Zelgrösse. e Der Logarthmus verwandelt, we wr berets n der lnearen und der logstschen Regresson erörtert haben, multplkatve Effekte n addtve Terme m Berech des lnearen Prädktors, oder umgekehrt: Wenn g λ = log λ st, glt E Y = λ = exp x T β = e β0 e β 1x (1)... e βmx(m) = e β0 exp β 1 x(1)... exp β m x(m). De Zunahme von x (j) um ene Enhet bewrkt ene Multplkaton des Erwartungswertes λ umden Faktor β j, derauch als Untrsk bezechnet wrd.ist β j postv, so st β j > 1, und der Erwartungswert wrd mt zunehmendem x (j) grösser. f Im Bespel der gehemmten Reprodukton snd de Konzentraton C des Benzns und der verwendete Stamm S de Engangsgrössen. De erwartete Anzahl nmmt mt der Erhöhung der Konzentraton um ene Enhet gemäss enem Haupteffekt-Modell log E Y = η = β 0 +β C C +β S S um enen Faktor exp β C ab, was ener exponentellen Abnahme glech kommt, deren Geschwndgket für bede Stämme glech st. De beden Stämme unterscheden sch durch enen konstanten Faktor exp β S. Wenn de Geschwndgketen für de beden Stämme unterschedlch sen sollen oder, anders gesagt, der Untersched zwschen den Stämmen für de verschedenen Konzentratonen ncht den glechen Faktor ergeben soll, dann braucht das Modell enen Wechselwrkungs-Term β CS C S. g Bespel Schffs-Havaren. Grosse Wellen können an Lastschffen Schäden verursachen. Wovon hängen dese Havaren ab? Um dese Frage zu beantworten, wurden 7 Flotten verglechbarer Schffe n je zwe Beobachtungsperoden untersucht(quelle: McCullagh and Nelder (1989, p. 205), Tel der Daten). Für jede deser 7 2 Beobachtungsenheten wurde de Summe der Betrebsmonate über de Schffe (M) erhoben und de Anzahl Y der Schadenseregnsse eruert. In der Tabelle n Abbldung 9.1.g snd ausserdem de Beobachtungsperode (P), de Bauperode (C) und Schffstyp (T) notert. De Daten ergeben sch also aus ener Grupperung von ursprünglchen Angaben über enzelne Schffe, de entsprechend der Bauperode, dem Schffstyp und der Beobachungsperode zusammengefasst wurden. Der wchtgste und offenschtlchste Zusammenhang derjenge zwschen Anzahl Schadenseregnsse und Anzahl Betrebsmonate st n der Abbldung grafsch festgehalten.

9.1. DAS MODELL DER POISSON-REGRESSION 155 Anz.Schaeden 0 10 20 30 40 50 60 1 0 1 1960 74 1975 79 0 01 0 50 100 200 500 1000 2000 5000 20000 50000 Betrebsmonate 1 1 1 0 1 1 1 0 0 0 10 20 30 40 50 60 T C P M Y 1 0 60 0 127 0 2 0 60 1 63 0 3 0 65 0 1095 3 4 0 65 1 1095 4 5 0 70 0 1512 6 6 0 70 1 3353 18 7 0 75 1 2244 11 8 1 60 0 44882 39 9 1 60 1 17176 29 10 1 65 0 28609 58 11 1 65 1 20370 53 12 1 70 0 7064 12 13 1 70 1 13099 44 14 1 75 1 7117 18 Abbldung 9.1.g: Daten zum Bespel der Schffs-Havaren. T: Schffstyp, C: Bauperode, P: Beobachtungsperode, M: Betrebsmonate, Y: Anzahl Havaren Es nteressert uns, welchen Enfluss de Engangsgrössen auf de Schadensfälle haben. Welcher Schffstyp st anfällger? Gbt es Unterschede zwschen den beden Beobachtungsperoden? h Für deses Bespel st das folgende Modell plausbel: log E Y = β 0 +β M log M +β T T +β P P +γ 1 (C1) +γ 2 (C2) +γ 3 (C3) wobe C1, C2 und C3 dummy Varable snd, de der Varablen C (Bauperode) entsprechen, welche her als Faktor enbezogen wrd. In der Sprache der Modell-Formeln wrd das verenfacht zu Y log10(m) + T + P + C. Weshalb wurde her de Summe M der Betrebsmonate logarthmert? Es st plausbel, anzunehmen, dass de erwartete Anzahl Schadensfälle exakt proportonal zu M st, also, wenn man de anderen Enflussgrössen weglässt, E Y = αm, und deshalb log E Y = β 0 + β M log M mt β 0 = log α und β M = 1. Wr werden also erwarten, dass de Schätzung β M ungefähr 1 ergbt. Dass sch ene allfällge Veränderung zwschen den Beobachtungsperoden P bzw. den Schffstypen T ebenfalls multplkatv auswrken sollte, st sehr plausbel. Der Faktor exp β P beschrebt dann de Veränderung des Rskos, d.h. we vel mal mehr Schäden n der zweten Perode zu erwarten snd. Term ohne Koeffzent. Nochmals zum Enfluss der Betrebsmonate: Da wr für β M aus guten Gründen den Wert 1 erwarten, muss deser Koeffzent egentlch ncht aus den Daten geschätzt werden. In der gewöhnlchen lnearen Regresson lesse sch ene solche Idee enfach umsetzen: Wr würden statt der Anzahl der Schäden Y de Rate Y /M der Zelgrösse verwenden (und M für ene Gewchtung verwenden). Her geht das schef, wel Y /M kene Posson-Vertelung hat. Deshalb muss das Programm de Opton ener Vorgabe für jede Beobachtung vorsehen. In der S-Funkton glm gbt es dafür en Argument offset.

156 9 VERALLGEMEINERTE LINEARE MODELLE j Im Bespel wurden de Schffe, de egentlch de natürlchen Beobachtungsenheten wären, zu Gruppen zusammengefasst, und de Zelgrösse war dann de Summe der Zahlen der Havaren für de enzelnen Schffe. We n 7.1.f erwähnt, st dese Stuaton häufg. Es entstehen mestens Kreuztabellen. Wr werden n Kaptel 14.S.0.b sehen, dass de Posson- Regresson (oder besser -Varanzanalyse) für hre Analyse ene entschedende Rolle spelt. 9.2 Das Verallgemenerte Lneare Modell a b Logstsche und Posson-Regresson blden zwe Spezalfälle der Verallgemenerten Lnearen Modelle (generalzed lnear models), und auch de gewöhnlche lneare Regresson gehört dazu. Wr haben berets de wchtgste Annahme, de allen gemensam st, formulert: Der Erwartungswert der Zelgrösse, geegnet transformert, st glech ener lnearen Funkton der Parameter β j, genannt der lneare Prädktor, g E Y = η = x T β. De Funkton g, de Erwartungswerte von Y n Werte für den lnearen Prädktor η verwandelt, wrd Lnk-Funkton genannt. In der gewöhnlchen lnearen Regresson st g de Identtät, n der logstschen de Logt- Funkton und n der Posson-Regresson der Logarthmus. Damt st nochnchtsüberdeform der Vertelung von Y gesagt. Indergewöhnlchen Regresson wurde ene Normalvertelung angenommen, mt ener Varanz, de ncht vom Erwartungswert abhängt. Es war snnvoll, de addtve Zufallsabwechung E enzuführen und für se m üblchen Fall ene (Normal-) Vertelung anzunehmen, de für alle glech war. Das wäre für de logstsche und de Posson-Regresson falsch. Her st de Vertelung von Y jewels durch den Erwartungswert (und m l m Fall von grupperten Daten n der logstschen Regresson) berets festgelegt. De Verallgemenerten Lnearen Modelle lassen her enen grossen Spelraum offen. De Vertelung von Y, gegeben hr Erwartungswert, soll zu ener parametrschen Famle gehören, de hrersets der grossen Klasse der Exponentalfamlen angehört. Dese st so wet gefasst, dass möglchst vele üblche Modelle dazugehören, dass aber trotzdem nützlche mathematsche Theore gemacht werden kann, de zum Bespel sagt, we Parameter geschätzt und getestet werden können. c Exkurs: Exponentalfamlen. Ene Vertelung gehört ener so genannten enfachen Exponentalfamle an, wenn sch hre Dchte f y oder Wahrschenlchketsfunkton P Y = y schreben lässt als yθ b θ exp ω +c y;φ,ω. φ Das seht komplzert aus! Es st, we beabschtgt, allgemen genug, um nützlche und bekannte Spezalfälle zu umfassen. Was bedeuten de enzelnen Grössen? Der Parameter θ hesst der kanonsche Parameter. De Engangs-Varablen werden, wenn wr weder zu den Verallgemenerten Lnearen Modellen zurückkehren, desen kanonschen Parameter kontrolleren. φ st en weterer Parameter, der mt der Varanz zu tun hat und Dspersons- Parameter genannt wrd. Er st normalerwese en Störparameter und wrd mt

9.2. DAS VERALLGEMEINERTE LINEARE MODELL 157 der Regresson nchts zu tun haben. (Genau genommen st de Famle nur ene Exponental-Famle, wenn φ als fest angenommen wrd.) De Grösse ω st ene feste Zahl, de bekannt st, aber von Beobachtung zu Beobachtung verscheden sen kann. Se hat de Bedeutung enes Gewchtes der Beobachtung. Man könnte se auch n de Grösse φ hnennehmen. Be mehreren Beobachtungen wrd ω von abhängen, während φ für alle glech st. (Be grupperten Daten n der logstschen Regresson wrd ω l = m l sen, we wr glech feststellen werden.) De Funkton b. legt fest, um welche Exponentalfamle es sch handelt. De Funkton c. wrd benötgt, um de Dchte oder Wahrschenlchketsfunkton auf ene Gesamt-Wahrschenlchket von 1 zu normeren. d Erwartungswert und Varanz können allgemen ausgerechnet werden, µ = E Y = b θ, var Y = b θ φ/ω. Da de Abletung b. der Funkton b jewels umkehrbar st, kann man auch θ aus dem Erwartungswert µ ausrechnen, θ = (b ) 1 µ. Nunkannmanauchde b θ drektalsfunktonvon µ schreben, V µ = b (b ) 1 µ. Man nennt dese Funkton de Varanzfunkton, da gemäss der vorhergehenden Glechung var Y = V µ φ/ω glt. e Wr wollen nun enge Vertelungen betrachten, de sch n deser Form darstellen lassen. Zunächst zur Normalvertelung! Ihre logarthmerte Dchte st log f y;µ,σ 2 = log 2π o σ 1 2 ( y µ σ ) 2 = µy 1 2 µ2 σ 2 y 2 /(2σ 2 ) 1 2 log 2π o σ 2 (wobewr π o = 3.14159... schrebenzurunterschedungvomparameter π).seentsprcht mt θ = µ, b θ = θ 2 /2, φ = σ 2, ω = 1 c y;φ,ω = y 2 /(2φ) (1/2)log 2π o φ der vorhergehenden Form auch wenn man sch zum Seufzer: Weso auch enfach, wenn es komplzert auch geht! veranlasst seht. De obgen Formeln fürerwartungswertundvaranz sndraschnachgeprüft: b θ = θ = µ und b θ = 1 und damt var Y = φ/ω = σ 2.

158 9 VERALLGEMEINERTE LINEARE MODELLE f Bnomalvertelung. In 8.2.g wurde der Antel Ỹ l von Erfolgen unter m l Versuchen als Zelgrösse verwendet und festgestellt, dass m l Ỹ l bnomal vertelt st. De Wahrschenlchketen, ( ohne und Index l geschreben, snd dann P Y = y = m ) my π my (1 π) m my und hre logarthmerten Werte kann man schreben als Her st log P Y = y ( = log m my) +(my)log π +mlog 1 π (my)log 1 π = mylog π/(1 π) +mlog 1 π +log ( m my). θ = log π/(1 π) = π = e θ /(1+e θ ) b θ = log 1+exp θ, ω = m, φ = 1 ( c y;φ;ω = m ) my Für Erwartungswert und Varanz glt µ = b θ = exp θ /(1+exp θ ) = π und var Y = b θ = exp θ (1+exp θ ) (exp θ ) 2 /(1+exp(θ)) 2 = π(1 π). Für bnäre Varable glt de Formel natürlch auch, mt m = 1. g Posson-Vertelung. De Wahrschenlchketen snd Her erhält man P Y = y = 1 y! λy e λ, log P Y = y = log y! +ylog λ λ. θ = log(λ), b θ = exp(θ) = λ φ = 1, ω = 1, c y;φ;ω = log y! µ = b θ = exp(θ), var Y = b θ = exp θ h Wetere wchtge Vertelungen, de n de gewünschte Form gebracht werden können, snd de Exponentalvertelung und allgemener de Gamma-Vertelung und de Webull- Vertelung, de für kontnuerlche postve Grössen we Überlebenszeten geegnet snd und deshalb unter anderem n der Zuverlässgkets-Theore ene wchtge Rolle spelen. Zurück zum Regressonsmodell: Be logstscher und Posson-Regresson haben wr den Zusammenhang zwschen Zel- und Enflussgrössen mt Hlfe der Lnk-Funkton g modellert. Se hat zunächst den Zweck, de möglchen Erwartungswerte auf den Berech der möglchen Werte des lnearen Prädktors also alle (reellen) Zahlen auszudehnen. De nahelegenden Lnk-Funktonen snd g µ = log µ, wenn E Y >0 sen muss, aber sonst belebg st, g µ = logt µ = log µ/(1 µ), wenn E Y zwschen 0 und 1 legen muss, g µ = µ, wenn E Y kenen Enschränkungen unterlegt, De Lnk-Funkton verknüpft den Erwartungswert µ mt dem lnearen Prädktor η, und µ st senersets ene Funkton des kanonschen Parameters θ. Des kann man zusammen schreben als η = g b θ = g θ.

9.3. SCHÄTZUNGEN UND TESTS 159 j De bsher betrachteten verallgemenerten lnearen Modelle haben noch ene spezelle Egenschaft: De gewählte Lnk-Funkton führt den Erwartungswert µ n den kanonschen Parameter θ über. Damt wrd θ = η oder g glech der Identtät. Es wrd also angenommen, dass de Kovarablen-Effekte lnear auf den kanonschen Parameter wrken. Dese Funktonen nennt man kanonsche Lnk-Funktonen. k Prnzpell kann man aber auch andere Lnk-Funktonen verwenden. Wenn bespelswese 0 < E Y < 1 gelten muss, lässt sch jede kumulatve Vertelungsfunkton als nverse Lnk-Funkton ensetzen (8.2.j). Wenn es kene konkreten Gründe für ene spezelle Lnk- Funkton gbt, verwendet man aber n der Regel de kanonsche. Zum enen bestzen kanonsche verallgemenerte lneare Modelle bessere theoretsche Egenschaften (Exstenz und Endeutgket des ML-Schätzers). Zum andern verenfachen sch dadurch de Schätzglechungen. Wenn sch n der Praxs auf Grund der Resduenanalyse en Hnwes auf en schlecht passendes Modell zegt, st es oft snnvoll, we n der multplen lnearen Regresson, zunächst durch Transformatonen der Engangsgrössen zu versuchen, de Anpassung des Modells zu verbessern. Wenn das nchts hlft, wrd man de Lnk-Funkton ändern. 9.3 Schätzungen und Tests a Der Vortel ener Zusammenfassung der betrachteten Modelle zu enem allgemenen Modell besteht darn, dass theoretsche Überlegungen und sogar Berechnungsmethoden für alle gemensam hergeletet werden können. De Schätzung der Parameter erfolgt nach der Methode der Maxmalen Lkelhood, und de Tests und Vertrauensntervalle beruhen auf genäherten Vertelungen, de für Maxmum-Lkelhood-Schätzungen allgemen hergeletet werden können. b Lkelhood. De Parameter, de uns nteresseren, snd de Koeffzenten β j. Se bestmmen den Erwartungswert µ für jede Beobachtung, und deser bestmmt schlesslch θ (sehe 9.2.d). Wr nehmen an, dass φ für alle Beobachtungen glech st. Der Betrag ener Beobachtung zur Log-Lkelhood ll st glech ll y ;β = log P Y =y x,β = ( y θ b θ ) ω /φ+c y ;φ,ω, θ = g x T β. Für Posson-vertelte Zelgrössen mt der kanonschen Lnk-Funkton erhält man ll y ;β = y log λ λ log(y!) = y η e η log(y!), η = x T β. Da es sch um unabhängge Beobachtungen handelt, erhält man de Log-Lkelhood als Summe ll y;β = ll y ;β. c Maxmum-Lkelhood-Schätzung. Wr leten her de Schätzungen für den Spezalfall der Posson-Regresson mt log-lnk her. De analoge, allgemene Herletung der Schätzglechungen, ene Skzzerung des Schätzalgorthmus und enge Egenschaften der Schätzer fndet man m Anhang 9.A. De Abletung der Log-Lkelhood nach den Parametern setzt sch, we de Log-Lkelhood, aus Beträgen der enzelnen Beobachtungen zusammen, de Scores genannt werden, s (j) ll β β = = ll β j η η η = (y λ ) x (j). β j

160 9 VERALLGEMEINERTE LINEARE MODELLE Setzt man alle Komponenten glech null, s β = s β = 0, so entstehen de mplzten Glechungen, de de Maxmum-Lkelhood-Schätzung β bestmmen; für den Posson-Fall (y λ ) x (j) = 0. Zur Lösung deser Glechungen geht man so vor, we das für de logstsche Regresson n 8.3.e skzzert wurde und we es n Anhang 9.b beschreben st. d Schätzung des Dspersons-Parameters. Im allgemenen Modell muss auch der Dspersons-Parameter φ geschätzt werden, und auch das erfolgt durch Maxmeren der Lkelhood. Für de spezfschen Modelle kommt dabe ene recht enfache Formel heraus. Für de Normalvertelung kommt, bs auf enen Faktor (n p)/n, de üblche Schätzung der Varanz heraus. Für bnomal- und Posson-vertelte Zelgrössen muss ken Dspersons- Parameter geschätzt werden wr werden n 9.4 dese gute Nachrcht allerdngs weder enschränken. e Um Tests und Vertrauensbereche festzulegen, braucht man de Vertelung der Schätzungen. Es lässt sch zegen, dass als asymptotsche Näherung ene multvarate Normalvertelung glt, β a N β, V (β), wobe de Kovaranzmatrx V (β) normalerwese von β abhängen wrd. (Genaueres steht m Anhang, 9.e.) Damt lassen sch genäherte P-Werte für Tests und Vertrauensntervalle angeben. In der lnearen Regresson galt de Vertelung exakt, mt V (β) = σ 2 (X T X) 1, und das ergab exakte P-Werte und Vertrauensntervalle. f Für das Bespel der gehemmten Reprodukton zegt Tabelle 9.3.f den Aufruf der S-Funkton regr und de Computer-Ausgabe, de de berets bekannte Form hat. Bede Engangsgrössen erwesen sch als hoch sgnfkant. Call: regr(formula = count ~., data = d.cerofuel, famly = posson, calcdsp = F) Terms: coef stcoef sgnf df p.value (Intercept) 4.455 0.000 57.02 1 0 fuel -1.546-0.869-16.61 1 0 stran -0.274-0.138-2.84 1 0 devance df p.value Model 1276 2 0.0000 Resdual 88 67 0.0433 Null 1364 69 NA Famly s posson. Dsperson parameter taken to be 1. AIC: 417.3 Tabelle 9.3.f: Computer-Ausgabe von regr für das Bespel der gehemmten Reprodukton

9.3. SCHÄTZUNGEN UND TESTS 161 g Devanz. Für de logstsche Regresson wurde de Lkelhood, de mt der Anpassung der Modell-Parameter errecht wrd, mt ener maxmalen Lkelhood verglchen, und das lässt sch auch n den andern Verallgemenerten Lnearen Modellen tun. De maxmale Lkelhood entsteht, ndem en maxmales Modell angepasst wrd, das für jede Beobachtung den am besten passenden kanonschen Parameter θ bestmmt. De Devanz st allgemen defnert als D y; µ = 2(ll (M) ll β ) = 2 φ θ = g x T β ω ( ) y ( θ θ ) b θ +b θ wobe y der Vektor aller beobachteten Werte st und µ der Vektor der zugehörgen angepassten Erwartungswerte. Der Tel der Log-Lkelhood-Funkton, der ncht von θ abhängt, fällt dabe weg. In der Formel st θ der Parameter, der am besten zu y passt. Er st jewels bestmmt durch y = E Y = b θ. En Dspersons-Parameter φ lässt sch für das maxmale Modell ncht mehr schätzen; man verwendet den geschätzten Wert des betrachteten Modells. Be der Bnomal- und der Posson-Vertelung fällt deses Problem weg, da φ = 1 st. h Im Posson-Modell snd de geschätzten Parameter m maxmalen Modell glech θ = log y und man erhält D y; µ = 2 (y ) (log y log µ ) e log y +e log µ = 2 y log y / µ (y µ ) Für bnomal vertelte Zelgrössen wurde de Devanz n 8.3. angegeben. Mt Hlfe der Devanz lassen sch auch allgemen de Fragen beantworten, de für de logstsche Regresson berets angesprochen wurden: Verglech von Modellen. Überprüfung des Gesamt-Modells. Anpassungstest. De entsprechenden Devanz-Dfferenzen snd unter gewssen Bedngungen näherungswese chquadrat-vertelt. Für de Resduen-Devanz bnärer Zelgrössen snd dese Bedngungen, we erwähnt (8.3.k), ncht erfüllt. * De Bedngungen snd also für enmal ncht harmlos. Das legt daran, dass m maxmalen Modell M (9.3.g) für jede Beobachtung en Parameter geschätzt wrd; mt der Anzahl Beobachtungen geht also auch de Anzahl Parameter gegen unendlch, und das st für asymptotsche Betrachtungen gefährlch! j De Devanz wrd für de Normalvertelung zur Summe der quadrerten Resduen, de ja be der Schätzung nach dem Prnzp der Klensten Quadrate mnmert wrd. Für andere Vertelungen haben de rohen Resduen (8.4.a) verschedene Varanz und sollten mt entsprechenden Gewchten summert werden. De Grösse T = ω (y µ ) 2 φ V µ hesst Pearson-Chquadrat-Statstk. Wenn φ ncht aus den Daten geschätzt werden

162 9 VERALLGEMEINERTE LINEARE MODELLE muss, folgt se n der Regel genähert ener Chquadrat-Vertelung. Wenn T zu gross wrd, müssen wr auf sgnfkante Abwechung vom Modell schlessen. Das legt enen Anpassungstest fest. Vorher haben wr de Resduen-Devanz als Teststatstk für genau den glechen Zweck verwendet. Se hatte näherungswese ebenfalls de gleche Chquadrat-Vertelung. De beden Teststatstken snd asymptotsch äquvalent. 9.4 Übergrosse Streuung a De Resduen-Devanz des angepassten Modells kann man für enen Anpassungstest verwenden, falls der Dspersons-Parameter ncht aus den Daten geschätzt werden muss. Im Fall von bnomal und Posson-vertelten Zelgrössen st de Varanz ja durch das Modell festgelegt, und der Anpassungstest kann zur Ablehnung des Modells führen. De Devanz msst n gewssem Snne de Streuung der Daten und der Test verglecht dese geschätzte Streuung mt der Varanz, de unter dem Modell zu erwarten wäre. En statstsch sgnfkanter, erhöhter Wert bedeutet also, dass de Daten genauer de Resduen ene übergrosse Streuung zegen. Man sprcht von over-dsperson. Im Bespel der gehemmten Reprodukton war de Resduen-Devanz knapp sgnfkant; es st also ene übergrosse Streuung angezegt. b Damt wr dennoch Statstk treben können, brauchen wr en neues Modell. Statt ener Posson-Vertelung könnten wr bespelswese ene so genannte Negatve Bnomalvertelung postuleren. Es zegt sch aber, dass es gar ncht nötg st, sch auf ene bestmmte Vertelungsfamle festzulegen. Wesentlch st nur, we de Varanz V µ φ/ω der Vertelung von Y von hrem Erwartungwert µ abhängt. Des bestmmt de asymptotschen Vertelungen der geschätzten Parameter. De enfachste Art, ene grössere Streuung als m Posson- oder Bnomalmodell zuzulassen, besteht darn, de jewelge Varanzfunkton bezubehalten und den Dspersons-Parameter φ ncht mehr auf 1 festzulegen. Deser wrd dann zu enem Störparameter. Da damt ken Wahrschenlchkets-Modell endeutg festgelegt st, sprcht man von Quas- Modellen und von Quas-Lkelhood. c DerParameter φ lässtschanalogzurvaranzdernormalvertelungschätzen φ = 1 ω (y µ ) 2 n p V µ. Man telt also de Pearson-Statstk durch hre Frehetsgrade. Üblcher st es aber, statt der Pearson-Statstk de Devanz zu verwenden, de ja, we gesagt (9.3.j), näherungswese das Gleche st. Das ergbt φ = (1/(n p))d y; µ. Im Bespel der gehemmten Reprodukton erhält man mt den Angaben von 9.3.f φ = 88/67 = 1.3. d Im Anhang (9.e) kann man sehen, dass de Kovaranzmatrx der asymptotschen Vertelung der geschätzten Koeffzenten den Faktor φ enthält. (* H enthält den Faktor 1/φ, sehe 9.c.) Durch de Enführung enes Dspersons-Parameters werden deshalb enfach Konfdenzntervalle um den Faktor ˆφ breter und de Werte der Teststatstken um 1 / φ klener. De Funkton regr verwendet den geschätzten Streuungsparameter φ zur Berechnung der Tests von Koeffzenten und von Vertrauensntervallen, sofern der mttlere Wert der Zelgrösse gross genug st (momentan wrd als Grenze 3 verwendet) ausser, des werde mt dem Argument calcdsp=false unterdrückt (we es n 9.3.f getan wurde).

9.5. RESIDUEN-ANALYSE 163 e Beachte: Der Schluss glt ncht n umgekehrter Rchtung. Wenn der Dspersons-Parameter klener als 1 st, verklenern sch ncht de Konfdenzntervalle. Häufg st en klener Dspersons-Parameter en Hnwes darauf, dass n enem Modell für grupperte Beobachtungen de Unabhänggketsannahme zwschen den Enzel-Beobachtungen ncht erfüllt st. Dese Erschenung trtt n der Ökologe mmer weder auf, wenn de Anzahl Arten auf ener Untersuchungsfläche als Zelgrösse benützt wrd. De Posson-Vertelung st her ncht adäquat, da Eregnsse mt ganz verschedenen Wahrschenlchketen gezählt werden. Ene häufge Art st vellecht auf allen Untersuchungsflächen anzutreffen, und wenn es vorwegend solche Arten hätte, wäre de Varaton der Artenzahl scher wesentlch klener, als das von ener Posson-Vertelung festgelegt wrd. Ene Posson-vertelte Varable zählt unabhängge Eregnsse, de glechartg und deshalb glech wahrschenlch snd. f Quas-Modelle. De Idee, enen Dspersons-Parameter enzuführen, ohne en genaues Modell festzulegen, lässt sch verallgemenern: Das Wesentlche am Modell snd de Lnkund de Varanzfunkton. Man legt also nur fest, we der Erwartungswert und de Varanz von Y vom lnearen Prädktor η abhängt. 9.5 Resduen-Analyse a Für de Defnton von Resduen gbt es de ver für de logstsche Regresson engeführten Vorschläge: Rohe Resduen oder response resduals: R = Y µ. We erwähnt, haben dese Resduen verschedene Varanzen. De Prädktor-Resduen(workng resduals oder lnk resduals) erhält man, ndem man de Response-Resduen n der Skala des Prädktors ausdrückt: R (L) = R g µ, Pearson-Resduen: De rohen Resduen werden durch hre Standardabwechung, ohne Dspersons-Parameter φ, dvdert, R (P) = R / V µ /ω. Dese unskalerten Pearson-Resduen denen dazu, den Dspersons-Parameter zu schätzen oder zu prüfen, ob er glech 1 sen kann, we des für das Bnomal- und das Posson-Modell gelten muss (vgl. 9.4). De Grössen R (P) / φ nennen wr skalerte Pearson-Resduen, Devanz-Resduen:JedeBeobachtungergbtenenBetrag d /φ zurdevanz(9.3.g), wobe ) d = 2ω (Y ( θ θ ) b θ +b θ. Für de Normalvertelung snd des de quadrerten Resduen. Um snnvolle Resduen zu erhalten, zeht man daraus de Wurzel und setzt als Vorzechen dejengen der rohen Resduen, also R (D) = sgn Y µ d.

164 9 VERALLGEMEINERTE LINEARE MODELLE Se werden unskalerte Devanz-Resduen genannt unskalert, wel weder der Faktor φ weggelassen wurde. Wenn man hn enbezeht, erhält man de skalerten Devanz-Resduen. b De wchtgsten grafschen Darstellungen der Resduen-Analyse snd: Tukey-Anscombe-Plot: Prädktor-Resduen R (L) werden gegen den lnearen Prädktor η aufgetragen. De Resduen sollten über den ganzen Berech um 0 herum streuen. Wenn ene Glättung (von Auge oder berechnet) ene Abwechung zegt, soll man ene Transformaton von Engangs-Varablen (sehe term plot, unten) oder allenfalls ene andere Lnk-Funkton prüfen. Rearson Resduen 0.5 0.0 0.5 1.0 0 10 20 30 40 50 angepasste Werte Abbldung 9.5.b: Tukey-Amscombe Plot zum Bespel der Schffs-Havaren c Scale Plot. Absolute (Pearson-) Resduen gegen angepasste Werte µ auftragen. Wenn ene Glättung enen Trend zegt, st de Varanzfunkton ncht passend. Man kann versuchen, se drekt zu modelleren, sehe 9.4.f. d Resduen gegen Engangs-Varable. Prädktor-Resduen R (L) werden gegen Engangs-Varable x (j) aufgetragen. Gekrümmte Glättungen deuten we n der lnearen Regresson an, we de Engangsgrössen transformert werden sollten. De Funkton plresx lefert weder ene Referenzlne für gleche Werte des lnearen Prädktors. Da de Resduen mt verschedenen Gewchten zur Regresson betragen, sollten se dem entsprechend verscheden gross gezechnet werden. Weder st es üblcher, de partellen Resduen zu verwenden und den Effekt der Engangs-Varablen mt enzuzechnen, also enen partal resdual plot oder term plot zu erstellen (vergleche 8.4.j).

9.S. S-FUNKTIONEN 165 Partal for TYPE 1.0 0.5 0.0 0.5 Partal for factor(cons) 1.0 0.5 0.0 0.5 0.0 0.2 0.4 0.6 0.8 1.0 TYPE 1 2 3 4 CONS Partal for OPER 1.0 0.5 0.0 0.5 1.0 0.0 0.2 0.4 0.6 0.8 1.0 OPER Partal for log(months) 4 2 0 2 0 10000 20000 30000 40000 MONTHS Abbldung 9.5.d: Partal resdual Plots zu dem Havare-Modell e Leverage Plot. De Prädktor-Resduen R (L) werden gegen de fast ungewchteten Hebelarm-Werte h aufgetragen und de Gewchte w durch verscheden grosse Kres- Symbole dargestellt (vergleche 8.4.k). f Abbldungen 9.5.b und 9.5.d zegen Resduenplots zum Modell m Bespel Schffs-Havaren. Be so klener Beobachtungszahl snd Abwechungen kaum auszumachen. 9.S S-Funktonen a Zur von Verallgemenerten Lnearen Modellen denen de S-Funktonen glm oder regr, de wr schon für de logstsche Regresson verwendet haben. De Angabe famly=posson legt de gewählte Vertelungsfamle fest. summary, plot, drop1,...

166 9 VERALLGEMEINERTE LINEARE MODELLE 9.A Anhang: Genaueres zur Schätzung der Parameter und zur asymptotschen Vertelung a Maxmum Lkelhood. Der Betrag ll ener Beobachtung zur Log-Lkelhood st n 9.3.b angegeben. Um de Maxmum-Lkelhood-Schätzung zu bestmmen, wrd man we üblch de Abletungen der Summe deser Beträge nach den Parametern glech null setzen. De Abletung von ll nach den Parametern hat her und auch später ene fundamentale Bedeutung. Se wrd Score-Funkton genannt. Wr erhalten we n 9.3.c s (j) y,x ;β = ll β β j = l θ θ dθ dµ µ dµ dη η η β j. (Für Funktonen f x enes enzgen Argumentes schreben wr de (gewöhnlche) Abletung als df/dx.) Da µ(θ) = b θ und η = x T β st, werden de Abletungen zu ll θ θ = (y b θ ) ω /φ = (y µ ) ω /φ dµ dθ θ = b θ = V µ = dθ dµ µ = 1/V µ dµ dη η = (g 1 ) η η, = x (j). β j (In der mttleren Zele wurde de Regel für de Abletung ener Umkehrfunkton verwendet: (f 1 ) y = 1/f x mt y = f x.) Zusammen erhält man s (j) y,x ;β = (y µ ) ω φv µ (g 1 ) η x (j). Setzt man alle Komponenten der Scores-Summe glech null, s y,x ;β = 0, so entstehen de mplzten Glechungen, de de Maxmum-Lkelhood-Schätzungen β j bestmmen. b Algorthmus. Für de Lösung deser mplzten Glechungen wrd en Algorthmus angewandt, der allgemen für Maxmum-Lkelhood-Schätzungen geegnet st und Scorng- Algorthmus hesst. Er st mt dem allgemen bekannten Newton-Raphson-Algorthmus für numersche Optmerung verwandt. Deser st en teratves Rechenschema: Ausgehend von enem Startwert β (0) wrd ene Verbesserung β berechnet, de zu ener Verbesserung der Zelfunkton n unserem Fall zu ener Erhöhung der Log-Lkelhood führt. Solche Schrtte werden wederholt, bs de Verbesserungen sehr klen werden. Der Verbesserungsschrtt des Newton-Raphson-Algorthmus verlangt de Berechnung von Abletungen der Funktonen s (j) β, de null werden sollen, also von zweten Abletungen der Zelfunkton. Das ergbt ene ganze Matrx H β = s β / β = [ s (j) β / β k ] jk, de Hessesche Matrx genannt wrd. De Funkton s β st n der Nähe enes Vektors β (s) gemäss lnearer Näherung glech s β s β (s) + H β (s) (β β (s) ). Wenn man de rechte Sete glech null setzt, erhält man de Korrektur β = β (s+1) β (s) = (H β (s) ) 1 s β (s). So wet de allgemene Idee des Newton-Raphson-Algorthmus.

Anhang: Schätzung der Parameter und asymptotsche Vertelung 167 c Be der Maxmum-Lkelhood-Schätzung st de Funkton s de Summe s y,x ;β, also β = H β (s) 1 s y,x ;β (s) mt H β = s y,x ;β / β. De Idee des Scorng-Algorthmus besteht darn, de Summanden n H durch hren Erwartungswert H unter der (vorläufg) geschätzten Vertelung zu ersetzen. Man erhält, da de Vertelung der Beobachtungen von den x abhängt, weterhn ene Summe, H β (s) = E s Y,x ;β / β. De Abletungen s (j) / β (k) schreben wr als s (j) Y,x ;β β (k) = µ β (k) ω φv µ (g 1 ) η x (j) +(Y µ ) ω φ β (k) (g 1 ) η V µ x (j). Den komplzerteren zweten Tel müssen wr glücklcherwese ncht ausrechnen, da sen Erwartungswertnull st es st ja nur Y zufällg, und E Y µ = 0. Der erste Tel hängt ncht von Y ab; man muss also gar kenen Erwartungswert blden. Es st µ / β (k) = (g 1 ) η x (k). Deshalb wrd H β = x x T ((g 1 ) η ) 2 Damt st der Scorng-Algorthmus festgelegt. 1 V µ ω φ. De Matrx H hat auch ene zentrale Bedeutung be der asymptotschen Vertelung der Schätzung und trägt deshalb enen Namen: Se hesst Fsher-Informaton und wrd als J n β notert. Der Index n soll daran ernnern, dass es sch um de Summe der Fsher- Informatonen aller Beobachtungen handelt. d Wr wollen ene Überlegung anführen, de uns zu Vertrauterem führt: Man kann unschwer sehen, dass de Korrektur-Schätzung β m Scorng-Algorthmus als Lösung enes gewchteten Klenste-Quadrate-Problems geschreben werden kann. En solches Problem besteht n der Mnmerung des Ausdrucks w (ỹ x T β)2 mt vorgegebenen Gewchten w. (De w snd ncht de ω des verallgemenerten lnearen Modells! Wr schreben ỹ statt enfach y, um ene Verwechslung mt den bsher verwendeten y zu vermeden.) De Lösung deses Problems lautet ( β = w x x T ) 1 w x ỹ. Dese Schätzung besteht also auch aus ener Matrx, de ene Summe darstellt und nvertert wrd, multplzert mt ener Summe von Vektoren. Wenn wr Gewchte w enführen als w = ( (g 1 ) η ) 2 1 V µ ω φ, dann stmmt de zu nverterende Matrx n beden Fällen überen. Nun setzen wr ỹ = r (L), wobe r (L) = (y µ ) dη dµ µ = r g µ

168 9 VERALLGEMEINERTE LINEARE MODELLE de Prädktor-Resduen snd, de n 9.5.a erwähnt wurden. Jetzt stmmt auch s β mt x w ỹ überen, und de Lösung β des gewchteten Klenste-Quadrate-Problems lefert de Korrektur β. Es st üblch, auf beden Seten noch de vorhergehende Schätzung β (s) dazu zu zählen rechts n der Form (H β ) 1 H β β (s). Man erhält β (s+1) = β (s) + β = (H β (s) ) 1 = (H β (s) ) 1 H β (s) β (s) +(H β (s) ) y 1 s,x ;β (s) w x (x T β(s) +r (L) ). Man kann also de korrgerte Schätzung β (s+1) drekt als gewchtete Klenste-Quadrate- Lösung erhalten, ndem man ỹ = x T β(s) +r (L) statt ỹ = r (L) setzt. e Asymptotsche Vertelung. De Enkledung des Verbesserungsschrttes des Scorng- Algorthmus als gewchtetes Klenste-Quadrate-Problem st nützlch, um de Vertelung der Schätzfunkton β zu studeren. Man kann zegen, dass de asymptotsche Vertelung gerade de st, de de gewchtete Klenste-Quadrate-Schätzung hat, wenn man vergsst, dass de Beobachtungen ỹ und de Gewchte w von den Schätzwerten selber abhängen (und de Lösungswerte β ensetzt). Das gleche Ergebns lefert auch de allgemene Theore der Maxmum-Lkelhood-Schätzung: Der geschätzte Parametervektor st asymptotsch normalvertelt und erwartungstreu mt der nversen Fsher-Informaton als Kovaranzmatrx, β a N p β, (H β ) 1. (* Der Zusammenhang zwschen dem Scorng-Algorthmus und der asymptotschen Vertelung glt allgemen für Maxmum-Lkelhood- und M-Schätzungen. Interesserte können versuchen, des mt Hlfe der Enflussfunkton, de n der robusten Statstk engeführt wurde, nachzuvollzehen.) Mt desem Ergebns lassen sch n der üblchen Wese Tests und Vertrauensntervalle angeben, de asymptotsch den rchtgen Fehler erster Art respektve den rchtgen Vertrauenskoeffzenten haben. Tests, de auf der genäherten asymptotschen Normalvertelung der Schätzungen beruhen, hessen Wald-Tests.

8 17 VERALLGEMEINERTE LINEARE MODELLE

9 Lteraturverzechns Agrest, A. (2002). Categorcal Data Analyss, 2nd edn, Wley, N.Y. Agrest, A. (2007). An Introducton to categorcal data analyss, Wley Seres n Probablty & Math. Statstcs, 2nd edn, Wley, New York. Bates, D. M. and Watts, D. G. (1988). Nonlnear Regresson Analyss and ts Applcatons, Wley, N.Y. Chambers, J. M. and Haste, T. J. (1992). Statstcal Models n S, Wadsworth & Brooks/Cole, Pacfc Grove, Cal. Chatterjee, S. and Prce, B. (2000). Regresson Analyss By Example, 3rd edn, Wley, N.Y. Chrstensen, R. (1990). Log-lnear models, Sprnger, N.Y. Cleveland, W. S. (1994). The Elements of Graphng Data, 2nd edn, Hobart Press, Summt, New Jersey. Clogg, C. C. and Shhadeh, E. S. (1994). Statstcal models for ordnal varables, Sage, Thousand Oaks, CA. Cohen, A. (1980). On the graphcal dsplay of the sgnfcant components n a two-way contngency table, Communcatons n Statstcs Theory and Methods A9: 1025 1041. Collet, D. (1991, 1999). Modellng bnary data, Chapman & Hall/CRC Press LLC, Boca Raton, Florda. Collet, D. (1994). Modellng Survval Data n Medcal Research, Texts n Statstcal Scence, Chapman and Hall, London. Cook, R. D. and Wesberg, S. (1999). Appled regresson ncludng computng and graphcs, Wley, N.Y. Cox, D. R. (1989). Analyss of Bnary Data, 2nd edn, Chapman and Hall, London. Cox, D. R. and Snell, E. J. (1981). Appled Statstcs, Chapman and Hall, London. Crowder, M. J., Kmber, A. C., Smth, R. L. and Sweetng, T. J. (1991). Statstcal Analyss of Relablty Data, Chapman and Hall. Danel, C. and Wood, F. S. (1980). Fttng Equatons to Data, 2nd edn, Wley, N.Y. Daves, P. (1995). Data features, Statstca Neerlandca 49: 185 245. Devore, J. L. (2004). Probablty and Statstcs for Engneerng and the Scences, 6th edn, Duxbury Press, Belmont, Calforna. Dobson, A. J. (2002). An Introducton to Generalzed Lnear Models, 2nd edn, Chapman and Hall, London. Draper, N. and Smth, H. (1998). Appled Regresson Analyss, 3rd edn, Wley, N.Y. Fahrmer, L. and Tutz, G. (2001). Multvarate Statstcal Modellng Based on Generalzed Lnear Models, 2nd edn, Sprnger-Verlag, New York.

10 17 VERALLGEMEINERTE LINEARE MODELLE Fox, J. (2002). An R and S-Plus companon to appled regresson, Sage, Thousand Oaks, CA. Fox, J. and Monette, G. (1992). Generalzed collnearty dagnostcs, Journal of the Amercan Statstcal Assocaton 87: 178 183. Fuller, W. A. (1987). Measurement Error Models, Wley, N.Y. Haaland, P. D. (1989). Expermental Desgn n Botechnology, Marcel Dekker, N.Y. Hampel, F. (1974). The nfluence curve and ts role n robust estmaton, Journal of the Amercan Statstcal Assocaton 69: 383 393. Hampel, F. R., Ronchett, E. M., Rousseeuw, P. J. and Stahel, W. A. (1986). Robust Statstcs: The Approach Based on Influence Functons, Wley, N.Y. Harrell, F. E. J. (2002). Regresson Modelng Strateges. Wth Applcatons to Lnear Models, Logstc Regresson, and Survval Analyss, Sprnger Seres n Statstcs, Sprnger, NY. Corrected second prntng Hartung, J., Elpelt, B. und Klösener, K. (2002). Statstk. Lehr- und Handbuch der angewandten Statstk, 13. Aufl., Oldenbourg, München. Haste, T. J. and Tbshran, R. J. (1990). Generalzed Addtve Models, number 43 n Monographs on Statstcs and Appled Probablty, Chapman and Hall, London. Haste, T., Tbshran, R. and Fredman, J. (2001). The Elements of Statstcal Learnng: Data Mnng, Inference, and Predcton, Sprnger Seres n Statstcs, Sprnger-Verlag, New York. Hockng, R. R. (1996). Methods and Applcatons of Lnear Models; Regresson and the Analyss of Varance, Wley Seres n Probablty and Statstcs, Wley, N.Y. Hosmer, D. W. and Lemeshow, S. (2000). Appled Logstc Regresson, 2nd edn, Wley, N.Y. Huber, P. J. (1964). Robust estmaton of a locaton parameter, 35: 73 101. Huber, P. J. and Ronchett, E. M. (2009). Robust Statstcs, 2nd edn, Wley. Kalbflesch, J. and Prentce, R. L. (2002). The Statstcal Analyss of Falure Tme Data, 2nd edn, Wley, N.Y. Lndsey, J. K.(1995). Modellng Frequency and Count Data, number 15 n Oxford Statstcal Scence Seres, Clarendon Press, Oxford. Maronna, R. A., Martn, R. D. and Yoha, V. J. (2006). Robust Statstcs, Theory and Methods, Wley Seres n Problty and Statstcs, Wley, Chchester, England. McCullagh, P. and Nelder, J. A. (1989). Generalzed Lnear Models, 2nd edn, Chapman and Hall, London. Mosteller, F. and Tukey, J. W. (1977). Data Analyss and Regresson: A Second Course n Statstcs, Addson-Wesley, Readng, Massachusetts. Myers, R. H., Montgomery, D. C. and Vnng, G. G. (2001). Generalzed Lnear Models. Wth Applcatons n Engneerng and the Scences, Wley Seres n Probablty and Statstcs, Wley, NY. Pokropp, F. (1994). Lneare Regresson und Varanzanalyse, Oldenbourg. Rce, J. A. (2007). Mathematcal Statstcs and Data Analyss, 3rd edn, Duxbury Press, Belmont, Calforna. Rpley, B. D. (1996). Pattern Recognton and Neural Networks, Cambrdge Unv. Press, Cambrdge, UK. Rousseeuw, P. J. and Leroy, A. M. (1987). Robust Regresson & Outler Detecton, Wley, N.Y. Ryan, T. P. (1997). Modern Regresson Methods, Seres n Probablty and Statstcs, Wley, N.Y. ncludes dsk

Anhang: Schätzung der Parameter und asymptotsche Vertelung 11 Sachs, L. (2004). Angewandte Statstk, 11. Aufl., Sprnger, Berln. Schlttgen, R. (2003). Enführung n de Statstk. Analyse und Modellerung von Daten, 10. Aufl., Oldenbourg, München. schoen, nkl. Senstvty und breakdown, enfache regr mt resanal Sen, A. and Srvastava, M. (1990). Regresson Analyss; Theory, Methods, and Applcatons, Sprnger-Verlag, N.Y. Stahel, W. A. (2000). Statstsche Datenanalyse: Ene Enführung für Naturwssenschaftler, 3. Aufl., Veweg, Wesbaden. Stahel, W. A. (2007). Statstsche Datenanalyse: Ene Enführung für Naturwssenschaftler, 5. Aufl., Veweg, Wesbaden. van der Waerden, B. L. (1971). Mathematsche Statstk, 3. Aufl., Sprnger, Berln. Venables, W. N. and Rpley, B. D. (1997). Modern Appled Statstcs wth S-Plus, Statstcs and Computng, 2nd edn, Sprnger, Berln. Wesberg, S. (2005). Appled Lnear Regresson, 3rd edn, Wley, N.Y. Wetherll, G. (1986). Regresson Analyss wth Applcatons, number 27 n Monographs on Statstcs and Appled Probablty, Chapmann and Hall, London.