Statistik-Teil der Vorlesung Statistische und numerische Methoden für Chemie-Ingenieure

Transkript

1 Statstk-Tel der Vorlesung Statstsche und numersche Methoden für Cheme-Ingeneure Januar 2003 Unterlagen von Dr. Werner Stahel, Semnar für Statstk, ETH Zürch Vorbemerkungen a Für Se als Chemengeneure und -Ingeneurnnen snd enge Fragestellungen der Statstk besonders wchtg: Ene Zelgrösse we Ausbeute oder Renhet enes Produkts oder Dauer enes Prozesses können durch verschedene Grössen beenflusst werden, de den Prozess beenflussen am nahelegendsten snd Temperatur, Feuchtgket, Ausgangsmateral. Zunächst glt es, solche Zusammenhänge zu erfassen, was das Thema der statstschen Regressonsrechnung und der Varanzanalyse st. De enfache oder de multple lneare Regressonsrechnung genügt mestens. Optmerung von Produktons-Prozessen: Wenn man de Zusammenhänge kennt, wrd man de Grössen so enstellen, dass der Prozess optmal läuft. Damt man dese Enstellungen systematsch und effzent fndet, braucht es de Versuchsplanung Chemsche Prozesse laufen nach bestmmten Gesetzen ab ( law and order of chemcal change, Swnbourne, 1971), de durch Dfferentalglechungen modellert werden. In desen Glechungen treten Konstanten de Reaktonsraten auf, de oft aus Daten geschätzt werden müssen. In enfachen Fällen führt des zur enfachen lnearen Regresson; oft aber snd Methoden der nchtlnearen Regresson, kombnert mt numerscher Lösung der Dfferentalglechungen, nötg. Dese Kombnaton wrd auch Systemanalyse genannt. Chemsche Bestmmungen von Konzentratonen oder Mengen von chemschen Komponenten werden heute oft durch spektroskopsche Messungen ersetzt. Methoden, de von Spektren auf Mengen von chemschen Komponenten schlessen lassen, gehören zur multvaraten Statstk.

2 b In der knappen Zet, de uns her zur Verfügung steht, wollen wr n dese Gebete kurz enführen. Wr begnnen mt der lnearen Regresson. De enfache lneare Regresson benützen wr dazu, grundlegende Begrffe der Statstk zu repeteren. Das folgende Vorgehen st typsch: 1. Man formulert de Fragestellung und charaktersert de Daten, de zur Verfügung stehen oder gewonnen werden können. 2. Man überlegt sch en Wahrschenlchketsmodell, das dem Wssen um de formulerten Vorgänge, de zu den Daten führen, entsprcht. Dabe bleben typscherwese enge Parameter (mehr oder wenger) unbestmmt, über de man aus den Daten mehr erfahren möchte. Das Modell kann formulert werden, bevor Daten vorlegen. 3. De Statstk baut de Brücke zwschen dem Modell und den Daten. Wenn es um Paramter geht, beantwortet de Statstk de folgenden Fragen: (a) Welcher Wert st st für den (respektve jeden) Parameter am plausbelsten? De Antwort wrd durch ene Schätzung gegeben. (b) Ist en bestmmter Wert plausbel? De Entschedung trfft man mt enem Test. (c) Welche Werte snd nsgesamt plausbel? Als Antwort erhält man ene ganze Menge plausbler Werte, de mestens en Intervall blden das Vertrauensntervall oder Konfdenzntervall. 4. In velen Anwendungen stellt sch auch de Frage ener Vorhersage von Messungen, Beobachtungen, de noch ncht vorlegen. c De lneare Regresson wurde n der Enführungsvorlesung (Mathematk 2B) behandelt. Se werden gebeten, de entsprechenden Unterlagen als Repetton vor der ersten Vorlesung durchzulesen. Falls Se se ncht mehr zur Hand haben, fnden Se auf ene etwas längere Verson, de lecht zu lesen st. In der ersten Woche werde ch de multple lneare Regresson kurz repeteren, und n den Übungen werden Se de entsprechenden Matlab-Befehle kennen lernen. De Unterlagen zum folgenden Kaptel fnden Se ebenfalls unter

3 3 Zusammenfassung der Lnearen Regresson 1 Enfache lneare Regresson a Das Modell der enfachen lnearen Regresson lautet Y = α + βx + E. De x snd feste Zahlen. De E snd zufällg und werden zufällge Abwechungen oder Zufallsfehler genannt. Es wrd (normalerwese) angenommen, dass E N 0,σ 2, E,E k unabhängg se. (Man sprcht auch be anderen Annahmen über de Zufallsfehler von enfacher lnearer Regresson.) De Parameter des Modells snd de Koeffzenten α, β und de Standardabwechung σ des Zufallsfehlers. Fgur 1.a veranschaulcht das Modell. Es st nützlch, sch smulerte Datensätze zum Modell vorzustellen. Y Wahrschen- lchkets- dchte x Abbldung 1.a: Veranschaulchung des Wahrschenlchketsmodells Y = 4 2x + E für dre Beobachtungen Y 1, Y 2 und Y 3 zu den x-werten x 1 = 1.6, x 2 = 1.8 und x 3 = 2 b De Schätzung der Koeffzenten erfolgt über das Prnzp der Klensten Quadrate, das man aus dem Prnzp der Maxmalen Lkelhood herleten kann. Das ergbt n =1 β = (Y Y )(x x) n =1 (x x) 2, α = Y β x. De Schätzungen snd normalvertelt, β ( N β, σ 2 /SSQ (X), α N α, σ 2 1 n + x2 /SSQ (X)), SSQ (X) = n (x x) 2. =1

4 4 Statstk für Cheme-Ing., Regresson Se snd also erwartungstreu. Ihre Varanz st, wenn das Modell stmmt, de klenstmöglche (unter den erwartungstreuen Schätzungen). c De Abwechungen der beobachteten Werte Y von den geschätzten oder angepassten Werten α + βx hessen Resduen und snd Schätzungen für de Zufallsfehler E. Se führen zur Schätzung der Standardabwechung σ des Zufallsfehlers, σ 2 = 1 n R 2. n 2 =1 d Test für de Nullhypothese β = β 0 : De Testgrösse T = β β 0 se (β), se (β) = st t-vertelt mt n 2 Frehetsgraden. σ 2 /SSQ (X) Daraus erhält man das Vertrauensntervall β ± q t n se(β), se (β) = σ/ SSQ (X). Programm-Ausgabe: sehe multple Regresson. e Das Vertrauensband für den Wert der Regressonsfunkton verbndet de Endpunkte der Vertrauensntervalle für E Y x = α + βx. En Prognose-Intervall soll enen (noch unbekannten) Messwert Y 0 für gegebenes x 0 enthalten mt der vorgegebenen statstschen Scherhet (von mestens 95%). Verbndet man de Endpunkte für verschedene x 0, so erhält man das Prognoseband. 2 Multple lneare Regresson a Das Modell lautet Y = β 0 + β 1 x (1) + β 2 x (2) β m x (m) + E E N 0,σ 2, E,E k unabhängg. In Matrx-Schrebwese: Y = X β + E, E N n 0,σ 2 I. b De Schätzung erfolgt weder über das Prnzp der Klensten Quadrate, β = ( X T X ) 1 X T Y. Aus der Vertelung der geschätzten Koeffzenten β ( j N β j,σ 2 ( X T X ) ) 1 jj erhält man t-tests und Vertrauensntervalle für enzelne Koeffzenten. De Standardabwechung σ wrd geschätzt durch σ 2 = n / (n p). =1 R2

5 2. MULTIPLE LINEARE REGRESSION 5 c Tabelle 2.c zegt ene Programm-Ausgabe, angerechert durch de mathematschen Symbole. De multple Korrelaton R st de Korrelaton zwschen den angepassten ŷ und den beobachteten Werten Y. Ihr Quadrat msst auch den durch de Regresson erklärten Antel der Varanz R 2 = 1 SSQ (E) /SSQ (Y ) und hesst deshalb Bestmmthetsmass. Coeffcents: Value Std. Error t value Pr(> t ) (Intercept) ph lsar Resdual standard error: σ = on n p = 120 degrees of freedom Multple R-Squared: R 2 = Analyss of varance Df Sum of Sq Mean Sq F Value Pr(F) Regresson m = 2 SSQ (R) = T = Resduals n p = 120 SSQ (E) = σ 2 = P-Wert Total 122 SSQ (Y ) = Tabelle 2.c: Computer-Output für das Bespel der basschen Böden mt Varanzanalyse- Tabelle und der m folgenden verwendeten Notaton d Velfalt der Fragestellungen. Das Modell der multplen lnearen Regresson kann vele Stuatonen beschreben: Transformatonen der X- (und Y -) Varablen können aus ursprünglch nchtlnearen Zusammenhängen lneare machen. En Verglech von zwe Gruppen lässt sch mt ener zwewertgen X-Varablen, von mehreren Gruppen mt enem Block von dummy Varablen als multple Regresson schreben. Auf dese Art werden nomnale erklärende Varable n en Regressonsmodell aufgenommen. De Vorstellung von verschedenen lnearen Abhänggketen für verschedene Gruppen von Daten kann als en enzges Modell hngeschreben werden. Allgemener können Wechselwrkungen zwschen erklärenden Varablen durch zusätzlche Terme ns Modell aufgenommen werden. De polynomale Regresson st en Spezalfall der multplen lnearen (!) Regresson. e Der F-Test zum Verglech von Modellen ermöglcht es, zu prüfen, ob mehrere Koeffzenten =0 snd. Das st nötg, um zu testen, ob ene nomnale Varable enen Enfluss auf de Zelgrösse hat.

6 6 Statstk für Cheme-Ing., Regresson 3 Resduen-Analyse a De Annahmen des Modells der multplen lnearen Regresson kann man auflösen n (a) hr Erwartungswert st E E = 0 (oder: de Regressonsfunkton st korrekt), (b) se haben alle de gleche Streuung, var E = σ 2, (c) (d) se snd normalvertelt. De E snd unabhängg, Dese Voraussetzungen sollen überprüft werden, um aus Abwechungen auf bessere Modelle zu schlessen, Tests und Vertrauensntervalle zu rechtfertgen. Abwechungen werden mt grafschen Darstellungen entdeckt. Tests spelen ene untergeordnete Rolle. b De folgenden grafschen Darstellungen snd nützlch: (a) (b) (c) (d) Ncht-Lneartäten: Streudagramme der (unstandardserten) Resduen gegen angepasste Werte (Tukey-Anscombe plot) und gegen de (ursprünglchen) erklärenden Varablen. Wechselwrkungen: Pseudo-dredmensonales Dagramm der (unstandardserten) Resduen gegen je zwe erklärende Varable. Gleche Streuungen: Streudagramme der (standardserten) absoluten Resduen gegen angepasste Werte und gegen de (ursprünglchen) erklärenden Varablen (mest ncht spezell dargestellt, mt den Streudagrammen unter (a) mtbetrachtet). Normalvertelung: Q-Q-plot (oder Hstogramm) der (standardserten) Resduen. Unabhänggket: (Unstandardserte) Resduen gegen de Zet oder gegen den Ort auftragen. (*) Enflussreche Beobachtungen für de gesamte Anpassung: Streudagramm der (standardserten) Resduen gegen de leverage. Enflussreche Beobachtungen für enzelne Koeffzenten: added-varable plot. (*) Kollneartäten: Scatterplot matrx (Streudagramme der erklärenden Varablen gegenenander) und numersche Werte (R 2 j oder VIF j oder tolerance ). c Massnahmen zur Verbesserung enes Modells: Transformaton der Zelgrösse: be schefer Vertelung, Ncht-Lneartäten, unglechen Streuungen. Transformaton (ncht-lneare) von erklärenden Varablen: be Ncht-Lneartäten, Hebelpunkten (schefe Vertelung der erklärenden Varablen und enzelne hohe leverages) und Wechselwrkungen. Zusätzlche Terme: be Ncht-Lneartäten und Wechselwrkungen. Lneare Transformaton von mehreren erklärenden Varablen: be Kollneartäten. Gewchtete Regresson: be unglechen Streuungen.

7 3. RESIDUEN-ANALYSE 7 Überprüfung der Korrekthet von Beobachtungen: be Ausressern. Verwerfung von Ausressern: wenn solche vorhanden snd und man ncht robust rechnen wll (sehe unten). Wo geht s weter? Noch ncht behandelte Methoden: Verallgemenerte Klenste Quadrate: be stochastschen Abhänggketen der Zufallsfehler. Ncht-lneare Regresson: be Ncht-Lneartäten, wenn Transformatonen ncht zum Zel führen oder vom Anwendungszweck her ncht zulässg snd. Robuste Regresson: mmer; vor allem be Ausressern und langschwänzgen Vertelungen. d Ene Regressons-Analyse ohne Resduen-Analyse st ene unnütze Rechnung!

8 8 Statstk für Cheme-Ing., Regresson L Lteratur a Kurze Enführungen n de Regresson: Schlttgen (2003) st en empfehlenswertes Enführungsbuch mt datenanalytscher Ausrchtung. De enfache lneare Regresson enschlesslch Resduenanalyse wrd m letzten Kaptel recht gründlch besprochen. In englscher Sprache enthalten de auch sonst empfehlenswerten Enführungsbücher von Devore (2004) und Rce (2007) Kaptel zur Regresson. b De Lteratur zum Thema Regresson st äusserst umfangrech, besonders m englschen Sprachberech. En Buch n deutscher Sprache stammt von Pokropp (1994). Das englsche, anwendungsorenterte Buch von Chatterjee and Prce (2000) st 1995 auch n deutscher Übersetzung erschenen. En neueres, anwendungsorentertes Buch, das auch n allgemenere Regressonmodelle enführt, st Ryan (1997). Wesberg (2005) betont de exploratve Suche nach enem geegneten Modell ene empfehlenswerte Enführung n de Praxs der Regressonsanalyse mt velen Bespelen. Draper and Smth (1998): En klasssches Enführungsbuch, das der überprüfung der Voraussetzungen de nötge Beachtung schenkt. Danel and Wood (1980): Empfehlenswertes, anwendungsorentertes Buch, das zur Entwcklung der exploratven Datenanalyse begetragen hat und deshalb berets zu den Klasskern gehört. Sen and Srvastava (1990) und Hockng (1996): Mathematsche Theore und Anwendungsaspekte werden dskutert. Empfohlen für mathematsch Interesserte. c Spezelle Hnwese Wetherll (1986) behandelt enge spezelle Probleme der multplen lnearen Regresson ausführlcher, nsbesondere de Kollneartät. In Cook and Wesberg (1999) wrd gezegt, we man mt modernen grafschen Mtteln Modelle (ncht nur lneare) von Grund auf entwckeln kann. Es führt n en dafür entwckeltes, enfach zu bedenendes Computer-Paket (R-code) en, das mt dem Buch mtgelefert wrd. Harrell (2002) dskutert exploratve Modell-Entwcklung n der ganzen Brete und wrd damt dem Ttel Regresson Modelng Strateges gerecht. Das Buch von Fox (2002) führt anwendungsorentert n de Entwcklung von Regressonmodellen en und stützt sch dabe auf de Statstksoftware R ab. De exploratve Datenanalyse wurde populär durch das Buch von Mosteller and Tukey (1977), das vele Ideen enthält. Robuste Regresson wurde für de Anwendung nutzbar durch Rousseeuw and Leroy (1987). Das Thema wrd vollständger und kürzer m Buch von Maronna, Martn and Yoha (2006) über Robuste Statstk behandelt.

9 Numersche und statstsche Methoden für Chemengeneure, Nov Nchtlneare Regresson Unterlagen von Andreas Ruckstuhl, Zürcher Hochschule Wnterthur, überarbetet von Werner Stahel, ETHZ, Jan bs Das Modell a Regresson studert den Zusammenhang zwschen ener Zelgrösse Y und ener oder mehreren Ausgangs-Varablen x (j). Das allgemene Modell lautet Y = h x (1),x (2),...,x (m) ; θ 1,θ 2,...,θ p + E. Dabe st h ene geegnete Funkton, de von den Ausgangs-Varablen und von Parametern abhängt, de wr zu Vektoren zusammenfassen wollen, x = [x (1),x (2),...,x (m) ] und θ = [θ 1,θ 2,...,θ p ]. b In der (multplen) lnearen Regresson werden Funktonen h betrachtet, de lnear snd n den Parametern θ j, h x (1),x (2),...,x (m) ; θ 1,θ 2,...,θ p = θ 1 x (1) + θ 2 x (2) θ p x (p), wobe de x (j) belebge Funktonen der ursprünglchen Ausgangs-Varablen x (j) sen können. (De Parameter werden dort üblcherwese mt β j statt θ j bezechnet.) c In der nchtlnearen Regresson werden Funktonen h untersucht, de sch ncht als lneare Funtonen n den Parametern schreben lassen. Oft wrd ene solche Funkton aus der Theore abgeletet. Es bestehen m Prnzp unbeschränkte Möglchketen, den determnstschen Tel des Modells anzusetzen. We wr sehen werden, wrd dese Flexbltät erkauft durch enen grösseren Aufwand, statstsche Aussagen zu gewnnen. De Voraussetzungen für den zufällgen Tel, der ja nur aus den zufällgen Abwechungen oder Fehlern E besteht, snd de glechen we be der lnearen Regresson: E N 0,σ 2, unabhängg. d Bespel Puromycn. De Geschwndgket, mt der ene enzymatschen Reakton abläuft, hängt von der Konzentraton enes Substrates ab. Gemäss den Angaben von Bates and Watts (1988) wurde untersucht, we ene Behandlung des Enzyms mt ener weteren Substanz namens Puromycn dese Reaktonsgeschwndgket beenflusst. Als Zelvarable wurde de Anfangsgeschwndgket der Reakton gewählt, welche über Radoaktvtät gemessen wrd. (De Enhet der Zelvarablen st Anzahl/mn 2 ; de Anzahl Anschläge n enem Gegerzähler pro Zetenhet msst ja de Quanttät der vorhandenen Substanz, und de Reaktonsgeschwndgket st proportonal zu deren Veränderung pro Zetenhet) Der Zusammenhang der Zelgrösse mt der Substrat-Konzentraton x (n ppm) wrd beschreben durch de Mchaels-Menten-Funkton h x;θ = θ 1x θ 2 + x. Verson ChemIng , c A. Ruckstuhl / W. Stahel

10 10 Statstk für Cheme-Ing., Nchtlneare Regresson Für unendlch grosse Substratkonzentraton (x ) ergbt sch de asymptotsche Geschwndgket θ 1. Es wurde vermutet, dass dese Grösse durch das Hnzufügen von Puromycn beenflusst wrd. Das Experment wurde deshalb enmal mt dem mt Puromycn behandelten Enzym und enmal mt dem unbehandelten Enzym durchgeführt. Fgur 1.1.d zegt das Resultat. In desem Abschntt werden de Daten des behandelten Enzyms benutzt. Geschwndgket (a) (b) θ Konzentraton Konzentraton Abbldung 1.1.d: Bespel Puromycn. (a) Daten. behandeltes Enzym; unbehandelt) und (b) typscher Verlauf der Regressonsfunkton e Bespel Sauerstoffverbrauch. Um den bochemschen Sauerstoffverbrauch zu bestmmen, werden Flusswasserproben mt gelösten organschen Nährstoffen, mt anorganschen Materalen und mt gelöstem Sauerstoff angerechert und n verschedene Flaschen abgefüllt (Marske, 1967, sehe Bates and Watts, 1988). Jede Flasche wrd dann mt ener Mschkultur von Mkroorgansmen gempft und verschlossen n ene Klmakammer mt konstanter Temperatur gestellt. De Flaschen werden perodsch geöffnet und nach gelöstem Sauerstoffgehalt analysert. Daraus wrd der bochemsche Sauerstoffverbrauch [mg/l] berechnet. Das verwendete Modell, das den kumulerten bochemschen Sauerstoffverbrauch Y mt der Inkubnatonszet x n Verbndung brngt, basert auf exponentellem Abfall der Zuwächse, was zu ( ) h x,θ = θ 1 1 e θ 2x führt. Fgur 1.1.e zegt de Daten und de zu verwendende Regressonsfunkton. f Bespel aus der Membrantrenn-Technologe (Rapold-Nydegger, 1994). Das Verhältns von protonerten zu deprotonerten Carboxylgruppen n den Poren von Cellulosemembranen st vom ph-wert x der Aussenlösung abhängg. De Protonerung des Carboxylkohlenstoffatoms kann mt 13 C-NMR erfasst werden. Wr nehmen an, dass der Zusammenhang mt der erweterten Henderson-Hasselbach-Glechung für Polyelektrolyte

11 1.1. DAS MODELL 11 Sauerstoffverbrauch (a) (b) θ Tage Tage Abbldung 1.1.e: Bespel Sauerstoffverbrauch. (a) Daten und (b) typscher Verlauf der Regressonsfunkton beschreben werden kann, θ1 y log 10 = θ 3 + θ 4 x, y θ 2 wobe de unbekannten Parameter θ 1,θ 2 und θ 3 > 0 und θ 4 < 0 snd. Auflösung nach y führt zu h x;θ = θ 1 + θ 2 10 θ 3+θ 4 x θ 3+θ 4 x. De Regressonsfunkton h x; θ für en snnvoll gewähltes θ st n Fgur 1.1.f neben den Daten dargestellt. Y (a) Y θ 2 (b) θ ph ph Abbldung 1.1.f: Bespel Membrantrenn-Technologe. (a) Daten und (b) en typscher Verlauf der Regressonsfunkton.

12 12 Statstk für Cheme-Ing., Nchtlneare Regresson g Enge wetere Bespele für nchtlneare Regressonsfunktonen: Hll-Modell (Enzymknetk): h x;θ = θ 1 x θ 3 /(θ 2 + x θ 3 ). Für θ 3 = 1 st des auch unter dem Namen Mchaels-Menten-Modell bekannt (1.1.d). De Mtscherlch-Funkton wrd n der Wachstumsanalyse verwendet, h x;θ = θ 1 + θ 2 exp θ 3 x. Aus der Knetk (Cheme) stammt de Funkton h x (1),x (2) ; θ = exp θ 1 x (1) exp θ 2 /x (2). De Produktons-Funkton von Cobbs und Douglas Cobbs-Douglas-Modell lautet h x (1),x (2) ; θ = θ 1 (x (1)) θ 2 ( x (2)) θ 3. Da de nützlchen nchtlnearen Regressonsfunktonen aus der Theore des jewelgen Anwendungsgebetes hergeletet werden, st ene allgemene Überscht von beschränktem Nutzen. Ene Zusammenstellung von Funktonen aus Publkatonen fndet man n Anhang 7 von Bates and Watts (1988). h Enge nchtlneare Regressonsfunktonen lassen sch durch Transformatonen der Zelgrösse und der Ausgangs-Varablen lnearseren. Bespelswese lässt sch ene Potenzfunkton, h x;θ = θ 1 x θ 2 zu ener (n den Parametern) lnearen Funkton transformeren, ln h x;θ = ln θ 1 + θ 2 ln x = β 0 + β 1 x = h x;β, wobe β 0 = ln θ 1, β 1 = θ 2 und x = ln x st. De Regressonsfunkton h nennen wr lnearserbar, wenn se durch Transformatonen der Argumente und ene monotone Transformaton des Resultats n ene n den Parametern lneare Funkton verwandelt werden kann. Her enge wetere lnearserbare Funktonen (sehe auch Danel and Wood (1980)): y = θ 1 x/(θ 2 + x) 1/y = 1/θ 1 + θ 2 /θ 1 1 x y = exp θ 1 x (1) exp θ 2 /x (2) ln ln y = ln θ 1 + ln x (1) θ 2 /x (2) y = θ 1 ( x (1) ) θ 2 ( x (2) ) θ 3 ln y = ln θ1 + θ 2 ln x (1) + θ 3 ln x (2). Das letzte st das Cobbs-Douglas-Modell aus 1.1.g.

13 1.1. DAS MODELL 13 Ene lneare Regresson mt der lnearserten Regressonsfunkton beruht m genannten Bespel auf dem Modell ln Y = β 0 + β 1 x + E, wobe de Zufallsfehler E alle der glechen Normalvertelung folgen. Transformeren wr deses Modell zurück, so erhalten wr Y = θ 1 x θ 2 Ẽ mt Ẽ = exp E. De Fehler Ẽ, = 1,...,n wrken nun multplkatv und snd lognormal vertelt! De Annahmen über de Zufallsabwechungen verändern sch also recht drastsch gegenüber enem Modell, das drekt auf h basert, Y = θ 1 x θ 2 + E mt Zufallsabwechungen E, de we üblch ener enzgen Normalvertelung folgen. Ene Lnearserung der Regressonsfunkton st deshalb nur dann angebracht, wenn damt auch de Annahmen über de Zufallsabwechungen besser befredgt werden können m Bespel, falls tatsächlch de Fehler eher multplkatv als addtv wrken und lognormal statt normal vertelt snd. Dese Annahmen müssen mt Resduen-Analyse geprüft werden. j Dese Überlegung kann umgekehrt auch dazu führen, dass man aus enem lnearen Regressonsmodell en nchtlneares macht. Bespel Schadstoffe m Tunnel. (Text aus der Enführung n de lneare Regresson.) De Schadstoffe, de vom motorserten Verkehr ausgestossen werden, blden enen wesentlchen Bestandtel der Belastung der Luft. Um de Grösse deser Belastung zu schätzen, werden für de Fahrzeuge so genannte Emssonsfaktoren bestmmt. Des kann enersets auf dem Prüfstand geschehen, auf dem de Strasse mt Rollen smulert wrd. Der Wderstand der Rollen wrd dabe varert, so dass en typscher Fahrzyklus durchgespelt werden kann. Anderersets egnen sch Strassentunnels mt En-Rchtungs-Verkehr für Messungen unter realen Bedngungen. Msst man Schadstoff-Konzentratonen am Anfang und am Schluss des Tunnels und zählt, we vele Fahrzeuge durch den Tunnel fahren, so kann man ebenfalls Emssonsfaktoren ausrechnen. Allerdngs erhält man zunächst nur enen gemttelten Faktor für jeden gemessenen Schadstoff, und deser lässt sch ncht ohne zusätzlche Erkenntnsse auf andere Strassenabschntte übertragen. Wenn man de Anzahl der Fahrzeuge nach Fahrzeug-Kategoren auftelen kann, dann kann man mmerhn mt Regressonsrechnung zu enem Emssonsfaktor für jede Fahrzeug-Kategore kommen. Während ener Woche m September 1993 wurden n der Südröhre des Gubrst-Tunnels nördlch von Zürch solche Messungen durchgeführt. De Schadstoff-Konzentratonen am Anfang und am Ende wurden gemessen und de Luftströmung erfasst. Daraus lässt sch de Schadstoff-Emsson Y pro Klometer für alle durchgefahrenen Fahrzeuge zusammen berechnen. Von enem Schlaufen-Detektor m Strassenbelag wurden de Fahrzeuge n zwe Kategoren gezählt: Auf Grund des Abstands von Vorder- und Hnterachse wurden de Lastwagen von den übrgen Fahrzeugen getrennt. Es bezechne x (1) de Anzahl Ncht- Lastwagen und x (2) de Anzahl Lastwagen. De gesamten Emssonen n der Zetperode setzen sch zusammen gemäss Y = θ 1 x (1) + θ 2 x (2) + E, wobe θ 1 de durchschnttlche Emsson pro Ncht-Lastwagen und θ 2 dejenge pro Lastwagen bedeutet also de Grössen, an denen wr n der Stude prmär nteressert snd.

14 14 Statstk für Cheme-Ing., Nchtlneare Regresson De Zufallsfehler E entstehen durch Varatonen n Bauart und Zustand der Fahrzeuge, durch zetlche Abgrenzungs-Schwergketen und durch Mess-Ungenaugketen. Ef.NOx Lastwagen-Antel Abbldung 1.1.j: Emssonsfaktor für NOx und Lastwagen-Antel, gemttelt über jewels 15 Mnuten, m Bespel der Schadstoffe m Tunnel. Dre extrem hohe Y -Werte snd m Bldrand dargestellt. De Formel lässt sch n ene üblchere und vellecht noch enfachere Form brngen: Wr dvderen Y, x (1) und x (2) durch de gesamte Anzahl Fahrzeuge x (1) + x (2) und erhalten Ỹ = θ 1 x (1) + θ 2 x (2) + Ẽ, wobe Ỹ der mttlere Emssonsfaktor für de Zetperode und x (1) und x (2) de Antele der Ncht-Lastwagen und der Lastwagen bedeuten. Da x (1) = 1 x (2) st, glt Ỹ = θ 1 + (θ 2 θ 1 ) x (2) + Ẽ. k De enfache und plausble Überlegung, we de Schadstoffe zusammenkommen, hat also auf en enfaches lneares Regressonsmodell geführt, Y = β 0 + β 1 x + E (mt β 0 = θ 1, β 1 = θ 2 θ 1 und x = x (2) ). In Fgur 1.1.j zegt sch als Tendenz n der Tat ene lneare Zunahme des mttleren Emssonsfaktors für NO x mt zunehmendem Lastwagen-Antel. Es wrd aber auch klar, dass de Zufallsabwechungen ene schefe Vertelung haben. Be solchen Vertelungen wurde angeraten, de Zelgrösse zu transformeren, und dabe zuerst de Logarthmus-Transformaton zu versuchen. Wenn wr des aber n der üblchen Wese tun, wrd de logarthmerte Zelgrösse als lneare Funkton der gegebenen Ausgangs- Varablen angesetzt, also ln Y = β 0 + β 1 x + E. Das wdersprcht der Überlegung, de

15 1.2. METHODIK ZUR SCHÄTZUNG DER PARAMETER 15 zum Modell geführt hat. Da de Regressonsfunkton durch dese Überlegung festgelegt st, müssen wr bede Seten transformeren, h x; β = ln β 0 + β 1 x und erhalten als Modell ln Y = ln β 0 + β 1 x + E. Her haben wr also de lneare Regressonsfunkton n ene nchtlneare verwandelt, um enen geegneten addtven Fehlerterm E zu erhalten. l Sowet de enführenden Bespele. Wr haben fast ausschlesslch von Regressonfunktonen gesprochen, de nur von ener Ausgangs-Varablen abhängen. Des geschah vor allem, wel dann ene Grafk das Modell umfassend veranschaulchen kann. De nun folgende Theore funktonert ebenso gut für Regressonsfunktonen h x;θ, de von mehreren Ausgangs-Varablen x = [x (1),x (2),...,x (m) ] abhängen. 1.2 Methodk zur Schätzung der Parameter a Um Schätzungen für de Parameter θ = [θ 1,θ 2,...,θ p ] T zu erhalten, wendet man, we n der lnearen Regresson, das Prnzp der Klensten Quadrate an. De Summe der quadrerten Abwechungen S θ := n =1 (y η θ ) 2 mt η θ := h x ;θ soll also mnmert werden. De Schrebwese, de h x ;θ durch η θ ersetzt, st snnvoll, wel nach der Messung oder Beobachtung de Daten [x,y ] gegeben snd und nun de Parameter θ zu bestmmen bleben. Leder lassen sch das Mnmum der Quadratsumme und damt de Schätzungen ncht we n der lnearen Regresson explzt angeben. Iteratve numersche Verfahren helfen weter. De Grunddee, de hnter dem üblchen Algorthmus steckt, soll her skzzert werden. Se bldet auch de Bass für de enfachste Art, Tests und Vertrauensbereche herzuleten. b Geometrsche Veranschaulchung. De beobachteten Werte Y = [Y 1,Y 2,...,Y n ] T legen enen Punkt m n-dmensonalen Raum fest. Das Gleche glt für de Modellwerte η(θ) = [η 1 θ,...,η n θ ] T für gegebenes θ. Achtung! De üblche geometrsche Veranschaulchung von Daten, de bespelswese n der Multvaraten Statstk grundlegend st, betrachtet de Beobachtungen, de durch m Varable X (j), j = 1,2,...,m, festgelegt snd, als Punkte m m-dmensonalen Raum. Her betrachten wr de Y - und η-werte aller n Beobachtungen als Punkte m n-dmensonalen Raum. Leder hört unsere Anschauung be dre Dmensonen, also be dre Beobachtungen auf. Versuchen wr es also für en solches Mnbespel.

16 16 Statstk für Cheme-Ing., Nchtlneare Regresson c Im Bespel des Sauerstoffverbrauchs snd de Messungen für de Tage 1, 4 und 7 also x = [1,4,7] T glech Y = [8.3,16,19.8] T. De beden Vektoren legen je enen Punkt m dredmensonalen Raum fest. Obwohl es für dese Daten weng nützt, wollen wr zunächst de Anpassung ener Geraden, also ene enfache lneare Regresson, betrachten. Für gegebene Parameter β 0 = 5 und β 1 = 1 können wr de Modellwerte η β = β0 +β 1 x ausrechnen und den entsprechenden Vektor η β = β β 1 x ebenfalls als Punkt darstellen (Fgur 1.2.c). Nun fragen wr, wo alle Punkte legen, de durch Varaton der Parameter errecht werden können. Se snd de möglchen Lnearkombnatonen (Summen von Velfachen) der beden Vektoren 1 und x und blden deshalb de Ebene de durch 1 und x aufgespannt wrd. Fgur 1.2.c hält das grafsch fest. Y Y 10 x η 3 y [1,1,1] η 2 y 2 10 x η 3 y y [1,1,1] η 2 y 2 η 1 y 1 η 1 y 1 Abbldung 1.2.c: Geometrsche Veranschaulchung der enfachen lnearen Regresson. De Werte von η β = β 0 + β 1 x für varerende Parameter [β 0,β 1 ] führen zu ener Ebene m Raum. Rechts st zusätzlch der Punkt auf der Ebene engezechnet, der dem Punkt Y = [Y 1,Y 2,Y 3 ] am nächsten legt. Er stellt de angepassten Werte ŷ dar und legt de geschätzten Parameterwerte β fest. Zurück zum Problem der Schätzung der Parameter. Das Krterum S β st, geometrsch ausgedrückt, der quadrerte Abstand zwschen Y und η β. Gesucht st also der Punkt auf der Ebene, der den klensten Abstand zu Y hat. Deser wrd auch de Projekton von Y auf de Ebene genannt. De Parameterwerte, de desem Punkt η entsprechen, snd dann de geschätzten Parameterwerte β = [ β 0, β 1 ] T. d Nun soll de nchtlneare Funkton h x;θ = θ 1 exp 1 θ 2 x an de glechen dre Beobachtungen angepasst werden. Für θ 1 = 16 und θ 2 = 0.4 erhält man η θ = h x;θ = [5.275,12.770,15.027] T. Verändert man de beden Parameter, so erhält man ene zwedmensonale, gekrümmte Fläche m dredmensonalen Raum, sehe Fgur 1.2.d. e Das Schätzproblem besteht weder darn, den Punkt η auf der Fläche zu fnden, der Y am nächsten legt. In Fgur 1.2.e seht man, dass der entsprechende Wert θ 1 etwas klener als 21 und θ 2 etwas grösser als 0.6 st. De genaue Lösung st θ = [20.82,0.6103] T.

17 1.2. METHODIK ZUR SCHÄTZUNG DER PARAMETER Y η 2 y 2 η 3 y η 1 y 1 Abbldung 1.2.d: Geometrsche Veranschaulchung der nchtlnearen Regresson. De Werte von η θ = h x.;θ 1,θ 2 für varerende Parameter [θ 1,θ 2 ] führen zu ener zwedmensonalen Modellfläche m dredmensonalen Raum. De Lnen auf der Fläche entsprechen konstantem η 1 respektve η 3. f De Hauptdee des üblchen Algorthums läuft we folgt: Wenn en vorläufg bester Wert θ (l) vorlegt, approxmert man de Modellfläche durch de Ebene, de de Fläche m Punkt η θ (l) = h x;θ (l) berührt. Nun sucht man den Punkt n deser Ebene, der am nächsten be Y legt. Das läuft auf de Schätzung n enem lnearen Regressonsproblem hnaus. Deser neue Punkt legt auf der Ebene, aber ncht auf der Fläche, de dem nchtlnearen Problem entsprcht. Er legt aber enen Parametervektor θ (l+1) fest, und mt desem geht man n de nächste Iteratons-Runde. g Um de approxmerende Ebene zu bestmmen, brauchen wr de partellen Abletungen A (j) θ := η θ θ j, de wr zu ener n p-matrx A zusammenfassen können. De Approxmaton der Modellfläche η θ durch de Tangentalebene n enem Parameterwert θ lautet η θ η θ + A (1) θ (θ 1 θ 1) A (p) θ (θ p θ p)

18 18 Statstk für Cheme-Ing., Nchtlneare Regresson θ 2 = Y y θ 1 = 22 θ 1 = 21 θ 1 = η 2 y 2 η 3 y η 1 y 1 Abbldung 1.2.e: Geometrsche Veranschaulchung der nchtlnearen Regresson. Es snd zusätzlch Lnen konstanter Parameterwerte θ 1 respektve θ 2 engezechnet. Der Vektor der geschätzten Modellwerte ŷ = h x; θ st der Punkt auf der Fläche, der dem Punkt Y am nächsten legt. oder, n Matrxschrebwese, η θ η θ + A θ (θ θ ). Wenn wr nun den Zufallsfehler weder hnzufügen, erhalten wr en lneares Regressonsmodell Y η θ = A θ β + E mt den vorläufgen Resduen Y η θ als Zelgrösse, den Spalten von A als Regressoren und den Koeffzenten β j = θ j θ j (en Modell ohne Achsenabschntt β 0). h Der Gauss-Newton-Algorthmus besteht darn, ausgehend von enem Startwert θ (0) für θ das gerade engeführte lneare Regressonsproblem mt θ = θ (0) zu lösen, um ene Korrektur β und daraus enen verbesserten Wert θ (1) = θ (0) + β zu erhalten. Für desen wrd weder das approxmerende Modell ausgerechnet, also de Resduen Y η θ (1) und de partellen Abletungen A θ (1) bestmmt, und daraus ergbt sch θ (2). Mt desem Iteratonsschrtt wrd so lange wetergefahren, bs de Korrektur β vernachlässgbar wrd.

19 1.3. SCHÄTZUNG DER PARAMETER: STARTWERTE UND BEISPIELE 19 Es kann ncht garantert werden, dass deses Verfahren tatsächlch das Mnmum der Quadratsumme fndet. De Chancen dafür stehen besser, je besser sch de p-dmensonale Modellfläche m Mnmum θ = ( θ 1,..., θ p ) T durch ene p-dmensnale Ebene lokal approxmeren lässt, und je näher der Startwert θ (0) zur gesuchten Lösung st. * Komfortable Algorthmen bestmmen de Abletungsmatrx A numersch. In komplexeren Problemen kann de numersche Näherung ungenügend sen und Konvergenzprobleme verursachen. Dann st es von Vortel, wenn analytsche Ausdrücke für de ersten partellen Abletungen angegeben werden können. Damt kann de Abletungsmatrx numersch zuverlässger bestmmt werden und das Verfahren konvergert eher (sehe jedoch auch Abschntt 1.7). 1.3 Schätzung der Parameter: Startwerte und Bespele a En teratves Verfahren benötgt Startwerte, damt es überhaupt angewandt werden kann. Gute Startwerte helfen, dass das teratve Verfahren schneller und scherer de Lösung fndet. Enge Möglchketen, dese mehr oder wenger enfach zu gewnnen, werden her kurz vorgestellt. b We schon n der Enletung bemerkt, stammen de nchtlnearen Modelle velfach aus theoretschen Überlegungen n der jewelgen Substanzwssenschaft. Bestehen schon Vorkenntnsse aus ähnlchen Expermenten, so können dese verwendet werden, um Startwerte zu gewnnen. Um scher zu gehen, dass der gewählte Startwert passt, st es ratsam, de Regressonsfunkton h x;θ für verschedene möglche Startwerte θ = θ 0 graphsch mt den Daten zusammen darzustellen (z. B. so we n Abbldung 1.3.c, rechts). c Manchmal st man wegen der Vertelung der Fehler gezwungen, n Modellen mt lnearserbaren Regressonsfunktonen be der nchtlnearen Form zu verbleben. Im Bespel der Schadstoffe m Tunnel (1.1.j) war sogar der Ausgangspunkt en lneares Modell, das wegen der Vertelungsannahmen n en nchtlneares verwandelt wurde. Das lneare Modell kann aber Startwerte lefern. Im Bespel Puromycn st de Regressonsfunkton lnearserbar: De Kehrwerte der beden Varablen erfüllen ỹ = 1 y 1 h x;θ = 1 θ 1 + θ 2 θ 1 1 x = β 0 + β 1 x. De Klenste-Quadrate-Lösung für deses modfzerte Problem st β = [ β 0, β 1 ] T = ( , ) T (Fgur 1.3.c (a)). Das lefert de Startwerte θ (0) 1 = 1/ β 0 = 196, θ (0) 2 = β 1 / β 0 =

20 20 Statstk für Cheme-Ing., Nchtlneare Regresson /Geschwndgket /Konzentraton Geschwndgket Konzentraton Abbldung 1.3.c: Bespel Puromycn. (a) Regressonsgerade m lnearserten Problem. (b) Regressonsfunkton h x;θ für de Startwerte θ (0) ( ) und für de Klenste- Quadrate-Schätzung θ ( ). d e Im Bespel Puromycn können wr auch noch auf ene andere, nstruktve Art zu Startwerten gelangen: θ 1 st der y-wert für x =. Da de Regressonsfunkton monoton stegend st, können wr den maxmalen y -Wert oder enen vsuell bestmmten asymptotschen Wert θ 0 1 = 207 als Startwert für θ 1 benützen. Der Parameter θ 2 st der x-wert, be dem y de Hälfte des asymptotschen Wertes θ 1 errecht. Das ergbt θ 0 2 = De Startwerte ergeben sch also aus der geometrschen Bedeutung der Parameter und ener groben Bestmmung der entsprechenden Aspekte von ener von Auge engepassten Kurve. Lassen wr m Bespel aus der Membrantrenn-Technologe x gehen, so geht h x;θ θ 1 (da θ 4 < 0); für x geht h x;θ θ 2. Aus Fgur 1.1.f (a) und den Daten geht hervor, dass θ und θ st. Snd θ 1 und θ 2 bekannt, so kann man de Regressonsfunkton lnearseren durch θ (0) 1 y ỹ := log 10 y θ (0) = θ 3 + θ 4 x. 2 Man sprcht von ener bedngt lnearserbaren Funkton. De lneare Regresson führt zu den Startwerten θ (0) 3 = 1.83 und θ (0) 4 = Mt desen Startwerten konvergert der Algorthmus zur Lösung θ 1 = 163.7, θ 2 = 159.8, θ 3 = 2.67 und θ 4 = De Funktonen h ;θ(0) und h ; θ snd n Fgur 1.3.e (b) dargestellt. * De Egenschaft der bedngten Lneartät von Funktonen kann auch dazu benutzt werden, enen deser Stuaton spezell angepassten Algorthmus zu entwckeln (sehe z. B. Bates and Watts (1988)).

21 1.4. GENÄHERTE TESTS UND VERTRAUENSBEREICHE 21 Y (a) Y (b) d.membran$ph ph Abbldung 1.3.e: Bespel aus der Membrantrenn-Technologe. (a) Regressonsgerade, de zur Bestmmung der Startwerte für θ 3 und θ 4 gebraucht wrd. (b) Daten und Regressonsfunkton h x; θ für de Startwerte θ = θ (0) ( ) und für de der Klenste-Quadrate- Schätzung θ = θ ( ). 1.4 Genäherte Tests und Vertrauensbereche a De Schätzung θ lefert den Wert von θ, der optmal zu den Daten passt. Nun fragen wr, welche Parameterwerte θ mt den Beobachtungen verträglch snd. Der Vertrauensberech st de Menge all deser Werte. Für enen enzelnen Parameter θ j wrd der Vertrauensberech zum Vetrauensntervall oder Konfdenzntervall. De Resultate, de nun folgen, beruhen darauf, dass de Schätzung θ asymptotsch multvarat normalvertelt st. Für enen enzelnen Parameter führt das zu enem z-test und zum entsprechenden Vertrauensntervall; für mehrere Parameter kommt der entsprechende Chquadrat-Test zum Zug und lefert ellptsche Vertrauensbereche. b De asymptotschen Egenschaften der Schätzung können aus der lnearen Approxmaton hergeletet werden. Das Problem der nchtlnearen Regresson st ja näherungswese glech dem n 1.2.g erwähnten lnearen Regressonsproblem, wenn der Parametervektor θ, der für de Lnearserung verwendet wrd, nahe be der Lösung legt. Im Lösungspunkt θ st de Lösung für β m lnearen Problem exakt = 0 sonst wäre es ncht de Lösung. De Standardfehler der Koeffzenten β und allgemener de Kovaranzmatrx von β geben aber näherungswese de entsprechenden Grössen für θ weder. * Etwas genauer: De Standardfehler geben ja de Unscherheten weder, de durch de Zufallsschwankungen der Daten erzeugt werden. De vorlegenden Daten haben zum Schätzwert θ geführt. Wären de Daten etwas anders ausgefallen, dann wäre θ mmer noch ungefähr rchtg, also so nehmen wr an gut genug für de Lnearserung. De Schätzung von β für den neuen Datensatz würde also so wet vom Schätzwert für den vorlegenden Daten weg legen, we es der Vertelung der Parameter m lnearserten Problem entsprcht.

22 22 Statstk für Cheme-Ing., Nchtlneare Regresson c Aus deser Überlegung folgt: Asymptotsch st de Klenste-Quadrate-Schätzung θ normalvertelt (und konsstent) und deshalb θ N θ, V θ /n. mt asymptotscher Kovaranzmatrx V θ = σ 2 (A θ T A θ ) 1, wobe A θ de n p Matrx der partellen Abletungen st (1.2.g). Um de Kovaranzmatrx explzt zu bestmmen, wrd A θ an der Stelle θ berechnet, und für de Fehlervaranz σ 2 wrd de üblche Schätzung engesetzt, V θ ( ) 1 = σ A θ 2 T A θ, σ 2 = 1 θ n p S = 1 n n p (y h x ; θ ) 2. =1 Damt st de Vertelung der geschätzten Parameter näherungswese bestmmt, und daraus lassen sch we n der lnearen Regresson Standardfehler und Vertrauensntervalle herleten, ebenso Vertrauens-Ellpsen (oder -Ellpsode), wenn mehrere Parameter gemensam betrachtet werden. Der Nenner n p n σ 2 wurde n der lnearen Regresson engeführt, um de Schätzung erwartungstreu zu machen. Tests und Vertrauensntervalle wurden ncht mt der Normalund Chquadrat-Vertelung bestmmt, sondern mt der t- und F-Vertelung. Damt wurde berückschtgt, dass de Schätzung von σ 2 ene zusätzlche Zufallsschwankung bewrkt. Auch wenn de Vertelungen ncht mehr exakt gelten, so werden de Näherungen doch genauer, wenn man des be der nchtlnearen Regresson ebenfalls tut. Asymptotsch geht der Untersched gegen null. d Ene Computer-Ausgabe für das Bespel aus der Membrantrenn-Technologe zegt Tabelle 1.4.d. De Schätzungen der Parameter stehen n der Kolonne Value, gefolgt von den geschätzten approxmatven Standardfehler und den Teststatstken ( t value ), de approxmatv t n p -vertelt snd. In der letzten Zele wrd de geschätzte Standardabwechung σ der Zufallsfehler E angegeben. Parameters: Value Std. Error t value T T T T Resdual standard error: on 35 degrees of freedom Tabelle 1.4.d: Computer-Ausgabe für das Bespel aus der Membrantrenn-Technologe Aus desen Angaben können we n der lnearen Regresson de Vertrauensntervalle für de Parameter bestmmt werden: Das approxmatve 95%-Vertrauensntervall für den Parameter θ 1 st ± q t = ±

23 1.4. GENÄHERTE TESTS UND VERTRAUENSBEREICHE 23 e Bespel Puromycn. Zur Überprüfung enes Enflusses der Behandlung des Enzyms mt Puromycn von der postulerten Form (1.1.d) kann en gemensames Modell für de Daten mt und ohne Behandlung folgendermassen formulert werden: Y = (θ 1 + θ 3 z )x θ 2 + θ 4 z + x + E. Dabe st z de Indkatorenvarable für de Behandlung (z = 1, wenn behandelt, sonst =0). Parameters: Value Std. Error t value T T T T Resdual standard error: 10.4 on 19 degrees of freedom Tabelle 1.4.e: Computer-Ausgabe für das Bespel Puromycn Tabelle 1.4.e zegt, dass der Parameter θ 4 ncht sgnfkant von 0 verscheden st, denn der t-wert von 1.44 st klener als de krtsche Grenze q t = De Behandlung hat aber enen endeutgen Enfluss, der sch durch θ 3 ausdrückt; das 95% Vertrauensntervall überdeckt ± = [32.4,72.4]. f Neben den Parametern st oft der Funktonswert h x 0,θ für en belebges x 0 von Interesse. In der lnearen Regresson wrd der Funktonswert h x 0,β = x T 0 β durch xt β 0 geschätzt, und das (1 α)-vertrauensntervall dafür st x T β 0 ± σ x T 0 (X T X ) 1 x 0 q t n p 1 α/2. Durch analoge Überlegungen und asymptotsche Näherung kann man Vertrauensntervalle für den Funktonswerte h x 0 ;θ für ncht lneare h angeben. Wrd de Funkton η 0 θ := h x 0,θ an der Stelle θ lnear approxmert, so erhält man η 0 θ η 0 θ + a T 0 ( θ θ) mt a 0 = h x 0,θ. θ (Wenn x 0 glech enem beobachteten x st, dann st a 0 glech der entsprechenden Zele der Matrx A aus 1.2.g.) Das Vertrauensntervall für den Funktonswert h x 0,θ st dann approxmatv h x 0, θ ± q t n p 1 α/2 σ x 0 mt σ x0 = σ â T 0 (ÂT Â) 1 â 0. In deser Formel wurden weder de unbekannten Grössen durch hre Schätzungen ersetzt. g Der Ausdruck für das Vertrauensntervall für h x 0,θ glt für belebges x 0. Es st we n der lnearen Regresson nahelegend, de Grenzen deses Intervalls als Funkton von x 0 als Vertrauensband aufzuzechnen, we des Fgur 1.4.g für de beden Bespele Puromycn und Sauerstoffverbrauch zegt.

24 24 Statstk für Cheme-Ing., Nchtlneare Regresson Geschwndgket Vertrauensband Vorhersageband (a) Sauerstoffverbrauch (b) Konzentraton Tage Abbldung 1.4.g: Vertrauensband für den Funktonswert h und Vorhersageband, (a) Bespel Puromycn, (b) Bespel Sauerstoffverbrauch. Vertrauensbänder für lneare und nchtlneare Regressonsfunktonen verhalten sch verscheden: Be lnearen Funktonen st das Vertrauensband bem Schwerpunkt der Ausgangs- Varablen am engsten und wrd gegen aussen allmählch breter. Im nchtlnearen Fall können de Bänder belebger sen. Wel de Funktonen n den Bespelen durch den Nullpunkt gehen müssen, schrumpft dort das Intervall zu enem Punkt. Bede Modelle haben ene horzontale Asymptote und deshalb wrd das Band für grosse x ene konstante Brete errechen. h Das betrachtete Vertrauensband gbt an, wo de dealen Funktonswerte h x; θ, also de Erwartungswerte von Y be gegebenen x, legen. De Frage, n welchem Berech künftge Beobachtungen Y 0 für vorgegebenes x 0 zu legen kommen, st damt ncht beantwortet. Se st aber oft nteressanter als de Frage nach dem dealen Funktonswert; man möchte bespelswese wssen, n welchem Berech der zu messende Wert des Sauerstoffverbrauches für ene Inkubnatonszet von 6 Tagen legen wrd. Ene solche Angabe st ene Aussage über ene Zufallsvarable und st prnzpell zu unterscheden von enem Vertrauensntervall, das über enen Parameter, also ene feste, aber unbekannte Zahl, etwas aussagt. Entsprechend der Fragestellung nennen wr den gesuchten Berech Vorhersage-Intervall oder Prognose-Intervall. We m lnearen Fall st deses Intervall eng mt dem Vertrauensntervall für den Funktonswert verknüpft; man muss ledglch σ x0 n der obgen Formel durch σ 2 + σ 2 x 0 ersetzen. De entsprechenden Bänder snd n Fgur 1.4.g ebenfalls engezechnet.

25 1.5. GENAUERE TESTS UND VERTRAUENSINTERVALLE Genauere Tests und Vertrauensntervalle a De Qualtät der approxmatven Vertrauensbereche st stark von der Qualtät der lnearen Approxmaton abhängg. Ebenfalls werden de Konvergenzegenschaften der Optmerungsalgorthmen durch de Qualtät der lnearen Approxmaton beenflusst. Mt grösserem Rechenaufwand lässt sch de Lneartät grafsch überprüfen, und glechzetg erhält man genauere Vertrauensntervalle. b Um ene Nullhypothese θ = θ für den ganzen Parametervektor oder auch θ j = θj für ene enzelne Komponente zu testen, kann man, we n der lnearen Regresson, den F- Test zum Verglech von Modellen verwenden. Man verglecht dabe de Quadratsumme S θ, de sch unter der Nullhypothese ergbt, mt der Quadratsumme S θ. (Für n stmmt der F-Test mt dem so genannten Lkelhood-Rato-Test überen, und de Quadratsumme st, bs auf ene Konstante, glech der Log-Lkelhood.) c Zunächst wollen wr ene Nullhypothese θ = θ über den ganzen Parameter betrachten. De Teststatstk st T = n p p S θ S θ F p,n p. S θ Daraus erhält man als Vertrauensberech { ( )} θ S θ S θ 1 + p n p q wobe q = q F p,n p 1 α das (1 α)-quantl der F-Vertelung mt p und n p Frehetsgraden st. In der lnearen Regresson erhält man genau den glechen Vertrauensberech, wenn man de (multvarate) Normalvertelung der Schätzung β benützt. Im nchtlnearen Fall snd de Ergebnsse verscheden. Der Berech, der auf dem F-Test beruht, benützt de lneare Approxmaton des nchtlnearen Problems ncht und st deshalb (vel) exakter. d Falls p = 2 st, können wr den exakten Berech fnden, ndem wr S θ auf enem Gtter von θ-werten berechnen und durch Interpolaton de Grenzen des Vertrauensberechs bestmmen, we das für Kontur-Plots geläufg st. In Fgur 1.5.d snd de Konturen zusammen mt den ellptschen Berechen, de sch aus der lnearen Approxmaton ergeben, für de Bespele Puromycn (lnks) und Sauerstoffverbrauch (rechts) wedergegeben. Für p > 2 gbt es kene Kontur-Plots. Wr werden m nächsten Abschntt grafsche Hlfsmttel kennenlernen, de auch für höhere Dmensonen funktoneren. Se beruhen auf den folgenden Überlegungen. e Es soll geprüft werden, ob en enzelner Parameter θ k glech enem bestmmten Wert θk sen kann. Über de übrgen Parameter macht ene solche Nullhypothese kene Aussage. Das Modell, das der Nullhypothese entsprcht und am besten zu den Daten passt, st durch ene Klenste-Quadrate-Schätzung der übrgen Parameter be festem θ k = θk bestmmt. Es wrd also S θ 1,...,θk,...,θ p mnmert n Bezug auf alle θ j, j k. Das Mnmum bezechnen wr mt S k und de Werte θ j, de zu hm führen, mt θ j. Bede Grössen hängen von θk ab. Wr schreben deshalb S k θk und θ j θk. De Teststatstk für den F-Test st T k = (n p) S k θk S S θ. θ

26 26 Statstk für Cheme-Ing., Nchtlneare Regresson theta theta theta theta1 Abbldung 1.5.d: Nomnale 80% und 95% Lkelhood-Konturen ( ) und de Vertrauensellpsen aus der asymptotschen Approxmaton ( ). Der Punkt + zegt de Klenste- Quadrate Lösung. Im Bespel Pyromycn (lnks) st de Überenstmmung gut, m Bespel Sauerstoffverbrauch (rechts) dagegen schlecht. Se hat (genähert) ene F 1,n p -Vertelung. En Vertrauensntervall erhält man daraus, ndem man de Glechung T k = q F 1,n p 0.95 numersch nach θ k auflöst. Se hat ene Lösung, de klener als θ k st, und ene, de grösser st. f In der lnearen Regresson und m vorhergehenden Abschntt haben wr Tests und Vertrauensntervalle aus ener Testgrösse ausgerechnet, de ener t-vertelung folgt (t-test für de Koeffzenten). Ist das en anderer Test? Es stellt sch heraus, dass de Teststatstk des t-tests n der lnearen Regresson n de Teststatstk des F-Tests übergeht, wenn man se quadrert, und de beden Tests snd äquvalent. In der nchtlnearen Regresson st der F-Test ncht äquvalent mt dem m letzten Abschntt besprochenen t-test (1.4.d). Aber wr können den F-Test n enen t-test verwandeln, der genauer st als der des letzten Abschntts: Aus der Teststatstk des F-Tests zehen wr de Wurzel und versehen dese mt dem Vorzechen von θ k θ k, S k θ k S θ T k θk θk := sgn θk. σ (sgn a bezechnet das Vorzechen von a, und es st σ 2 = S θ /(n p).) Dese Teststatstk st (genähert) t n p -vertelt. Im lnearen Regressonsmodell st T k, we erwähnt, glech der Teststatstk des üblchen t-tests, T k θ k = θ k θ k se (b θ k ).

27 1.6. PROFIL-T-PLOT UND PROFILSPUREN 27 g* Wr können auch mt deser Technk en Vertrauensentervall für enen Funktonswert an ener Stelle x 0 bestmmen. Dazu reparametrseren wr das ursprünglche Problem so, dass en Parameter, sagen wr φ 1, den Funktonswert h x 0 repräsentert und gehen dann we besprochen vor. 1.6 Profl-t-Plot und Proflspuren a De grafschen Hlfsmttel zur Überprüfung der lnearen Approxmaton beruhen auf dem gerade besprochenen t-test, der ja eben dese Näherung ncht benützt. Wr betrachten de Teststatstk T k (1.5.e) als Funkton hres Argumentes θ k und nennen se Proflt-Funkton. Für de lneare Regresson erhält man, we n 1.5.e erwähnt, ene Gerade, während für de nchtlneare Regresson ene monoton stegende Funkton herauskommt. Den grafschen Verglech von T k θ k mt ener Geraden ermöglcht der so genannte Proflt-Plot. Es st üblch, auf der horzontalen Achse ncht θ k, sondern de auf Grund der lnearen Approxmaton bestmmte standardserte Verson δ k θ k := θ k θ k se (b θ k ) zu verwenden. De Verglechsgerade wrd dann de Dagonale, also de Gerade mt Stegung 1 und Achsenabschntt 0. b Je stärker de Profl-t-Funkton gekrümmt st, desto stärker st de Nchtlneartät n ener Umgebung von θ k. Folglch zegt dese Darstellung, we gut de lneare Approxmaton n ener Umgebung von θ k st. (De Umgebung, de für de Statstk wchtg st, st etwa durch δ k θ k 2.5 bestmmt.) In Fgur 1.6.b zegt sch, dass m Bespel Puromycn de Nchtlneartät mnm, m Bespel Sauerstoffverbrauch dagegen gross st. θ θ T Nveau T Nveau delta(theta1) delta(theta1) Abbldung 1.6.b: Profl-t-Plot für de ersten Parameter der Bespele Puromycn und Sauerstoffverbrauch. De gestrchelten Lnen zegen de verwendete lneare Approxmaton und de gepunktete Lne de Konstrukton des 99% Vertrauensntervalls mt Hlfe von T 1 θ 1.

28 28 Statstk für Cheme-Ing., Nchtlneare Regresson c Aus den Darstellungen kann man de Vertrauensntervalle gemäss 1.5.e ablesen. Der Bequemlchket halber snd auf der rechten vertkalen Achse de Wahrschenlchketen P T k t gemäss der t-vertelung markert. Im Bespel des Sauerstoff-Verbrauchs ergbt sch en Vertrauensntervall ohne obere Grenze! d En anderes nützlches Hlfsmttel snd de Lkelhood-Proflspuren (lkelhood profle traces). Her werden de geschätzten Parameter θ j, j k be festgehaltenem θ k (sehe (k) 1.5.e) als Funktonen θ j θ k deses Wertes betrachtet. De grafschen Darstellungen deser Funktonen würden ene ganze Matrx von Dagrammen füllen, ohne Dagonale allerdngs. Es lohnt sch, de gegenüberlegenden Dagramme (k) (j) deser Matrx zu kombneren: Über de Darstellung von θ j θ k wrd θ k θ j gelegt n gespegelter Form, damt de Achsen für bede Funktonen de gleche Bedeutung haben theta theta theta theta1 Abbldung 1.6.d: Lkelhood-Proflspuren für θ 1 gegen θ 2 für de Bespele Puromycn und Sauerstoffverbrauch, mt 80% und 95% Vertrauensberechen ( ) In Fgur 1.6.d st je enes deser Dagramme für unsere beden Bespele gezegt. Zusätzlch wurden Konturen von Vertrauensberechen für [θ 1,θ 2 ] engezechnet. Man seht, dass de Proflspuren de Konturen be Berührungspunkten der horzontalen, respektve vertkalen Tangenten schneden. e De Darstellung zegt ncht nur Nchtlneartäten, se enthält nützlche Hnwese, we sch de Parameter gegensetg beenflussen. Um dese zu verstehen, betrachten wr zuerst den Fall ener lnearen Regressonsfunkton. De Proflspuren n den enzelnen Dagrammen bestehen dann aus zwe Geraden, de sch m Nullpunkt schneden. Standardsert man de (k) Parameter, so kann man zegen, dass de Stegung der Spur θ j θ k glech dem Korrelatonskoeffzenten c kj der geschätzten Koeffzenten θ j und θ k st. De Umkehrspur θ (j) k θ j west dann gegenüber der horzontalen Achse ene Stegung von 1/c kj auf. Der Wnkel, den de Geraden enschlessen, st also ene monotone Funkton deser Korrelaton. Er msst damt de Kollneartät zwschen den beden Ausgangs-Varablen. Wenn de Korrelaton zwschen den Parameterschätzungen null st, dann stehen de Spuren senkrecht aufenander. Be ener nchtlnearen Regressonsfunkton snd de beden Spuren gekrümmt. Der Wnkel zwschen hnen zegt aber mmer noch, we stark de beden Parameter θ j und θ k zusammenhängen, also hre Schätzungen korrelert snd.