Versuchsplanung und multivariate Statistik Sommersemester 2018

Transkript

1 Versuchsplanung und multivariate Statistik Sommersemester 2018 Vorlesung 12: Lineare und nichtlineare Modellierung II Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

2 4.1.2 Weitere Ergebnisse zu linearen Regressionsmodellen Bem. Ist die gesuchte Abhängigkeitsfunktion eine nichtlineare Funktion (eine Gerade ist schlecht an die Daten anpassbar), kann man mitunter durch geeignete Variablentransformationen die Aufgabenstellung in eine der einfachen linearen Regression transformieren. Diese ist dann aber eigentlich nicht äquivalent zur ursprünglichen Aufgabenstellung. Nichtlineare, in lineare transformierbare Funktionen sind z.b. y = αx β ln y = ln α + β ln x y = αe βx ln y = ln α + βx y = (α + βx) 1 y 1 = α + βx y = x(α + βx) 1 y 1 = αx 1 + β y = αe β/x ln y = ln α + βx 1 y = ( α + βe x) 1 y 1 = α + βe x Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

3 Matrix-Vektor-Form für die einfache lineare Regression Bem. Die Modellgleichungen für die einfache lineare Regression lauten y i = a + bx i + ε i, i = 1,..., n. In Matrix-Vektor-Form lauten diese Gleichungen mit y = x θ + ε y = (y1,..., y n ) T (Vektor der abhängigen Variablen), ε = (ε1,..., ε n ) T (Vektor der Residuen), θ = (a, b) T (Parametervektor, Vektor der Regressionskoeffizienten), 1 x 1 1 x 2 x = (Planmatrix, Designmatrix)... 1 x n Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

4 Normalgleichungssystem für die einfache lineare Regression Bem. Die Methode der kleinsten Quadrate besteht in der Bestimmung des Schätzvektors ˆθ durch ˆθ = arg min θ R 2(y x θ)t (y x θ) = arg min θ R 2 εt ε Beh. Ein in Bem definierter Vektor ˆθ ist Lösung des linearen Gleichungssystems (des Normalgleichungssystems) x T x θ = x T y. Ist die Matrix x T x regulär (invertierbar), dann existiert eine eindeutige Lösung ( 1 ˆθ = x x) T x T y. Die empirischen Regressionskoeffizienten (die Komponenten von ˆθ ) sind Linearkombinationen der Messwerte y 1,..., y n. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

5 Beispiel Fe-Bestimmung Bsp. Daten aus: Danzer, Hobert, Fischbacher, Jagemann, Chemometrik Grundlagen und Anwendungen, Springer, 2001, Tabelle 7.2, S Daten: Fe-Bestimmung, die mittels GF-AAS (Graphitrohr-Atomabsorbtionsspektrometrie) bei λ = nm über eine Variation der Einwage durchgeführt wurde. x i Masse in ng Peakhöhe y i i x i y i Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

6 Regressionsgerade im Beispiel Regressionsgerade: y = x. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

7 Residuenplot zum Beispiel (Regressionsgerade) Bestimmtheitsmaß: B = Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

8 Regressionsparabel im Beispiel Regressionsparabel: y = x x 2. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

9 Residuenplot zum Beispiel (Regressionsparabel) Bestimmtheitsmaß: B = Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

10 Gleichungssystem zur Bestimmung der Regressionsparabel Beh. Das lineare Gleichungssystem zur Bestimmung der Regressionsparabel (Ausgleichsparabel) y = â + ˆbx + ĉx 2 lautet n n n x i xi 2 i=1 i=1 n n n x i xi 2 xi 3 â y 1 ˆb = x 1... x n. i=1 i=1 i=1 n n n ĉ x xn 2 y n xi 2 i=1 xi 3 i=1 xi 4 i=1 oder x T x ˆθ = x T y mit x = y = (y 1,..., y n ) T x 1... x n x xn 2 T, ˆθ = (â, ˆb, ĉ) T und Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

11 Der Fall symmetrisch liegender Werte x i Bem. Liegen die Werte x i, i = 1,..., n, symmetrisch zu Null (dies kann ggf. durch eine affin lineare Transformation erreicht werden), ergeben sich einfachere Formeln, da dann n i=1 x p i = 0 für ein ungerades p gilt. Im Fall der einfachen linearen Regression erhält man so â = n i=1 y i n = y, ˆb = n i=1 x iy i n i=1 x 2 i. Für die Regressionsparabel erhält man in diesem Fall mit h 1 = n i=1 x i 2, h 2 = n i=1 x i 4, h 3 = nh 1 h 2 h1 3 die Formeln ( ) â = h n n 1 h 2 y i h 1 xi 2 y i, ˆb = nh 2 h 2 n 1 x i y i, h 3 h 3 i=1 i=1 i=1 ( ĉ = h 1 h 3 n n xi 2 y i h 1 i=1 ) n y i. i=1 Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

12 Das stochastische Modell (einfache lineare Regression) Für weiterführende statistische Aussagen wie Konfidenzintervalle oder Tests muss ein stochastisches Modell genutzt werden Modell Y i = a + bx i + ε i, i = 1,..., n, wobei die Werte x i deterministische, einstellbare Werte sind und der Zufallseinfluss (Messfehler bei der Messung der Größe y, nicht berücksichtigte Einflussgrößen, Fehler in der Wahl der Klasse der Regressionsfunktionen zufällige Fehler ) durch unabhängige normalverteilte Zufallsgrößen ε i mit E[ε i ] = 0 und Var[ε i ] = σ 2 (unbekannt, nicht von i abhängig) modelliert werden. Damit werden die beobachteten Werte als Realisierungen von Zufallsgrößen angesehen, wobei obige Gleichungen das stochastische Beobachtungsmodell (oder Messmodell) definieren. Die Koeffizienten a und b werden als deterministische, aber unbekannte Parameter angesehen (im Rahmen der klassischen mathematischen Statistik). Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

13 Eigenschaften der Schätzer für die Parameter a und b Beh. Unter den Voraussetzungen für Modell gelten: Die Kleinste-Quadrat-Schätzwerte ˆb bzw. â sind Realisierungen erwartungstreuer und konsistenter Schätzfunktionen ˆB = n (x i x)(y i Y ) i=1 = n (x i x) 2 i=1 n x i Y i nx Y i=1 für die Modellparameter b bzw. a., Â = Y n ˆBx xi 2 nx 2 Die Schätzfunktionen für â bzw. ˆb sind auch die besten linearen unverzerrten Schätzer (d.h. die linearen erwartungstreuen Schätzer mit kleinstmöglicher Varianz, BLUE, best linear unbiased estimator ) für die Modellparameter a bzw. b. i=1 Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

14 Schätzung der Fehlervarianz Beh. Unter den Voraussetzungen für Modell gilt: Die Fehlervarianz Var[ε i ] = σ 2 kann geschätzt werden durch ˆσ 2 = srest 2 = 1 n 2 SSR = 1 n (y i ŷ i ) 2. n 2 Der Schätzwert ist die Realisierung der erwartungstreuen Schätzfunktion ˆσ 2 = SRest 2 = 1 n 2 SSR = 1 n (Y i Ŷ i ) 2. n 2 (Der Nenner n 2 gewährleistet die Erwartungstreue, d.h. Unverzerrtheit, des Schätzers und hängt damit zusammen, dass 2 Parameter geschätzt werden und nicht als bekannte Werte vorliegen.) i=1 i=1 Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

15 Tests für die Parameter a und b Beh. Unter den Voraussetzungen für Modell gelten: Hypothesen: H 0 : a = a 0, H A : a a 0 bzw. H 0 : b = b 0, H A : b b 0. Testwerte: t = â a 0 s a mit s 2 a = ( 1 n + x 2 n i=1 (x i x) 2 ) ˆσ 2 bzw. t = ˆb b 0 mit sb 2 s = ˆσ 2 n b i=1 (x. i x) 2 Diese dazugehörigen Testgrößen sind unter H 0 t verteilt mit n 2 Freiheitsgraden. Kritischer Bereich zum Niveau α: K = {t R : t > t n 2;1 α/2 }. Analog können einseitige Tests durchgeführt werden. Unter den angegebenen Bedingungen gelten ] ( 1 Var[Â = n + x 2 ) ] n i=1 (x i x) 2 σ 2, Var[ ˆB = σ 2 n i=1 (x i x) 2. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

16 Konfidenzintervalle für die Parameter Beh. Unter den Voraussetzungen für Modell gelten: Ein Konfidenzintervall für a zum Niveau 1 α ist [â s a t n 2;1 α/2 ; â + s a t n 2;1 α/2 ]. Ein Konfidenzintervall für b zum Niveau 1 α ist [ˆb s b t n 2;1 α/2 ; ˆb + s a t n 2;1 α/2 ]. Ein Konfidenzintervall [ für die Fehlervarianz σ 2 zum Niveau ] 1 α ist (n 2)ˆσ 2 /χ 2 n 2;1 α/2 ; (n 2)ˆσ2 /χ 2 n 2;α/2. Simultane Konfidenzintervalle zum Niveau 1 α sind die folgenden. Das erste Intervall überdeckt a, das zweite b, wobei insgesamt das Niveau 1 α eingehalten wird: [ ] 2s 2a F 2;n 2;1 α â [ ˆb 2sa 2 F 2;n 2;1 α ; â + 2sb 2F 2;n 2;1 α; ˆb +, ] 2sb 2F 2;n 2;1 α. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

17 Konfidenzintervalle für die Regressionsgerade Häufig möchte man jedoch Konfidenzintervalle für den Wert der Regressionsgerade an einer Stelle x (oder für ein Intervall von x Werten) bestimmen, d.h. für E[Y (x)] = a + bx Beh. Ein solches Konfidenzintervall zum Niveau 1 α kann unter den Voraussetzungen für Modell berechnet werden durch [ŷ(x) d; ŷ(x) + d] mit ŷ(x) = â + ˆbx und d = s Rest t n 2,1 α/2 1 n + (x x) 2 n i=1 (x i x) 2. Für unterschiedliche Werte x erhält man unterschiedliche Abstände zwischen der oberen und unteren Grenze. Für alle x Werte betrachtet ergibt sich ein Konfidenzstreifen (Konfidenzschlauch), der an der Stelle x = x am schmalsten ist. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

18 Prognoseintervalle für Y (x) Berechnet man ein zufälliges Intervall, welches mit einer vorgegebenen Wahrscheinlichkeit 1 α eine Realisierung von Y (x) = a + bx + ε(x) überdeckt, erhält man ein sogenanntes Prognoseintervall für Y (x) zum Niveau 1 α Beh. Ein solches Prognoseintervall zum Niveau 1 α kann unter den Voraussetzungen für Modell berechnet werden durch [ŷ(x) d; ŷ(x) + d] mit ŷ(x) = â + ˆbx und d = s Rest t n 2,1 α/ n + (x x) 2 n i=1 (x i x) 2. Bei Betrachtung beliebiger x Werte erhält man wieder einen Streifen um die Regressionsgerade, den Prognosestreifen. Er ist breiter als der zugehörige Konfidenzstreifen zum selben Niveau. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

19 Konfidenzstreifen für Löslichkeitsdaten von NaNO Bsp. Regressionsgerade (blau), Konfidenzstreifen (rot), Prognosestreifen (grün), Mittelwertlinie (grau) für Daten aus Bsp (Konfidenzniveau 0.95) Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

20 Einfache lineare Regression durch den Koordinatenursprung Bem. Bei bestimmten Problemstellungen ist es sinnvoll zu fordern, dass die Regressionsgerade durch den Koordinatenursprung geht. Man spricht dann auch von einer Regression ohne Absolutglied oder einer eigentlich-linearen Regression. Man erhält nun als Modellansatz Y i = b x i + ε i, i = 1,..., n ; als Schätzung für den Parameter b n i=1 ˆb = x iy i n i=1 x i 2 und als Schätzung für die Varianz der zufälligen Fehler ˆσ 2 = 1 n 1 n (y i ŷ i ) 2 mit ŷ i = ˆb x i. i=1 Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

21 Regressionsgerade durch Nullpunkt im Beispiel Regressionsgerade: y = x. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

22 Residuenplot zum Beispiel lin. Regression durch 0 Bestimmtheitsmaß: B = Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

23 Residualanalyse zur Überprüfung des Modells Bem. Durch eine Analyse der Residuen ist eine Überprüfung der Modellannahmen möglich, z.b. bei der linearen Einfachregression. Zu den Modellannahmen gehören sowohl die Wahl der Klasse der Regressionsfunktionen als auch die Annahmen an die zufälligen Fehler: der Typ der Verteilung (oft Normalverteilung) und deren Parameter (Erwartungswerte gleich Null und konstante Varianzen Homoskedastizität) und Unabhängigkeit. Ist der Modellansatz, z.b. die Annahme einer Normalverteilung für die zufälligen Fehler ε i, i = 1,..., n, richtig, dann sind die Residuen ε i = Y i ŷ i approximativ unabhängig und identisch normalverteilt. Die Überprüfung der Modellannahmen mit Hilfe der Residuen kann durch statistische Tests erfolgen (z.b. Verteilungstests). Hinweise kann auch eine grafische Analyse liefern. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

24 Grafische Analyse der Residuen - Heteroskedastizität Bem. Bei bestimmten typischen Mustern in den Grafiken kann man dann unter Umständen auf spezielle Modellfehler schliessen. Vermutung, dass Fehlerzufallsgrößen unterschiedliche Varianzen besitzen (Heteroskedastizität). Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

25 Grafische Analyse der Residuen Vermutung: Fehlspezifikation der Regressionsfunktion, z.b. quadratische Regression oder Strukturbruch. Vermutung: richtige Spezifikation des Regressionsmodells und Homoskedastizitätsannahme erfüllt. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

26 Verschiedene Residuendarstellungen Bem. Die grafische Darstellung der Residuen kann z.b. bezüglich der Fallnummern, der x i Werte oder der geschätzten Werte ŷ i erfolgen. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

27 4.1.3 Multiple parameterlineare Regression Bem. Im Folgenden soll die Abhängigkeit eines Regressanden (einer Wirkungsgröße oder einer endogenenen Variablen) Y von mehreren Regressoren (Einflussgrößen oder exogenen Variablen) X 1,..., X m beschrieben werden, d.h. es soll gelten Y f (X 1,..., X m ) mit einer geeigneten Funktion f : R m R. Wir werden wieder annehmen, dass die Regressoren deterministisch sind (z.b. mit exakt einstellbaren Werten) und dies durch kleine Buchstaben x 1,..., x m in den Gleichungen kennzeichnen. Man erhält dann als Modellgleichung Y (x 1,..., x m ) = f (x 1,..., x m ) + ε mit einem zufälligen Fehler ε = ε(x 1,..., x m ). Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

28 Beispiele für parameterlineare Ansätze Bsp. Häufig werden bei solchen Aufgabenstellungen parameterlineare Ansätze verwendet, d.h. man setzt eine Beziehung Y (x 1,..., x m ) = a 1 f 1 (x 1,..., x m ) a r f r (x 1,..., x m ) + ε mit speziell gewählten, bekannten Funktionen f 1,..., f r und zu bestimmenden Koeffizienten (Parametern) a 1,..., a r voraus. Im eigentlich nichtmultiplen Fall m = 1 (nur eine Einflussgröße) gilt bei der polynomiellen Regression vom Grade k Y (x) = a 0 + a 1 x a k x k + ε. Der m faktorielle Ansatz ohne Wechselwirkungen Y (x 1,..., x m ) = a 0 + a 1 x a m x m + ε definiert die Ausgleichsebene (ebene Regression). Bem.: Eine Gleichung y = a 0 + a 1 x a m x m (Hyper-)Ebene im (m + 1) dimensionalen Raum. definiert eine Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

29 Fortsetzung Beispiele für parameterlineare Ansätze Als Beispiel eines m faktoriellen Ansatzes mit Wechselwirkungen werde hier noch der Fall einer multiplen quadratischen Regression vorgestellt: Y (x 1,..., x m ) = a 0 + a 1 x a m x m + a 12 x 1 x a m 1,m x m 1 x m + a 11 x a mm x 2 m + ε. Auch höhere Polynomgrade oder andere Funktionen der Variablen x 1,..., x m sind möglich und werden auch verwendet. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

30 Regressionsansatz in Vektorschreibweise Bem. Analog zu früheren Ausführungen ist es vorteilhaft, die Vektorschreibweise zu nutzen. Es seien x = (x 1,..., x m ) T = f(x) = (f 1 (x),..., f r (x)) T = x 1. x m, a = (a 1,..., a r ) T = f 1 (x). f r (x). Der parameterlineare Ansatz kann dann geschrieben werden als a 1. a r, Y (x) = a T f(x) + ε(x). (1) Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

31 Die Methode der kleinsten Quadrate Bem. Sind die (zufallsbeeinflussten) Wirkungen y i für i = 1,..., n an den Einflussstellen x i = (x i1,..., x ik ) T durch Messungen bestimmt worden, kann man mit Hilfe der Methode der kleinsten Quadrate eine geeignete Schätzung â des Vektors a der Regressionskoeffizienten im parameterlinearen Ansatz (1) finden. Die Schätzung â ist ein Vektor von Regressionskoeffizienten a, für n ( 2 den y i a T f(x i )) minimal wird. i=1 Die geschätzte Regressionsfunktion ist dann ŷ(x) = â 1 f 1 (x) â r f r (x) = â T f(x) = f(x) T â. Im Weiteren genutzte Bezeichnungen sind y = (y 1,..., y n ) T f = (f(x 1 ),..., f(x n )) T = f 1 (x 1 )... f r (x 1 )..... f 1 (x n )... f r (x n ). und Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

32 Das Normalgleichungssystem Beh. Die Schätzung â des Vektors a der Regressionskoeffizienten kann dann mit Hilfe des Normalgleichungssystems gefunden werden: f T f â = f T y. (2) Dies ist ein lineares Gleichungssystem zur Bestimmung der Komponenten von â. Ist die Matrix f T f regulär, dann ist (2) eindeutig auflösbar und es gilt ( 1 â = f f) T f T y. (3) Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

33 Eigenschaften der Schätzung Beh. Unter der Annahme, dass die beobachteten Werte y i Zufallsgrößen Realisierungen der Y i = a 1 f 1 (x i ) a r f r (x i ) + ε i sind, wobei die zufälligen Fehler ε i unabhängige normalverteilte Zufallsgrößen mit Erwartungswert 0 und konstanter Varianz σ 2 sind, ist die Schätzung â aus (3) erwartungstreu und konsistent. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

34 Beispiel Bsp. Bearbeitungszeit y, Durchmesser x 1 und Länge x 2 von Werkstücken (Quelle: Hartung, Elpelt, Klösener, Statistik Lehr- und handbuch der angewandten Statistik, Oldenbourg Verlag, 2009, Kap. 10, Tab. 9) Daten: y x x Gleichung der Regressionsebene y = x x 2. Bestimmheitsmaß: B = Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

35 Beobachtete versus geschätzte Werte im Beispiel Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

36 Residuenplot zum Beispiel Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

37 Streuungszerlegung Beh. und Def. Wie im Fall der einfachen linearen Regression gilt für den parameterlinearen Ansatz die Quadratsummenzerlegung (Streuungszerlegung) SST = SSE + SSR (bei Schätzung der Regressionskoeffizienten mit der Methode der kleinsten Quadrate). Dabei sind wieder n SST = (y i y) 2, die Totalvariabilität (Totalvarianz); SSE = SSR = i=1 n (ŷ i y) 2, die erklärte Variabilität (erklärte Varianz); i=1 n (y i ŷ i ) 2, die Restvariabilität (Restvarianz). i=1 Das Bestimmtheitsmaß ist B = SSE SST = 1 SSR SST = r 2 Y (f 1 (X),...,f r (X)). Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

38 Schätzung der Fehlervarianz Bem. Eine konstante Varianz der zufälligen Fehler ε i (und damit der Zufallsgrößen Y (x i ) kann analog zum Fall der einfachen linearen Regression durch ˆσ 2 = srest 2 = SSR n r geschätzt werden. Der Nenner n r ist durch die Schätzung von r Parametern bedingt. Für die folgenden Aussagen zu Konfidenzschätzungen und Tests setzen wir wieder voraus, dass die zufälligen Fehler ε i unabhängige normalverteilte Zufallsgrößen mit Erwartungswert 0 und konstanter Varianz σ 2 sind. Mit m i wird in den nächsten Folien das i te Diagonalelement der Matrix (f T f) 1 bezeichnet. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

39 Konfidenzschätzungen Bem. Konfidenzintervall zum Niveau 1 α für die Komponente a i von a : [ ] I = â i t n r;1 α/2 s 2Rest m i ; â i + t n r;1 α/2 srest 2 m i. Konfidenzintervall zum Niveau 1 α für die Regressionsfunktion f(x) T a : [ I = f(x) T â t n r;1 α/2 srest 2 f(x)t (f T f) 1 f(x) ; ] f(x) T â + t n r;1 α/2 srest 2 f(x)t (f T f) 1 f(x). Auch Prognoseintervalle können konstruiert werden. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

40 t Test für einzelnen Parameter Bem. Hypothesen: H 0 : a i = a (0) i, H A : a i a (0) i. Testgröße: T = âi a (0) i. srest 2 m i Diese Testgröße ist unter H 0 Kritischer Bereich zum Niveau α : t verteilt mit n r Freiheitsgraden. K = {t R : t > t n r;1 α/2 }. Analog können einseitige Tests durchgeführt werden. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

41 F Test für das Modell (Varianzanalyse) Bem. Wir setzen voraus, dass f 1 (x) = 1 gilt, d.h. a 1 im Modell. ist die Konstante Hypothesen: H 0 : a 2 =... = a r = 0, H A : a i 0 für ein i > 1. Testgröße: T = MSE MSR SSE SSR mit MSE =, MSR = r 1 n r. Diese Testgröße ist unter H 0 F verteilt mit (r 1; n r) Freiheitsgraden. Kritischer Bereich zum Niveau α : K = {t R : t > F r 1;n r;1 α }. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

42 t Test bezüglich der ganzen Regressionsfunktion Bem. Hypothesen: H 0 : d T a = c, H A : d T a c mit gegebenem Vektor d und reeller Zahl c. d T â c Testgröße: T =. srest 2 dt (f T f) 1 d Diese Testgröße ist unter H 0 t verteilt mit n r Freiheitsgraden. Kritischer Bereich zum Niveau α : K = {t R : t > t n r;1 α/2 }. Setzt man insbesondere d = f(x) für einen bestimmten Vektor x der Regressoren, so kann man damit testen, ob der Wert der Regressionsfunktion f (x) = a T f(x) an der Stelle x signifikant von c abweicht. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

43 F Test zur Modellüberprüfung Bem. Allgemein gilt, dass bei großen Werten der Restvarianz (der Restquadratsumme) das gewählte Modell schlecht ist. Ist eine gute Anpassung aber möglich, dann interessiert oft die Frage, ob auch schon ein kleineres Modell, d.h. ein Modell mit einer geringeren Anzahl von Ansatzfunktionen adäquat ist. Dieses kann für ein gewähltes großes Modell (r g Ansatzfunktionen, Restquadratsumme SSR g ) und ein gewähltes kleines Modell (r k Ansatzfunktionen, Restquadratsumme SSR k ) mit Hilfe eines F Tests überprüft werden. Hypothesen: H 0 : kleines Modell ist ausreichend, H A : kleines Modell ist nicht ausreichend. Testgröße: T = n r g SSR k SSR g. SSR g r k Kritischer Bereich (Niveau α): K = {t R : t > F rk ;n r g ;1 α}. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

44 4.2 Ergänzungen Bem. Gehen die zu bestimmenden Parameter nichtlinear in die Modellgleichung der Regressionsfunktion ein, muss das bei Nutzung der Methode der kleinsten Quadrate entstehende Minimierungsproblem mit Hilfe anderer, nichtlinearer Methoden, gelöst werden. In der Chemometrie hat man es öfters mit vielen Merkmalen (und nicht so vielen Beobachtungen) zu tun. In diesen Fällen kann zum Beispiel die Hauptkomponentenregression oder die Methode der partiellen kleinsten Quadrate ( partial least squares regression, PLS regression ) genutzt werden. Bei diesen Methoden werden als Regressoren nicht die urprünglichen Merkmale genutzt, sondern wenige, gut geeignete latente Variablen, die wieder linear mit den Beobachtungsvariablen zusammenhängen. Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

45 Beispielanwendung: Datensatz gasoline Bsp. Die Nutzung des R-Paketes pls wird z.b. in Mevik, Wehrens, Introduction to the pls Package, 2016, beschrieben. Ein Beispiel ist der Datensatz gasoline, wobei die Oktanzahl durch geeignete latente Variablen, basierend auf den NIR-Spektrenwerten, beschrieben werden sollen. Beispielhaft wird eine PLS-Regression mit 10 Komponenten berechnet. Die Werte der Anteile der erklärten Varianzen für die Gesamtdaten durch die berechneten Komponenten betragen Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

46 RMSEP-Grafik Beispiel (RMSEP: Root Mean Squared Error of Prediction) Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

47 Beobachtete versus geschätzte Werte im Beispiel Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version

48 Ladungen im Beispiel 4.2.2, erste 2 Komponenten Prof. Dr. Hans-Jörg Starkloff Versuchsplanung & multivariate Statistik 12 Version