Statistische Datenanalyse und Optimierung

Transkript

1 Statstsche Datenanalyse und Optmerung.0.00

2 Glederung Vertelungsfunktonen Normalvertelung Normalvertelung mehrerer Vayrablen Abgeletete Vertelungen: χ -Vertelung, Student-t-Vertelung Statstsche ests Fehlerfortpflanzung Lneare Optmerung Sngulärwert-Zerlegung SVD Ncht-lneare Optmerung Allgemene Optmerung mt Fehlern der Messgrößen Robuste Schätzer.0.00

3 Vertelungsfunkton Gemessene Daten: x aus ener Stchprobe (statstcs) vom Umfang n ener kontnuerlchen Zufallsvarablen x. Jeder Wert der Zufallsvarablen st mt enem Fehler behaftet. Innerhalb der Stchprobe snd de Zufallsvarablen entsprechend ener Vertelungsfunkton F(x) vertelt F( x) = P( x < x) F( ) = 0 F( ) = Px ( x) = Px ( < x) F(x) F(x) : stetg, monoton stegend, stetg dfferenzerbar x

4 Wahrschenlchketsdchte: d F( x) f( x) = > 0 dx Statstsche Datenanalyse, Optmerung Wahrschenlchketsdchte Normerung f( x)dx= Berechnung der Wahrschenlchket für en Eregns x Px ( < a) = Fa ( ) = f( x)dx b Pa ( x< b) = f( x)d x= Fb ( ) Fa ( ) a a a { } P( a x< a) = f( x)d x= F( a) F( a) = F( a) a für symmetrsche Vertelungen Berechnung der Extremwerte a (bzw. -a) ener Zufallsvarable x für gegebene Wahrschenlchket P Ensetge oder zwesetge Berechnung Statstsche estverfahren

5 Erwartungswert ener Zufallsvarablen {} Zufallsvarable Mttelwert der Varablen x über der Grundgesamthet Ene Funkton y ener Zufallsvarablen x, y = H(x) st selbst weder ene Zufallsvarable { } ˆ E x = xˆ = x f( x) dx { + } = { } + { } E x y E x E y E H( x) = y= H( x) f( x) dx Momente um c vom Grad l H( x) = ( x c) l { c} {} αl = E x σx = Varanz von x, wenn c= E x = xˆ σ= σx = Standardabwechung l µ { ˆ l = E x x} l. Moment um Mttelwert E{ ( x ˆ ˆ x)( xj x) } = 0, { } µ = ; µ = 0; µ = E x xˆ = σ falls x und x unkorrelert 0 l x j

6 Vertelungsfunktonen Häufgste Wahrschenlchketsdchte Gaußsche - oder Normal-Vertelung N( xˆ, σ) ( x xˆ ) f( x) = exp = φ( x) πσ σ Standardnormalvertelung N(0,), wenn x f( x) = φ0 ( x) = exp π ransformaton: xˆ = 0 und σ = u u= x xˆ un d σ= f( x) = φ0 ( u) = exp π

7 Normal-Vertelung Symmetrsche Glockenkurve Wahrschenlchketsdchte ( x xˆ ) f( x) = exp = φ( x) πσ σ Wahrschenlchket φ(x) = N(0,) Φ(x) x ( x xˆ ) Φ ( x) = exp = P( x< x) πσ σ Grenzwertsatz der Statstk: lm f( x) = N( xˆ, σ) = φ( x) n

8 Normalvertelung mehrerer Varablen x = ( x, x, xm) x se normalvertelt um a a = a a a a = xˆ σ = E x a ( ),, m und {( ) } Falls x ncht statstsch unabhängg: E{( x a )( x a )} = cov( x, x ) j j j Kovaranzmatrx C = E{( x a)( x a) } φ x cov( x, x ) = 0 falls x und x statstsch unabhängg ( π) j j = C C ( x) exp ( x a) ( x a) m C - x = G x = Gewchtsmatrx der Zufallsvarablen = Inverse der Kovaranzmatrx Normerte Kovaranzmatrx = Korrelatonsmatrx

9 Normalvertelung mehrerer Varablen Endlche Stchproben: gx n Statt wahrem Wert ˆx nur Mttelwert x = bekannt, mt: g n g : statstsches Gewcht der Messung x { } = xˆ E x x st ene unverzerrte Schätzung von ˆx Statt Standardabwechung s nur Streuung: s st ene unverzerrte Schätzung von σ s = ( x x), E{ s } = σ n n Wahrschenlchketsvertelungen beder Größen von Zahl der Frehetsgrade f abhängg

10 n s = x x n Statstsche Datenanalyse, Optmerung ( ) Erwartungswert von s n n E{ s } = E ( x ) ( ˆ ( ˆ x = E x x x x) ) n n n n = E ( x ˆ) ( ˆ) ( ˆ) ( ˆ x x x x x + n x x) n n n E ( x ˆ) ( ˆ) ( ˆ x = nσ x x x = n x x) E{ s } = nσ {( ˆ x ne x x σ ) } = x nσx n = nσx σ x = σx n n n n Nebenrechnung: n n n E{ ( x xˆ) } = E x ˆ ˆ ( ˆ n x E x ) nx E x x = = n n n E ( x ˆ) ( ˆ )( ˆ x E x x xj x) σx = + = n n n σ x =, j n n

11 Student-t-Vertelung Wahrschenlchketsdchte, falls nur en Mttelwert t und en Schätzwert s t der Varanz σ t der Stchprobe vom Umfang f bekannt snd f (, t f) = t Et {} = 0 σ ( t( f) ) f + f t f π Γ + f f = f f + Γ Rot f = Grün f = Blau f = 5 Magenta f = 0 Schwarz N(0,) f : Anzahl Frehetsgrade t-vertelung geht für große f n Normalvertelung über.0.00

12 Vertelung des Schätzwertes der Varanz s χ -Quadrat-Vertelung χ s = f > 0 σ f f( χ, f) = ( χ ) exp χ f Γ ( ) { χ } = und σ χ = E f f f : Anzahl Frehetsgrade χ -Vertelung geht für große f n Normalvertelung über Γ( z) = Gammafunkton Γ( ) z z u exp u du = 0 f [ ] Rot f = Blau f = Grün f = 3 Gelb f = 4 Magenta f = 5 Schwarz f=

13 Konfdenzntervalle: Statstsche Datenanalyse, Optmerung Statstsche ests Zwesetger est: De mt dem zentralen Wert µ und der Abwechung σ normerte Zufallsvarable x muss nnerhalb der Grenzen a ener defnerten Vertelung mt der bedsetgen Ausschlusswahrschenlchket α/ (Sgnfkanz-Nveau = - α/) legen : x µ a α y a α < = < σ Wenn µ = wahrer Wert, σ = Standardabwechung und y nnerhalb der Grenzen der Standardnormalvertelung mt Sgnfkanznveau Hypothese H 0, dass x ncht normalvertelt st, muss abgelehnt werden Bestmmung der Grenzen ener Zufallsvarablen x mt wahrem Wert µ und Standardabwechung σ be gegebenem Sgnfkanznveau: µ σ a α x µ σ a α < <

14 Konfdenzntervalle: Zwesetger est: Statstsche Datenanalyse, Optmerung Statstsche ests Wenn µ der Mttelwert x und σ de Streuung s st, dann st a de Grenze der Student-Vertelung zu gegebenem Frehetsgrad f be dem Sgnfkanz-Nveau (- α/): x s t f; α x x s t f; α < < + Ensetger est: ( x ) x Varanz verschedener Messwerte folgt ener χ -Vertelung mt dem Erwartungswert f σ ( x ) x χ ( f ) σ

15 Fehlerfortpflanzung Lneare ransformaton: y= a0 + ax { } { } { } {( ) } ( ) E y = E a + a x = a + a E x = a + a xˆ= yˆ x y a { } {( ) } 0 0 σx σy E y yˆ = E a + a x a a xˆ = a E x xˆ = a = σ = σ Mehrdmensonale Varable y = a + x : ransformatonsmatrx 0 y = a0, + t x + t x + t3 x3 + + tn xn E{ y} = yˆ = a ˆ 0 + x E y y y y E a x a x a x a x { ( )( ) } ˆ ˆ = ( ˆ )( ˆ ) { } = E x x x x = E x x x x = C { ( )( ) } ˆ ˆ ( ˆ)( ˆ) C x : Kovaranzmatrx { } x

16 Smultane Messung zweer oder mehrerer Zufallsvarablen y, x: y, x Problem : Korrelatonsanalyse Besteht zwschen y und x en statstsch gescherter Zusammenhang? Problem : Regressonsanalyse Es soll en funktonaler Zusammenhang zwschen y und x bestehen. y= f a ; x ( ) Gesucht snd de Parameter a der Funkton so, dass de Funkton möglchst klene Abwechung von den Zufallsdaten hat. x und y : Stchproben der jewelgen Grundgesamtheten Kene Mehrfachmessungen Jeder Wert y gehorcht ener Normalvertelung x se fehlerfre Es werden n Messungen durchgeführt De Anzahl der unbekannten Parameter st p

17 Regressonsanalyse Lneare Optmerung: y= a y = a + x a + x a + x a + x a = ; = x ; = x ; = x ; = x a : p-vektor der Parameter y : n-vektor der abhänggen Zufallsvarable : n p-matrx der lnearen Abhänggketen C : n n-matrx der Varanzen der Messgrößen = E y y y y G : n n-gewchtsmatrx = C ( ˆ)( ) { } Normalvertelung aller n Messgrößen n g b ( y y ) b b φ = exp exp = ( y y ) G( y y ) π C = σ π C ˆ

18 Lneare Optmerung : n g b ( y y ) b b φ = exp exp = ( y y ) G( y y ) π C = σ π C Wahrschenlchketsdchte st abhängg von den Parametern a der Funkton nmal d ( y a) G( y a) = 0 da G( y a) = 0 G a = G y Normalglechung a = G G y Lösungsvektor der Parameter b b φ se maxmal ( y y ) G( y y ) se m ( ) G N = Normalmatrx

19 Lneare Optmerung : Kovaranzmatrx der Parameter C a C = E a aˆ a aˆ = E G G y G G yˆ a ( )( ) { } ( ) ( ) ( ( ) ( ) ˆ) G G y G G y {( ) = E y y y y = G G G G ( G ) G( ˆ) ( G ) G( ˆ) ( ) E ( y yˆ)( y yˆ) ( G ) ( ) { } ( ) = ( ) ( ) G C G G = G σ a = Dagonalelemente von C a

20 Lneare Optmerung : Konstanter Fehler n y: C= σ y I; G= I σ y Normalglechung: a = ( I ) σ y I y = ( ) y σ y Kovaranzmatrx der Parameter a ( ) Ca = σ y σ = dag ( C ) a Konstanthalten enes Parameters a : Spalte und Zele der Normalmatrx N werden zu Null gesetzt Dagonalelement N wrd auf gesetzt

21 Lneare Optmerung Statstsche Datenanalyse, Optmerung Summe der Abwechungsquadrate S: S = ( y a) G( y a) = y G y a G y+ a G a = y G y a b + a N a Generalserte quadratsche Funkton n den Parametern a Varanzellpsod der Parameter, da Normalmatrx postv defnt Zentrumskoordnaten entsprechen den Parametern a Varanzellpsod legt n enem Quader mt Mttelpunkt a und den Setenlängen s a.0.00

22 Lneare Optmerung Statstsche Datenanalyse, Optmerung Konfdenzntervalle für de berechneten Parameter Be gegebenem Frehetsgrad f = (n - p) und enem bedsetgen Sgnfkanznveau von 95% (α = 0.05) glt ( ;0.05) σ ( ;0.05) a σ t f < a < a + t f a a Konfdenzntervall der Standardabwechung Be gegebenem Frehetsgrad f = (n - p) und enem Sgnfkanznveau von 95% (α = 0,05) glt S = y a G y a χ f;0.05 ( ) ( ) ( ) Falls Bedngung erfüllt, snd Parameter und Fehler normalvertelt.0.00

23 Lneare Optmerung Potenzrehenpolynom: < 0 p0 + p k y= ak x p0 : = 0 k= p 0 > 0 Lnear n den Parametern Egenwerte λ der Normalmatrx stark verscheden N I = 0 ( λ ) Kondtonszahl Cond = λ max / λ mn Wenn /Cond klenste möglche Dezmalstelle Matrxnverson numersch nstabl Parameter snd abhängg vonenander. Normalmatrx enthält Ncht-Dagonalelemente Alle Parameter ändern sch mt der Wahl der Parameterzahl p

24 Lneare Optmerung Möglchketen der Verbesserung der numerschen Stabltät: ransformaton der x-koordnate auf - x oder 0 x Verwendung von Orthogonalpolynomen - schebycheff-polynome (x) nach ransformaton auf - x - Orthonormerte Polynome p y= k ak k= 0 = δ j j Normalmatrx st dann Enhetsmatrx Parameter snd lnear unabhängg

25 Lneare Optmerung Untersuchung der Resduen: Statstsche Datenanalyse, Optmerung Resduen sollen bezüglch hrer Vorzechen möglchst statstsch vertelt sen Resduen werden entsprechend der monoton anstegenden Führungsvarable geordnet Folgen von Resduen mt glechem Vorzechen blden Phasen h = Gesamtzahl der Phasen - Prüfgröße nach Walls-Moore: n 7 h 3 zˆ = für n 30 6n 9 90 n 7 h 3 zˆ = für 0 n< 30 6n

26 Lneare Optmerung Untersuchung der Resduen: Nullhypothese H 0 : Phasen seen statstsch vertelt: { ( ) } zˆ < a N 0, = 0.95 =.96 Falls Nullhypothese erfüllt st, st de Prüfvarable z normalvertelt, und de Resduen snd n hren Vorzechen statstsch vertelt

27 Sngulärwert-Zerlegung SVD Wenn n > p, st das Glechungssystem y= a überbestmmt Jede Matrx lässt sch ener Spektralzerlegung unterzehen = U S V U : Orthogonale n n-matrx: U = U - und U U = I V : Orthogonale p p-matrx: V = V - und V V = I S : n p-matrx: de obere p p-unter-matrx st ene Dagonalmatrx D de untere (n-p) p-matrx enthält 0 Spektralzerlegung st mmer über Orthogonaltransformatonen möglch. Falls der Rang k von klener als p, muss D auf ene lnke obere k k-matrx reduzert werden

28 Sngulärwert-Zerlegung SVD y= a= U S V a U y= S V a g U = = = = V ( ) y g g k-vektor, g n k g p = = = = S p= g Aber: ( ) a p p k-vektor, p p k p D p = g und 0 p = g p = D g Lösung st endeutg für k = p -Vektor -Vektor

29 Sngulärwert-Zerlegung SVD Es exstert ene mnmale Lösung für a mt k p p p = anstelle p = 0 g wrd p = 0 gesetzt 0 p a = V und y= U g 0 a = V D g Resduen: g p g p 0 r = y a = = U U D U = g U S V V p U g U g Kovaranzmatrx: C= r r = U g g U

30 Sngulärwert-Zerlegung SVD Numersch sehr stabl, da Spektralzerlegung über Orthogonaltransformatonen Matrx D: Dagonalmatrx mt mndestens k ncht verschwndenden Dagonalelementen Inverson durch Kehrwertbldung der Dagonalelemente De Dagonalelemente von D entsprechen als Sngulärwerte den Wurzeln der Egenwerte der Matrx Dagonalelemente D snd der Größe nach geordnet; unterhalb ener Schwelle ε entsprechen se Rauschen ε legt de Anzahl Parameter fest. Lefert be ncht-pathologschen Fällen das gleche Ergebns we de Lösung der Normaglechung, sonst st es desem überlegen

31 Ncht-Lneare Optmerung ( ) Falls Funkton y= f a ; x n den Parametern a ncht lnear: De partellen Abletungen f/ a enthalten de Parameter a selbst Be der Bldung der Abletungen müssen Werte von a bekannt sen In bestmmten Fällen kann de Funkton um geegnete Startwerte von a n Rehe entwckelt werden p ( 0) df ( 0) ( 0) y y = + ( aj aj ) y= y + Fa a j= da j 0 In der Regel begnügt man sch mt dem lnearen Gled Fa st de Matrx der partellen Abletungen Da lnearserte Funkton unvollständg, st Iteraton mt neuen Parameterwerten notwendg

32 Ncht-Lneare Optmerung b b ( y y ) G( y y ) se mnmal d ( 0) ( 0) ( y y Fa a) G( y y Fa a) = 0 da Fa G Fa = ( 0) ( y y a) 0 ( 0) Fa G Fa a = Fa G ( y y ) ( 0) a = ( Fa G Fa) Fa G ( y y ) a = a + a ; y = f( x; a () ( 0) () () ) Iteraton bs ( ) y y y y y y y y k ( k) ( k ) ( k ) ( ) ( ) ( ) ( ) ( k) ( k) ( y y ) y y ( ) ε

33 Ncht-Lneare Optmerung Probleme: Da Funkton abgebrochen st, st Fa G Fa kene unverzerrte Schätzung der Kovaranzmatrx der Parameter; umso besser, je lnearer Funkton um Parameterschätzwerte st Konvergenz nur, wenn Startwerte schon m Konvergenzberech legen Probleme des Auffndens vernünftger Startwerte Versuche zur Vermnderung der Probleme: ( ) Da de ersten Parameterveränderungen groß sen können, sollten se nur zu enem Bruchtel n de neuen Parameter engehen ( k) ( k) ( k + ) a + a (0 k) k 4 a = ( k) ( k) a + a k 5 Mnmumsuche mt Smplex oder anderen Verfahren

34 Ncht-Lneare Optmerung Versuche zur Vermnderung der Probleme: Marquardt-Verfahren: Zur Normalmatrx wrd ene Dagonalmatrx λ D addert G + λ D a = G y ; D= dag G. D= I ( ) ( )bzw Je größer λ, umso stärker Berechnung entlang der Hauptdagonale = Gradent a D G y λ Konvergenzberech vergrößert, aber langsame Konvergenz: (/λ) Stratege: Begnn mt großem λ Falls Quadratsumme abnmmt, Verklenerung von λ Sonst Vergrößerung Falls Konvergenzberech errecht st oder λ unter en ε fällt, wrd λ auf 0 gesetzt

35 Allgemene Optmerung mt Fehlern n den Messgrößen Sowohl x als auch y seen fehlerbehaftet: b rx = ( x x ) b r = y y y ( ) φ == exp ( rx Gx rx + ry Gy ry) π C S = rx Gx rx + ry Gy r se mnmal C Generalserte Kovaranzmatrx der Messwerte Zelfunkton F: obs F = y f r, r ; a = 0 Lnearserung: ( ) x y df df df F y y r r r p obs calc = x y a rx ry j= aj j

36 .0.00 Statstsche Datenanalyse, Optmerung Allgemene Optmerung mt Fehlern n den Messgrößen Mt: glt: df df df df df df = = Fx, = = Fy und = = Fa r x r y r a j x y a j F= y+ Fx r + Fy r Fa a = 0 x y S muss mnmal werden mt der Neben-Bedngung, dass F erfüllt st: Φ = S + F λ= rx Gx rx + ry Gy r + F λ se mnmal Φ = 0 Gx rx Fx λ = 0 rx Φ = 0 Gy ry Fy λ = 0 ry Φ = 0 Fa λ = 0 r a λ st der Vektor der Lagrange-Multplkatoren j 36

37 Allgemene Optmerung mt Fehlern n den Messgrößen 4 Bestmmungsglechungen rx = Cx Fx λ ry = Cy Fy λ Fa λ = 0 F= y+ Fx rx + Fy ry Fa a = 0 Ensetzen ergbt: y+ Fx Cx Fx λ + Fy Cy Fy λ Fa a = 0 Mt Cxy = Fx Cx Fx + Fy Cy Fy y+ Cxy λ Fa a = 0 Auflösen nach λ: λ = Cxy Fa a y ( )

38 Allgemene Optmerung mt Fehlern n den Messgrößen Ensetzen n Fa λ = 0 ergbt: Fa Cxy Fa a = Fa Cxy y Des st weder ene Normalglechung mt spezeller Kovaranzmatrx: Cxy = Gxy Fa Gxy Fa = N Gewchtmatrx der Messpunkte Normalmatrx Cxy Kovaranzellpse des Messpunktes (x, y ) Lösung der Normalglechung a = Fa Cxy Fa Fa Cxy y ( ) Enthält alle Sonderfälle fehlender Varanz n den Messgrößen Ist prnzpell ncht-lnear n den Parametern Muss teratv gelöst werden

39 Allgemene Optmerung mt Fehlern n den Messgrößen Verbesserung der Messungen r = Cz Fz Cxy Fa N Fa Cxy I y z ( ) mt z= x, y Kovaranzmatrx der angepassten Messungen Cz = Cz Cz Fz Cxy Fz Cz + Cz Fz Cxy Fa N Fa Cxy Fz Cz Mnmumfunkton M = r r + r r ( ) ( ) ( ) Fx x Cxy Fx x Fy y Cxy ( Fy y) folgt ener χ -Vertelung mt f = (n - p) Frehetsgraden

40 be ncht-normalvertelten Stchproben Robuste Schätzer Bsher: Normalvertelung Jetzt n L = φ = exp π C = g b ( y ) y σ Allgemene Vertelung n L k exp = ρ( y, y( x; a) ) = ρ y, y x; a = ln f f: Wahrschenlchketsdchte der Vertelung ( ( )) ( ) n l= ln L = y, y x; a M = ( ) ( ) ρ ( ) n = ρ = ( y y( x a) ) se maxmal, ; se mnmal bezüglch der Parameter

41 be ncht-normalvertelten Stchproben Robuste Schätzer ransformaton der Wahrschenlchketsdchte: g y y( x; a) z = ρ( y, y( x; a) ) = ρ( z) σ Mnmum der Funkton M bezüglch der Parameter a ( z ) n M ρ z = = 0 a z a k = k ( z) z y( x; a) ρ = ψ( z) = z a σ a n y( x; a) ψ( z) = 0 σ a = k k k Verallgemenerte Normalglechung. ψ(z) Wchtungsgröße der partellen Abletungen nach a

42 be ncht-normalvertelten Stchproben Robuste Schätzer Normalvertelung: z L exp ρ( z) = z ψ ( ) z = z mt y = a j j j= n ( y y( x; a) ) 0 = j = σ σ G y= G a y p y ; ψ(z) z In Normalvertelung trtt z als Wchtungsparameter auf Punkte mt großer Abwechung gehen stark n Rechnung en Ausreßer werden stark berückschtgt

43 be ncht-normalvertelten Stchproben Robuste Schätzer Absolutabwechung n Wahrschenlchketsdchte: mt = j j j= ( y ) sgn( z) ( ) ; ψ( ) ( ) L exp z ρ z = z z = sgn z n 0 = sgn( z) j σ p y = a G 0 = ψ(z) z Wchtung der Messpunkte entsprechend hrem Vorzechen Ausreßer werden ncht überbewertet

44 be ncht-normalvertelten Stchproben Robuste Schätzer Lorentz-Vertelung: L ρ ( z) = ln z + ; y y( x) + σ n z z y ψ( z) = ;0 = z σ + = + z a j n p z = 0 mt y = a + z j j j = σ j= ψ(z) z Wchtung der Messpunkte zuerst ähnlch we Gauss-Vertelung Wchtung verläuft durch Maxmum Ausreßer werden umso wenger berückschtgt, je weter weg

45 be ncht-normalvertelten Stchproben Robuste Schätzer Vortele der robusten Schätzer Robust gegenüber großer Streuung Nachtele Wchtungsfunkton be Lorentz-Vertelung ncht lnear Klene Änderungen n a können ψ n asymptotschen Berech treben Unempfndlch gegenüber notwendgen Änderungen Zuerst Mnmusuche mt anderen Methoden Sgnum-Funkton unstetg

46 Lteratur: Peter Gans, Data Fttng n the Chemcal Scence, Wley, New York, 99 Sgmund Brandt, Datenanalyse 4. Aufl., Spektrum Akademscher Verlag, Hedelberg 999 Wllam H. Press et al, Numercal Recpes, he Art of Scentfc Computng, Cambrdge Unversty Press, New York, 986 Ludwg Fahrmer, Alfred Hammerle, Multvarate statstsche Verfahren, W. de Gruyter Verlag, Berln, 984 Curts F. Gerald, Patrck O. Wheatley, Appled Numercal Analyss, Addson- Wesley, Readng, 984 George E. P. Box, Wllam G. Hunter, J. Stuart Hunter, Statstcs for Expermenters, Wley, New York, 978 Yonathan Bard, Nonlnear Parameter Estmaton, Academc Press, New York,