Hauptdierentialanalyse

Transkript

1 Hauptdierentialanalyse Jan Ditscheid TU Dortmund Seminar funktionale Datenanalyse / 40

2 1 Wozu HDA? 2 Denition des Problems 3 HDA am Beispiel 4 Techniken zur HDA 5 Beurteilung der Anpassung durch die HDA 6 Vergleich HDA und HKA 2 / 40

3 Wozu Hauptdierentialanalyse? Wir wollen eine Dierentialgleichung zu verrauschten Daten aufstellen um entweder die Eigenschaften einer einzigen Kurve oder die Unterschiede der Eigenschaften zwischen den Kurven zu erfassen. 3 / 40

4 Denition des Problems L = β 0 I + β 1 D β m 1 D m 1 + D m (1) D m x = β 0 x β 1 D 1 x... β m 1 D m 1 x (2) Lx i = 0 i = 1,..., N (3) Lx i = f i i = 1,..., N (4) 4 / 40

5 Denition des Problems N N SSE PDA (L x) = [Lx i (t)] 2 dt = Lx i 2 (5) i=1 i=1 N N SSE PDA (L x, f ) = [Lx i (t) f i (t)] 2 dt = Lx i f i 2 (6) i=1 i=1 5 / 40

6 HDA am Beispiel von Lippenbewegungen Ramsay and Silverman, / 40

7 Dierentialgleichung 2.Ordnung Lx i = β 0 x i + β 1 Dx i + D 2 x i = 0 (7) Koezienten-Werte von β 0 > 0 und β 1 = 0 entsprechen eine System mit Sinus-förmigen oder harmonischen Bewegungen mit β /2π Zyklen pro Zeiteinheit. Der 2. Koezient β 1 zeigt Einüsse auf das System, die proportional zur Geschwindigkeit sind, oft handelt es sich dabei um interne oder externe Reibungskräfte 7 / 40

8 Diskriminante des Operators 2.Ordnung d = (β 1 /2) 2 β 0 (8) d < 0 System ist unter-dämpft neigt zu Schwingungen die nach und nach verschwinden d > 0 System ist über-dämpft Es werden keine Schwankungen beobachtet (β 1 > 0) oder das System schwingt auÿer Kontrolle (β 1 < 0) d = 0 System ist kritisch gedämpft weist nicht schwingende Bewegungen die schnell abklingen 8 / 40

9 Verlauf der Funktionen β 0 und β 1 Ramsay and Silverman, / 40

10 Lösungen der homogenen Dierentialgleichung Ramsay and Silverman, / 40

11 Visualisierung der Ergebnisse der HDA Mit Hilfe der empirischen Störfunktion Lx i können wir überprüfen wie gut der lineare dierential Operator die homogene Dierentialgleichung Lx i = 0 erfüllt Sind die empirischen Störfunktionen nahe 0 und ähneln einem rauschen dann gehen wir davon aus, dass die Gleichung die Daten gut repräsentiert Um besser zu sehen, ob unsere Gleichung die Daten gut repräsentiert vergleichen wir die empirischen Störfunktionen mit den empirischen Störfunktionen unter H 0 : β 0 =... = β m 1 = 0 den D m x i 11 / 40

12 Visualisierung der Ergebnisse der HDA Ramsay and Silverman, / 40

13 Approximation der Originalkurven durch HDA Ramsay and Silverman, / 40

14 Betrachtung der Diskriminanzfunktion Ramsay and Silverman, / 40

15 HDA der Klemmkraftdaten Die Daten in diesem Beispiel bestehen aus 20 Aufzeichnungen kurzer Kraftimpulse, die durch Daumen und Zeigenger ausgeübt wurde Wir wollen den linearen dierential Operator mit einem theoretisch bestimmte Operator vergleichen Wir haben die Kraftimpulse vorverarbeitet um die Kurven auf eine gemeinsame Zeit zu bringen 15 / 40

16 Graphische Darstellung der Klemmkraftdaten Ramsay and Silverman, / 40

17 Theoretische Überlegungen y i (t) = c i exp( log 2 (t)/2σ 2 ) (9) L 0 = [(t 0 ) 1 log(t)]i + D (10) w 0 (t) = (t 0 ) 1 log(t) (11) 17 / 40

18 Glättung durch Splines Wir glätten die Daten indem wir Splines verwenden, wobei die Gröÿe der 3.Ableitung bestraft wird um eine glatte Schätzung der 1.Ableitung zu erhalten Aus den geglätteten Daten schätzen wir die Fehler und berechnen daraus die Standardabweichung um dann durch Glättung die Varianz der Residuen über die Zeit zu schätzen PENSSE λ (X Y ) = j (y j x(t j )) 2 /σ 2 j + λ D 3 x 2 (12) Wir minimieren PENSSE λ und glätten anschlieÿend die Daten wieder um die Splines und ihre Ableitungen zu erhalten 18 / 40

19 Vergleich Spline und KQ-Anpassung Ramsay and Silverman, / 40

20 Vergleich der unterschiedlichen Gewichtsfunktionsschätzungen Ramsay and Silverman, / 40

21 Vergleich der Störfunktionen Ramsay and Silverman, / 40

22 Vergleich der Störfunktionen Ramsay and Silverman, / 40

23 HDA durch punktweise Minimierung Wir denieren ein punktweises Anpassungskriterium bei dem gilt: β m (t) = 1 t PSSE L (t) = i (Lx i (t) f i (t)) 2 = i m ( β j (t)d j x i (t) f i (t)) 2 j=0 (13) Für festes t entspricht dies einem kleinste Quadrate Kriterium 23 / 40

24 HDA durch punktweise Minimierung Der m-dimensionale Koezientenvektor β(t) = (β 0 (t),..., β m 1 (t)) (14) Die N (m+1) Designmatrix Z mit Zeilen z i (t) = { x i (t),..., D m 1 x i (t), f i (t)} (15) Der N-dimensionale abhängige Variablenvektor y mit den Elementen y i (t) = D m x i (t) (16) 24 / 40

25 HDA durch punktweise Minimierung Das Anpassungskriterium in Matrixschreibweise PSSE L (t) = [Y (t) Z(t)β(t)] [Y (t) Z(t)β(t)] (17) Bei festem t führt die KQ-Methode zu folgendem Schätzer β(t) = (Z(t) Z(t)) 1 Z(t) y(t) (18) Damit der Schätzer existiert muss die Determinante von Z(t) Z(t) ungleich 0 sein 25 / 40

26 Probleme der punktweisen Methode Das Lösen der Gleichung Lx i = 0 verlangt, dass die β j an vielen Stellen t zur Verfügung stehen Wie viele Stellen t benötigt werden hängt von der Glätte ab Die punktweise Schätzung für die β j ist für groÿe m mit einem groÿen Rechenaufwand verbunden, darum brauchen wir eine approximative Lösung, die schnell berechnet werden kann Das punktweise Verfahren funktioniert nur wenn die Anzahl der funktionalen Beobachtungen N die Anzahl der Spalten der Designmatrix Z übersteigt 26 / 40

27 HDA durch Iteration des Konkurrenten linearen Modell x i (t j ) = c i1 + c i2 t j + c i3 sin(6πt j ) + c i4 cos(6πt j ) + ɛ ij (19) c ik N(0, 1) k = 1, 3, 4 c i2 N(0, 16) ɛ ij N(0, 1) (20) Bei den fehlerlosen Kurven wird Lx = 0 gelöst durch Lx = (6π) 2 D 2 x + D 4 x (21) 27 / 40

28 Grasche Darstellung der simulierten Daten Ramsay and Silverman, / 40

29 Einschub Konkurrentes lineares Modell y i (t) = β 0 (t) + β 1 (t)x i1 (t) β p (t)x ip (t) + ɛ i (22) x i (t) = (1, x i1 (t),..., x ip (t)) β(t) = (β 0 (t),..., β p (t)) (23) N SSE L = (y i (t) x i (t) β(t)) 2 dt (24) i=1 29 / 40

30 HDA durch Iteration des Konkurrenten linearen Modell Wir haben die Strafmatrix R für die erste Iteration durch den Operator L = D 4 geschätzt und lassen dann den folgenden Prozess 5 mal durchlaufen 1. Der Glättungsparameter λ der das GCV-Kriterium minimiert wurde mit Hilfe eines Optimierungsverfahren gefunden. Um Rundungsfehler zu vermeiden wurde eine obere Grenze für den Schätzer auf 10 log 10 (tracer) gesetzt 2. Die Daten werden unter Verwendung von λ geglättet 30 / 40

31 HDA durch Iteration des Konkurrenten linearen Modell 3. Eine HDA wurde auch Grundlage des Konkurrenten linearen Modell durchgeführt und alle 4 Koezienten wurden mit Hilfe der konstanten Basis geschätzt 4. Mit Hilfe des neu bestimmten linearen Operators schätzen wir die Strafmatrix R erneut 31 / 40

32 Ergebnisse des iterativen Verfahren Schätzung nach der ersten Iteration Lx = x 123.8Dx D 2 x 0.3D 3 + D 4 x (25) Schätzung nach der fünften Iteration Lx = 310.4x 125.4Dx D 2 x 0.4D 3 x + D 4 x. (26) Die Verhältnisse der mittleren quadratischen Fehler der 1.Iteration und der 5.Iteration sind 1.2,2.0,3.8,5.3 und 8.1 für die Ableitungen der Ordnung 0,1,2,3 und 4 32 / 40

33 Standardfehler der Schätzungen der 2.Ableitung Ramsay and Silverman, / 40

34 Beurteilung der Anpassung durch die HDA Theoretische punktweise Fehlerquadratsumme PSSE 0 (t) = i w j (t)(d j y i (t)) + (D m y i (t))) 2 (27) m 1 ( j=0 Punktweise quadrierte Korrelationsfunktion RSQ(t) = PSSE 0(t) PSSE L (t) PSSE 0 (t) Punktweise F-Statistik FRATIO(t) = (PSSE 0(t) PSSE L (t))/m PSSE 0 (t)/(n m) (28) (29) 34 / 40

35 HKA Ziel der HKA ist es m Basisfunktionen ξ j zu nden, so dass das kleinste Quadrate Kriterium minimiert wird in Bezug auf die Basisfunktionen ξ j und im Bezug auf die Koezienten von jedem beobachteten Hauptkomponentenergebnis f ij SSE PCA = N i=1 m (x i (t) f ij ξ j (t)) 2 dt (30) j=1 35 / 40

36 HKA als 2-Schritte-Prozess Als erstes bestimmen wir m Orthonormalbasisfunktionen ξ j Dann approximieren wir alle Kurven x i durch ˆx i = m f ij ξ j (31) j=1 P ξ x i = ˆx i (32) Q ξ x i = (I P ξ )x i = x i P ξ x i = x i ˆx i (33) 36 / 40

37 Identikation eines linearen Operators mittels HKA Wir wollen mittels HKA einen Operator Q ξ schätzen der folgende Gleichung näherungsweise so gut wie möglich erfüllt Q ξ x i = 0 (34) SSE PCA = N i=1 [Q ξ x i (t)] 2 dt (35) Die ersten m Eigenfunktionen der Kovarianzmatrix der x i bestimmen den Operator Q ξ Diese Eigenfunktionen erfüllen exakt die Gleichung Q ξ ξ j = 0 (36) 37 / 40

38 Unterschiede zwischen dierential Operator und Projektionsoperator Bei beiden Verfahren wird das kleinste Quadrate Kriterium minimiert also kann der Unterschied nur bei den Operatoren liegen Die HDA berücksichtigt die Glattheit der Daten, durch ableiten der Daten vor der Minimierung, die HKA nicht Das Beispiel der Lippenpositionen zeigt, dass es sinnvoll ist auch die Ableitungen zu berücksichtigen. Wir können damit argumentieren, dass der Unterschied bei der Lippenposition von Kurve zu Kurve an dem Unterschied der Kraft liegt, die direkten Einuss auf die Beschleunigung des Lippengewebes hat und somit nur indirekt auf die Position selber 38 / 40

39 Aufgabe Bestimmen Sie mit Hilfe der HDA einen linearen Operator der 4.Ordnung für den Datensatz Daten N02 von der Seminarseite 39 / 40

40 Literaturverzeichnis Ramsey, J. O., Silverman, B. W. (2005) Functional Data Analysis, 2 Auage, Springer, New York. 40 / 40