Nichtparametrische Ansätze in der Zeitreihen- und Bildanalyse

Transkript

1 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Nichparamerische Ansäze in der Zeireihen- und Bildanalyse AG Angewande Mahemaische Saisik Prof. Dr. Jürgen Franke, Dr. Jean-Pierre Sockis, Dr. Joseph Tadjuidje (FB Mahemaik) Dr. Gerald Kroisand, Dr. Alex Sarishvili (ITWM) Dr. Siana Halim (Pera Universiy), Dr. Peer Mwia (Jomo Kenyaa Universiy of Technology) 1

2 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 1. Allgemeine Regressions- und Zeireihenmodelle Regressionsmodell: Y = m( X ) + ε, = 1, K, N Y d R, X R, =1,...,N, unabhängig Residuen ε, =1,...,N, unabhängig, idenisch vereil, Eε = 0 Auoregressionsmodell der Ordnung p: Y = m( Y 1, K, Y p ) + ε, = 1, K, N X = ( Y 1, K, Y p ) Modell für verrausches Bild: Y z = m( z) + ε, z I Z sochasischer Prozess auf ganzzahligem Gier Z z n 2 2 2

3 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Regressionsmodell: Y = m( X ) + ε Ziel I: Schäze Funkion m(x) ( = E{ Y X = x} ) aus den Daen ohne spezielle Annahmen an die Form von m (außer allgemeinen Regulariäsannahmen, z.b. 2 2 m C, L ( µ ), K ) Uner dieses allgemeine Schäzproblem fäll: Vorhersage von Zeireihen aus den vergangenen Beobachungen Enrauschen von Bildern Risikomanagemen von Zeireihen Verallgemeinerungen: 1) Y = m( X ) + σ ( X ) ε Heeroskedasiziä 2) Residuen ε saionärer sochasischer Prozess 3) ARMA oder Feedback: Y = m Y, ε ) + ε ( 1 1 3

4 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Regressionsmodell: Y = m( X ) + ε, Ziel II: Tese, ob m=m* auf der Grundlage nichparamerischer Schäzer Y * * * = m *( X ) + ε Anwendungen: Veränderungen in Bildern incl. Lokalisaion Srukurbrüche in Zeireihen Klassifikaion anhand von unabhängigen Zeireihenbeobachungen Beispiel: Deekion und Lokalisaion von Defeken in exilen Geweben 4

5 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 5

6 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 2. Lokale Gläungsverfahren Regressionsmodell: Y = m( X ) + ε, = 1, K N, X äquidisanes Gier auf Inervall [0,1]: m ˆ ( x, h) = 1 K ( x X ) Y, K ( u) = 1 N h lokales gewichees Miel der Daen: K ( x X ) 0 für x X > h h h h K( u h ) Inuiion: m gla m( u) m( x) für alle u x EY m(x) für alle mi X x mˆ ( x, h) m( x) für N, h 0 (Gesez der großen Zahlen) 6

7 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 7

8 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 8

9 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 9

10 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Allgemein Korrekur für variierende lokale Diche der X nöig. Nadaraya-Wason Kernschäzer: = h h X x K Y X x K h x m ) ( ) ( ), ( ˆ Lokal-konsaner Kleinser-Quadrae-Schäzer: ( ) = h m X x K m Y h x m ) ( arg min ), ˆ ( 2 Lokal-linearer Schäzer ( ) h m m X x K X x m m Y ) ( ) ( min , 1 ) '( ), ( ), ( ˆ 1 0 x m m x m h x m m = 10

11 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse ( Y m) m ˆ ( x, h) = arg minm Kh ( x X ) Kleinse-Quadrae: Schäzer für bedingen Erwarungswer, opimal (da lokal Maximum Likelihood für normalvereile Residuen) 2 Alernaive Verlusfunkionen: Y m α Lösung schäz bedinges α -Quanil q α (x), i.e. pr( Y qα ( x) X = x) = α Beispiel: Y + 1 m( Y ) + σ ( Y ) ε + 1 (AR-ARCH) = ( r c) 2 2 m( r) = a + br + exp( ), σ ( r = ω + φr 2 N=1000, ε N(0,1)-vereil 1 2π d ) d 2 11

12 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 12

13 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Lokale Maximum-Likelihood Schäzer m ˆ ( x, h) = arg maxm l ( Y, m) Kh ( x X ) l ( Y, m) bedinge log-likelihood von Y gegeben X, Funkion von Parameer m Theorie: Asympoische Vereilung von mˆ ( x, h) für N, h 0 Alernaive: Boosrap-Approximaion der Vereilung von mˆ ( x, h) Konfidenzbänder für m(x): pr( m ˆ ( x, h) m( x) mˆ + ( x, h) für alle x [ a, b]) γ auomaische Wahl des Gläungsparameers: Kreuzvalidierung, Plug-inoder Boosrap-Approximaion von e ( h) = E d( mˆ (., h), m) und Minimierung 13

14 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse auomaische lokale Wahl des Gläungsparameers h=h(x), so dass z.b. 2 e( x, h) = E ( mˆ ( x, h), m( x)) = min! Tess von H 0 : m=m*, ypischerweise von der Form ablehnen d( mˆ, mˆ*) c Tess paramerischer Modelle: H 0 : m ( x) = g( x; θ ) für ein θ Θ α Beziehung zu anderen lokalen Verfahren: Spline-Gläer, nichlineare Diffusionsfiler, Regularisierungsverfahren,... (mi J. Weicker, Saarbrücken) 14

15 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 3. Globale nichparamerische Funkionsschäzer Regressionsmodell: Y = m( X ) + ε, = 1, K N, Paramerisiere Funkionsklassen F N, deren Dimension mi N wächs, mi universeller Approximaionseigenschaf, z.b. F 1 F K dich in L 2 (µ ) 2 N Siebschäzer ( ) 2 mˆ N = arg min f F = N 1 Y f ( X ) Wenn die Parameerdimension von F N mi der richigen Rae wächs (abhängig von N, der Größe der Funkionsklassen und den sochasischen Eigenschafen von ( X, ε ), = 1, K, N ) : 2 mˆ N m 2 = ( mˆ N ( x) m( x)) µ ( dx) 0 fas sicher 2 15

16 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Regressionsmodell: Y = m( X ) + ε, = 1, K N, Unerschied zu lokalen Gläungsverfahren: mˆ ( x, h) häng im wesenlichen nur von den Daen ( Y, ) mi X x ab mˆ N ( x) häng von allen Daen ab X Beispiele: Orhogonalreihen- (z.b. Fourier-) Enwicklungen mi M=M(N): M k= M ikx F N = { f ( x) = ake ; a0, K, am R, a k = ak} 16

17 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Neuronale Neze, z.b. Feedforward mi einer verborgenen Schich aus H=H(N) u 1 Neuronen und logisisch-sigmoider Akivierungsfunkion ψ ( u) = (1 + e ) : f, falls ( x; θ ) = v + v ψ ( w + w x), F N f H (0) T H 0 h= 1 h h h h= 0 vh = N mi N wachsende Schranke an die Oupu-Gewiche, (d + 1)H+ H+ 1 θ R Parameervekor aus allen Gewichen v h, w (0) h R, w h R d Alernaive Verlusfunkionen: Quanilsschäzer, Varianzschäzer ec. 17

18 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Beispiel: Y+ σ ( X ) ε (ARCHX) Y +1 Rendie der BASF-Akie ( ) X = 1 = 1 Y X 2 Rendie des DAX X 3 30 Tage-Miel der DAX-Rendien X 4 exponeniell gewichee 30 Tage Sichprobensandardabweichung (Volailiä) von BASF Vergleiche Value-a-Risk ( α = 5% -Quanil) geschäz über GARCH(1,1)-Modell nezbasierer Schäzer für σ (x) mi sandard-normalvereilen Innovaionen 18

19 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 19

20 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 4. Mischungen saionärer Zeireihen Deekion von Srukuränderungen Beobachee Zeireihe Z µ + Y E Y = 0 = Saionariä: µ µ, Y saionär Verschiedene Phasen: zeiabhängiges Miel (Sprünge, beginnende Trends) Änderungen in der sochasischen Srukur von Y (Modellparameer, Spekralzerlegung, Kovarianzsrukur) Anzeichen: mulimodale Diche, verschiedene Cluser im Scaerplo Z, ) ( Z

21 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 21

22 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 22

23 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 23

24 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Der Phasen- oder Zusandsprozess: K Phasen oder Zusände, fesgeleg durch verborgenen Zusandsprozess Q, z.b. Markowkee mi Zusandsraum { 1, K, K}. Alernaive Darsellung: Zusandsindikaor S { e 1, K, e }, e Basisvekoren des R, mi K j K 1 if Q = k S, k =, k = 1, K, K. 0 else Modell (Mischung auoregressiver Prozesse): Ordnung 1: Z K = k = 1 S, k { mk ( Z 1) + σkε } Residuen ε N(0,1), Residuenvarianzen σ k > 0, m k ( z) auoregressive Funkionen 2 24

25 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse Allgemein: CHARME (condiional heeroscedasic auoregressive mixures of expers): Z { m Z, K, Z ) σ ( Z,, Z ) ε } K k= 1 S, k k ( 1 p + k 1 p = K pr( S S + 1 ) p << 1, so dass Zusandsänderungen nich zu of aufreen Ziel: Simulane nichparamerische Schäzung (z.b. mi Nadaraya-Wason- 2 Kernschäzer oder neuronalen Nezen) der m ( z), σ ( z), k = 1, K, K. Schäzen der Zusandsindikaoren Zusandsänderungen Expecaion-Maximizaion- (EM) Algorihmen k S und dami auch von k 25

26 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 26

27 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 27

28 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 28

29 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 29

30 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 30

31 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 31

32 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 32

33 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 33

34 Dagsuhl, November 2005 Nichparamerische Zeireihen- und Bildanalyse 34