Maximum-Likelihood-Schätzung für den Ornstein-Uhlenbeck-Prozess

Seminarbericht zum Thema Grundlagen der Simulation und Statistik von dynamischen Systemen Maximum-Likelihood-Schätzung für den Ornstein-Uhlenbeck-Prozess 02.12.2014 Verfasser: Manuel Keller Dozentin: Prof. Dr. Christine Müller

Inhaltsverzeichnis 1 Einleitung 2 2 Schätzmethoden für den Vasicek-Prozess 2 2.1 Der Vasicek-Prozess............................... 2 2.2 Maximum-Likelihood-Schätzung........................ 3 2.3 Kleinste-Quadrate-Schätzung......................... 6 3 Simulation 8 4 Zusammenfassung und Ausblick 15 Literaturverzeichnis 17 A Anhang 18

1 Einleitung Der Ornstein-Uhlenbeck- bzw. Vasicek-Prozess wird für die Modellierung verschiedenster Prozesse eingesetzt. So wird er z.b. zur Modellierung kurzfristiger Zinssätze genutzt. Da jedoch im Allgemeinen nicht alle Parameter des Prozesses bekannt sind, müssen diese geschätzt werden. Dazu existieren verschiedenste Methoden. Es sei zunächst die am weitesten Verbreitete genannt, die Maximum-Likelihood-Schätzung. Unter gewissen Voraussetzungen ist es möglich diese exakt zu bestimmen. Oft muss jedoch eine numerische Lösung herangezogen werden. Vielfach wird aber auch eine lineare Regression und damit die KQ-Schätzung verwendet. Eine weitere Alternative, die insbesondere bei verallgemeinerten Ornstein-Uhlenbeck-Prozessen eingesetzt wird, ist die Kerndichte-Schätzung. In diesem Bericht wird jedoch nur eine spezielle Klasse des Prozesses betrachtet, weswegen auf diese Art der Schätzung verzichtet wird. Im Folgenden werden die Maximum-Likelihood-Methode, die Kleinste-Quadrate-Methode und die exakte Lösung miteinander verglichen. Dazu werden zunächst die genutzten Methoden beschrieben. Das bedeutet, dass als erstes der Ornstein-Uhlenbeck- bzw. Vasicek- Prozess beschrieben wird. Im Anschluss wird auf die verschiedenen genutzten Schätzverfahren eingegangen. In einem weiteren Teil werden verschiedene Simulationen des Prozesses und ihre verschiedenen Schätzungen betrachtet. Dabei wird auf die Güte der Schätzer insofern eingegangen, dass zum Einen die Nähe des Schätzers am wahren Parameter betrachtet wird und zum Anderen, ob die gebildeten Konfidenzintervalle den wahren Parameter überdecken. Zum Abschluss wird versucht eine Empfehlung zu geben, welcher Schätzer sich am besten eignet. 2 Schätzmethoden für den Vasicek-Prozess Im Folgenden wird einleitend der Ornstein-Uhlenbeck- bzw. Vasicek-Prozess skizziert. Für weitere Details zum Prozess sei an dieser Stelle auf einen früheren Bericht verwiesen. Anschließend werden die genutzten Schätzmethoden, namentlich die Maximum-Likelihood- Methode und die KQ-Schätzung, beschrieben. Da für die Maximum-Likelihood-Methode ein Optimierungsalgorithmus verwendet wird, wird auch dieser kurz beschrieben. Außerdem wird für einen Spezialfall des Prozesses eine exakte Lösung angegeben. Soweit nicht anders kenntlich gemacht sind die Methoden aus Iacus 2008 entnommen 2.1 Der Vasicek-Prozess Der Vasicek-Prozess beschreibt die eindeutige Lösung der Differentialgleichung dx t = (θ 1 θ 2 X t ) dt + θ 3 dw t, X 0 = x 0. 2

Bei diesem Prozess gilt θ 1, θ 2 R und θ 3 R +. W t beschreibt den Wiener Prozess, welcher in einem früheren Bericht bereits beschrieben worden ist. Falls θ 2 > 0 gilt, so wird von einem mean reverting process gesprochen. Dies bedeutet, dass der Prozess um das Gleichgewichtsniveau schwankt. Eine weitere Definition des Prozesses ist über eine Umparametrisierung möglich, wodurch die Parameter leichter zu interpretieren sind. Setze dazu µ = θ 1 θ 2, θ = θ 2 und σ = θ 3. Dann ist die Differentialgleichung durch dx t = θ (µ X t ) dt + σdw t, X 0 = x 0. gegeben. Dabei gibt µ das langfristige Gleichgewichtsniveau an. θ beschreibt die Anziehungskraft zum Gleichgewichtsniveau und σ die Stärke des Einflusses vom Wiener-Prozess und damit die Schwankungsbreite. σ wird auch als Diffusionskoeffizient bezeichnet. Die Lösung der Differentialgleichung ist dann gegeben durch bzw. bei Umparametrisierung durch X t = θ ( 1 + x 0 θ ) t 1 e θ2t + θ 3 e θ2(t u) dw u θ 2 θ 2 0 t X t = µ + (x 0 µ) e θt + σ 0 e θ(t u) dw u. ( ( ) θ X t folgt dabei einer Normalverteilung und es gilt X t N 1 θ 2 + x 0 θ 1 θ 2 e θ2t, θ2 3(1 e 2θ 2 t ) 2θ 2 ). 2.2 Maximum-Likelihood-Schätzung Betrachte nun die allgemeine Darstellung der stochastischen Differentialgleichung dx t = b(x t, θ)dt + σ(x t, θ)dw t. Dabei ist θ Θ R p der zu schätzende p-dimensionale Parametervektor. Die Funktionen b : R Θ R und σ : R Θ R + werden dabei als bekannt vorausgesetzt und seien so gewählt, dass die obige Differentialgleichung eine Lösung besitzt. Der Zustandsraum des Prozesses wird durch I = (l, r) beschrieben, wobei l < r eine offene Menge für alle θ ist. Außerdem soll für jede Zufallsvariable ξ auf I jedes θ Θ eine eindeutige Lösung für X 0 = ξ besitzen. Unter verschiedenen Annahmen existiert dann eine stationäre Verteilung π θ, wobei die Lösung der Differentialgleichung für X 0 = ξ π θ strikt stationär 3

und ergodisch ist. Unter gewissen Voraussetzungen und wenn π θ existiert, gilt 1 π θ (x) = M(θ)σ 2 (x, θ)s(x, θ) mit x s(x, θ) = exp 2 b(y, θ) σ 2 (y, θ) dy. Die bedingte Verteilung von X t X 0 π θ sei mit P θ, die bedingte Dichte mit p θ (t, x) beschrieben. X ist zeithomogen. Daher beschreibt p θ (t, x) gerade die Dichte von X t+s X s = x t 0. Zur Schätzung von θ wird im stetigen Fall zunächst die quadratische Variation genutzt, um den Teil von θ zu berechnen, der σ beeinflusst. Es gilt nämlich < X, X > t = lim n 2 n k=1 x 0 (X t k/2 n X t (k 1)/2 n) 2 = t 0 σ 2 (X s, θ)ds. Der Rest der Parameter kann dann mit der Maximum-Likelihood-Methode bestimmt werden. Sobald der Diffusionskoeffizient gegeben ist, ergibt sich die Likelihoodfunktion durch L T (θ) = exp T 0 b(x s, θ) σ 2 (X s ) dx s 1 T 2 0 b 2 (X s, θ) σ 2 (X s ) ds. θ wird dann also durch die Maximierung der Likelihood geschätzt. Da es jedoch in der Praxis meist unmöglich ist, den stetigen Verlauf des Prozesses zu beobachten, muss von zeitdiskreten Beobachtungen ausgegangen werden. Dann kann obige Methode nicht mehr in der Form verwendet werden. Seien nun endlich viele Beobachtungen zu Zeitpunkten t i = i i, i = 1,..., n gegeben und sei T = n n. Der Einfachheit halber sei die i-te Beobachtung zum Zeitpunkt t i mit X i bezeichnet. Falls nun T gilt, können asymptotische Überlegungen in Betracht gezogen werden. Aufgrund der Markov- Eigenschaft gilt p θ (X i X i 1,..., X 0 ) = p θ (X i X i 1 ). Damit ist die Likelihood gegeben durch L n (θ) = n p θ (, X i X i 1 )p θ (X 0 ). Die Schätzer sind dann gegeben durch die Maximierung der Likelihood. Da die Maximierung der Likelihood äquivalent zur Maximierung der Log-Likelihood ist und diese leichter zu bestimmen ist, wird diese genutzt. Die Log-Likelihood ist gegeben durch logl n (θ) = n log(p θ (, X i X i 1 )) + log(p θ (X 0 )) = n l i (θ) + log(p θ (X 0 )). Im Allgemeinen ist die Verteilung von X 0 jedoch unbekannt oder schwierig zu bestimmen. Bei wachsenden Beobachtungszahlen wird der Einfluss von p θ (X 0 ) allerdings immer geringer, so dass im Folgenden von p θ (X 0 ) = 1 ausgegangen wird. Für die Optimierung 4

werden dann die partiellen Ableitungen benötigt. Diese sind gegeben durch l n (θ) θ = n l i (θ) θ = n Die exakte Likelihood ist jedoch in den seltensten Fällen bekannt, aber unter verschiedenen Annahmen kann zumindest die Konsistenz und asymptotische Normalverteilung sichergestellt werden. Diese Annahmen sind Annahme 2.1 (Lineares Wachstum) Es existiert ein konstantes K unabhängig von θ, so dass für alle x gilt: l i (θ) θ 1. l i (θ) θ p b(x, θ) + σ(x, θ) K(1 + x ). Annahme 2.2 (Globale Lipschitzstetigkeit) Es existiert ein konstantes K unabhängig von θ, so dass für alle x, y R gilt: b(x, θ) b(y, θ) + σ(x, θ) σ(y, θ) K x y Annahme 2.3 (Positiver Diffusionskoeffizient) inf x σ2 (x, θ) > 0 Annahme 2.4 (Existenz der Momente) Für jedes k > 0 existiert das k-te Moment des Diffusionsprozesses und es gilt: sup E X t k < t Annahme 2.5 (Glätte der Koeffizienten) Die Koeffizienten b und σ und ihre ersten drei Ableitungen sind glatt und wachsen polynomiell in x Diese Annahmen gelten für den Vasicek-Prozess. Daher sind die Maximum-Likelihood- Schätzer für den Prozess konsistent und die Parameter asymptotisch normalverteilt. Eine analytische Bestimmung der Schätzer ist jedoch in den meisten Fällen schwierig, daher wird zumeist eine numerische Näherungslösung bestimmt. Ein viel verwendeter Algorithmus dazu ist der BFGS-Algorithmus, welcher z.b. auch von der R-Funktion mle aus dem stats4 Paket zur Verfügung gestellt wird. Dieser ist robust und besitzt eine superlineare Konvergenzrate. Der BFGS-Algorithmus sei im Folgenden in seinen Grundzügen vorgestellt. Für detaillierte Informationen sei auf Nocedal und Wright 1999 verwiesen. Algorithmus 1 ist dabei Nocedal und Wright 1999 entnommen. 5

Algorithmus 1 BFGS-Methode 1: Gegeben: Startpunkt x 0, Konvergenz-Toleranz ɛ > 0, Approximation der inversen Hesse-Matrix H 0 2: setze k 0 3: solange f k > ɛ 4: Berechne Suchrichtung 5: p k = H k f k 6: Setze x k+1 = x k + α k p k, α k über Linesearch-Prozedur berechnen 7: Definiere s k = x k+1 x k und y k = f k+1 f k 8: Berechne H k+1 9: setze k k + 1 10: Schleifenende H k wird dabei berechnet durch H k+1 = (I ρ k s k y T k )H k (I ρ k y k s T k ) + ρ k s k s T k mitρ k = 1 y T k s k Für Informationen zu Linesearch-Prozeduren sei auch hier auf Nocedal und Wright 1999 verwiesen. 2.3 Kleinste-Quadrate-Schätzung Eine Alternative zur Maximum-Likelihood-Schätzung bietet die Kleinste-Quadrate-Schätzung. Dazu betrachte die exakte Lösung des Ornstein-Uhlenbeck-Prozesses, welche gegeben ist durch X t = θ ( 1 + x 0 θ ) t 1 e θ2t + θ 3 e θ2(t u) dw u θ 2 θ 2 0 Eine rekursive Darstellung für diskrete Beobachtungen ist dann nach Phillips und Yu 2009 gegeben durch X t = e θ 2 t X t 1 + ( 1 e θ 2 t ) θ 1 θ 2 + θ 3 (1 e 2θ 2 t) κ t 2θ 2 mit κ t N(0, 1). Betrachte dieses Modell nun als Regression von X t gegen X t 1 von der Form y = a + bz + ɛ Setze y = X t und z = X t 1. Dann gilt b = e ˆθ 2 t ˆθ 2 t = log(b) ˆθ 2 = log(b) t. 6

Außerdem a = ( 1 e ˆθ 2 t ) ˆθ1 ˆθ 2 a ( ) = ˆθ 1 1 e ˆθ 2 t ˆθ ˆθ 1 = 2 aˆθ 2 (1 e ˆθ 2 t ) und 2ˆθ ˆθ 3 = sd(ɛ) 2 ). (1 e 2ˆθ 2 t Die Parameter im Regressionsmodell lassen sich durch n (( ) ( )) Xi 1 X 0:n 1 Xi X 1:n ˆb = n ( ), 2 Xi 1 X 0:n 1 â = 1 n n (X i ˆbX i ) und n ( ) 2 X i X 1:n (X i 1 X 0:n 1 )ˆb sd(ɛ) = n p bestimmen. Dabei beschreiben X 1:n bzw. X 0:n 1 die arithmetischen Mittelwerte von X 1 bis X n bzw. von X 0 bis X n 1 und p gibt die Anzahl Parameter im Regressionsmodell an. In der Anwendung auf den Prozess gilt also p = 2, falls der Mittelwert geschätzt wird und p = 1, falls der Mittelwert als bekannt vorausgesetzt wird. Für grundlegende Informationen zur linearen Regression sei an dieser Stelle z.b. auf Groß 2010 verwiesen. Für den Fall, dass im Ornstein-Uhlenbeck-Prozess θ 1 = 0 gesetzt wird, existieren nach Iacus 2008 exakte ML-Schätzungen für die beiden weiteren Parameter. Diese sind dann gegeben durch und n ˆθ 2,n = 1 log X i 1 X i n Xi 1 2 ˆθ 2 3,n = 2ˆθ 2,n ) n (1 e 2 ˆθ 2,n n ) 2 (X i X i 1 e ˆθ 2,n 7

Diese Schätzungen können ebenso aus obiger KQ-Schätzung hergeleitet werden. Die Forderung θ 1 = 0 bedeutet für das Modell, dass der Mittelwert nicht mehr geschätzt werden muss, und es gilt ˆb = n (X i 1 X i ) n Xi 1 2 und n ( ) 2 X i X i 1ˆb sd(ɛ) =. n Dabei ist zu beachten, dass für die Bestimmung der Standardabweichung hier durch n geteilt wird und nicht wie oben durch n 1. Es wird also die ML-Schätzung der Varianz verwendet. Setze nun ˆb in ˆθ 2 ein: ˆθ 2 = Daraus folgt dann aber log n (X i 1 X i ) n Xi 1 2 t. ˆb = e t ˆθ2. Setze jetzt ˆb in sd(ɛ) und sd(ɛ) in ˆθ 3 ein und quadriere anschließend: n ) 2 (X i X i 1 e t ˆθ 2 ˆθ 2 3 = n 2ˆθ 2 (1 e 2ˆθ 2 t ). Zum Schluss noch t = festsetzen und es folgt der exakte Schätzer nach Iacus 2008. 3 Simulation Im Folgenden werden verschiedene Simulationen des Vasicek-Prozesses betrachtet. Dabei werden zum Einen die Maximum-Likelihood-Schätzung und die KQ-Schätzung miteinander verglichen. Außerdem wird im Spezialfall θ 1 = 0 auch die exakte Lösung zum Vergleich herangezogen. In der ersten Simulation werden außerdem die zu den Schätzungen gehörenden Konfidenzintervalle betrachtet und die Überdeckungswahrscheinlichkeit überprüft. Für die Simulationen wird die Programmiersprache R Core Team 2013 genutzt. Im Speziellen wird hier für die Prozess-Simulation das Paket sde und für die Likelihood- Schätzung der mle-befehl aus dem Paket stats4 genutzt. Für die numerische Berechnung 8

der ML-Schätzer wird der BFGS-Algorithmus verwendet. Die Bestimmung der Konfidenzintervalle erfolgt im Falle des ML-Schätzers durch die numerische Methode. Für die KQ- Schätzung werden zunächst die Konfidenzintervalle des zugrunde liegenden linearen Modells bestimmt und im Anschluss ebenso wie die Parameterschätzungen transformiert (vgl. Kapitel 2.3). Betrachte zunächst den Vasicek-Prozess mit Parametervektor (θ 1, θ 2, θ 3 ) T = (3, 1, 2) T. Dann ergibt sich für die Lösung der zugehörigen Differentialgleichung t X t = 3 + (x 0 3) e t + 2 0 e (t u) dw u. Als Schrittlänge sei zunächst i = = 1 gewählt. Die Anzahl Beobachtungen wird auf n = 1000 festgesetzt. So ist sichergestellt das lim n n = gilt. Ein beispielhafter Verlauf dieses Prozess ist in Abbildung A.1 zu sehen. Als Startwert für den BFGS-Algorithmus wird der Vektor (θ 1, θ 2, θ 3 ) = (1, 0.5, 1) übergeben. Tabelle 1 zeigt die Punktschätzer und 95% Konfidenzintervalle der Maximum-Likelihood-Schätzung. Es ist zu erkennen, dass die Punktschätzer nur geringfügig von den wahren Parametern abweichen. Außerdem überdecken die Konfidenzintervalle jeweils den wahren Parameter und scheinen relativ schmal zu seien. Schätzung untere KI-Grenze obere KI-Grenze θ 1 3.36 2.84 3.96 θ 2 1.11 0.94 1.30 θ 3 2.05 1.91 2.22 Tabelle 1: ML-Parameterschätzung und 95% Konfidenzintervalle (gerundet) Zum Vergleich sind in Tabelle 2 KQ-Schätzungen und Konfidenzintervalle zu sehen. Die Konfidenzintervalle sind dadurch bestimmt, dass zunächst die Intervallgrenzen der Regressionsschätzung bestimmt werden und anschließend rücktransformiert werden (vgl. Kapitel 2.3). Auch hier liegen die Schätzungen nah an den wahren Parametern und auch die Konfidenzintervalle sind schmal. Sie sind sogar schmaler als die der ML-Schätzung. Insbesondere bei der Schätzung von θ 1 scheint die Schätzung deutlich genauer zu werden. Aufgrund dessen, dass der wahre Parameter allerdings nicht im Konfidenzintervall enthalten ist, scheint der Schätzer jedoch verzerrt zu sein. Schätzung untere KI-Grenze obere KI-Grenze θ 1 3.36 3.28 3.44 θ 2 1.11 0.94 1.30 θ 3 2.05 1.94 2.18 Tabelle 2: KQ-Parameterschätzung und 95% Konfidenzintervalle (gerundet) 9

Um dies zu bestätigen und auch die Genauigkeit der Schätzungen zu verifizieren, werden als nächstes die Schätzungen von 1000 unterschiedlichen Simulationen bestimmt. Tabelle 3 zeigt die mittleren Parameterschätzungen und die in 1000 Durchläufen realisierten Überdeckungswahrscheinlichkeiten der Konfidenzintervalle. Die durchschnittlichen Schätzungen liegen sogar noch näher an den wahren Parameterwerten als die oben realisierten. Dies deutet auf eine gute Schätzung hin. Bei der KQ-Schätzung scheint die Simulation die Vermutung, dass der Schätzer für θ 1 verzerrt ist, zu bestätigen. Daher scheint die Forderung nach θ 1 = 0 in Iacus 2008 durchaus berechtigt. Auch das Konfidenzintervall für θ 3 hält die vorgegebene Überdeckungswahrscheinlichkeit nicht ein. Die Schätzung scheint aber bei weitem nicht so stark verzerrt. Die ML-Schätzung, die größere Konfidenzintervalle als die KQ-Schätzung ergibt, scheint ihre Aufgabe zu erfüllen. Die durchschnittlichen Schätzungen weichen kaum von den wahren Parametern ab und auch die Überdeckungswahrscheinlichkeiten werden eingehalten. Durchschnitt ML-Schätzung Überdeckungswahrscheinlichkeit KI θ 1 3.02 0.94 θ 2 1.01 0.95 θ 3 2.00 0.95 Durchschnitt KQ-Schätzung Überdeckungswahrscheinlichkeit KI θ 1 3.02 0.34 θ 2 1.01 0.95 θ 3 2.00 0.88 Tabelle 3: Durchschnittliche Schätzwerte und Überdeckungswahrscheinlichkeiten (gerundet) Da für die Parameterschätzung zumindest eine asymptotische Normalverteilung vorausgesetzt wird, ist diese im nächsten Schritt zu überprüfen. Betrachte dazu Abbildung 1. Die Annahme der Normalverteilung scheint berechtigt. Zur Bestätigung könnten noch Tests angewendet werden. Auf diese wird jedoch in diesem Bericht verzichtet. 10

2.5 3.0 3.5 4.0 ML Schätzung für θ 1 QQ Plot 2.5 3.0 3.5 4.0 KQ Schätzung für θ 1 QQ Plot 0.8 1.0 1.2 1.4 ML Schätzung für θ 2 QQ Plot 0.8 1.0 1.2 1.4 KQ Schätzung für θ 2 QQ Plot 1.8 2.0 2.2 ML Schätzung für θ 3 QQ Plot 1.8 2.0 2.2 KQ Schätzung für θ 3 QQ Plot Abbildung 1: QQ-Plots der Parameterschätzungen Als nächstes wird untersucht, wie sich eine Verletzung der Annahme lim n n n = auf die Schätzung auswirkt. Aus diesem Grund sei weiter n = 1000 festgesetzt. Allerdings wird die Schrittlänge auf i = = 1 1000 gesetzt. Es ergibt sich also n n = 1, wodurch die Konvergenz verletzt ist. Als erstes wird nun wieder die ML-Schätzung betrachtet. Tabelle 4 zeigt die so geschätzten Parameter und Konfidenzintervalle. Es fällt auf, dass die Schätzungen weit von den wahren Parametern entfernt sind. Die Konfidenzintervalle sind mit Ausnahme von dem von ˆθ 3 sehr breit. Das dritte Konfidenzintervall ist zwar schmal, überdeckt jedoch den wahren Parameter nicht. Dies lässt vermuten, dass, während die Schätzer für θ 1 und θ 2 eine hohe Varianz aufzeigen, der Schätzer für θ 3 verzerrt ist. Schätzung untere KI-Grenze obere KI-Grenze θ 1 12.08 0.84 23.35 θ 2 2.72-0.57 6.01 θ 3-1.96-2.05-1.88 Tabelle 4: ML-Parameterschätzung und 95% Konfidenzintervalle (gerundet) Bei genauerer Betrachtung des Schätzers für θ 3 fällt auf, dass sich dieser nur bis auf das Vorzeichen vom wahren Parameter unterscheidet. Aus diesem Grund wird eine weitere 11

ML-Schätzung mit Startvektor (2, 2, 1.5) T durchgeführt. Die ersten beiden Schätzer sind auch hier sehr weit vom wahren Parameter entfernt (vgl. Tabelle 5). Der Schätzer für θ 3 ist jedoch nah am wahren Parameter und auch das Konfidenzintervall überdeckt den wahren Parameter. Es scheint also als lägen bei diesem Modell mehrere lokale Maxima bzgl. θ 3 vor. Dies ist ein Schwachpunkt des BFGS-Algorithmus. Schätzung untere KI-Grenze obere KI-Grenze θ 1 11.98 0.84 23.35 θ 2 2.69-0.57 6.01 θ 3 1.96 1.88 2.05 Tabelle 5: ML-Parameterschätzung und 95% Konfidenzintervalle mit Startvektor (2, 2, 1.5) T (gerundet) Die KQ-Schätzung ist der ML-Schätzung sehr ähnlich und weißt somit die gleichen Probleme auf (vgl. Tabelle 6). Der dritte Parameter wird wie bei der ML-Schätzung bei passendem Startwert nahezu exakt geschätzt. Allerdings überdeckt das Konfidenzintervall nicht den wahren Parameter. Schätzung untere KI-Grenze obere KI-Grenze θ 1 12.08 0.83 23.29 θ 2 2.71-0.58 6.02 θ 3 1.96 1.96 1.97 Tabelle 6: KQ-Parameterschätzung und 95% Konfidenzintervalle (gerundet) Um dies zu verifizieren wird wiederum eine Simulation mit 1000 Iterationen durchgeführt. Auch hier wird aufgrund obiger Erkenntnis als Startvektor für die ML-Schätzung der Vektor (2, 2, 1.5) T gewählt. Es fällt auf, dass auch die durchschnittlichen Schätzer weit von den wahren Parametern entfernt sind (vgl. Tabelle 7). Die Schätzer für θ 3 scheinen jedoch zu passen. Außerdem scheint anhand der QQ-Plots auch die Normalverteilungsannahme verletzt zu sein. Eine Ausnahme bildet die Verteilung von θ 3 (vgl. Abbildung 2). ML-Schätzung KQ-Schätzung θ 1 10.62 10.60 θ 2 5.67 5.65 θ 3 2.00 2.00 Tabelle 7: Durchschnittliche Schätzwerte mit Startvektor (2, 2, 1.5) T (gerundet) 12

10 10 30 50 ML Schätzung für θ 1 QQ Plot 10 10 30 50 KQ Schätzung für θ 1 QQ Plot 0 5 15 25 ML Schätzung für θ 2 QQ Plot 0 5 15 25 KQ Schätzung für θ 2 QQ Plot 1.90 2.00 2.10 ML Schätzung für θ 3 QQ Plot 1.90 2.00 2.10 KQ Schätzung für θ 3 QQ Plot Abbildung 2: QQ-Plots der Parameterschätzungen Anschließend werden die Maximum-Likelihood-Schätzer und KQ-Schätzer mit den exakten Schätzern verglichen. Hier wird die Schrittlänge wieder wie im ersten Fall gewählt ( i = = 1), um die Konvergenz sicherzustellen. Die Parameter müssen jedoch leicht abgeändert werden, um eine exakte Schätzung zu ermöglichen. Für die exakte Schätzung muss θ 1 = 0 gelten. Die weiteren Parameter seien auf (θ 2, θ 3 ) T = (3, 2) T gesetzt. Es fällt auf, dass die Schätzungen bis auf zwei Nachkommastellen identisch sind (vgl. Tabelle 8). ML-Schätzung KQ-Schätzung Exakte Schätzung θ 2 3.29 3.29 3.29 θ 3 2.10 2.10 2.10 Tabelle 8: Schätzwerte (gerundet) Auch hier wird wieder eine Simulation mit 1000 Wiederholungen durchgeführt. Es fällt auf, dass auch die durchschnittlichen Schätzer nah an den wahren Parametern liegen (vgl. Tabelle 9). Die ML-Schätzung weicht allerdings etwas stärker von den wahren Parametern ab. Sie bietet jedoch die Möglichkeit asymptotische Standardabweichungen und damit Konfidenzintervalle zu bestimmen. Auch die KQ-Schätzung bietet die Möglichkeit 13

zur Bildung von Konfidenzintervallen. Diese halten allerdings wie zuvor gesehen die vorgegebene Überdeckungswahrscheinlichkeit nicht ein. Bei der exakten Schätzung ist die Bestimmung von Standardabweichungen nicht direkt möglich. Wie bereits in Kapitel 2.3 gezeigt sind die exakte Schätzung und die KQ-Schätzung gleich, falls die Varianz über Maximum-Likelihood geschätzt wird. Dies führt zu Abweichungen ab der vierten Nachkommastelle und ist somit auch zu vertreten. ML-Schätzung KQ-Schätzung Exakte Schätzung θ 2 3.63 3.19 3.19 θ 3 2.14 2.04 2.04 Tabelle 9: Durchschnittliche Schätzwerte (gerundet) In einer weiteren Simulation soll nun das Verhalten der Schätzverfahren bei einem explosiven Vasicek-Prozess untersucht werden. Ein explosiver Prozess entsteht dann, wenn der Parameter θ 2 negativ ist. Zunächst konnte festgestellt werden, dass die numerische ML-Schätzung bei zu stark explosiven Prozessen nicht konvergiert. Daher sind für die Simulation Einstellungen gewählt worden, die ein zu stark explosives Verhalten vermeiden. So wurde (θ 1, θ 2, θ 3 ) T = (1, 0.01, 1) T gewählt. Außerdem wurde als Beobachtungszahl n = 100 und als Schrittweite i = = 1 gewählt. Dies führt dazu, dass auch in dieser 10 Simulation die Konvergenz von T = n sichergestellt ist. Als Startparameter für den BFGS-Algorithmus wird (θ 1, θ 2, θ 3 ) T = (0.5, 1, 0.5) T gewählt. Sowohl die ML- als auch die KQ-Schätzung scheinen in diesem leicht explosiven Fall weiterhin zu guten Ergebnissen zu führen (vgl. Tabelle 10 und 11). Auch die Konfidenzintervalle scheinen bis auf eine Ausnahme gut zu sein. So überdecken alle Konfidenzintervalle bis auf das der KQ-Schätzung für θ 3 den wahren Parameter. Ebenso scheint die Intervallbreite vertretbar. Schätzung untere KI-Grenze obere KI-Grenze θ 1 1.01-0.23 2.27 θ 2-0.05-0.21 0.11 θ 3 0.91 0.79 1.05 Tabelle 10: Schätzwerte und Konfidenzintervalle ML (gerundet) Schätzung untere KI-Grenze obere KI-Grenze θ 1 1.01-0.25 2.25 θ 2-0.05-0.21 0.11 θ 3 0.91 0.90 0.92 Tabelle 11: Schätzwerte und Konfidenzintervalle KQ (gerundet) Im Anschluss wird nun wiederum eine Simulation mit 1000 Iterationen durchgeführt. Die durchschnittlichen Schätzer und Überdeckungswahrscheinlichkeiten der Konfidenzintervalle sind in Tabelle 12 zu finden. Die durchschnittlichen Schätzer der beiden Verfahren 14

sind nahezu gleich. Es fällt auf, dass die Schätzung für θ 1 in beiden Fällen leicht verzerrt zu sein scheint. Die Schätzung für θ 3 trifft im Mittel den wahren Parameter. Allerdings hält hier das Konfidenzintervall der KQ-Schätzung die Überdeckungswahrscheinlichkeit nicht ein. Für θ 2 ergibt sich trotz negativer Einstellung eine positive Schätzung. Das lässt sich jedoch dadurch erklären, dass die Parametereinstellung, um einen zu stark explosiven Verlauf zu vermieden, nahe Null gewählt wurde. Außerdem fällt auf, dass ähnlich wie bei Verletzung der Konvergenz von T auch in diesem Fall für θ 1 und θ 2 die zugrunde liegende Normalverteilungsannahme verletzt zu sein scheint (vgl. Abbildung A.2). Durchschnitt ML-Schätzung Überdeckungswahrscheinlichkeit KI θ 1 1.44 0.94 θ 2 0.06 0.92 θ 3 0.99 0.95 Durchschnitt KQ-Schätzung Überdeckungswahrscheinlichkeit KI θ 1 1.44 0.94 θ 2 0.06 0.92 θ 3 1.00 0.13 Tabelle 12: Durchschnittliche Schätzwerte und Überdeckungswahrscheinlichkeiten (gerundet) Insgesamt ist die ML-Schätzung zu empfehlen. Sie bietet eine relativ exakte Schätzung und die Möglichkeit, leicht passende Konfidenzintervalle zu bestimmen, hat jedoch den Nachteil, dass der BFGS-Algorithmus eventuell nicht das globale Maximum findet. Dies kann jedoch durch mehrfaches durchführen der ML-Schätzung mit verschiedenen Startparametern gelöst werden. Die KQ-Schätzung bietet zwar dieselben Möglichkeiten, die Konfidenzintervalle halten jedoch die vorgegebene Überdeckungswahrscheinlichkeit nicht für jeden Parameter ein. Die exakte Schätzung hat den Nachteil, dass die Voraussetzung θ 1 = 0 benötigt wird. Ansonsten scheint sie jedoch auch zu empfehlen. Insbesondere auch, da durch den Zusammenhang zur KQ-Schätzung die Bestimmung von Konfidenzintervallen möglich wird. Problematisch wird diese Bestimmung jedoch, falls eine Intervallgrenze für ˆb negativ ist, denn dann ist die genutzte Rücktransformation nicht mehr möglich. Probleme ergeben sich auch dann, wenn die Konvergenzannahme von T verletzt ist. In diesem Fall ist nur noch die Schätzung für θ 3 brauchbar. Das führt dazu, dass in diesem Fall von allen Schätzverfahren in diesem Bericht abzuraten ist. Bei Betrachtung eines explosiven Vasicek Prozesses sind die Schätzungen ebenso mit Vorsicht zu behandeln. Bei einem zu stark explosiven Verlauf ist auch hier von beiden Schätzverfahren abzuraten. 4 Zusammenfassung und Ausblick In dieser Arbeit wurde untersucht, wie sich die Güte einer Maximum-Likelihood-Schätzung für den Ornstein-Uhlenbeck-Prozess im Vergleich zur exakten und Kleinste-Quadra- 15

te-schätzung beschreiben lässt. Außerdem wurde ermittelt, wie sich die Schätzungen unter Verletzung von Annahmen verhalten. Dazu wurde zunächst der Prozess beschrieben und auf die genutzten Schätzmethoden eingegangen. Es wurde festgestellt, dass die KQ-Schätzer und die exakten Schätzer bis auf die genutzte Varianzschätzung gleich sind. Anschließend wurden verschiedene Simulationen durchgeführt. Zum Einen wurde dabei von einem Idealtyp ausgegangen, um so zunächst die Schätzungen der Maximum-Likelihood-Methode und der Kleinste-Quadrate-Methode miteinander zu vergleichen. ( ) Dann wurde eine benötigte Annahme lim n = für die Maximum-Likelihood-Methode verletzt und untersucht wie sich dies auf die Schätzung der beiden Methoden aus- n wirkt. Anschließend wurde der Spezialfall, dass θ 1 im Prozess bekannt und gleich 0 ist, untersucht. Hier kann eine exakte Lösung bestimmt werden. Abschließend ist ein explosiver Vasicek-Prozess untersucht worden. Für alle vier Simulationen wurden außerdem um Zufälligkeiten in der Güte der Schätzung ausschließen zu können, jeweils 1000 Iterationen betrachtet und durchschnittliche Schätzer verglichen. Dabei ist in der idealtypischen Simulation aufgefallen, dass sowohl die KQ-Schätzungen als auch die exakten Schätzungen näher an den wahren Parametern liegen als die ML- Schätzungen. Es musste jedoch ebenso entdeckt werden, dass, die Konfidenzintervalle der KQ-Schätzungen im Allgemeinen nicht die vorgegebenen Überdeckungswahrscheinlichkeiten einhalten. Dies lässt sich auf die exakten Schätzer übertragen, sofern Konfidenzintervalle über den Umweg der KQ-Schätzung bestimmt werden sollen. Außerdem wurde festgestellt, dass sowohl ML- als auch KQ-Schätzungen unter Verletzung der Konvergenzannahme nicht mehr zu gebrauchen sind. Ebenso ist von diesen Schätzungen bei einem zu stark explosiven Verlauf des Prozesses abzuraten. Insgesamt wurde festgestellt, dass im Allgemeinen die ML-Schätzungen zu empfehlen sind, da diese im Vergleich zu den KQ-Schätzungen die Überdeckungswahrscheinlichkeiten der Konfidenzintervalle einhalten. Falls auf Konfidenzintervalle verzichtet werden kann und θ 1 = 0 als bekannt vorausgesetzt wird, so kann alternativ auf exakte Schätzer zurückgegriffen werden. Weiterführend macht es Sinn verallgemeinerte Ornstein-Uhlenbeck-Prozesse zu betrachten, z.b. sogenannte Levy-driven-Ornstein-Uhlenbeck-Prozesse. In diesem Zusammenhang können weitere Schätzmethoden, wie z.b. die Kerndichteschätzung oder Quasi-ML-Methoden verglichen werden. 16

Literatur [Groß 2010] Groß, Jürgen: Grundlegende Statistik mit R. Vieweg + Teubner, 2010 [Iacus 2008] Iacus, Stefano M.: Simulation and Inference for Stochastic Differential Equations. With R Examples. Springer, 2008 [Nocedal und Wright 1999] Nocedal, Jorge ; Wright, Stephen J.: Numerical Optimization. Springer, 1999 [Phillips und Yu 2009] Phillips, Peter C. B. ; Yu, Jun: Maximum likelihood and gaussian estimation of continuous time models in finance. In: Torben Andersen (Ed.), Handbook of Financial Time Series, Springer, 2009, S. 497 530 [R Core Team 2013] R Core Team: R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing (Veranst.), 2013. URL http://www.r-project.org/ 17

A Anhang X 0 2 4 6 0 200 400 600 800 1000 Zeit Abbildung A.1: Verlauf des simulierten Vasicek-Prozesses 18

0 2 4 6 ML Schätzung für θ 1 QQ Plot 0 2 4 6 KQ Schätzung für θ 1 QQ Plot 0.0 0.5 1.0 1.5 ML Schätzung für θ 2 QQ Plot 0.0 0.5 1.0 1.5 KQ Schätzung für θ 2 QQ Plot 0.8 1.0 1.2 ML Schätzung für θ 3 QQ Plot 0.8 1.0 1.2 KQ Schätzung für θ 3 QQ Plot Abbildung A.2: QQ-Plots der Parameterschätzungen 1 require ( stats4 ) 2 require ( sde ) 3 ## ML - Simulation 1 4 dcou = function (x,t,x0, theta, log = FALSE ){ 5 Ex = theta [1] / theta [2] + ( x0 - theta [1] / theta [2]) * exp (- theta [2] * t) 6 Vx = theta [3]^2 * (1 - exp ( -2* theta [2] *t)) / (2 * theta [2]) 7 dnorm (x, mean =Ex, sd= sqrt (Vx), log = log ) 8 } 9 OU.lik = function ( theta1, theta2, theta3 ){ 10 n = length ( X) 11 dt = deltat ( X) 12 -sum ( dcou (X [2: n], dt, X [1:(n -1) ], c( theta1, theta2, theta3 ), log = TRUE ) ) 13 } 14 set. seed (123) 15 X = sde. sim ( model ="OU", theta = c (3,1,2),N = 1000, delta = 1) 16 fit = mle (OU.lik, start = list ( theta1 =1, theta2 =0.5, theta3 =1), 17 method = L-BFGS -B,lower = c(-inf,0,0) ) 18 summary ( fit ) 19 vcov ( fit ) 20 confint ( fit ) 21 22 ## KQ - Simulation 1 23 delta =1 24 model = lm(x[ -1]~X [1:(( length (X) -1))]) 25 coefi = model $ coefficients 26 res = model $ residuals 27 theta2 = unname ( log ( coefi [2]) /-delta ) 28 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 19

29 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 30 conftheta2 = log ( confint ( model ) [2,]) /-delta 31 conftheta1 =( confint ( model )[1,]* conftheta2 /(1 - exp (- conftheta2 * delta ))) 32 conftheta3 =sd(res )* sqrt (2* conftheta2 /(1 - exp ( -2* conftheta2 * delta ))) 33 34 35 ## Mit 1000 Iterationen 36 set. seed (123) 37 erg1 = array ( dim = c (3,3,1000) ) 38 erg2 = array ( dim = c (3,3,1000) ) 39 for ( i in 1:1000) { 40 X = sde. sim ( model ="OU", theta = c (3,1,2),N = 1000, delta = 1) 41 fit = mle (OU.lik, start = list ( theta1 =1, theta2 =0.5, theta3 =1), 42 method = L- BFGS - B ) 43 44 est = coef ( fit ) 45 int = confint ( fit ) 46 erg1 [,,i] = cbind (est, int ) 47 48 model = lm(x[ -1]~X [1:(( length (X) -1))]) 49 coefi = model $ coefficients 50 res = model $ residuals 51 theta2 = unname ( log ( coefi [2]) /-delta ) 52 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 53 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 54 conftheta2 = log ( confint ( model ) [2,]) /-delta 55 conftheta1 =( confint ( model )[1,]* conftheta2 /(1 - exp (- conftheta2 * delta ))) 56 conftheta3 =sd(res )* sqrt (2* conftheta2 /(1 - exp ( -2* conftheta2 * delta ))) 57 if( conftheta1 [2] < conftheta1 [1]) { 58 temp = conftheta1 [1] 59 conftheta1 [1]= conftheta1 [2] 60 conftheta1 [2]= temp 61 } 62 if( conftheta2 [2] < conftheta2 [1]) { 63 temp = conftheta2 [1] 64 conftheta2 [1]= conftheta2 [2] 65 conftheta2 [2]= temp 66 } 67 if( conftheta3 [2] < conftheta3 [1]) { 68 temp = conftheta3 [1] 69 conftheta3 [1]= conftheta3 [2] 70 conftheta3 [2]= temp 71 } 72 est = c( theta1, theta2, theta3 ) 73 int = rbind ( conftheta1, conftheta2, conftheta3 ) 74 erg2 [,,i] = cbind (est, int ) 75 } 76 conf1 = erg1 [,2,] < c (3,1,2) & erg1 [,3,] > c (3,1,2) 77 rowmeans ( conf1 ) 78 c( mean ( erg1 [1,1,]), mean ( erg1 [2,1,]), mean ( erg1 [3,1,]) ) 79 80 conf2 = erg2 [,2,] < c (3,1,2) & erg2 [,3,] > c (3,1,2) 81 rowmeans ( conf2 ) 82 c( mean ( erg2 [1,1,]), mean ( erg2 [2,1,]), mean ( erg2 [3,1,]) ) 83 par ( mfrow =c (3,2) ) 84 qqnorm ( erg1 [1,1,], main = expression ("ML - Schätzung für " * theta [1] * " QQ - Plot "), 85 xlab =, ylab = ) 86 qqnorm ( erg2 [1,1,], main = expression ("KQ - Schätzung für " * theta [1] * " QQ - Plot "), 87 xlab =, ylab = ) 88 qqnorm ( erg1 [2,1,], main = expression ("ML - Schätzung für " * theta [2] * " QQ - Plot "), 89 xlab =, ylab = ) 90 qqnorm ( erg2 [2,1,], main = expression ("KQ - Schätzung für " * theta [2] * " QQ - Plot "), 20

91 xlab =, ylab = ) 92 qqnorm ( erg1 [3,1,], main = expression ("ML - Schätzung für " * theta [3] * " QQ - Plot "), 93 xlab =, ylab = ) 94 qqnorm ( erg2 [3,1,], main = expression ("KQ - Schätzung für " * theta [3] * " QQ - Plot "), 95 xlab =, ylab = ) 96 97 ## ML - Simulation 2 98 set. seed (456) 99 100 X = sde. sim ( model ="OU", theta = c (3,1,2),N = 1000, delta = 1e -3) 101 fit = mle (OU.lik, start = list ( theta1 =1, theta2 =0.5, theta3 =1), 102 method = BFGS ) 103 summary ( fit ) 104 confint ( fit ) 105 106 ## ML - Simulation 2: Alternative Schätzung 107 set. seed (456) 108 109 fit = mle (OU.lik, start = list ( theta1 =2, theta2 =2, theta3 =1.5), 110 method = BFGS ) 111 summary ( fit ) 112 confint ( fit ) 113 114 115 ## KQ - Simulation 2 116 delta =1e -3 117 model = lm(x[ -1]~X [1:(( length (X) -1))]) 118 coefi = model $ coefficients 119 res = model $ residuals 120 theta2 = unname ( log ( coefi [2]) /-delta ) 121 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 122 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 123 conftheta2 = log ( confint ( model ) [2,]) /-delta 124 conftheta1 =( confint ( model )[1,]* conftheta2 /(1 - exp (- conftheta2 * delta ))) 125 conftheta3 =sd(res )* sqrt (2* conftheta2 /(1 - exp ( -2* conftheta2 * delta ))) 126 127 ## Mit 1000 Iterationen 128 set. seed (456) 129 erg3 = array ( dim = c (3,1000) ) 130 erg4 = array ( dim = c (3,1000) ) 131 for ( i in 1:1000) { 132 X = sde. sim ( model ="OU", theta = c (3,1,2),N = 1000, delta = 1e -3) 133 fit = mle (OU.lik, start = list ( theta1 =2, theta2 =2, theta3 =1.5), 134 method = BFGS ) 135 est = coef ( fit ) 136 erg3 [,i] = est 137 138 model = lm(x[ -1]~X [1:(( length (X) -1))]) 139 coefi = model $ coefficients 140 res = model $ residuals 141 theta2 = unname ( log ( coefi [2]) /-delta ) 142 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 143 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 144 est = c( theta1, theta2, theta3 ) 145 erg4 [,i] = est 146 } 147 c( mean ( erg3 [1,]), mean ( erg3 [2,]), mean ( erg3 [3,]) ) 148 149 c( mean ( erg4 [1,]), mean ( erg4 [2,]), mean ( erg4 [3,]) ) 150 par ( mfrow =c (3,2) ) 151 qqnorm ( erg3 [1,], main = expression ("ML - Schätzung für " * theta [1] * " QQ - Plot "), 152 xlab =, ylab = ) 21

153 qqnorm ( erg4 [1,], main = expression ("KQ - Schätzung für " * theta [1] * " QQ - Plot "), 154 xlab =, ylab = ) 155 qqnorm ( erg3 [2,], main = expression ("ML - Schätzung für " * theta [2] * " QQ - Plot "), 156 xlab =, ylab = ) 157 qqnorm ( erg4 [2,], main = expression ("KQ - Schätzung für " * theta [2] * " QQ - Plot "), 158 xlab =, ylab = ) 159 qqnorm ( erg3 [3,], main = expression ("ML - Schätzung für " * theta [3] * " QQ - Plot "), 160 xlab =, ylab = ) 161 qqnorm ( erg4 [3,], main = expression ("KQ - Schätzung für " * theta [3] * " QQ - Plot "), 162 xlab =, ylab = ) 163 164 ## Simulation ML 3 165 set. seed (789) 166 X = sde. sim ( model ="OU", theta = c (0,3,2),N = 1000, delta = 1) 167 fit = mle (OU.lik, start = list ( theta2 =1.5, theta3 =1), fixed = list ( theta1 =0), 168 method = L-BFGS -B,lower = c (0,0) ) 169 summary ( fit ) 170 171 ## Simulation KQ 3 172 delta =1 173 model = lm(x[ -1]~X [1:(( length (X) -1))] -1) 174 coefi = model $ coefficients 175 res = model $ residuals 176 theta2 = unname ( log ( coefi [1]) /-delta ) 177 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 178 179 ## Simulation exakt 180 theta2 = -log ( sum (X [1:( length (X) -1)]*X [2: length (X)])/sum (X [1:( length (X) -1) ]^2) )/ 181 delta 182 theta3sq = 2* theta2 /(( length (X) -1)*(1 - exp ( -2* delta * theta2 )))* 183 sum ((X[2: length (X)]-X [1:( length (X) -1)]* exp (- delta * theta2 )) ^2) 184 c( theta2, sqrt ( theta3sq )) 185 186 # Mit 1000 Iterationen : 187 set. seed (789) 188 erg5 = array ( dim = c (6,1000) ) 189 for ( i in 1:1000) { 190 X = sde. sim ( model ="OU", theta = c (0,3,2),N = 1000, delta = 1) 191 fit = mle (OU.lik, start = list ( theta2 =1.5, theta3 =1), fixed = list ( theta1 =0), 192 method = L-BFGS -B,lower = c (0,0) ) 193 est = coef ( fit ) [2:3] 194 erg5 [1:2, i] = est 195 196 model = lm(x[ -1]~X [1:(( length (X) -1))] -1) 197 coefi = model $ coefficients 198 res = model $ residuals 199 theta2 = unname ( log ( coefi [1]) /-delta ) 200 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 201 erg5 [3:4, i]=c( theta2, theta3 ) 202 203 theta2 = -log ( sum (X [1:( length (X) -1)]*X [2: length (X)])/sum (X [1:( length (X) -1) ]^2) )/ 204 delta 205 theta3sq = 2* theta2 /(( length (X) -1)*(1 - exp ( -2* delta * theta2 )))* 206 sum ((X[2: length (X)]-X [1:( length (X) -1)]* exp (- delta * theta2 )) ^2) 207 erg5 [5:6, i]=c( theta2, sqrt ( theta3sq )) 208 } 209 rowmeans ( erg5, na. rm = T) 210 211 212 ## Simulation ML 4 213 set. seed (123) 214 X = sde. sim ( model ="OU", theta = c (1, -0.01,1),N = 100, delta = 1/ 10) 22

215 fit = mle (OU.lik, start = list ( theta1 =0.5, theta2 =-1, theta3 =0.5), 216 method = L-BFGS -B,lower = c(-inf,-inf,0), control = list ( maxit = 1000) ) 217 summary ( fit ) 218 vcov ( fit ) 219 confint ( fit ) 220 221 ## KQ - Simulation 4 222 delta =1/ 10 223 model = lm(x[ -1]~X [1:(( length (X) -1))]) 224 coefi = model $ coefficients 225 res = model $ residuals 226 theta2 = unname ( log ( coefi [2]) /-delta ) 227 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 228 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 229 conftheta2 = log ( confint ( model ) [2,]) /-delta 230 conftheta1 =( confint ( model )[1,]* conftheta2 /(1 - exp (- conftheta2 * delta ))) 231 conftheta3 =sd(res )* sqrt (2* conftheta2 /(1 - exp ( -2* conftheta2 * delta ))) 232 233 ## 1000 Iterationen 234 set. seed (123) 235 erg6 = array ( dim = c (3,3,1000) ) 236 erg7 = array ( dim = c (3,3,1000) ) 237 for ( i in 1:1000) { 238 X = sde. sim ( model ="OU", theta = c (1, -0.01,1),N = 100, delta = 1/ 10) 239 fit = mle (OU.lik, start = list ( theta1 =0.5, theta2 =-1, theta3 =0.5), 240 method = L- BFGS - B ) 241 242 est = coef ( fit ) 243 int = confint ( fit ) 244 erg6 [,,i] = cbind (est, int ) 245 246 model = lm(x[ -1]~X [1:(( length (X) -1))]) 247 coefi = model $ coefficients 248 res = model $ residuals 249 theta2 = unname ( log ( coefi [2]) /-delta ) 250 theta1 = unname ( coefi [1] * theta2 /(1 - exp (- theta2 * delta ))) 251 theta3 = unname (sd(res )* sqrt (2* theta2 /(1 - exp ( -2* theta2 * delta )))) 252 conftheta2 = log ( confint ( model ) [2,]) /-delta 253 conftheta1 =( confint ( model )[1,]* conftheta2 /(1 - exp (- conftheta2 * delta ))) 254 conftheta3 =sd(res )* sqrt (2* conftheta2 /(1 - exp ( -2* conftheta2 * delta ))) 255 if( conftheta1 [2] < conftheta1 [1]) { 256 temp = conftheta1 [1] 257 conftheta1 [1]= conftheta1 [2] 258 conftheta1 [2]= temp 259 } 260 if( conftheta2 [2] < conftheta2 [1]) { 261 temp = conftheta2 [1] 262 conftheta2 [1]= conftheta2 [2] 263 conftheta2 [2]= temp 264 } 265 if( conftheta3 [2] < conftheta3 [1]) { 266 temp = conftheta3 [1] 267 conftheta3 [1]= conftheta3 [2] 268 conftheta3 [2]= temp 269 } 270 est = c( theta1, theta2, theta3 ) 271 int = rbind ( conftheta1, conftheta2, conftheta3 ) 272 erg7 [,,i] = cbind (est, int ) 273 } 274 conf6 = erg6 [,2,] < c (1, -0.01,1) & erg6 [,3,] > c (1, -0.01,1) 275 rowmeans ( conf6 ) 276 c( mean ( erg6 [1,1,]), mean ( erg6 [2,1,]), mean ( erg6 [3,1,]) ) 23

277 278 conf7 = erg7 [,2,] < c (1, -0.01,1) & erg7 [,3,] > c (1, -0.01,1) 279 rowmeans ( conf7 ) 280 c( mean ( erg7 [1,1,]), mean ( erg7 [2,1,]), mean ( erg7 [3,1,]) ) 281 par ( mfrow =c (3,2) ) 282 qqnorm ( erg6 [1,1,], main = expression ("ML - Schätzung für " * theta [1] * " QQ - Plot "), 283 xlab =, ylab = ) 284 qqnorm ( erg7 [1,1,], main = expression ("KQ - Schätzung für " * theta [1] * " QQ - Plot "), 285 xlab =, ylab = ) 286 qqnorm ( erg6 [2,1,], main = expression ("ML - Schätzung für " * theta [2] * " QQ - Plot "), 287 xlab =, ylab = ) 288 qqnorm ( erg7 [2,1,], main = expression ("KQ - Schätzung für " * theta [2] * " QQ - Plot "), 289 xlab =, ylab = ) 290 qqnorm ( erg6 [3,1,], main = expression ("ML - Schätzung für " * theta [3] * " QQ - Plot "), 291 xlab =, ylab = ) 292 qqnorm ( erg7 [3,1,], main = expression ("KQ - Schätzung für " * theta [3] * " QQ - Plot "), 293 xlab =, ylab = ) Listing 1: R-Code 24