Problem aller bisheriger Methoden: Ergebnis ist nur so gut wie das Modell selbst.

Transkript

1 2.7 Validierung durch Backtesting Problem aller bisheriger Methoden: Ergebnis ist nur so gut wie das Modell selbst. Modell besteht im Wesentlichen aus zwei Faktoren: 1. Einflussgrößen 2. Modellierungsalgorithmus Einflussgrößen sind oft real beobachtbare Marktdaten, z.b. Aktienpreise -> Keine Genauigkeitsprobleme bei börsengehandelten Produkten Genauigkeit des VaR beim Marktrisiko liegt also in der tatsächlichen VaR-Berechnung 1 Backtesting = Vergleich der prognostizierten VaRs mit den tatsächlich eingetretenen Wertänderungen Vergleich dazu Stresstesting = Analyse möglicher zukünftiger Wertänderungen mittels Szenarien und Expertenschätzungen. Wesentlich für die Auswahl des Backtestingverfahrens sind Beobachtungszeitraum Genauigkeit der Analyse / interner vs. offizieller Backtest Automatisierbarkeit Konfidenzniveau Art der VaR-Berechnung 2 1

2 Regulatorische Vorgaben Seit 1996 können Banken eigene Verfahren zur VaR-Berechnung ihres Marktrisikos verwenden Wie ist der Zusammenhang zwischen VaR und tatsächlich benötigtem Eigenkapital? Banken: VaR = Eigenkapital Problem: Modellrisiko nicht mit eingerechnet 3 Value-at-Risk vs. Eigenkapital Problem: Modellfehler kann zu VaR-Unterschätzungen führen Regulatoren: Eigenkapital = Tatsächliches Risiko inklusive Modellfehler Annahme: Sensitivität des VaR gegenüber dem Modell ist nach oben durch eine Konstante beschränkt VaR(X)/ VaR(Xˆ ) c VaR(X) c VaR(Xˆ ) 4 2

3 Modellfehler bei Normalverteilungsannahme: Tschebyscheff-Ungleichung 1 F(kσ) = P(X > kσ) 1/ k² F 1 (1 1/ k²) kσ Ergebnis für das 99%-Quantil: k=10, d.h. 10σ ist Obergrenze des 99%-Quantils einer beliebigen Verteilung F mit beschränkter Varianz. Vergleich zur Normalverteilung: VaR F 1 F (0,99) MW 10σ 10 = = = 4,29 VaRΦ σφ 1 (0,99) MW 2,33σ 2,33 5 VaR F 1 F (0,99) MW 10σ 10 = = = 4,29 VaRΦ σφ 1 (0,99) MW 2,33σ 2,33 Resultat: Tatsächlicher VaR beim 99%-Quantil ist maximal das 4.29-fache des Normal -VaR. Modellfehler bei anderen Schätzmethoden (Hist. Simulation, MC- Methode) bewegt sich in ähnlichen Rahmen (siehe Stahl, G. Three Cheers, Risk Vol.10, No.5) Gesetzliche Umsetzung: Je nach festgestellter Güte des Modells wird als Eigenkapital das 3-4 fache des berechneten VaR zum Konfidenzniveau 0,99 veranschlagt. 6 3

4 Eigenkapital = VaR * (3 + s), 0 s 1 Wahl von s abhängig vom einfachsten Backtest, der Basler Ampel Basler Ampel zählt VaR-Überschreitungen innerhalb eines Jahres A.d.Ü. < >9 s Grundannahme: 250Tage/Jahr entspricht ca. 2-3 Überschreitungen des 99% VaR. 10 Überschreitungen entsprechen in etwa 96% Konfidenz 7 Analytische Methoden Annahme: Das Ereignis VaR-Überschreitung tritt ein wird beschrieben durch eine B(1;0,01)-Zufallsvariable Die Wahrscheinlichkeit des Eintretens am Tag n ist unabhängig von einem Eintreten am Vortag Die VaR-Überschreitungen in einem festgelegten Zeitraum N sind daher B(N;0,01) verteilt Beispiel: Basler Ampel benutzt eine B(250;0,01)-ZV als Grundlage 8 4

5 Basler Ampel überprüft (stark vereinfacht) die Hypothese, dass das beobachtete Konfidenzniveau mit dem vorgegebenen Konfidenzniveau übereinstimmt. x H 0 : q = qˆ = = 0,01 N x = Anzahl der Überschreitungen N = Anzahl der Messstellen (Backtestingpunkte) q = 1-Konfidenzniveau = x/n = 1-(empirisches Konfidenzniveau) qˆ 9 x H 0 : q = qˆ = = 0,01 N Proportion of Failures (POF) Test überprüft die Nullhypothese dass das beobachtete Quantil mit dem vorgegebenen übereinstimmt POF-Test benutzt Likelihood-Ratio-Statistik x N x q (1 q) LR POF = 2ln x N x qˆ (1 qˆ) LR-Statistik ist asymptotisch χ²-verteilt mit einem Freiheitsgrad. 10 5

6 x N x q (1 q) LR = POF 2ln x N x qˆ (1 qˆ) Überschreitet der Wert der LR-Statistik einen kritischen Wert wie z.b. das 95%-Quantil der Chi-Quadrat(1)-Verteilung wird die Nullhypothese abgelehnt, andernfalls wird sie angenommen Beispiel: In einem Zeitraum von 2 Jahren hat die Bewegung eines Portfolios 8 mal den 99%-VaR überschritten. Ist das VaR-Modell aufgrund dieser Beobachtung zu verwerfen? 2 q=0,01; N=500; x=8; χ 1 ;0, 95 = 3,84 (kritischer Wert) ,01 (1 0,01) 19 7,1 10 LR 2ln 2ln POF = = ,016 (1 0,016) 1,5 10 = 2ln ( 0,463) = 1,53 3, Time until First Failure (TUFF) Test geht davon aus dass im Mittel alle q -1 Tage eine Überschreitung auftritt (bei q=0,01 also alle 100 Tage) Die Nullhypothese dazu lautet 1 H 0 : q = qˆ = = 0,01 ν ν ist die Zahl der Tage bis zur ersten VaR-Überschreitung Überprüfung erneut mittels Likelihood-Ratio-Statistik, die asymptotisch χ²-verteilt ist mit einem Freiheitsgrad. ν 1 q(1 q) LR = POF 2ln ν 1 qˆ(1 qˆ) 12 6

7 Vergleich zwischen POF und TUFF Test: POF-Test untersucht Tragfähigkeit des VaR-Modells über den gesamten Beobachtungszeitraum TUFF-Test untersucht eher zeitlich bedingte Richtigkeit des VaR Nachteil des TUFF-Tests: Sehr geringe Güte, stark abhängig von der Wahl des Zeithorizontes -> Für die Praxis in dieser Form nicht relevant Nachteil des POF-Tests: Keine Aussage über Ausmaß der VaR- Überschreitung -> Gut bewertetes Modell kann VaR dennoch stark unterschätzen 13 Lösung des Überschreitungsproblems: Ausmaß der Überschreitung muss in den Backtest miteinfließen Magnitude Loss Function misst sowohl Anzahl der Überschreitungen als auch Abstand zum tatsächlichen VaR (VaR + = i xi ) für VaR < x C i i 0 sonst und C = i Ci Richtwert für C wird mittels Monte-Carlo-Simulation ermittelt Ist der gemessene Wert größer als der Richtwert, wird das VaR- Modell verworfen. 14 7

8 Magnitude Loss Function verhindert, dass wenige extreme Ausreißer zu einer Akzeptanz des Modells führen (eventuell auch Nachteil) MLF ist allerdings für sich betrachtet wenig aussagekräftig Beispiel: Die maximalen Verluste eines Portfolios im Laufe eines Jahres werden mit zwei VaR-Schätzern zum Konfidenzniveau 99% berechnet. Schätzer A führt an 249 Tagen zu keiner Überschreitung und an einem Tag zu einer Überschreitung von 2237 EUR. Schätzer B führt an 230 Tagen zu keiner Überschreitung und an 20 Tagen zu einer Überschreitung von 500 EUR. C(A)=1+2237²= C(B)=20(1+500²)= CD-Test berücksichtigt nicht nur Überschreitungen sondern bewertet die Güte der gesamten Verteilung. Nachteil: Kann bei Schätzern ohne geschlossene Verteilungsannahme (z.b. EVT) nicht verwendet werden CD-Test nimmt an, dass die Renditen gleichverteilte Ziehungen aus dem VaR-Modell sind, d.h. die empirischen Perzentile sollten einer R(0,1)-Verteilung genügen. Überprüfung der Hypothese mittels Q-Test (vergleicht maximale Abstände zur Gleichverteilung mit einem Benchmark) Durch eine Worry-Funktion wie f(t)=0,5ln(t(1-t)) kann der Fokus des Tests auf die Tails gelegt werden. Der kritische Wert des Q- Tests wird dann mit einer MC-Simulation ermittelt. 16 8

9 Graphische Methoden Neben den analytischen Methoden benutzen insbesondere die Regulatoren auch graphische Methoden zur Überprüfung des VaR- Modells Einfachste graphische Methode: Plot des VaR im Vergleich zur Zeitreihe, bzw. Plot der Überschreitungen Gibt Auskunft darüber wie stark der VaR überschritten wurde. Zeigt eventuelle Abhängigkeiten zwischen den Überschreitungen auf 17 99% und 95% VaR im Vergleich zur Zeitreihe des NASDAQ (long) 18 9

10 Überschreitungen des 99% VaR 19 Überschreitungen des 95% VaR 20 10

11 Einfache graphische Methode zur Überprüfung der Modellannahmen: QQ-Plot, der die Quantile der empirischen Verteilung mit den Quantilen der Modell-Verteilung vergleicht. Oftmals Verwendung findet der QQ-Normal-Plot, der die empirischen Quantile mit den Quantilen der Standardnormalverteilung vergleicht. Stimmen die empirische Verteilung und die Test-Verteilung überein, so liefert der QQ-Plot eine Gerade. Stimmen zusätzlich die Parameter der Verteilung überein, so entsteht eine Gerade mit Steigung QQ-Normal-Plot des NASDAQ 22 11

12 QQ-Plot der empirischen Quantile des NASDAQ gegen eine Pareto-Normal-Pareto-Verteilung 23 Ebenfalls Auskünfte über die Eignung des VaR-Modells kann eine graphische Analyse des CD-Tests geben Perzentile werden sortiert und geplottet. Ist das Ergebnis eine Gerade, so ist die Gleichverteilungsannahme gerechtfertigt Nachteil: Geringe Abweichungen zur Gleichverteilung in den Tails können zu gravierenden Fehlern führen Mögliche Lösung: Histogramm der geordneten Perzentile

13 Geordnete Perzentile des CD-Tests einer historischen VaR-Simulation der EXXON-Aktie (long) 25 Histogramm des CD-Tests 26 13

14 Zusammenfassung Analytische Backtests sind oft blind gegenüber Problemen des VaR-Modells, wie Abhängigkeit der Überschreitungen, Höhe der Überschreitungen, Anzahl der Überschreitungen Graphische Analysen geben oft mehr Aufschluss, können jedoch nicht automatisiert werden Zuverlässiges Backtesting erfordert eine Reihe verschiedener Backtests um die Schwächen der einzelnen Test-Verfahren zu eliminieren Zusätzlich sind oftmals graphische Tests erforderlich um die tatsächlichen Schwächen des Modells aufzudecken 27 Angewandtes Backtesting 28 14

15 29 15