Part I: Verification in DWD

Transkript

1 Part I: Verification in DWD Maximumtemperatur Trefferquote (+- 2K) in % linear Tage 4 Tage 6 Tage 1

2 History of verification of public weather products USA: first issue! Finley, J.P. (1884): Tornado predictions. American Meteorological Journal, 1, Germany: Köppen, W. (1884): Eine rationelle Methode zur Überprüfung der Wetterprognosen. Meteorologische Zeitschrift, 1,

3 Outline of talk 1. WHY? 2. WHAT? 3. HOW? 4. Examples! 3

4 1. WHY verify? 4

5 Forecast variable (precipitation,... ) point in time (-intervall) point in space (area) method: physical and statistical models human forecaster Verification Observation instrument (synoptical, radar, lightning,...) point in time point in space / areal mean many User accuracy skill utility Administration improvement? controlling quality management Forecaster/ developer errors and sources quality control 5

6 2. WHAT verify? 6

7 Type of forecast Time/Space/user scale Short range Medium range TAF SWIS Climate -! - - Persistence! -! - Direct Model Output GME LM GME EZMW - - Statistical and physical postprocessing Forecaster MOS/MIX LM/Kalman weather interpreation Regional office county scale warnings EZ-EPS MOS/MIX EPS/Kalman AFReg-MIX AutoTAF airport EBM MOS MMO 7

8 3. How verify? 8

9 Principles for verification (of products) no forecast without verification final forecasts (products), DIGITIZED! a few selected target points target time objective and according to WMO guide lines (so far) oriented toward measures, i.e. continuous, categorical and probabilistic sufficient sample (>3 month) skill is more important than accuracy, i.e. extensive use of reference forecasts, e.g. persistence, climate, automatic forecast 9

10 street surface temperature relative frequency in M forecast categories N observation categories dimensionality of verification problem M*N-1 boil down to a few summary measures! observation in C forecast in C = =

11 Data F i (t k, x k,...) O jk (t k,x k,...) accuracy (instrument + represantitiviy + availability) approaches to verification error m (t k, x k,...)=f i (t k, x k,...) - O j (t k,x k,...) frequency in joint bins of ( F i, O j ) continuous, independent of numerical value categorical independent of time and location 11

12 Normal distribution WV 11 Verifikation error m (t k, x k,...) = F i (t k, x k,...) - O j (t k,x k,...) Summary? 1 error bias P( error) = exp 2 2 MSE bias 2 mean Standard deviation bias : systematical error MSE : Mean Squared Error RMSE : Root MSE MSE = bias 2 + error variance if bias=0 RMSE = standard deviation of error 12

13 Skill measure Reduction of error Variance RV = MSE MSE forecast perfect MSE MSE reference reference 13

14 4. Examples! 14

15 Reduction of error variance during 35 years Short range forecasts (Potsdam) Temperature (rmse) 3,0 7 MAX [K] 6 2,5 dd [Dekagrad] 5 54% 2,0 4 79% MIN [K] 3 1,5 51% ff [m/s] 68% 2 1, Year Year Wind (rmse) Treffer (Niederschlag ja/nein, 2x12 Std.) in % Precipitation (% correct) WI SO GM 2,

16 RMSE Maximumtemperatur, 1 Tag-Vorhersage 3,3 3,0 (a) AUTOMAT MAXimum 2,7 rmse in K 2,4 2,1 1,8 SYN 1,5 1,2 I84 I85 I86 I87 I88 I89 I90 I91 I92 I93 I94 I95 I96 I97 I98 I99 I00 I01 I02 I03 I04 I05 I06 GMZ3,3 Kalman-Filter MOS MOS/MIX 16

17 Treffer in % MAX 0,5 2,5 4,5 6,5 8,5 10,5 Prognosefehler in K s98 TR s04 TR s98 mse s04 mse mse in K 2 MSE = K k = 1 Häufigkeit( k) * Wert Reduktion der Fehler masse durch Reduktion der grossen Fehler 2 ( k) 17

18 gute Vorhersagen (Fehler < 2,5 K) 70 Anteil in % große Fehler (> 4,5 K) heute 1. FT 2. FT 3. FT 4. FT 5. FT 6. FT 7. FT Vorhersagetermine 18

19 Maximumtemperatur WV 11 Verifikation Trefferquote (+- 2K) in % Improvement of forecast: 1 day / 10 years linear Tage 4 Tage 6 Tage 19

20 time of predictability = forecast more accurate than climate information Niederschlag: JA/NEIN Windrichtung Windböen > 12m/s: JA/NEIN tiefste Nachttemperatur Tageshöchsttemperatur Wahrscheinlichkeit für Niederschlag > 0mm/d Sonnenscheindauer Wahrscheinlichkeit für Windböen/Tag > 12 m/s Windgeschwindigkeit Zeitspanne der Vorhersagbarkeit für das Jahr Tage im voraus 20

21 Probability for precipitation > 5 mm/day rmse in % climate EPS AFREG-Mix 23 MOS-Mix Days ahead 21

22 RV rel. Persistenz in % MW = Mittelw ert, SP = RV(max) - RV(min) mean forecast of regional centres MW SP

23 RV (SYN rel. AUTOMAT) in % GM 1,1 K A L M A N DWD, Kurzfrist M O S M O S / M I X 23

24 Maßzahlen Probability Of Detection = POD = Anteil der E., die erkannt wurden FalschAlarmRate = FAR = Anteil der falschen Alarme an allen Vorhersagen (Häufigkeits-) bias = Verhältnis aus vorherges. und beobachteten E. Heidke Skill Score = HSS = Anteil der besser als Zufallsvorhersagen, relativ zu allen Vorhersagen, die nicht durch Zufall richtig wären 24

25 Verification of Warnings 25

26 26

27 warning criteria gusts thunderstorms heavy showers heavy rain snow fall drifting snow icy roads fog frost Meteorologische Erscheinung Schwellenwert Bezeichnung Windböen in ca. 10 m Höhe über offenem, freien Gelände Böenwarnung in exponierten Gipfellagen nach Einzelfallentscheidung Gewitter Starkes Gewitter Starkregen Dauerregen Leichter Schneefall in Lagen über 800 m: Einzelfallentscheidung Schneefall in Lagen über 800 m: Einzelfallentscheidung Schneeverwehung in Lagen über 800 m: Einzelfallentscheidung Glätte örtlich Glatteis > 50 km/h, 14 m/s, 28 kn, 7 Bft Windböen 65 bis 85 km/h, 18 bis 24 m/s, 34 bis 47 kn, 8 Bft bis 9 Bft 90 bis 100 km/h, 25 bis 28 m/s, 48 bis 55 kn, 10 Bft elektrische Entladung, auch in Verbindung mit Windböen in Verbindung mit Sturmböen, schweren Sturmböen, Starkregen oder Hagel l/m² in 1 Stunde l/m² in 6 Stunden l/m² in 12 Stunden l/m² in 24 Stunden l/m² in 48 Stunden bis 5 cm in 6 Stunden bis 10 cm in 12 Stunden 5 bis 10 cm in 6 Stunden 10 bis 15 cm in 12 Stunden über 800 m: bis 30 cm in 12 Std. Neuschnee oder lockere Schneedecke 5-10 cm und wiederholt Böen 6 oder 7 Bft durch Reifablagerungen, vorhandene Schneedecke, überfrierende Nässe kurzzeitig oder kleinräumig durch gefrierenden Regen oder Sprühregen Sturmböen Schwere Sturmböen Gewitter Starkregen Dauerregen Schneefall Schneeverwehung Glätte Nebel überörtlich Sichtweite unter 150 m Nebel Frost verbreitet oder anhaltend Lufttemperatur unter dem Gefrierpunkt in der Zeit vom bis jeden Jahres, in Lagen bis 800m Frost 27

28 Warning Regional centre event county Height level WV 11 Verifikation Gusts warning and its encoding WWPD51 HGWX AMTLICHE WARNUNG vor WINDBÖEN für Stadt Greifswald gültig von: Freitag, , 09:00 Uhr bis: Freitag, , 21:00 Uhr ausgegeben vom Deutschen Wetterdienst am: Freitag, , 08:00 Uhr Heute tagsüber zunehmender Südwestwind mit Böen: 40 bis 60 km/h, 11 bis 16 m/s, 6 bis 7 Bft, abends abnehmend. DWD / RZ Potsdam Forecast intervall Forecast range Issue time 28

29 Verification of Warning (i.e. gusts above 65 km/h) Uhrzeit Warning Warnung vor Sturmböen Böen 65 bis 85 km/h Observation Beobachtung (km/h) Result Prüfung Sturmböen N N N N N N V T F T T F F F F N N N N N N N N N N - correct forecast V - missed event T - hit F - false Alarm Is this the best way to verify? For a perfect result two warnings have to be issued. From the customers point of view only one warning is better. 29

30 Probability Of Detection = POD = view of public Was ist aufgetreten, wurde gewarnt? 1000 hours 13 storm 987 less than storm 11 hit 2 missed event 58 false alarm 929 correct forecast POD = 11 hits / 13 storms POD 85 % 30

31 Thats not bad, isn`t it? But... 31

32 Falscher Alarm Rate = FAR = view of disaster management Wie wurde gewarnt, war es nötig? 1000 hours 69 warnings 931 no warning 11 hit 58 false alarm 2 missed event 929 correct forecast FAR = 58 false alarms / 69 warnings FAR 84% 32

33 TS - POD Summer

34 TS -Relative frequency Summer

35 2,00 Verification of PEPS-probabilities > 20mm/24h 1,80 1,60 1,40 1,20 1,00 POD=60% biasfrei POD FAR HSS 0,80 BIAS 0,60 0,40 0,20 0,00 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 0,50 0,55 0,60 0,65 0,70 0,75 0,80 0,85 0,90 Klasse der vorhergesagten Wahrscheinlichkeit 35

36 Summary 40 year history of verification of products in Germany focus has long been on verification of man machine mix recently, main emphasis on verification of warnings verification method should fit to customers needs! 36

37 Part II Verification of WWIS City forecasts 37

38 Source: World Weather Information Services Where: worldwide When: 1-5 days Parameters Tmin, Tmax Period: since Jan 2005) 38

39 Reduction of Variance ( skill score ) MOS-MIX forecast WMO forecast 39

40 Whats new? Project started in 2005 first comparison of final forecasts in Europe Quality of temperature A technical document on the verification technique incorporated by DWD in the pilot project is developed (ET / SPI) it is part of a draft verification report which is now available Some NMHSs are already interested in (Meteo France, ZAMG, UKMet, FMI) 40

41 Thank you for your attention! Forecasting is a good business, but it s full of risks. Mark Twain 41