Verifikation von Vorhersagen. Vortrag von Peter Hartmann Im Rahmen des Seminars Medienmeteorologie am

Transkript

1 Verfkato vo Vorhersage Vortrag vo Peter Hartma Im Rahme des Semars Medemeteorologe am

2 Glederug I II III IV V VI VII VIII IX Eletug Efache Verfkatosmaße Bäre Vorhersage Egeschafte vo Skll Scores Kategorserte Vorhersage Kotuerlche Varable Räumlche Felder Esemble-Vorhersage Wrtschaftlcher Wert

3 Eletug Warum st Verfkato ötg? a) Admstratve Grüde Lohe sch Ivesttoe Ausbldug, Techk, ud Modell überhaupt? Telwese Bous für gute Wettervorhersage (MetOffce) Zertfzerug b) Wsseschaftlche Grüde Verstäds der Vorhersagemodelle zur wetere Verbesserug, Auffde ud Tree vo Modellfehler ud falscher Iterpretato durch de Meteorologe der Vorhersage c) Wrtschaftlche Grüde Vorhersage für verschedee Nutzer müsse uterschedlch verfzert werde, wel Nutzer vollkomme uterschedlche Asprüche habe.

4 Efache Verfkatosmaße Kotgeztabelle für de Vorhersage Gewtter des Vorhersagers Peter bem Wettertpp de Semester WS 03/04 bs SS 06: Beobachtug Ja Beobachtug Ne Gesamt Vorhersage Ja (a) 3 (b) 4 Vorhersage Ne 8 (c) 264 (d) 272 Gesamt () Prozetualer Atel der rchtge Vorhersage a alle Vorhersage (Proporto Correct): PC = (a+d)/ = 265/276 = 96,0 % Ka ke gutes Maß se, de we ma efach ohe achzudeke NIE Gewtter getppt hätte, hätte ma folgede PC errecht: 267/276 = 96,7 % => Bewertug muß geschckter durchgeführt werde!

5 Bäre Vorhersage Wchtge Größe: a) Wahrschelchket des Eregsses (Base Rate): s = (a + c) / (=3,3%) b) Wahrschelchket der Vorhersage: r = (a + b) / (=,4%) c) (Häufgkets-) Bas: B = r / s (=0.42)

6 Bäre Vorhersage Wchtge Größe: d) Trefferrate (Ht Rate): H = a / (a + c) Atel der rchtg vorhergesagte a alle aufgetretee Eregsse Bsp.: /9 =, % e) Atel falscher Alarme (False Alarm Rate): F = b / (b + d) Atel der fälschlcherwese vorhergesagte Eregsse a a alle cht aufgetretee Eregsse Bsp.: 3/267 =,% f) Verhälts falscher Alarme (False Alarm Rato): FAR = b / (a + b) Atel der fälschlcherwese vorhergesagte Eregsse a a alle vorhergesagte Eregsse Bsp.: 3/4 = 75,0 %

7 Bäre Vorhersage Skll Scores: Beschrebe cht efach Atel vo aufgetrete Eregsse, soder setze rchtge Vorhersage s Verhälts zu Vorhersage, de ma auch ohe gergstes Vorhersageköe hätte mache köe (Referezvorhersage) Solche Vorhersage sd: Zufallsvorhersage Klmavorhersage Kosstezvorhersage (morge wrd es so we heute) SkllScore = Score Score(Re ferezvorhersage) Score( PerfekteVorhersage) Score(Re ferezvorhersage)

8 Bäre Vorhersage Hedke Skll Score: PC E HSS = E wobe E folgedermaße defert st: E = a + c a + b + E st der Prozetsatz rchtger Vorhersage, we Vorhersage ud Beobachtug uabhägg wäre ud bede de gleche Wahrschelchket hätte. b + d c + d I userem Bespel: E = 95,3 % => HSS = 0,43

9 Bäre Vorhersage Crtcal Success Idex (auch: Threat Score) a CSI = a + b + c I userem Bespel: CSI = 0,083 Der CSI exstert ur m Itervall 0 bs Glberts Skll Score (auch: Equtable Skll Score) GSS = a a ar a + b + c r Wobe a r de zu erwartede Zufallstreffer sd: I userem Bespel: GSS = 0,073 ( a + b)( a + c) a r =

10 Bäre Vorhersage Perce s Skll Score: PSS = H F I userem Bespel: PSS = 0,00 Yule s Q (auch Odds Rato Skll Score) Q = ad ad + bc bc = H F H( F) + F( H) I userem Bespel: Q = 0,849

11 Bäre Vorhersage Sgalerkeugsmodell: Der Vorhersager hat ee Grudlage für see Progose, mestes de Output ees Modells. Ee (oder mehrere) bestmmte Größe desem Output veralasse h zu eer Vorhersage. Dese Größe setze sch aus eem Sgal (Azeche dafür, dass de Vorhersage tatsächlch etreffe wrd) ud Lärm (falsche Azeche) zusamme. Es muss e Schwellwert gesetzt werde. Hoher Schwellwert: weg falsche Alarme (F), aber auch vele cht vorhergesagte Eregsse (H st gerg) Nedrger Schwellwert: De meste Eregsse werde vorhergesagt (H groß), aber auch vele falsche Alarme

12 Bäre Vorhersage Relatve Operato Characterstc:

13 Bäre Vorhersage Relatve Operato Characterstc:

14 Bäre Vorhersage Relatve Operato Characterstc:

15 Egeschafte vo Skll Scores Rskogerecht (equtable): Ee Zufallsvorhersage oder kostate Vorhersage soll de gleche Score erreche ( de meste Fälle Null). De de Aussagekraft ees Scores verrgert sch, we Vorhersage ohe Skll uterschedlche Werte erreche. Folgede Werte sd rskogerecht: HSS, GSS, PSS ud Q Ihre Werte sd 0 für Zufallsvorhersage Ncht rskogerecht: CSI, alle efachere Werte we z.b. PC

16 Egeschafte vo Skll Scores Proper (echt, ur für Wahrschelchketsvorhersage): Q: De Vermutug des Wettervorhersagers P: De tatsächlche ausgegebee Vorhersage We S( Q, Q) S( P, Q), da st der Score echt, we Glechhet ur für P=Q herrscht, da strkt echt (strctly proper) We e Score cht echt st, da hat e Vorhersager ee Arez, etwas falsch zu vorhersage, wel das de Score erhöht

17 Egeschafte vo Skll Scores Kosstet (cosstet, ur für Wahrschelchketsvorhersage): Der für de Verfkato verwedete Skll Score muss de Fehler des vom Vorhersager ausgewählte Wertes eer Vertelug mmere. D.h., we der Vorhersager mmer de Mttelwert eer Vertelug vorhersagt, muss auch der Skll Score so gewählt se, dass er für de Mttelwert mmert wrd (mttlerer quadratscher Fehler).

18 Kategorserte Vorhersage Ncht ur de Möglchket Ja/Ne, soder verschedee Kategore: Z.B.: Überdurchschttlch, durchschttlch, uterdurchschttlch Oder bem Wettertpp: Rege, Schee, Gewtter, Nebel,... Kozepte der Bärvorhersage lasse sch übertrage: Proporto Correct: Bas: bas = PC = K p = Probablty of Detecto (Ht Rate): r s POD = p s

19 Kategorserte Vorhersage Der Hedke ud Perce Skll Score lasse sch erweter: HSS PSS = = K p = K = = K K p = s K = = K s s s r s r r Uerwüscht: Häge vo der Vertelug der Vorhersage ab.

20 Kategorserte Vorhersage Wetere Skll Scores mt Belohugsmatrze : MSS = K K = j= p j b j Für de Matrx soll gelte: Kostate Vorhersage eer Kategore: K = s b Symmetre: = b = j b j = 0 Falsche Vorhersage solle edrgere Belohug habe als rchtge Bester Score: Gerrty Equtable Score (GS) K j= s j b j

21 Kotuerlche Varable f = vorhergesagter Wert, o = beobachteter Wert Bas: bas = Mea Absolute Error: Mea Squared Error: MSE Skll Score: = f o MAE = f o = MAE = = MSE MSESS = MSE c lm ( f o ) 2

22 Kotuerlche Varable Korrelatoe Pearso Korrelatoskoeffzet: ρ = cov( o, f ) var( o)var( f ) (ur für leare Zusammehäge de Größe) Spearma Ragkorrelato: = 2 ( 2 ( ) R f ) R( o R(...) sd de Postoe be aufstegeder Rehefolge r s ) = 3( + ) Kedall Tau-Korrelato: s j = sg(( o o j )( f f j τ = )) 4 ) = ( s j j=

23 Räumlche Felder Mttlere Root Mea Squared Errors Zetlches Mttels ees räumlche RMS: t s 2 RMS = ( ost fst ) t t= s s= Räumlches Mttel ees zetlche RMS: s t 2 RMS = ( ost fst ) s= t= s t Mttelug über Raum ud Zet uter der Wurzel: RMS = s s= s t t t= ( o st f st Aus der Größe des RMS st de Vorhersagequaltät schwer ablesbar, lechte räumlche Verschebug vo Muster habe große Fehler ) 2

24 Räumlche Felder Aomale-Korrelatoskoeffzet ACC = = ( o ʹ o s oʹ )( f f ʹ f f ʹ ) Dabe sd o ud f de Abwechuge vo Vorhersage ud Beobachtug vom Klmatologsche Mttel ud s st hre Stadardabwechug: 2 s f ʹ = ( f ʹ f ʹ) 2

25 Esemblevorhersage Aus eer Esemblevorhersage lässt sch de Wahrschelchket für das Auftrete ees bestmmte Eregsse schleße (z.b. uter der Aahme eer bestmmte Vertelug) p : Vorhergesagte Wahrschelchket ees Eregsses o : Beobachtete Wahrschelchket des Eregsses (0 oder ). Brer Score: B = = ( p o 2 ) Brer Skll Score: BSS = B B ref Als Referez wrd ormalerwese ee Klmavorhersage verwedet Der BSS lässt sch auch auf Vorhersage mehrerer Kategore awede: Dscrete Raked Probablty Score (RPS)

26 Esemblevorhersage Kotuerlche Varable: Der Cotuous Raked Probabílty Score: CPRS = E( ( F( x) H( x x o )) 2 dx) Vertelugsfukto der Vorhersage: F Heavsde Fukto H: 0, we x-x 0 <0, asoste Mttlerer Esemblefehler: Der mttlere quadratsche Fehler des Esemblemttels zur Beobachtug ka (für bestmmte Vorhersagezete) mt dem MSE des Klmas verglche werde. Werte ählch => Esemblemttel hat kee Skll mehr

27 Wrtschaftlcher Wert Koste-Verlust-Verhälts (Cost-Loss Rato) Wrd auf schadebrgede Eregsse agewadt: Ausgabematrx: Vorbeugemaßahme Ja Vorbeugemaßahme Ne Eregs Ja C L Eregs Ne C 0 De Größe C ud L müsse bekat se, das Modell mmt a, dass be Vorbeugug ke Schade auftrtt, der Realtät wrd er wohl er ur verrgert. Ausgabe lasse sch ur da komplett vermede, we das Eregs e auftrtt ud auch e vorgebeugt wrd (Blzzard auf de Maledve)

28 Wrtschaftlcher Wert Bespel: Straßeglätte Bo C: Koste für de Esatz des Wterdestes L: Schade durch Ufälle ud Verletzuge Aahme: C/L = /0 ud s=/20 vo November ud März Täglche Koste für durchgehede Esatz des Wterdestes: E mmer = C Täglche Koste für gar kee Esatz: E e = sl = 0sC = 0.5 E mmer Ohe Vorhersage: E Klma = m(c, sl) = E e Mt perfekter Vorhersage: E perfekt = sc = 0. E e

29 Wrtschaftlcher Wert Der Wert ees Vorhersagesystems: V = E K lm a E K lm a E Vorhersage E Perfekt Der maxmal errechbare Wert V hägt cht ur vo der Vorhersagequaltät ab, soder auch stark vo C/L. C/L sehr groß => kee Vorbeugug kommt bllger C/L sehr kle => mmer vorbeuge kommt bllger Der Perce Skll Score PSS ka als Maß für de maxmal möglche Wert des Vorhersagesystems betrachtet werde: V max = H F = PSS