Datenprüfung an der ZAMG. Prüfapplikationen und -kriterien. Kontakt: ;

Transkript

1 Datenprüfung an der ZAMG Prüfapplikationen und -kriterien Kontakt: ; wolfgang.lipa@zamg.ac.at

2 Überblick WER - WIE - WAS Folie 2 Motivation WARUM Daten prüfen? Prüfprozesse bei offline und online Daten WAS sind die Unterschiede? Datenprüfung von bereits vorhandenen Daten [offline Daten]: WELCHE Methoden werden hier angewendet? Datenprüfung im Routinebetrieb [online Daten]: WIE läuft die Prüfung bei aktuellen Datensätzen ab?

3 Motivation Folie 3 Um Klimafolgenforschung betreiben zu können, erfordert dies als conditio sine qua non qualitätsgeprüfte Datensätze in hoher zeitlicher Auflösung (zumindest täglich). Input für Klimavariabilitätsstudien, Klimasimulationsmodelle und Extremwertanalysen. Problematik: Nur wenige Originalaufzeichnungen vor 1939 Grund: Übermittlung nach Berlin ->historische Daten (Klimabögen) bei einem Bombenangriff verbrannt (1944/45) Historische Fakten: 1970: Digitalisierung von analogen Klimadaten mittels Lochkarten keine Prüfung 1984: erste maschinelle Digitalisierung ( Klima-Rechner ) und Einführung einer allgemein gültigen Prüfroutine von Tages/Termindaten 1997: Prüfung von std-werten im Routinebetrieb mittels Software GEKIS 2006: Prüfung der 1min bzw. 10min TAWES- Messwerte mit Prüfsoftware QualiMet 2012: Einführung des KSE Tools

4 Prüfprozesse bei offline und online Daten Folie 4 historische daten offline data aktuelle daten online data Erste Prüfung durch die Abteilung Datenerfassung BULL- Software QualiMet GEKIS/ KLIMVIS ProClim.db KLIMVIS/ SCHNEE2010 BULL- Software

5 Datenprüfung von bereits vorhandenen Daten [offline Daten]: Folie 5 historische daten offline data BULL- Software ProClim.db KLIMVIS/ SCHNEE2010

6 Datenprüfung von bereits vorhandenen Daten [offline Daten]: Innere Konsistenz- und Plausibilitätsprüfung mit BULL-Software Folie 6

7 Exkurs: BULL-Software Folie 7 seit 1984 Datenprüfung von Tagesdaten/Termindaten Stetige Erweiterung und Verbesserung des Programmes Konsistenz- sowie Vollständigkeitsprüfungen der Elemente: Sonnenscheindauer Temperatur Niederschlag Globalstrahlung mit vordefinierten Grenzwerten Druck Wind Gesamtschneehöhe, Neuschnee lediglich Vollständigkeitsprüfung -> Optimierung mit Applikation Schnee2010 Prüfung von Klimazusatzbeobachtungen: Bodenzustand Sichtweite Niederschlagsart Handmessung Niederschlag Bewölkung Wettererscheinungen

8 Datenprüfung von bereits vorhandenen Daten [offline Daten]: Folie 8 Innere Konsistenz- und Plausibilitätsprüfung mit BULL-Software Räumliche Konsistenzprüfung mit PROCLIM.db (ZAMG+HYDRO+IT+SLO) tmin,tmax,nied,t7,t14,t,son

9 Exkurs: ProClim.db Folie 9 Multifunktionale Software für Datenanalyse, Datenprüfung, Homogenisierung entwickelt am Tschechischen Hydrologischen Institut (CHMI) Entwickler und Kontakt: Petr Stepanek Weitere Informationen sowie free download unter: ZAMG: Anwendung des DQC tools für eine zusätzliche räumliche Prüfung (statistische Tests) Basis der statistischen Überprüfung: Korrelationen, Standardabweichungen und Regressionen Automatische Berechnung von Erwartungswerten Zur Zeit: Räumliche Überprüfung der Parameter: Temperatur (Terminwerte, Tagesmittel) Niederschlag Sonnenscheindauer Globalstrahlung

10 Exkurs: Proclim.db Folie 10 Settings für die räumliche Prüfung des Elementes Lufttemperatur: 100 km Distanz Höhendifferenzklassen von 300 Meter Settings für die räumliche Prüfung des Elementes Niederschlag: 10 km Distanz bei gleichen Höhendifferenzklassen logarithmische Transformation maximale Anzahl der Nachbarstationen = 10 Korrelationskoeffizient größer 0,5 Prüfung der Schneeparameter nach umfangreichen Tests als ungenügend einzustufen Österreich im Unterschied zu Tschechien: orographisch viel komplexeres Gebiet höhere Anforderungen der Qualitätsprüfung -> eigene Entwicklung SCHNEE2010

11 Datenprüfung von bereits vorhandenen Daten [offline Daten]: Folie 11 Innere Konsistenz- und Plausibilitätsprüfung mit BULL-Software Räumliche Konsistenzprüfung mit PROCLIM.db (ZAMG+HYDRO+IT+SLO) tmin,tmax,nied,t7,t14,t,son Zusatzprüfungen SCHNEE2010, TESON, GLO_TOA

12 Exkurs: SCHNEE2010 Programmaufbau: Innere Konsistenzprüfung (nur auf Zeitreihe bezogen) Räumliche Konsistenzprüfung (inkl. HD Daten) Prüfkriterien: Datengrundlage: ZAMG Datensätze HD Messdaten Folie 12 Prüfkriterien Status Fehleranz. Nr. innere Konsistenzprüfung 1 Die Gesamtschneehöhe muss mindestens so groß sein wie die Neuschneehöhe, weil beide Elemente zum gleichen Termin (7 Uhr) gemessen werden, wenn die Neuschneehöhe = 0, dann wird keine Fehlermeldung ausgegeben. Warnung 68 2 Ist die Neuschneehöhe angegeben, so muss der Vortagesniederschlag größer gleich 0.0 mm sein. Fehler Die Neuschneehöhe ist nicht im Einklang mit dem Vortagesniederschlag. Pro cm Neuschnee mindestens 0.5 mm 3 Niederschlag angenommen. (Neuschnee/2 = Wert). Wert sollte nicht kleiner als Vortagesniederschlag sein. Weiters Warnung soll die Differenz zwischen neuschnee und vortagesniederschlag in einem gewissen Grenzbereich(-3 bis +3) liegen. Bei Niederschlagsart=5 (Regen und Schnee) sollten zumindest 10% der Menge Neuschnee sein Gibt es eine Neuschneehöhe, so muss auch eine Gesamtschneehöhe existieren. Bei Neuschneehöhe = 0, keine Fehlermeldung Fehler 69 5 Ist das Tagesminimum der Lufttemperatur wärmer als 5.0 C, darf es keinen Neuschnee geben (neuschnee= -1) Fehler 6 Ist das Tagesminimum der Lufttemperatur wärmer als 5.0 C, darf die Gesamtschneehöhe keine Zunahme ve rmelden Fehler 7 Wenn zum 7 Uhr Termin Niedeschlag gefallen ist und das Tagesmaximum der Lufttemperatur kleiner als 2 C ist, so sollte Neuschnee angegeben werden. Zusätzlich wird noch die Niederschlagsart berücksichtigt. Warnung 31 8 Ist die Pseudoschneehöhe um einen gewissen Grenzwert (test: 5cm) ungleich der Neuschneehöhe und beträgt das tmax<=2 C wird eine Warnung ausgegeben. Warnung Pseudoneuschneehöhe von Stationen unter 700m darf Grenzwert von 30cm (Zuwachs/Abnahme) nicht über-bzw. unterschreiten, über 700m: Grenzwert 50cm Warnung Wenn der Pseudoneuschnee einen positiven Wert hat und der Neuschnee kleiner als der Pseudoneuschnee ist. Fehler Ist die Seehöhe < 1800 m und Monat >6 und <9 darf keine Schneedecke (Gesamtschneehöhe) vorhanden sein. Fehler 12 Ist die Seehöhe < 1800 m und Monat >6 und <9 darf kein fester Niederschlag fallen (Neuschnee=0) Fehler 13 Wenn über eine längere Periode (hier 5 Tage) 0 anstatt -1 beim Gesamtschnee verzeichnet wurde erfolgt eine Warnung Warnung 6 14 Wenn über eine längere Periode (hier 5 Tage) 0 anstatt -1 beim Neuschnee verzeichnet wurde erfolgt eine Warnung Warnung 0 Nr. räumliche Konsistenzprüfung 15 Vergleich der Gesamtschneehöhe der Basisstation mit denen der Nachbarstationen. Wenn ein bestimmter Grenzwert überschritten wird erfolgt eine Warnung. Warnung Vergleich der Neuschneehöhe der Basisstation mit denen der Nachbarstationen. Wenn ein bestimmter Grenzwert überschritten wird erfolgt eine Warnung. Warnung Ist die Gesamtschneehöhe der Basisstation Null und denen der Nachbarstationen >1 cm dann wird der Wert als Fehlwert ausgeschrieben. Fehler Ist die Neuschneesumme der Basisstation Null und denen der Nachbarstationen >1 cm dann wird der Wert als Fehlwert ausgeschrieben. Fehler Wenn alle anderen Stationen keine Gesamtschneehöhe verzeichnen, die Basisstation aber schon erfolgt eine Warnung Warnung Wenn alle anderen Stationen keine Neuschneesummen verzeichnen, die Basisstation aber schon erfolgt eine Warnung Warnung 93

13 Exkurs: TESON Folie 13 Programmaufbau: Vergleich zur maximal möglichen Sonnenscheindauer auf Tagesbasis Konsistenzprüfung 10min-std-tag-mon Daten Editor: Datengrundlage: ZAMG Datensätze

14 Datenprüfung im Routinebetrieb [online Daten]: Folie 14 aktuelle daten online data Erste Prüfung durch die Abteilung Datenerfassung QualiMet GEKIS/ KLIMVIS Zusätzlich: tägliche Prüfung der Globalstrahlung

15 Exkurs: QUALIMET-Software Folie 15 Seit 2006 als Prüfsoftware von min bzw. 10min Daten im Einsatz Projekt TAWES neu ( ): Früher 150 alte automatische Wetterstationen und 100 herkömmliche Stationen jetzt 255 automatische Wetterstationen, keine herkömmlichen Stationen Aktuell werden bis auf wenige Ausnahmen (Ö3-Stationen bzw. Mini Taklis, deren Daten nicht für QualiMET brauchbar sind) alle TAWES Stationen geprüft Vorteil 1: Kassetten-, Diskettendaten fallen weg, alle Datenlücken per GSM Vorteil 2: automatisch nachgefahren (neue Verarbeitungssoftware) Vorteil 3: Reparaturen spätestens nach 2 Tagen Es gibt eine User und Administrator Benutzeroberfläche Derzeit prüfen 3 Mitarbeiter in der Abteilung Datenprüfung mit einem Tag Verspätung Prüfdauer: Schönwetter -> halber Tag Schlechtwetter -> ganzer Tag

16 Exkurs: QUALIMET-Software Folie 16 1.Vollständige Konsistenzprüfung: Prüfung ob alle Daten der Station vorhanden sind. 2. Klimatologische Konsistenzprüfung: Prüfung ob alle Werte im klimatologischen Grenzbereich liegen. 3. Zeitliche Konsistenzprüfung: Prüfung ob die Entwicklung der Messwerte zeitlich konsistent ist. 4. Innere Konsistenzprüfung: Prüfung der verschiedenen Messwerte einer Station zu einem festen Zeitpunkt auf ihre logischen Zusammenhänge. 5. Räumliche Konsistenzprüfung: Prüfung, bei der einzelne Messwerte einer Station zu einem Zeitpunkt mit den entsprechenden Messwerten von benachbarten Stationen verglichen werden.

17 Exkurs: QUALIMET-Software Folie 17 Zeitreihendarstellung - 2 m Temperatur (1/10 C) - Relative Feuchte (%) - Sonnenscheindauer (Sekunden) - Niederschlag (1/10 mm) - Niederschlagsdauer (Minuten) - Maximale Windgeschwindigkeit (1/10 mm/sec) Nachrinnen an der Station Deutschlandsberg, Kartendarstellung - 24-stündiger Niederschlag vom Tabellendarstellung - Deutschlandsberg,

18 Exkurs: QUALIMET-Software Folie 18 Prüfer können detektierte Fehler: Als korrekt bestätigen Als fehlend bestätigen Interpolieren Manuell korrigieren Löschen und als fehlend bestätigen Kennzeichnung erfolgt in der Datenbank mit qflags: 0 nicht geprüft 100 original und als okay geprüft 200 Aufgefallen aber als okay bestätigt 300 Ausfall, manuell ergänzt 400 Werte gelöscht und als okay bestätigt 500 Wert automatisch ergänzt Admin kann: Prüfformeln definieren Grenzwerte setzen Automatische Datenergänzungen aktivieren Vergleichsstationen bestimmen Elementgruppen zusammenfügen Daten zurücksetzen Daten zurückschreiben

19 Und so schaut der Arbeitsplatz eines Datenprüfers aus.. Danke für Ihre Aufmerksamkeit!

20 Exkurs: QUALIMET-Software Folie 20 1-minütige Prüfparameter Parameter Parameter QM Parametername Einheit Grenzbereich RR A_RR Niederschlag 1/10 mm 0 <= A_RR <= 97.0 RRM A_RRM Niederschlagsdauer Minute 0 <= A_RRM <= 60

21 Exkurs: QUALIMET-Software Folie minütige Prüfparameter Parameter Parameter QM Parametername Einheit Grenzbereich TL A_TT_200 2 m Temperatur 1/10 C <= A_TT_200 <= TL max A_TX_200 max. 2 m Temperatur 1/10 C <= A_TX_200 <= TL min A_TN_200 min. 2 m Temperatur 1/10 C <= A_TN_200 <= TS A_TT_5 5 cm Temperatur 1/10 C <= A_TT_5 <= TS max A_TX_5 max. 5 cm Temperatur 1/10 C <= A_TT_5 <= TS min A_TN_5 min. 5 cm Temperatur 1/10 C <= A_TN_5 <= TB1 A_TS_10 Erdbodentemperatur 10 cm 1/10 C <= A_TS_10 <= TB2 A_TS_20 Erdbodentemperatur 20 cm 1/10 C <= A_TS_20 <= TB3 A_TS_50 Erdbodentemperatur 50 cm 1/10 C <= A_TS_50 <= P A_P Druck in Stationsniveau 1/10 hpa Höhenabhängige Grenzbereiche P0 A_P0 reduzierter Druck 1/10 hpa Druck oder Geopotential

22 Exkurs: QUALIMET-Software Folie minütige Prüfparameter Parameter Parameter QM Parametername Einheit Grenzbereich RF A_RF_200 relative Feuchte % 1.0 <= A_RF_200 <= 100 SO A_SD Sonnenscheindauer Sekunden 0 <= A_SD <=600 GSX A_GSX Globalstrahlung Watt/Quadratmeter 0 <= A_GSX <= 1200 HSX A_HSX Diffusstrahlung Watt/Quadratmeter 0 <= A_HSX <= 800 FF A_WG_GSM vektorielles Mittel der Windgeschwindigkeit 1/10 m/s 0 <= A_WG_GSM <= 500 FFX A_WG_MAX Maximum der Windgeschwindigkeit 1/10 m/s 0 <= A_WG_MAX <= 700 DD A_WR_GVM Windrichtung 360 Winkelgrad 0 <= A_WR_GVM <= 360 DDX A_WR_MAX Windrichtung der max. Windgeschwindigkeit FFS A_WG_AM skalares Mittel der Windgeschwindigkeit 360 Winkelgrad 0 <= A_WR_MAX <=360 1/10 m/s 0 <= A_WG_AM <= 500

23 Exkurs: QUALIMET-Software Folie 23 berechnete Parameter Parameter Parameter QM Parametername Einheit RR_10min B_RR_10min 10-minütige Niederschlag 1/10 mm RR_1h B_RR_1h 1-stündige Niederschlag 1/10 mm RR_6h B_RR_6h 6-stündige Niederschlag 1/10 mm RR_24h B_RR24h 24-stündige Niederschlag 1/10 mm SO_24h B_SD_24h 24-stündige Sonnenscheindauer Sekunden Tlmax_24h B_TX_200_24h max. der 2 m Temperatur in 24 h 1/10 C Tlmin_24h B_TN_200_24h min. der 2 m Temperatur in 24h 1/10 C Tsmin_24h B_TN_5_24h min. der 5 cm Temperatur in 24h 1/10 C

24 Exkurs: GEKIS-Software Folie 24 Seit 1997 als Prüfsoftware von Stundendaten im Einsatz Qualitätsprüfung: Vollständigkeits- sowie Konsistenzchecks Produkt: Visualisierungstool KLIMVIS Implementiert Radar; Satellit, Datenbank und Modellierte Daten (INCA) Nach einer regionalen Untergliederung (32 Regionen) werden Mittel sowie Summen gebildet Ergebnis: geprüfte Stundendaten, welche nach einer maximalen Bearbeitungszeit von 2 Tagen dem Kunden bereitgestellt werden können