Konzept zur Qualitätskontrolle historischer Klimadaten

Transkript

1 Konzept zur Qualitätskontrolle historischer Klimadaten K. Zimmermann, J. Behrendt, E. Penda Version vom Inhaltsverzeichnis 1. Einleitung Minimaler Qualitätscheck (MQC) Grober Grenzwertcheck Doppelte Datensätze Grenzwertkontrolle Tageswerteabgleich Prüfung mit dem Programm QCKL Prüfung auf räumliche Konsistenz Prüfung auf zeitliche Konsistenz Prüfung auf fachliche Konsistenz Prüfung auf innere Konsistenz Prüfung gegen integrierte Werte Korrekturverfahren Doppelte Datensätze Grobe Grenzwertprüfung Tageswerteabgleich/QCKL Korrektur in den Datenbanktabellen Bisher durchgeführte Maßnahmen Anhang Abb. 1: Qualitätskontrolle der historischen Bodendaten Abb. 2: ACCESS-Korrekturmaske mit Pflichtfeldern (schwarz/fett) Abb. 3: Flussdiagramm der Korrekturen in den Datenbanktabellen Tab. 1: Regeln zum Abgleich von Tageswerten Tab. 2: Ausreißertabelle der Maximumtemperatur Tab. 3: Beschreibung der Datenbanktabelle ABGLEICH_TAGESWERTE Tab. 4: Prüfkriterien der Prüfung auf innere Konsistenz

2 1. Einleitung Die Qualitätskontrollen für aktuelle Synop- und Klimadaten wurden ständig weiterentwickelt, so dass diese Daten über einen hohen Qualitätsstandard verfügen wurde mit dem neu entwickelten Programm QCSY die Prüfung von Synopdaten nochmals verbessert. Außerdem besteht bei aktuellen Daten die Möglichkeit, nachträglich per eingegangene Korrekturen direkt zu berücksichtigen. Bisher gibt es allerdings keine vollständige, systematische Prüfung von Daten vor der Einführung IT-gestützter Prüfverfahren (Daten vor 1980). Daher ist die systematische Prüfung auch auf diese nicht ausreichend geprüften historischen Daten möglichst schnell anzuwenden, denn für die nahe Zukunft ist geplant, dass Datennutzer Klimadaten über das INTERNET abrufen können. Würden ungeprüfte, z.t. mit markanten Fehlern versehene Daten, zum Nutzer gelangen, hätte dies für den Deutschen Wetterdienst einen Imageverlust zur Folge. Das Konzept zur Qualitätskontrolle historischer Bodendaten (Tageswerte) sieht vor, dass die Tageswerte in der MIRAKEL-Datenbank verschiedenen Prüfungen unterzogen werden und die gefundenen Fehler mit Fehlerbeschreibung und ggf. mit Korrekturvorschlag in eine Datenbanktabelle geschrieben werden. Im einem weiteren Schritt werden dann Korrekturen durchgeführt, wobei zu entscheiden ist, ob Korrekturvorschläge angenommen oder verworfen werden oder ob es noch andere Korrekturmöglichkeiten gibt. Die manuell bearbeitete Tabelle dient zum einen der Dokumentation der Korrekturen und zum anderen als Input für die Korrektur der Daten in der MIRAKEL-Datenbank. Nachfolgend werden die entsprechenden Datenprüfungen beschrieben. Ziel ist es, die Qualität der Datenbasis insbesondere der Tageswerte vor 1980 zu verbessern sowie für die gesamte Datenbasis identische Tageswerte aus verschiedenen Datenkollektiven bzw. Messnetzen bereitzustellen. 2. Minimaler Qualitätscheck (MQC) 2.1. Grober Grenzwertcheck Damit sichergestellt ist, dass keine sichtbar fehlerhaften Daten zum Nutzer gelangen, wurde bereits geprüft, ob Messwerte archiviert wurden, die grobe Schwellenwerte überschreiten. Dazu wurden die Temperaturmaxima (T x ) und minima (T n ), die Niederschlagsmenge (RR) sowie die Windspitzenmaxima (MF x ) mittels SQL-Statements auf sogenannte Ausreißer untersucht. Natürlich wurde bei den beanstandeten Extrema zusätzlich geprüft, ob es sich wirklich um zweifelhafte bzw. falsche Werte handelte oder ob extreme Wetterereignissen, wie z.b. der Sommer 2003 ursächlich waren. Folgende Bedingungen wurden für den groben Grenzwertcheck verwendet: - T x : T x > 40 C - T n T n < -30 C - RR RR > 150 mm - MF x MF x > 35 m/s 2

3 Beanstandete Werte wurden in einer Excel-Tabelle dokumentiert. Nach einer manuellen Kontrolle wurden die fehlerhaften Daten so weit dies möglich war korrigiert, andernfalls gelöscht. Ein Beispiel für eine Tabelle der Ausreißer prüfung zeigt Tabelle 2 im Anhang Doppelte Datensätze Um eine eindeutige Qualitätskontrolle historischer Bodendaten durchführen zu können, ist zunächst zu prüfen, ob doppelte Datensätze mit unterschiedlichen Qualitätsniveaus 1 <= QN (Qualitätsniveau) und/oder Strukturversionen (SV) in den Datenkollektiven bzw. Messnetzen für gleiche Zeiträume vorhanden sind. Die Ergebnisse der Prüfung Doppelte Datensätze werden mit Beschreibung des Prüfkriteriums bzw. der Prüfregel in die MIRAKEL- Datenbanktabelle ABGLEICH_TAGESWERTE geschrieben (s. Anhang Tab. 3). Generell sollten doppelte Datensätze mit unterschiedlichen Qualitätsniveaus nicht in der MIRAKEL- Datenbank vorhanden sein. Dabei gilt, bei unterschiedlichem Qualitätsniveau aber gleicher Strukturversion ist der Datensatz mit dem höheren Qualitätsniveau zu archivieren. Bei gleichem Qualitätsniveau aber unterschiedlichen Strukturversionen ist im Hinblick auf die spätere Verarbeitung der Daten die besser geeignete Strukturversion zu wählen (Beispiel: Kollektiv SD (Sonnensacheindauer) Strukturversion 29 (ESAU)) Grenzwertkontrolle In die Prüfkriterien Tageswerteabgleich wurde auch die beschriebene grobe Grenzwertprüfung übernommen. Die Kriterien für die Parameter Wind, Niederschlag und für Maximum- und Minimumtemperatur sind in Tabelle 1 im Anhang beschrieben (Wind = 6.Regel, Niederschlag = 6.Regel, Temperaturextrema = 1./2.Regel). Diese Prüfung wurde für das gesamte Datenkollektiv zwar bereits durchgeführt (s. 2.1), ist aber für nacherfasste Daten erneut anzuwenden. Darüber hinaus wurde die Prüfung 3403 aus der Softwareanwendung QCSY übernommen, welche die Extrema der Parameter Windgeschwindigkeit und Temperatur gegen die Stundenwerte Wind bzw. Temperatur prüft (s. Beschreibung QCSY). Die Ergebnisse dieser Prüfungen werden mit Beschreibung der Prüfkriterien bzw. Prüfregeln ebenso in die Datenbanktabelle ABGLEICH_TAGESWERTE (MIRAKEL) geschrieben 2.4. Tageswerteabgleich Ziel dieser Prüfung ist es, dass es für jede Station und jedes Element nur einen Tageswert gibt, und es klar ist, unter welchem Messnetz dieser Tageswert abgelegt ist. Im Rahmen der Qualitätskontrolle historischer Bodendaten wurde daher das Script QCHKL_4 entwickelt. Mittels dieses Skriptes wird geprüft, ob sich die Tageswerte in der MIRAKEL-Datenbank aus dem Klimamessnetz (ID = 4) von Tageswerten aus den speziellen Messnetzen (ID = 3, 6, 7) unterscheiden. Gefundene Unterschiede werden mit Beschreibung der Prüfkriterien bzw. Prüfregeln in die Tabelle ABGLEICH_TAGESWERTE (s. Anhang Tab. 3) geschrieben. Zusätzlich wird bei der Sonnenscheindauer (Messnetz 3) geprüft, ob die aufsummierten Stundenwerte mit dem gemessenen Tageswert übereinstimmen. Bei der Datenprüfung müssen grundsätzlich fünf Fälle unterschieden werden: 3

4 1. Die Differenz der Absolutbeträge der Tageswerte aus dem Klimamessnetz und den speziellen Messnetzen ist geringer als 1 [h, mm] oder <= 1 m/s im Fall der maximalen Windspitze. 2. Die Differenz der Absolutbeträge der Tageswerte aus dem Klimamessnetz und den speziellen Messnetzen ist größer oder gleich 1 [h, mm] oder größer als 1 m/s im Fall der maximalen Windspitze. 3. Beachtung von bereits geprüften bzw. korrigierten Tageswerten, welche mit Qualitätsbyte 2 oder 3 gekennzeichnet sind. 4. Der Messwert aus dem speziellen Messnetz (ID = 3, 6, 7) fehlt. 5. Der Messwert aus dem Klimamessnetz (ID = 4) fehlt. Zu 1.) Bei Erfüllung der vorgegebenen Grenzen wird im Fall Niederschlagshöhe der Messwert des Klimamessnetzes automatisch als wahrer Wert bzw. Korrekturvorschlag in die Tabelle ABGLEICH_TAGESWERTE geschrieben. Bei der Prüfung der Sonnenscheindauer und der Maxwindspitze werden die wahren Werte/Korrekturvorschläge aus dem speziellen Messnetz übernommen, so dass die Stundenwerte in den speziellen Messnetzen zu dem jeweiligen Tageswert passen. Zu 2.) Bei größeren Differenzen zwischen Klima- und speziellem Messnetz wird kein Korrekturvorschlag in die Tabelle ABGLEICH_TAGESWERTE geschrieben. Es ist zu prüfen welcher der beiden vorhandenen Werte am besten zu den Umgebungswerten der entsprechenden Station passt. Dieser Messwert wird als wahrer Wert in die Tabelle mit der entsprechenden Messnetz-ID und QB=3 eingetragen. Als Prüfregel wird ohne.regel angegeben. Zu 3.) Hier sind die Qualitätsbytes der zu vergleichenden Messwerte zu berücksichtigen. Als wahrer Wert ist der Wert, der mit QB (Qualitätsbyte) = 2 oder 3 gekennzeichnet ist, zu übernehmen. Diese Qualitätsbytes sagen aus, dass der Messwert bereits überprüft worden ist und bereits überprüfte Daten sollen nicht verworfen werden. Zu 4., 5.) Fehlt der zum Vergleich nötige Messwert eines Messnetzes, so wird der vorhandene Wert vorerst als wahrer Wert in die Ergebnistabelle übernommen. Dabei ist zu beachten, ob der fehlende Parameter im korrespondierenden Messnetz nur an einem Tag oder über einen längeren Zeitraum fehlt. Vorraussetzung für diese Prüfung ist natürlich, dass die betrachteten Stationen sowohl zum Klimamessnetz als auch zu den speziellen Messnetzen gehören. Kleinere Datenlücken im jeweils anderen Messnetz werden in die Tabelle ABGLEICH_TAGESWERTE geschrieben und entsprechend korrigiert. Auch größere Lücken (z.b. ein oder mehrere Monate) werden in die o.a. Tabelle übernommen, jedoch als systematischer Fehler mit Muster eingestuft und entsprechend direkt in der MIRAKEL- Datenbank korrigiert (s. 5.). Diese Korrekturen werden auch nochmals gesondert dokumentiert. Für jeden Klimaparameter gibt es Sonderfälle, die entsprechend im Tageswerteabgleich zu beachten sind. Beispielsweise wird bei der Sonnenscheindauer der Tageswert aus Messnetz 4 gegen die berechnete Tagessumme aus dem speziellen Messnetz 7 geprüft. Unterscheiden sich beide Werte um mehr als eine Stunde, ist manuell zu prüfen: - Sind alle Stundenwerte vorhanden? 4

5 - Sind die Stundenwerte in sich konsistent? - Könnte der Wert aus Messnetz 4 falsch sein? Auch die Windspitzemaxima sowie die Minimum- und Maximumtemperatur werden gegen die entsprechenden Stundenwerte geprüft. Dabei ist herauszufinden, ob ein Stundenwert größer als das Tagesmaximum (Wind, Temperatur) bzw. kleiner als das Tagesminimum (Temperatur) ist. In diesen Fällen ist eine manuelle Prüfung durchzuführen: - Sind die Stundenwerte in sich konsistent? - Könnte der Wert aus Messnetz 4 falsch sein? Für alle Daten der Messnetze tritt das Problem der falschen Tag zuordnung auf, d.h. der Messwert des speziellen Messnetzes ist gleich dem Messwert aus dem Klimamessnetz des Folge- oder des vorhergehenden Tages. Diese Zeitverschiebung ist manuell zu untersuchen und ggf. zu korrigieren. Zu beachten sind außerdem Datensätze mit QN = 13. Hierbei handelt es sich um unbrauchbare Messwerte, die aber in der Datenbank bzgl. der Historie weiterhin archiviert werden. Die in QCHKL verwendeten SQL-Statements sind anhand der beschriebenen Regeln zum Abgleich von Tageswerten entwickelt worden. Diese Regeln sind im Anhang in Tabelle 1 aufgelistet. Geplant ist, den Tageswerteabgleich und die nachfolgend beschriebenen Prüfungen parallel durchzuführen, um dann die Korrektur der gefundenen fehlerhaften Datensätze auszuführen. In einem weiteren Schritt werden die korrigierten Daten in die entsprechenden Datenbanktabellen übernommen (s. Abschnitt 5.). 3. Prüfung mit dem Programm QCKL In Anlehnung an die Synop-Prüfung mit dem Programm QCSY, wurde für Klimadaten das Programm QCKL entwickelt. Da QCSY umfangreiche, speziell auf Synopdaten abgestimmte Prüfungen beinhaltet, war es notwendig dieses Programm zu vereinfachen und an die historischen Klimadaten anzupassen. Details zum Programm können in der am Ende von Abschnitt 3 angegebenen Literatur nachgelesen werden. Eine zeitliche Konsistenzprüfung wurde für die Prüfung von Tageswerten zunächst nicht implementiert Prüfung auf räumliche Konsistenz Für die räumliche Konsistenzprüfung können die Tageswerte aus Messnetz 4 und Messnetz 6 herangezogen werden. Besonders geeignet für eine derartige Prüfung sind Feldwerte, die in 5

6 einem engmaschigen Netz (Niederschlag) gemessen werden oder eine geringe räumliche Varianz aufweisen, wie z.b. Temperatur oder Sonnenscheindauer. Bei der Sonnenscheindauer können sich Hochdruckwetterlagen im Herbst und im Frühling als problematisch herausstellen. Da diese Wetterlagen häufig mit Nebel oder Hochnebel verbunden sind, der sich z.t. nur kleinräumig auflöst, so dass die räumliche Prüfung u.u. ein falsches Ergebnis liefert. Ähnlich verhält es sich mit Gewitterböen. Während an eine Wetterlage gekoppelte Starkwindereignisse sich großräumig in den Messwerten widerspiegeln, sind im Zusammenhang mit Gewittern auftretende Böen eher kleinräumig. Bei Fehlern, die auf Grund dieser Wettererscheinungen gefunden werden, ist eine manuelle Kontrolle unbedingt erforderlich. Zunächst sollen nur die Datenkollektive Niederschlag räumlich geprüft werden. Für alle anderen Parameter reicht bei den historischen Daten die räumliche Dichte nicht aus. Für diese Parameter wird nur die nicht so effektive fachliche Prüfung, die ein ganzes Klimagebiet berücksichtigt, eingesetzt. Es sei FWT der Feldwert der Teststation, d.h. der Feldwert, der auf räumliche Konsistenz zu prüfen ist, und FWV(i) der Feldwert der i. Vergleichsstation. Als Vergleichsstationen werden Stationen herangezogen, die in einem bestimmten Radius um die Teststation liegen und sich orographisch von dieser kaum unterscheiden. N sei die Anzahl der Vergleichsstationen. Die Kriterien für die Prüfung der räumlichen Konsistenz werden nur auf Feldwerte angewandt, für die gilt: FWT+(G1=0.6) < MIN(FWV(i)) oder FWT-(G1=0.6) > MAX(FWV(i)), i=1,..,n. Berechnung des gewichteten räumlichen Mittels: Erfüllt FWT die o.a. Bedingung und ist mindestens ein FWV(i) > 0, dann wird er mit einem gewichteten räumlichen Mittel verglichen, das nach folgender Gleichung berechnet wird: mit FWR: FWV(i): D(i): FWR = N i=1 FWV(i) D(i) N 1 D(i) gewichtetes räumliches Mittel Feldwert der i. Station Abstand zwischen der i. Station und der Teststation i=1 Der Vergleich mit dem räumlichen Mittel wird durch Algorithmus 202 beschrieben. Bei räumlicher Konsistenz muss gelten: FWR (GW2=4) <= FWT <= FWR + (GW3=4). Weitere Algorithmen: - 203: Wenn FWT = 0 und MIN(FWV(i)) > 0, dann muss für alle i FWV(i) < (GW4=1) gelten : Wenn FWT > 0 und MAX(FWV(i)) = 0, dann muss FWT < (GW5=1) gelten. Die Ergebnisse werden in die Tabelle ABGLEICH_TAGESWERTE geschrieben Prüfung auf zeitliche Konsistenz Diese Prüfung kann vor allem bei der Prüfung von Stundenwerten wirksam eingesetzt werden. Bei der Prüfung der Tages- und Terminwerte werden diese Algorithmen (Kennungen ) nicht genutzt. 6

7 3.3. Prüfung auf fachliche Konsistenz Bei dieser Prüfung werden für jeden Tag und jedes Klimagebiet aus der Verteilung der Messgrößen Grenzwerte berechnet, die gegen die zu prüfenden Parameter gecheckt werden. Bei geringer Varianz innerhalb eines Klimagebiets sind die Grenzwerte eng, bei hoher Varianz weiter. Diese Prüfung ist vor allem dann alternativ zur räumlichen Prüfung einzusetzen, wenn die Stationsdichte für eine räumliche Prüfung nicht ausreicht. Die Prüfung ist nicht geeignet für Parameter, deren Verteilung der Tageswerte ein Maximum beim Wert 0 aufweisen kann, d.h. mehr als die Hälfte der betrachteten Messwerte = 0, z. B: Niederschlag und Sonnenscheindauer. Eingesetzt wird diese Prüfung für Tageswerte der Windgeschwindigkeit (Mittel, Maximum) und Temperatur (Minimum, Mittel, Maximum). Für den Niederschlag wird die ähnliche, die engere Umgebung berücksichtigende räumliche Prüfung angewendet. Die Kriterien für die Berechnung der Grenzwerte werden in den Algorithmen 901 und 902 beschrieben Prüfung auf innere Konsistenz Bei der Prüfung auf innere Konsistenz wird ein Datensatz auf Widerspruchsfreiheit der Daten untereinander getestet. So darf z.b. bei gemeldeter Windstille keine Windrichtung angegeben werden. Leider führen Verschlüsselungs- und/oder Messfehler immer noch zu Inkonsistenzen, so dass das nachfolgend beschriebene Prüfverfahren sehr sinnvoll ist. Die gefundenen Inkonsistenzen werden in der Tabelle ABGLEICH_TAGESWERTE aufgelistet. Für die Prüfkriterien zur Prüfung der inneren Konsistenz gilt grundsätzlich: - Jedes Prüfkriterium hat eine eindeutige ID. Über die Prüfkriteriumskennung, die dieser ID zugeordnet ist, kann festgestellt werden, welcher Prüfalgorithmus zu dem Kriterium gehört. Diese Zuordnung kann in Tabelle 3 im Anhang nachgelesen werden. - Jedes Prüfkriterium hat mindestens ein beteiligtes Feld, nach oben ist die Zahl der beteiligten Felder grundsätzlich nicht begrenzt. - Jedes Prüfkriterium kann einen oder mehrere Prüfparameter haben, dabei können die Feldwerte der beteiligten Felder auf unterschiedliche Weise mit diesem Prüfparameter verglichen werden, deshalb gehört zu einem Prüfparameter ggf. auch noch ein Vergleichsoperator. Auch diese Operatoren sind in Tabelle 3 im Anhang aufgelistet. Im Rahmen der Prüfung werden nicht die Felder, sondern die Feldwerte geprüft. Jedes Kriterium ist nach dem Muster: Wenn der Feldwert X den Wert B hat, dann muss. gestrickt. Als Vergleichsoperator kann auch IN (eingefasst in Blanks!) angegeben werden und als Prüfparameter dann eine Liste, die in Klammern eingefasst sein muss! Diese Liste darf maximal 80 Zeichen lang sein. Im Anschluss sind die Beschreibungen der angewandten Algorithmen aufgelistet. - Algorithmus 402 Wenn der Feldwert des beteiligten Feldes #1 mit dem Prüfparameter #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss der Feldwert des Feldes #2 gemäß dem VERGLEICHSOPERATOR #2 mit dem PRUEFPARAMETER #2 verknüpft sein. 7

8 - Algorithmus 403 Wenn der Feldwert des beteiligten Feldes #1 mit dem PRÜFPARAMETER #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss der Feldwert des Feldes #2 im Bereich PRUEFPARAMETER #2 bis PRUEFPARAMETER #3 liegen. - Algorithmus 404 Wenn der Feldwert des beteiligten Feldes #1 mit dem Prüfparameter #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss der Feldwert des Feldes #2 im Bereich PRUEFPARAMETER #2 bis PRUEFPARAMETER #3 oder im Bereich PRUEFPARAMETER #4 bis PRUEFPARAMETER #5 liegen. - Algorithmus 406 Wenn der Feldwert des beteiligten Feldes #1 mit dem Prüfparameter #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss der Feldwert des Feldes #2 gemäß dem VERGLEICHSOPERATOR #2 mit dem Feldwert des beteiligten Feldes #3 verknüpft sein. - Algorithmus 407 Wenn der Feldwert des beteiligten Feldes #1 mit dem PRÜFPARAMETER #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss die absolute Differenz der Feldwerte der beteiligten Felder #2 und #3 gemäß dem VERGLEICHSOPERATOR#2 mit dem PRUEFPARAMETER #2 verknüpft sein. - Algorithmus 408 Wenn der Feldwert des beteiligten Feldes #1 mit dem PRÜFPARAMETER #1 gemäß dem VERGLEICHSOPERATOR #1 verknüpft ist, dann muss sich der Feldwert des beteiligten Feldes #3 im Bereich Feldwert des beteiligten Feldes #2 Prüfparameter #2 bis Feldwert des beteiligten Feldes #2 + Prüfparameter #3 befinden. - Algorithmus 409 Wenn der Feldwert des beteiligten Feldes #1 mit dem Prüfparameter #1 gemäß dem Vergleichsoperator #1 verknüpft ist, dann muss der Feldwert des beteiligten Feldes #2 = NULL sein (NULL_ERLAUBT#2=1) oder er darf nicht NULL sein (NULL_ERLAUBT#2=0) 3.5. Prüfung gegen integrierte Werte Hier werden einzelne Terminwerte gegen Tageswerte geprüft. Realisiert ist zunächst die Prüfung der Terminwerte der Temperatur gegen die Tagesextrema. Die Verfahren sind in den Algorithmen beschrieben. Bei dieser Prüfung werden für jeden Tag und jedes Klimagebiet aus der Verteilung der Messgrößen Grenzwerte berechnet und gegen die zu prüfenden Parameter gecheckt. Bei geringer Varianz innerhalb eines Klimagebiets sind die Grenzwerte eng, bei hoher Varianz weiter. Diese Prüfung ist vor allem dann alternativ zur räumlichen Prüfung einzusetzen, wenn die Stationsdichte für eine räumliche Prüfung nicht ausreicht. Eingesetzt wird diese Prüfung für Tageswerte der Windgeschwindigkeit (Mittel, Maximum) und Temperatur (Minimum, Mittel, Maximum). Die Kriterien für die Berechnung der Grenzwerte werden in den Algorithmen 901 und 902 beschrieben. 8

9 Literatur: Augter, G., J. Behrendt, 2000: Entwicklung eines Anwendungssystems zur Prüfung und Korrektur von Synop-Daten, nicht veröffentlicht 4. Korrekturverfahren Die Korrektur der historischen Klimadaten wird routinemäßig durchgeführt. Die Datenprüfung sollte monatsweise ab dem Jahr 1980 erfolgen, da Ende der siebziger Jahre operationelle Prüfroutinen eingeführt wurden. Die durchgeführten Arbeiten werden in der Tabelle ABGLEICH_TAGESWERTE_KORR dokumentiert. Die geprüften Daten erhalten das QUALITÄTSNIVEAU 8 (= historische Qualitätskontrolle) Doppelte Datensätze Gefundene doppelte Datensätze, werden unter Berücksichtigung des QN und der SV, von einem autorisierten Mitarbeiter aus der MIRAKEL-Datenbank gelöscht. In der Fehlertabelle (ABGLEICH_TAGESWERTE_KORR) bleiben jedoch die doppelten Messwerte erhalten, um die Historie zu dokumentieren Grobe Grenzwertprüfung Wie bereits beschrieben wurden Minimum- und Maximumtemperatur, Niederschlagshöhe und Windspitzenmaxima auf Ausreißer untersucht. Im Folgenden wird beschrieben, wie fehlerhafte Messwerte von wahren Extremwerten unterschieden werden. Die Beschreibung soll gleichzeitig als Anleitung für die Kontrolle nacherfasster und zukünftig zu prüfender Datensätze dienen. Mittels Grenzwertprüfung wurden gefundene Ausreißer in eine Exceltabelle geschrieben (s. Anhang Tab. 2). Dabei wurde für jeden Parameter eine separate Tabelle angelegt. Für die anschließende manuelle Prüfung wurde eine Sortierung nach dem Datum durchgeführt, so dass sofort erkennbar war, welche Extrema mit einer besonderen Wetterlage verbunden waren oder ob Einzelereignisse stattgefunden hatten. Bei den zu überprüfenden Temperaturwerten ist zunächst darauf zu achten, dass diese jahreszeitenadäquat sind. Einzelne Extrema, die bedenklich erscheinen, können mit Meldungen von Nachbarstationen (Synop, Klima über Forms-Anwendung oder KLIVIS_MAP) überprüft werden. Bei der Minimumtemperatur lässt die Differenz Maximumtemperatur Minimumtemperatur Rückschlüsse auf die Qualität der Meldung zu. Für die Prüfung der Windmaxima können Stundenmittel aus Messnetz 3 herangezogen werden, da sich extreme Windmaxima auch in Stundenmitteln widerspiegeln. Die manuelle Prüfung von beanstandeten Niederschlagswerten ist in Anlehnung an die Prüfung der Temperaturwerte durchzuführen. 9

10 4.3. Tageswerteabgleich/QCKL Beanstandete Werte aus dem Verfahren Tageswerteabgleich werden in die Datenbanktabelle ABGLEICH_TAGESWERTE, beanstandete Werte aus dem Verfahren QCKL werden zunächst in die Datenbanktabelle ERGEBNISSE geschrieben. Mittels SQL-Statements wird aus den Inhalten beider Datenbanktabellen eine Prüfliste für den zu bearbeitenden Zeitraum erstellt, die dem Bearbeiter in Papierform als Hilfsmittel zur Verfügung steht. Diese Prüfliste enthält im Gegensatz zu den Datenbanktabellen lediglich die beanstandeten Werte, welche manuell zu korrigieren sind. Alle Datensätze, für die gemäß Feldwertregel automatisch ein Wahrheitswert ausgewählt wird oder bei denen die Differenz der Absolutbeträge der Tageswerte aus dem Klimamessnetz und den speziellen Messnetzen größer als 1 [h, m/s, mm] ist (keine Feldwertregel vorhanden), sind nur in der Datenbanktabelle ABGLEICH_TAGESWERTE (s. Anhang Tab. 3) enthalten. Diese bildet die Grundlage für die spätere Korrektur der Klimatabellen bzw. Tabellen der speziellen Messnetze. Die beanstandeten Werte aus dem QCKL-Verfahren werden ebenfalls in die Tabelle ABGLEICH_TAGESWERTE übertragen, damit nachfolgende Korrekturen nur in der Datenbanktabelle ABGLEICH_TAGESWERTE erfolgen (s. Anhang Tab. 3). Dabei wird der beanstandete Tageswert über eine ACCESS-Eingabemaske (s. Anhang Abb. 2) für die Tabelle ABGLEICH_TAGESWERTE korrigiert. Der Bearbeiter findet in der Prüfliste bzw. in der ACCESS-Eingabemaske auch Korrekturvorschläge bzw. empfohlene Wahrheitswerte, die als Hilfestellung zur Ermittlung der korrekten Tageswerte dienen. Die Korrekturmaske enthält Pflichtfelder, die unbedingt gefüllt werden müssen. Die Pflichfelder sind in der Korrekturmaske FETT hervorgehoben. Für beanstandete Werte, die automatisch korrigiert werden, werden diese Pflichtfelder automatisch gefüllt. Dies gilt z.b. für Messwerte, bei denen der Unterschied zwischen dem speziellen Messnetz und dem Klimamessnetz gering ist (1.Regel, Anhang Tab. 2). Bei manuell zu überprüfenden Messwerten können die Korrekturvorschläge bzw. die empfohlenen Wahrheitswerte angenommen werden oder nach Nutzung von weiteren Hilfsmitteln wie KLIVIS_MAP (Kartendarstellung von deutschen Klimadaten) oder FORMS-Anwendung (zeitlicher Verlauf von Klimaparametern) geändert werden. Korrekturvorschläge werden jedoch nicht für alle Prüfkriterien angegeben. Beispielsweise liefern die Prüfungen auf innere Konsistenz keine Korrekturvorschläge. In diesem Fall muss der Bearbeiter zunächst beurteilen, ob die beanstandeten Daten wirklich fehlerhaft sind. Handelt es sich um fehlerhafte Daten kann je nach Fehlerart (s. Anhang Tab. 4) anhand von Informationen von Nachbarstationen (Klima, Synop) eine Korrektur durchgeführt werden. Prinzipiell gilt, dass alle Korrekturvorschläge mit den beschriebenen Hilfsmitteln zu überprüfen sind. Die Tabelle ABGLEICH_TAGESWERTE wird nach abgeschlossener Überarbeitung in die ACCESS-Tabelle ABGLEICH_TAGESWERTE_KORR kopiert. 10

11 Nach der Überarbeitung wird die Tabelle ABGLEICH_TAGESWERTE_KORR archiviert, da sie für die Korrekturen der Klimawerte in der MIRAKEL-Datenbank und als Dokumentation hinsichtlich dieser Korrekturen genutzt wird. 5. Korrektur in den Datenbanktabellen Für die Korrekturen der gefundenen Datenfehler in den Datenbanktabellen (MIRAKEL) wurden zwei UNIX-Skripte (UPDATE_TAGAB und UPDATE_QCKL, schematischer Ablauf s. Anhang Abb. 3) erstellt. Hinsichtlich der Korrekturverfahren müssen drei Fehlerklassifikationen unterschieden werden: 1. Systematische Fehler mit erkennbarem Muster, 2. systematische Fehler mit nicht erkennbarem Muster, 3. unsystematische Fehler. Die systematischen Fehler mit erkennbarem Muster werden separat, mit bereits vorhandenen Anwendungen für die betroffenen Stationen und Zeiträume korrigiert. Die Dokumentation erfolgt in der Excel-Tabelle Datenprobleme (S: Mirakel/Probleme/Datenprobleme). Systematische Fehler mit nicht erkennbarem Muster sind sehr schwierig zu korrigieren und werden daher zunächst geflaggt. Die Korrekturen von unsystematischen Fehlern werden mittels der Anwendungen UPDATE_TAGAB und UPDATE_QCKL durchgeführt. Dabei liefert die Tabelle ABGLEICH_TAGESWERTE_KORR die Korrekturwerte für die entsprechenden Klimatabellen in MIRAKEL. Damit die UNIX-Skripte fehlerfrei laufen, ist es wichtig, dass die Tabelle ABGLEICH_TAGESWERTE_KORR vollständig und korrekt ausgefüllt ist. Für ein erfolgreiches Update der Mirakel Datenbanktabellen, müssen die Strukturversionen von Messnetz 4 (Prüfung QCKL) oder von Messnetz 4 und dem speziellen Messnetz (Prüfung Abgleich Tageswerte) vorhanden sein. Ferner muss immer ein Wahrheitswert mit Qualitätsbyte sowie der vollständigen Angaben zum dazugehörigen Messnetz eingetragen sein. Dabei ist zu beachten, dass bei der Prüfung QCKL eine Prüfung ausschließlich der Werte des Klimamessnetzes erfolgt, d.h. als Wahrheitswert wird der ursprüngliche Wert entweder bestätigt (QB=3) oder korrigiert (QB=2). Beim Tageswerteabgleich dagegen werden die Werte aus Messnetz 4 mit den Werten des jeweiligen speziellen Messnetzes verglichen. Dabei ist es fast immer so, dass der Wert aus einem Messnetz richtig ist. Dieser wird als Wahrheitswert akzeptiert und mit QB=0 bei automatischer Korrektur (z.b. 1. Regel) und QB=3 bei manueller Überprüfung mit den Angaben zu dem Messnetz, in dem der richtige Wert gemessen wurde in die Tabelle ABGLEICH_TAGESWERTE_KORR eingetragen. Denn das Skript UPDATE_TAGAB führt auf der Grundlage der bestätigten Messwerte die Korrekturen im jeweils korrespondierenden Messnetz durch. Sollte der seltene Fall eintreten, dass weder der Wert aus Messnetz 4 noch aus dem speziellen Messnetz als wahrer Wert akzeptiert werden kann, so muss in beiden Messnetzen eine manuelle Korrektur vorgenommen werden. Diese ist dann in der Tabelle ABGLEICH_TAGESWERTE_KORR zu dokumentieren. Nicht vergessen werden darf nach abgeschlossener Überarbeitung der Datenbanktabellen in MIRAKEL in die Tabelle ABGLEICH_TAGESWERTE_KORR das Updatedatum einzufügen. Dies geschieht per SQL-Statement. So kann jederzeit nachvollzogen werden ob und wann welche Korrekturen durchgeführt wurden. 11

12 6. Bisher durchgeführte Maßnahmen Mit den Anwendungen ABGLEICH_TAGESWERTE und QCKL konnten bereits jahresübergreifende systematische Fehler entdeckt und korrigiert werden. So wurde z.b. bei den ostdeutschen Stationen das vor 1991 in Messnetz 3 fehlende Windspitzenmaximum aus Messnetz 4 übertragen. Allerdings konnte in diesem Fall keine dazugehörige Uhrzeit angegeben werden. Alle korrigierten systematischen Fehler wurden in der o.a. Tabelle Datenprobleme aufgelistet. In der Rubrik unsystematischer Fehler wurde entdeckt, dass bei beiden potsdamer Klimastationen z.t. Niederschlag gefallen war, die Art des Niederschlags aber nicht verschlüsselt wurde. Nach Rücksprache mit den Kollegen in Potsdam konnte auch dieser Fehler in der MIRAKEL-Datenbank behoben werden. Beim Arbeiten mit langen Klimadatenreihen ist aufgefallen, dass vor allem in den Jahren vor 1930 aber auch noch danach Tagesmittel und Extrema der Lufttemperatur, die nicht zusammenpassen, archiviert wurden, d.h. entweder ist das Temperaturmaximum kleiner als die Tagesmitteltemperatur oder das Temperaturminimum ist größer als die Mitteltemperatur des Tages. Bei der historischen Klimareihe der Seewarte Hamburg (jetzt als Hamburg Fuhlsbüttel in der MIRAKEL-Datenbank) war dieser Fehler hauptsächlich darauf zurückzuführen, dass das Temperaturmaximum nicht am Tag der Messung eingetragen wurde sondern am Folgetag. Diese Zeitverschiebung wurde bereits korrigiert. Mittels SQL-Statement wurden alle Fälle, bei denen Temperaturmaximum, -minimum und Tagesmittel nicht zusammenpassen gefunden und in der Tabelle temperaturprobleme_in_bearbtg.slk auf dem S-Laufwerk aufgelistet. Diese Tabelle wird manuell bearbeitet. Offensichtliche Fehler wie Zahlendreher oder Vertauschung von Minimum und Maximum wurden bereits in der MIRAKEL-Datenbank korrigiert. 12

13 Anhang Abb. 1: Qualitätskontrolle der historischen Bodendaten Ausreißer finden und korrigieren, löschen oder bestätigen Tageswerte Messnetz 3,4,6,7 in MIRAKEL- Datenbank Extrahieren doppelter Datensätze (MN 3,4,6,7) mit unterschiedlichen QNs oder SVs Zusatzinfo mit FORMS, KLIVIS_MAP Bei doppelten Datensätzen manuelle Entscheidung und löschen der schlechteren Datensätze Korrekturentscheidung durch Fachkraft Automatisches Einbringen der Korrekturen aus ABGLEICH_TAGESWERTE Tageswertabgleich zwischen MN 4 und speziellen Messnetzen ACCESS Maske Prüfliste ABGLEICH_TAGESWERTE Prüfergebnisse in Form der Ergebnistabelle ABGLEICH_TAGESWERTE_KORR QCKL für Messnetz 4 und 6 ERGEBNISSE Archivierung 13

14 Abb. 2: ACCESS-Korrekturmaske mit Pflichtfeldern (schwarz/fett) 14

15 Abb. 3: Flussdiagramm der Korrekturen in den Datenbanktabellen Schematischer Ablauf UPDATE_TAGAB Schleife: para Script: UPDATE_TAGAB 1.Regel, 2.Regel, 3.Regel etc. (seperate sql-statements) Es wird jeweils nur ein Messnetz aktualisiert, Messnetz 4 oder spezielles Messnetz. Wichtig: In der Tab. ABGLEICH TAGESWERTE KORR müssen die SV en für MN 4 und MN spez. eingetragen sein. Feldkennung für: Messnetz 4 und spez: RSFK RSK SDK FXK Eingabeparameter: vondatum, bisdatum Für die Feldkennungen Messnetz 4 und spez. Messnetze: (Tabelle:qckl.kennung_2) Tabellenname, Spaltenname, Messnetz_Id. holen und lesen Script: UPDATE_QCKL Algorithmus: alle (1 sql-statement) + Sonderfall Windspitze) Es können Messnetz 4 und die speziellen Messnetze aktualisiert werden. Schleife: wtab Schleife: para Schematischer Ablauf UPDATE_QCKL Feldkennung für: Messnetz 4: EK VVK SAK FFK DDK STGK FMK TMK TNK TXK FXK TGK RSFK NSHK SHK TTK SDK RSK PMK NMK TFK UUK Eingabeparameter: vondatum, bisdatum wtab = 1 (update Messnetz 4) oder 2 (update spez. Messnetz oder 3 (update 4 Für die Feldkennungen Messnetz 4: (Tabelle:qckl.kennung) Tabellenname und Spaltenname holen und lesen Für die Feldkennungen spez. Messnetze:(Tabelle:qckl.kennung_2) Tabellenname, Spaltenname, Messnetz_id holen und lesen Schleife: 1-6.Regel (Wind, Sonne, Niederschlag) update - Sql-Statements ausführen ( für para und beding) update-datum in Tabelle: ABGLEICH_TAGESWERTE_KORR eintragen Messwerte aus spez. Messnetze in ABGLEICH_TAGESWERTE_KORR archivieren! wenn update spez update - Sql-Statement ausführen ( für wtab=1 oder 2 oder 3 und para) update aller Klima-Tabellen QN=5 auf QN=8 und QB=0 auf QB=1, wenn QB ungleich 2,3 update-datum in Tabelle: ABGLEICH_TAGESWERTE_KORR eintragen 15

16 Tab. 1: Regeln zum Abgleich von Tageswerten Regeln zum Abgleich von Tageswerten (Es werden nur Klimastationen betrachtet, da stations_id_k=stations_id_spez.) Sonnenscheindauer,Wind, Niederschlag (Scripte: TAGAB_SD,.._RS,.._MFX) sql- Statement : Zunächst werden alle Tageswerte der Sonnenscheindauer aus Messnetz 4 und Messnetz 7 (Strukturversion: 27,19,37) aus Mirakel geholt, deren Differenz des Absolutbetrages größer 1 ist. Diese werden in Tabelle: ABGLEICH_TAGESWERTE in MIRAKEL abgelegt. Feldkennung Bemerkung..._regel{.. Abs(SD_K - SD_spez) > 1, mit SD_K=Sonnenscheindauer des Messnetzes 4, SD_spez=.}.sql Sonnenscheindauer des Messnetzes 7 0. Regel: In der Tabelle TAGESWERTE_SUMMEN wird für Messnetz_id=3,4,6,7 nach doppelten Qualitätsniveaus und doppelten Strukturversionen gesucht. Datensätze mit mehr als einem Qualitätsniveau bzw. einer Strukturversion werden in die Tabelle ABGLEICH_TAGESWERTE geschrieben. Datensätze mit doppelten Qualitätsniveaus aber ungleichen Strukturversionen werden aus der Tabelle ABGLEICH_TAGESWERTE gelöscht. MFX,RS 0. Regel wird bei Feldkennung SD nicht ausgeführt, da als wahrer Wert der Feldwert_spez übernommen werden soll, so dass keine Stundenwerte zu korrigieren sind. Die speziellen Regeln für Sonne Regel 6 und Regel 6a verdeutlichen, dass Daten mit SV=29 prioritär als wahre Werte zu übernehmen sind. 1. Regel: 1.) Abs(SD_K - SD_spez.) < 1 Stunde (mit Messnetz=7, Strukturversion=27,29,37) dann ist der wahre Wert = Feldwert_mn_spez, und Feldwert_Regel=1. Regel Sonne 2.) Abs(MFX_K - MFX_spez.) <= 1 m/s (mit Messnetz=3, alle Strukturversion) dann ist der wahre Feldwert = Feldwert_mn_spez, und Feldwert_Regel=1. Regel Wind 3.)Abs(RS_K - RS_spez.) < 1 mm (mit Messnetz=6, alle Strukturversion) dann ist der wahre Feldwert = Feldwert_mn_4, und Feldwertregel=1.Regel Niederschlag SD,MFX, RS Unterscheiden sich die Tageswerte nur um einen bestimmten Grenzwert, so wird der Feldwert SD aus Messnetz=7, der Feldwerte RS, aus Messnetz=4 der Feldwert MFX aus Messnetz=3 als wahrer Wert übernommen. 2. Regel: Für Klimadaten mit SD,RS,MFX_K_QB=2 und =3 und Feldwert_Regel ungleich 1. Regel werden die Spalten in Tabelle: ABGLEICH_TAGESWERTE wie folgt belegt: Wahrheitswert= SD,RS,MFX K Wahrheitswert_QB=SD,RS,MFX K_qb Feldwert_Regel=2. Regel_Sonne,..Wind,..Niederschlag 2a. Regel: Für Daten aus dem speziellen Messnetz=7,6,3 mit SD,RS;MFX_spez_QB=2 und Feldwert_Regel is Null werden die Spalten in Tabelle: ABGLEICH_TAGESWERTE wie folgt belegt: Wahrheitswert= SD,RS,MFX spez Wahrheitswert_QB=SD,RS,MFX spez_qb Feldwert_Regel=2a. Regel_Sonne,..Wind,..Niederschlag SD, MFX,RS Bereits überprüfte Klimadaten sollen nicht verworfen werden, sondern für den Abgleich der Tageswerte genutzt werden. Achtung: Falls Unterschied gering wird bei Feldkennung SD Feldwert aus Messnetz=7 bevorzugt. SD, MFX,RS Bereits überprüfte Klimadaten sollen nicht verworfen werden, sondern für den Abgleich der Tageswerte genutzt werden. 16

17 3. Regel: Für Klimadaten für die gilt: Feldwert_spez is NULL und Feldwert_MN_4 is not NULL und Wahrheitswert is Null werden die Spalten in Tabelle: ABGLEICH_TAGESWERTE wie folgt belegt: Wahrheitswert= SD,RS,MFX_K Wahrheitswert_QB=SD,RS,MFX_K_qb Feldwert_Regel=3. Regel_Sonne,..Wind,..Niederschlag 4. Regel: Für Klimadaten für die gilt: Feldwert_mn_4 is Null und Feldwert_mn_4_qb is Null und Feldwert_spez is not NULL und Wahrheitswert is Null werden die Spalten in Tabelle: ABGLEICH_TAGESWERTE wie folgt belegt: Wahrheitswert= SD,RS,MFX_spez Wahrheitswert_QB=SD,RS,MFX_spez_qb Feldwert_Regel=4. Regel_Sonne,..Wind,..Niederschlag SD, MFX,RS SD, MFX,RS 5. Regel: Falsche Zuordung von Meßwerten. Der Feldwert_spez ist gleich dem Feldwert_mn_4 des Folgetages oder der Feldwert_mn_4 ist gleich dem Feldwert_spez des Folgetages. Dann gilt: Wahrheitswert = Feldwert_mn_4 Wahrheitswert_QB=Feldwert_mn_4_QB Feldwert_Regel =5. Regel Sonne,..Wind,..Niederschlag SD, MFX,RS manuelle Bearbeitung notwendig (Sichtung und ggf. Korrektur) 13. Regel: Für Klimadaten mit spez_qualitaets_niveau=13 oder qualitaets_niveau_mn_4=13 wird Feldwert_Regel=13. Regel gesetzt SD, MFX,RS QN=13, Klimadatenprüfung nicht möglich, da Daten unbrauchbar. speziell Sonne 6. Regel: Liegen Daten von einer Station für die Strukturversionen (27,29) gleichzeitig vor, und ist gleichzeitig Regel 1 erfüllt, wird der Datensatz mir der Strukturversion 27 gelöscht, unabhängig welches Q-Byte gesetzt ist. 6a. Regel: Für Daten aus dem speziellen Messnetz=7 und spez_struktur_version=27,29 und Feldwert_Regel is Null und Feldwert_mn_4 is not Null werden die Spalten in Tabelle: ABGLEICH_TAGESWERTE wie folgt belegt: Wahrheitswert= SD_K Wahrheitswert_QB=SD_K_qb Feldwert_Regel=6. Regel_Sonne SD SD Betrachtet werden Strukturversion 27 und 29, da Stationen vorhanden, die 2 Werte für Sonnenscheindauer (SV=27, SV=29) liefern. Daten mit der Strukturversion =29 sind ESAU-Daten und vertrauenswürdiger. Achtung!!!: Dies gilt nur für Feldkennung SD, da üblicherweise Feldwert_spez als wahrer Wert übernommen wird Unterschied zu Regel 2 ist, dass die Differenz des Absolutbetrages zwischen Feldwert_mn_4 und Feldwert_spez >=1 ist. 17

18 7., 7a.,7b. Regel: speziell Sonne Enthält Kriterium 3402 aus QCKL bzw. QCSY und prüft Tageswert gegen den berechneten SD_STD Wert der Stundensummen (Strukturversion=27,29,37 berücksichtigt, die Spalten in Tabelle: ABGLEICH_TAGESWERTE werden wie folgt belegt: Feldkennung='SD_STD' ; Feldwert_mn_4= SD_K Feldwert_mn_4_QB=SD_K_qb ; Feldwert_spez=berechnete Tagessumme ; Feldwert_spez_qb= Anzahl der einzelnen Stundensummen ; spez.struktur_version=27 oder 29 oder 37; Feldwert_Regel=7,7a,7b.Regel Sonne 8., 8a.,8b. Regel: Enthält Kriterium 3401 aus QCKL bzw. QCSY und prüft Tageswert gegen den berechneten Wert der Stundensummen (Strukturversion=27,29,37 berücksichtigt, die Spalten in Tabelle: ABGLEICH_TAGESWERTE werden wie folgt belegt: Feldkennung='SD_STD' ; Feldwert_mn_4= SD_K Feldwert_mn_4_QB=SD_K_qb ; Feldwert_spez=berechnete Tagessumme Feldwert_spez_qb= Anzahl der einzelnen Stundensummen ; spez.struktur_version=27 oder 29 oder 37 SD_STD speziell Wind 6. Regel: Grobe Grenzwertprüfung: Das Windspitze_Maximum des Messnetz=4 und Das Windspitze_Maximum des Messnetz=3 > 35m/s. Es wird kein wahrer Wert gesetzt, da eine manuelle Prüfung durchzuführen ist. Feldwert_Regel= '6. Regel Wind' MFX_35 7. Regel: Vergleich von Windspitze_Maximum mit stdl. Werte der Windgeschwindigkeit aus Messnetz=3. Ist das Windspitze_Maximum kleiner als ein stdl. Wert der Windgeschwindigkeit so gilt: Feldkennung='MFX_FF' Feldwert_Regel= '7. Regel Wind' MFX_FF Die Beanstandungen sind manuell zu überprüfen und ggf. zu korrigieren. speziell Niederschlag 6. Regel: grobe Grenzwertprüfung: a) Niederschlagssumme >150 mm des Messnetzes 4, dann schreibe Wert in Feldwert_mn_4; b) Niederschlagssumme>150mm des Messnetzes 6, dann schreibe Wert in Feldwert_mn_spez; Feldwert_Regel=6. Regel Niederschlag RS_150 manuelle Überprüfung und ggf. Korrektur 18

19 speziell Temperaturmaximum, -minimum (Script TAGAB_TEXTREMA) 1. Regel: grobe Grenzwertprüfung: Selektiere das Maximum der Lufttemperatur > 40 C und schreibe in Tabelle TAGESWERTE_ABGLEICH mit Feldkennung TMAX_40 Feldwert_Regel=1. Regel Temperatur TMAX manuelle Überprüfung und ggf. Korrektur 2. Regel: grobe Grenzwertprüfung: Selektiere das Minimum der Lufttemperatur < -30 C und schreibe in Tabelle TAGESWERTE_ABGLEICH mit Feldkennung TMIN_30 Feldwert_Regel=2. Regel Temperatur TMIN manuelle Überprüfung und ggf. Korrektur 3. Regel: Enthält Kriterium 3403 aus QCKL bzw. QCSY prüft Extremwert TMAX gegen Stundenwerte der Lufttemperatur und schreibt Beanstandungen in Tabelle TAGESWERTE_ABGLEICH mit Feldkennung TX_STD. Feldwert_Regel=3. Regel Temperatur TX_STD manuelle Überprüfung und ggf. Korrektur 4. Regel: Enthält Kriterium 3403 aus QCKL bzw. QCSY prüft Extremwert TMIN gegen Stundenwerte der Lufttemperatur und schreibt Beanstandungen in Tabelle TAGESWERTE_ABGLEICH mit Feldkennung TN_STD. Feldwert_Regel=4. Regel Temperatur TN_STD manuelle Überprüfung und ggf. Korrektur 19

20 Tab. 2: Ausreißertabelle der Maximumtemperatur STATIONS_ID STATIONSNAME MESS_DATUM QN TN TN_Q TX TX_Q richtig/falsch 954 Deutsche Bucht f 4024 Putbus f 4024 Putbus f 4024 Putbus f 282 Bamberg f 4024 Putbus f 4024 Putbus f 4024 Putbus f 1443 Freiburg r 2522 Karlsruhe r 2522 Karlsruhe r 1327 Weilerswist-Lommersum r 20

21 Tab. 3: Beschreibung der Datenbanktabelle ABGLEICH_TAGESWERTE Tabelle: ABGLEICH_TAGESWERTE Spaltenname: Beschreibung: MESS_DATUM STATIONS_ID FELDKENNUNG FELDWERT_MN_4 FELDWERT_MN_4_QB QUALITAETS_NIVEAU_MN_4 STRUKTUR_VERSION_MN_4 FELDWERT_SPEZ FELDWERT_SPEZ_QB Datum an dem der Klimaparameter gemessen wurde in MIRAKEL vergebenen Stationskennzeichnung/-nummer Abkürzung des geprüften Klimaparameter Wert des geprüften Klimaparameter in Messnetz 4 (Klima) Flag des Werts der für den jeweils korrigierten Wert übernommen wird. Qualitaetsniveau des gesamten Datensatzes in Messnetz 4 (Klima) Strukturversion des gesamten Datensatzen in Messnetz 4 (Klima) Wert des geprüften Klimaparameter des speziellen Messnetz (Sonne, Wind, Temperatur und Feuchte, ) Flag des Werts des geprüften Klimaparameter des speziellen Messnetz (Sonne, Wind, Temperatur und Feuchte, ) ZEITPUNKT_FELDWERT SPEZ_MESSNETZ_ID SPEZ_QUALITAETS_NIVEAU SPEZ_STRUKTUR_VERSION WAHRHEITSWERT Zeitpunkt der Windmaxspitze (nur bei Prüfungen der Windmaxspitze vorhanden) Nummer des speziellen Messnetzes Qualitaetsniveau des gesamten Datensatzes in Messnetz (Sonne, Wind, Temperatur und Feuchte, ) Strukturversion des gesamten Datensatzen in Messnetz (Sonne, Wind, Temperatur und Feuchte, ) Korrekturvorschlag bzw. korrigierter Wert, der in das jeweilige Messnetz übernommen wird. WAHRHEITSWERT_QB WAHRER_ZEITPUNKT_FELDWERT Flag des Werts, der in das jeweilige Messnetz übernommen wird. korrigierter Zeitpunkt der Windmaxspitze (nur bei Prüfungen der Windmaxspitze vorhanden) WAHRE_MESSNETZ_ID Nummer des Messnetzes in welches der korrigiert Wert übernommen wird WAHRES_QUALITAETS_NIVEAU Qualitätsniveau, das für den geprüften Datensatz übernommen wird. WAHRE_STRUKTUR_VERSION Strukturversion, die für den geprüften Datensatz übernommen wird. TERMIN_ROWID FELDWERT_REGEL Beschreibung der Prüfkriterien /-regeln in Zahlen bzw. Buchstabencode 21

22 Tab. 4: Prüfkriterien der Prüfung auf innere Konsistenz PK- Kennung PK-ID Parameter Vergleichsoperator Feldwerte RR VVK <= UUK >= SHK > 0.00 X EK >= EK >= 9 X SAK IN (1,4) NSHK > 0.00 X SHK > NSHK > 0.00 X RSK > SHK "=" 0.00 X NSHK "=" SAK IN (0,2) X EK < SAK IN (0,2) X SHK = NSHK > 0.00 X RSK > RSK "=" 0.00 X NSHK "=" SDK "=" NMK >= NMK "=" SDK >= NMK "=" SDK <= RSK > 0.00 X RSFK > RSFK "=" 0 X RSK "=" FFK > DDK > DDK > FFK > FFK "=" DDK "=" DDK "=" FFK <= RSFK TXK IN BETWEEN (1,6) -1.0, NSHK > TNK BETWEEN -40.0, SHK >= NSHK X TXK >= TMK TNK <= TMK UUK > TTK TFK <=

23 PK- Kennung PK-ID Parameter Vergleichsoperator Feldwerte RR TGK >= TGK BETWEEN TNK 10.0, TNK TFK TFK < BETWEEN 0 TTK-40.0, TFK TFK >= BETWEEN TTK TTK-40.0, TTK RSK is not NULL X RSFK is not NULL NSHK is not NULL X SHK is not NULL 23