Erfahrungen mit dem Distributionssystem in NRW

Transkript

1 Erfahrungen mit dem Distributionssystem in NRW Anwenderseminar AQUAZIS Pegelwesen in Aachen am Martin Brinkmann, FB 53 Wassermengenwirtschaft, Hochwasserschutz

2 Erfahrungen mit dem Distributionssystem in NRW 1. Ausgangssituation 2. Aufbau Datendistributionssystem 3. Erfahrungen

3 Ausgangssituation 2006 StUA 1 Nach Bedarf StUA 2 StUA 3 Übertragung der Daten quartalsweise Vorgang manuell anstoßen LUA zentral DFÜ-Daten monatlich WISKI

4 Ziele Tagesaktuelle Daten in der zentralen - Instanz Automatischer Datentransfer sicherer Datentausch (redundante Daten) Automatischer Datentausch, Tagesaktuell StUA 1 StUA 2 StUA 3 DFÜ-Daten tagesaktuell LUA zentral Automatische Datenweitergabe Verringerung zusätzlicher Abrufkosten WISKI

5 Erfahrungen mit dem Distributionssystem in NRW 1. Ausgangssituation 2. Aufbau Datendistributionssystem 3. Erfahrungen

6 Konzeption Aachen Düsseldorf Siegen DFÜ-Daten 05:00 Zentraler FTP-Server DFÜ-Daten 04:30 FTP Zentrale Komponente LANUV zentral 19:00 19:00 05:00 19:00 FTP 04:00 DFÜ-Daten Dezentrale Daten LANUV Aachen Düsseldorf Siegen 21:00 Dezentrale Daten WISKI FTP

7 1. Schritt Aachen Düsseldorf Siegen FTP 19:00 19:00 19:00 FTP FTP Auf den FTP-Server werden geschrieben: Nur angemeldete Stationen und Zeitreihen => -Instanz ist Datenpfleger Zeitreihen und Stammdaten: nur Änderungen Realreihen (Abflusskurven): Immer komplett Zeitreihen und Realreihen werden im aqua_plan Pack-Format ausgetauscht, Stammdaten als.rdb Keine Änderung => leere Datei => Datenübertragung im Protokoll nachvollziehbar

8 2. Schritt Die Zentrale holt vom FTP-Server (Daten nur von anderen Datenpflegern): Es werden nur die Daten der Stationen importiert, deren Stammdaten auch in der Zentrale vorhanden sind Zeitreihen und Stammdaten werden grundsätzlich überschreibend importiert, da sie von einem anderen Datenpfleger kommen Zentrale Komponente 21:00 Dezentrale AQUAZIS-Instanzen LANUV zentral

9 3. Schritt DFÜ-Daten Import (Autoimporter): DFÜ-Daten Export: Der Export der DFÜ-Daten enthält alle angemeldeten Zeitreihen Alle Änderungen seit dem letzten Exportstempel Import erfolgt als gesperrte Rohdaten, Qualität 0 Ergänzender Import DFÜ als Datenbeschaffer in Stammdaten eingetragen Beim Import wird keine neue Zeitreihe angelegt CNR aus WISKI = Geber in => zugehörige Zeitreihe Zentrale Komponente DFÜ-Daten 04:30 LANUV zentral 04:00 DFÜ-Daten WISKI

10 4. Schritt Aachen Düsseldorf Siegen DFÜ-Daten 05:00 05:00 DFÜ-Daten: Für alle vorhandenen Stationen werden die DFÜ-Daten übernommen, wenn in den Stammdaten das LANUV als Datenbeschaffer eingetragen ist Werden grundsätzlich ergänzend importiert, kein Änderungsstempel Dezentrale AQUAZIS-Instanzen Geänderte Daten anderer Datenpfleger Alle Daten der übrigen en Instanzen die bereitgestellt wurden, werden abgeholt Daten von Stationen, die in der en Instanz unbekannt sind, werden nicht importiert Stationen sind von anderen Datenpflegern => Zeitreihen und Stammdaten werden grundsätzlich überschreibend importiert

11 Sonderfunktionen Gesamtabzug Automatisierter Wechsel des Datenpflegers für eine Station Pflege der Schlüssellisten Pflege der Schlüssellisten nur noch zentral möglich Durch täglichen Datentausch stehen die Einträge am Folgetag landesweit zur Verfügung Vertrauliche Schlüssellisten (z.b. Beobachter) werden nur in den en Instanzen gepflegt und nur optional über des DDS weitergegeben Um das Anlegen neuer Stationen nicht zu behindern wird im Zwangsfeld Betreiber der Eintrag vorläufiger Betreiber ergänzt

12 Systemvoraussetzungen Betriebssystem: LINUX Datenhaltung von und Azur-Jobs des Datendistributionsssystems sollten auf diesem LINUX-Server laufen (Datenexport und -import) Zugriff der en Instanzen auf FTP-Server (derzeit im LANUV) über passives FTP

13 Erfahrungen mit dem Distributionssystem in NRW 1. Ausgangssituation 2. Aufbau Datendistributionssystem 3. Erfahrungen

14 Grundsätzliches Lange und intensive Testphase, Regeln für den Datenaustausch immer wieder angepasst um die Datensicherheit zu erhöhen Seit Frühjahr 2008 Tests mit beteiligten Instanzen abgeschlossen, Aufnahme weiterer -Instanzen durch Neuorganisation verzögert System selbst sehr stabil, wenige Ausfälle Probleme werden in LOG-Dateien gut dokumentiert Für Problembehebung häufig keine vertieften DV-Kenntnisse erforderlich Geringer Administrationsaufwand im laufenden Betrieb

15 Vorbereitungen DV-technische Vorbereitungen LINUX-Server Ggf. Migration des vorhandenen auf einen LINUX-Server Installation der Azur-Jobs für den DS-Export und DS-Import (zeitabhängige Cronjobs) Zugriff auf den zentralen FTP-Server einrichten Auf FTP-Server entsprechendes Verzeichnis einrichten => Vorbereitung unkompliziert, Zeitaufwand gering (Zusammenarbeit mit aqua_plan)

16 Vorbereitungen Fachliche Vorbereitung: Geber in den Stammdaten pflegen, wenn notwendig zugehörige Zeitreihen mit den identischen Attributen einrichten Abgleich mit Messstellennummer und CNR in WISKI => iterativer Vorgang Datenpfleger bei den eigenen Stationen pflegen Bei den Stationen mit DFÜ-Daten das LANUV als Datenbeschaffer einrichten

17 Vorbereitungen Fachliche Vorbereitung: Eigene Stationen und Zeitreihen im Distributionssystem anmelden Stammdaten der gemeldeten Stationen an andere -Instanz Gesamtabzug => Vorbereitung teilweise iterativer Prozess, zunächst manuelle Einrichtung notwendig, Protokolle geben Informationen über Probleme

18 Erfahrungen Redundante Datenhaltungen Erhöhung der Sicherheit durch regelmäßigen Gesamtabzug automatisch Durch die Aufnahme der DFÜ-Daten sehr schnelle Datenkontrolle möglich Änderungen am Gesamtsystem (z.b Änderungen an den Gebern, neue Zeitreihen) müssen abgesprochen und angemeldet werden

19 Erfahrungen Datentausch ist recht schnell (ca. 10 Minuten) => was passiert, wenn weitere -Instanzen hinzukommen?? Distributionssystem ist flexibel einsetzbar Anpassen an Neuorganisation Aufnahme der Bezirksregierungen

20 Fragen / Diskussion