WISKI-Desktop Überblick KiDSM

Transkript

1 DEPARTEMENT BAU, VERKEHR UND UMWELT WISKI-Desktop Überblick KiDSM Herbst 2014

2 Übersicht über KiDSM o Kisters Distributed Service Manager o KiDSM ist ein Auftragsverwaltungssystem zur Steuerung und Automatisierung des Datenflusses SODA FTP Verzeichnis KiDSM WISKI DB (mssql) KiTSM WISKI Client Weitere Verzeichnisse 2

3 KiDSM Transfer-Job o verschiebt oder kopiert Daten von einem an einen anderen Ort o benötigt einen Quell- Datenort und mindestens einen Ziel- Datenort o Der Ausführungszyklus des Jobs wird als Periodizität angegeben Bsp. 3600s für Ausführung einmal stündlich 3

4 Bsp. KiDSM Transfer-Job 4

5 Bsp. KiDSM Quell-Datenort 5

6 Bsp. KiDSM Ziel-Datenort 6

7 KiDSM ZRXP-Optimierer o Optimierer sammelt und bereinigt Daten Dateien mit selber Austauschnummer werden zu einer zusammengeführt bei doppelten Zeitstempel werden nur die neusten übernommen Wenn die Austauschnummer auf der Blacklist steht, so wird die Datei nicht weiterverarbeitet alle 5min werden die bereinigten und zusammengefassten Dateien in den Ordner 006_out gelegt und mit einem weiteren KiDSM-Job in die WISKI-DB importiert 7

8 KiDSM Auftrag (Task) o KiDSM Jobs verwalten (starten, stoppen) o KiScript-Skript ausführen o.exe-datei ausführen o Windows-Dienste starten / stoppen o Für Aufträge wird ein Ausführungszeitpunkt definiert Bsp. stündlich um :15 8

9 KiDSM im Kanton Aargau Fakten o ca. 50 aktive Jobs und 30 aktive Aufträge o ca. 90 Datenorte, mehrheitlich für den Import Jobs o Importieren von Daten von FTPs (Eigene und Drittnetze) in DB o Erstellen von Backup-Ordnern, um Datenverlust abzusichern, regelmässiges Löschen dieser Datenflut o Exportieren von Daten aus unserer DB an Dritte Task o Erstellen von Grafiken mithilfe von KiScript o Starten / Stoppen von wichtigen Jobs 9

10 Hydrometrie-FTP MCH 2d / 7d / 31d Grafiken Hydrometrie-FTP D:\\Kisters\Graph ZRXP-Konvertierung auf /hydrotransfer Konverter Hydrometrie-FTP ALG > DataSafe800 ATB > GMA LWAG KiScript Hydrometrie-FTP ALG > HRB AfU > Boden LU > UWE 01_in Optimierer 06_out KiIOSys BAFU-FTP1 / BAFU-FTP2 DTP BAFU ZH > AWEL Kisters-FTP (SODA) ALG > HydroNet evtl. BAFU evtl. ZH BAFU-FTP-xml BAFU-xml ZRXP-Konvertierung auf /hydrotransfer Server Legende Backup auf Server Job-Zyklusgesteuert Job-Taskgesteuert häufige Übertragung mittlere Übertragung seltene Übertragung KiDSM-Job / Task Nicht KiDSM-ausgelöster Prozess MCH-Export Hydrometrie-FTP GIN-Export BAFU-FTP1 / BAFU-FTP2 DTP AfU-Export Ordner auf kantonalem Server KiTSM WISKI DB HydroPro-Export Hydrometrie-FTP ASCII-Konvertierung auf /hydrotransfer 10

11 Abfragekette im Kanton Aargau o Messdaten einiger Stationen unseres Messnetzes werden stündlich per GPRS im Originalformat (nicht ZRXP) versendet. Zeitpunkt Modul Aktion 14:02-14:05 Logger Logger schickt die Daten auf einen FTP 14:06 KiDSM KiDSM-Job prüft, ob Daten vorhanden sind, sichert sie einerseits in Backupordner und verschiebt diese andererseits zum Konvertieren in anderen FTP-Ordner 14:07 Skript Ein Skript bringt die Dateien ins ZRXP-Format und legt sie in einem dritten Ordner auf dem FTP ab 14:08 KiDSM KiDSM-Job prüft, ob die konvertierten Daten vorhanden sind und verschiebt diese in Ordner 001_in des Optimierers (auf dem Server) 14:10 ZRXP- Optimierer, KiDSM, KiIOSys Optimierer sammelt und bereinigt Daten, legt diese in Ordner 006_out, KiDSM-Job holt die optimierten Daten und übergibt sie KiIOSys (KiDSM- Schnittstelle mit WISKI), welcher die Daten über die Austauschnummer in die WISKI DB importiert 14:12 KiDSM Daten werden exportiert und auf FTP gelegt 11

12 Fragen? 12