Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH. Software mit Format.

Transkript

1 Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH Gerd Schandert, Neuss den

2 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

3 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

4 Auftraggeber Sächsische Staatskanzlei Die Staatskanzlei unterstützt den Ministerpräsidenten bei der Wahrnehmung seiner Aufgaben. Rund 190 Mitarbeiter erarbeiten hier die politischen Grundlagen dafür, dass Sachsen ein weltoffenes, modernes und innovatives Land mitten in Europa ist. Quelle:

5 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

6 Zusammenhänge der Förderung

7 Fördermitteldatenbanken: Organisation und IT-Verfahren

8 Ausgangspunkt für ein DWH FIKO-Monatsberichte (Finanzkontrollverordnung) EFRE (Europäischer Fonds für regionale Entwicklung) ESF (Europäischer Sozialfonds) Ziel 3 (Programm zur Förderung der grenzübergreifenden Zusammenarbeit zwischen dem Freistaat Sachsen und der Tschechischen Republik) Historisierung der Datenbestände

9 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

10 Fömisax, Fömikat, FIKO Schichten im Data Warehouse OLTP CDC Stage Warehouse Mart 1 Enduser SRC1 SRC1 SRC3 SRC3 Mart 2 SRC3 SRC3 Quelle: DWH Technik im Fokus Reihe von Alfred Schlaucher

11 Eingesetzte Technologien Speicherung: Oracle DB EE 11g ETL: Oracle Data Integrator 11g BI: Oracle BI Suite 11g

12 OLTP - Systeme Fömisax Landeseinheitliche Fördermitteldatenbank in Sachsen Zusammenführung aller Daten der verteilten Fördermittelverwaltungs- Systeme (FMV) Fömikat FIKO Zentrale Katalogdatenbank für die Fördermitteldatenbank Finanzkontrolldatenbank für Berichtspflichten gegenüber der EU

13 Change Data Capture (CDC) CDC per Trigger Insert, Update, Delete for each row Direktkopie der Quelltabelle als CDC Tabelle Bei Update werden der Alt- und Neudatensatz gespeichert CDC Tabellen Eigenes Schema FOEMI_DWH_CDC auf OLTP Datenbank CDC Spalten: JRN_FLAG, JRN_SUBSCRIBER, JRN_DATE JRN_FLAG: Insert (I), Update (U) Update alt (UO), Delete (D)

14 CDC Tabelle am Beispiel von Stellen

15 DWH Stage Stage Tabellen Eigenes Schema FOEMI_STG auf der DWH-Datenbank Übernahme der CDC-Daten in die Stage-Tabellen per ODI Transformationen Prüfung der CDC-Daten auf konkrete Änderung per Mengenoperation (MINUS) Übernahme relevanter Informationen Genrierung DML-Type

16 Besonderheiten Fömisax Daten Daten in Fömisax werden täglich per Delete Insert vollständig neu erfasst In den CDC Tabellen wird jeder Datensatz mit Delete und Insert protokolliert, jedoch muss keine Änderung enthalten sein! Prüfung Delete Insert auf reale Änderungen per MINUS von CDC Daten mit den Stage Daten des letzten Ladelaufes JRN_FLAG nach CDC Initial Umwidmung Wenn Änderungen vorhanden D DX DX DX I IX U IX Nur die Flags I, U und D werden weiterhin betrachtet Ohne Änderungen

17 Stage Tabelle am Beispiel von Stellen

18 DWH Core Core Tabellen Eigenes Schema FOEMI_DWH auf der DWH-Datenbank Übernahme der Stage-Daten in die Core-Tabellen per ODI Historisierung per Slowly Changing Dimension Type II Besonderheit: Fakten-Tabellen werden wie Dimensionen historisiert Core Modell Struktur ist annähernd identisch mit Vorsysteme. Vorteil: leichter Abgleich von Änderung in den Daten

19 Core Tabellen am Beispiel von Stellen

20 Data Mart Aktuell zwei Data Marts: Förderung Verwendungsnachweisprüfung DM Tabellen Eigenes Schema FOEMI_DM Klassisch mit Dimension und Fakten-Tabellen Beide Data Marts sind Galaxy Schemen Zeitpunkthistorie DIM_34_Zeit_Datum für Datenstand DIM_35_Zeit_Jahr für Zeitbezug der Daten

21 Data Mart Tabelle am Beispiel von Stellen

22 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

23 Oracle Data Integrator für ETL ODI ist strategisches ETL Werkzeug Unterstützt bei der Datenübernahme in jede einzelne Schicht

24 Anpassung von Knowledge Module Erweiterung einzelner Knowledge Module um Protokollierung Eigenes Admin-Schema Weitere Anpassungen an Ladebürfnisse

25 ODI Interfaces (Schnittstellen) Lade und Transformationsschritte werden in Interfaces gekapselt Mit ODI 11g keine umfangreichen Transformationsschritte möglich, daher Aufteilung in Einzelschritte

26 ODI Interface DWDIM_BRANCHEN

27 ODI Packages In Packages wird die Reihenfolge der Abarbeitung von Interfaces festgelegt Vor und nach den Interfaces können Variablen belegt werden DML Type Lauf Protokoll ID

28 ODI Package PKG_DWDIM_BRANCHEN

29 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

30 Historisierung im DM Fömisax: es gibt monatliche Auswertungen Idee: Abfragemöglichkeit des aktuellen Datenbestandes und von Monatsständen => Zeit (Datum) als Kriterium für Historisierung => jede Faktentabelle erhält ein Attribut für das Datum Täglich wird der aktuelle Datenbestand gespeichert, der alte Bestand gelöscht und bestimmte Stände werden aufgehoben

31 Zeitpunkt Historie Daten werden täglich geladen Zeitpunkt: Aktuell Nur der Monatsendstand wird aktuell historisiert Zeitpunkt: Tag der Historisierung Flag in der Zeitdimension für Feiertag und Historisierung Alle nicht zu historisierenden Stände werden gelöscht

32 Zeitpunkt Historie für Endanwender Dimensionstabelle im Data Mart enthält sprechenden Namen für Monatsbestand Aktuell verweist immer auf den letzten Ladezeitpunkt

33 Partitionierung, aber welche? Jeder Zeitpunkt im DM wird in einer eigenen Partition abgelegt Anforderungen an die Partitionierung - Partition muss vorhanden sein. bei Standardformen: manuelles Anlegen => Zeitverzögerung mit dbms_lock.sleep() notwendig - automatisches Anlegen einer Partition => Intervall-Partitionierung - entspricht Range-Partitionierung Vorteil: - sofort verfügbar - Einfügen von Partitionen automatisch Nachteil - DB-interne Bezeichnung

34 Partitionsnamen Partitionen werden am Ende des Ladeprozesses umbenannt Damit können einzelne Partitionen besser gefunden werden

35 Partitionierungssteuerung

36 Berechtigungskonzept Datensatzberechtigungen mit Virtual Private Database (VPD) Jeder Endnutzer ist in der DB registriert Rechteübernahme aus dem Vorsystem Fömisax Dateneinschränkungen aktuell nur auf Fördervorhaben Weitere Berechtigungen auf Seiten der Oracle BI Suite Berechtigungen auf einzelne Data Marts Analysen Dashboards

37 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

38 Herausforderungen im laufenden Betrieb Detaillierungsgrad einer Slowly Changing Dimension CDC Tabellen triggern Änderungen im Millisekundenbereich Speicherung im Core jedoch nur Sekundengenau mehrere Datensätze in einer Sekunde verursachen Unique Key Constraint Verletzung in der Versionstabelle Konsolidierung von CDC Daten notwendig

39 Herausforderungen im laufenden Betrieb Wiederkehrende Katalogwerte Katalogwerte wurden an einen Tag mit delete im Vorsystem gelöscht Enddatum in der Dimension gesetzt Am Folgetag wird der Katalogwert wieder als insert geliefert Insert versuchsachte Unique Key Verletzung in Mastertabelle Prüfung auf existierenden Datensatz notwendig

40 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4. ODI als ETL Werkzeug 5. Besonderheiten im Data Mart 6. Herausforderungen im laufenden Betrieb 7. Ausblick

41 Ausblick Erarbeitung Rechtekonzept inkl. Umsetzung Schulung von Endnutzern Nach dem Aufbau des Vorsystems Fömisax II muss das DWH und der Ladprozess angepasst werden

42 Referent Gerd Schandert T: F: