ETL Monitoring & Tuning durch Auswertung der OWB Laufzeit-Metadaten. Referent: Lutz Bauer, Leiter CC Data Integration, MT AG

Transkript

1 ETL Monitoring & Tuning durch Auswertung der OWB Laufzeit-Metadaten Referent: Lutz Bauer, Leiter CC Data Integration, MT AG

2 MT AG managing technology Key-facts: 1994: Gründung als MT Software GmbH 2000: Umwandlung zur MT AG, Aktienkapital: 1,5 Mio. Anteile: In der Hand von Management und Aufsichtsrat Zurzeit: ca. 145 Festangestellte ca. 60 freie Mitarbeiter Die Die MT MT AG AG ist ist langjähriger IT-Beratungspartner von von Großunternehmen und und Mittelstand. Sie Sie steht steht für für Technologie-Know-how und und praxisnahe, effiziente IT-Dienstleistung: von von Strategie Strategie und und Beratung Beratung über über Entwicklung und und Integration Integration bis bis hin hin zu zu Wartung Wartung und und Administration von von IT-Infrastrukturen OWB Runtime Auditing Reporting 2

3 Inhalt Zielsetzung für Runtime Repository Auswertung Kurzvorstellung der implementierten Lösung Demo Details zur OWB Laufzeitprotokollierung & Reporting Ausblick Q&A OWB Runtime Auditing Reporting 3

4 Motivation Klärung von akuten Schwankungen in der ETL Laufzeit - Warum war die Verarbeitung heute um 200 Min langsamer? Langfristiges Tuning - Verkürzung des Verarbeitungszeitfensters - Anbindung weiterer Quellsysteme - Erweiterung der internen DWH-Verarbeitung (z.b. neue Aggregationen) - An welchen Stellen in der DWH-Verarbeitung lohnt sich eine Optimierung? (Profiling-Ansatz) Kapazitätsplanung - Wie stark wächst das von Quellsystem X gelieferte Datenvolumen im Laufe der Zeit? OWB Runtime Auditing Reporting 4

5 OWB Bordmittel: Runtime Audit Browser -> Charakteristik eines Logfiles Unzureichend! OWB Runtime Auditing Reporting 5

6 OWB Bordmittel (2): SQL Developer Reports Einzelauswertung pro Prozess / Mapping Zeitreihen nur teilweise verfügbar Volumen nicht auswertbar OWB Runtime Auditing Reporting 6

7 Implementierte Lösung Reporting über die OWB Runtime Audit Daten in einem konkreten DWH Projekt Implementiert: Zeitreihenauswertung der OWB Laufzeiten - Laufzeiten - verarbeitete Datenmengen - #Fehler Verknüpfung mit Oracle Statspack Repository Eckdaten: - Auswertung von DB-Resourcenverbrauch, I/O Performance, WaitEvents etc. für gleichen ETL-Verarbeitungszeitraum - #Process Flows: >500 - #Mappings: > #Tabellen: > #OWB Workflow Steps executed per day: ~ OWB Runtime Auditing Reporting 7

8 Hierarchie der Laufzeitdaten im Projekt Workflow Sub-Workflow Mapping (d.h. PL/SQL) Shell Script FTP OWB Runtime Auditing Reporting 8

9 DEMO DEMO: OWB Runtime Auswertung mit dem Oracle Discoverer (Screenshots im Anhang) OWB Runtime Auditing Reporting 9

10 Kennzahlen Es stehen die folgenden Kennzahlen zur Verfügung: Laufzeit Anzahl Fehler Volumen: # Selektierte Zeilen # Eingefügte Zeilen # Aktualisierte Zeilen Oracle Statspack: (die Statspack Auswertungszeitfenster werden an der OWB-Verarbeitung ausgerichtet ): IO Volumen pro Tablespace IO Performance Waitstats OWB Runtime Auditing Reporting 10

11 Architektur der Lösung OWB 10.2 Unified Repository MV Refresh Oracle Statspack Repository MV Refresh Reporting Schema MV MV -> MV Refresh erfolgt durch ETL Steuerung -> MVs halten zeitlich unbegrenzte Historie Discoverer Plus Discoverer Viewer OWB Runtime Auditing Reporting 11

12 Implementierung der Lösung Referentielle Hierarchie des OWB Repositories wurde zwecks Performancesteigerung denormalisiert ( aufgelöst ) Standard-Reports ( daily checks ) per Discoverer Viewer (integriert in das DWH Portal) Tiefergehende Analysen: Discoverer Plus Discoverer Reports greifen auf Materialized Views zu (definiert über: WB_RT_AUDIT_EXECUTIONS und WB_RT_AUDIT_MAP_RUNS sowie Oracle Statspack Repository) Es wird bislang unverändert die default Auditierung des OWB verwendet Erweiterbar: Selbstdefinierte Anreicherungen des OWB Runtime Auditing ermöglichen weitere fachliche Gruppierungen der Laufzeitdaten OWB Runtime Auditing Reporting 12

13 Fragen und Antworten Lutz Bauer Leiter Competence Center Data Integration MT AG Balcke-Dürr-Allee Ratingen Tel Fax Lutz.Bauer@mt-ag.com

14 Vorträge der MT AG DOAG 2007 Wann Di., tbd Di., tbd Mi., :00 11:45h Mi., :00 12:45h Do., :00 11:45h Do., :00 12:45h Do., :00 13:45h Do., :00 14:45h Standby Thema ETL Monitoring & Tuning durch Auswertung der OWB Laufzeit- Metadaten Erfahrungsbericht Einführung ARIS beim Kaufhof Oracle Warehouse Builder: Automatisierung von Designschritten bei der Bayer HealthCare AG So profitieren Unternehmen von OracleWeb-Center Suite: Wie sich Web 2.0-Features bewähren Praxisbericht: Database Vault in der Personalabteilung Beschleunigte Oracle-ADF-Entwicklung von Rich Client-Anwendungen im Bankenwesen Risikominimierung bei der Migration von Datenbank und Application Server nach 10gR2 Best Practices: Entwicklung komplexer APEX-Applikationen Best Practices im Business-Reporting: So kombiniert man Hyperion Intelligence mit dem OWB Referent MT AG Lutz Bauer Hildgund von Alten- Krämer Lutz Bauer Niels de Bruijn, Detlef Müller/Oracle Volker Mach Tobias Otto Dr. Peter Alteheld Niels de Bruijn Anja Wiegele Jens Wiesner OWB Runtime Auditing Reporting 14

15 Vielen Dank für Ihre Aufmerksamkeit! Lutz Bauer Leiter Competence Center Data Integration MT AG Balcke-Dürr-Allee Ratingen Tel Fax Lutz.Bauer@mt-ag.com

16 Beispiel: Auswahl der Workflows zur Tagesverarbeitung (ab 22h) OWB Runtime Auditing Reporting 16

17 Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung OWB Runtime Auditing Reporting 17

18 Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung (Jahresübersicht) OWB Runtime Auditing Reporting 18

19 Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung OWB Runtime Auditing Reporting 19

20 Drill-Down: Laufzeit der Tagesverarbeitung, aufgeteilt auf Ebene der Sub-Workflows OWB Runtime Auditing Reporting 20

21 Drill-Down: Laufzeit der Tagesverarbeitung, aufgeteilt auf Einzelschrittebene (Mappings) OWB Runtime Auditing Reporting 21

22 Auswertung des verarbeiteten Datenvolumens (# Rows Selected) OWB Runtime Auditing Reporting 22

23 Auswertung des Datendurchsatzes (# Rows Selected / Seconds Elapsed) OWB Runtime Auditing Reporting 23

24 Oracle Statspack Auswertung: Read/Write Performance auf Tablespace-Ebene OWB Runtime Auditing Reporting 24

25 OWB Runtime Auditing Reporting 25