ETL Monitoring & Tuning durch Auswertung der OWB Laufzeit-Metadaten Referent: Lutz Bauer, Leiter CC Data Integration, MT AG
MT AG managing technology Key-facts: 1994: Gründung als MT Software GmbH 2000: Umwandlung zur MT AG, Aktienkapital: 1,5 Mio. Anteile: In der Hand von Management und Aufsichtsrat Zurzeit: ca. 145 Festangestellte ca. 60 freie Mitarbeiter Die Die MT MT AG AG ist ist langjähriger IT-Beratungspartner von von Großunternehmen und und Mittelstand. Sie Sie steht steht für für Technologie-Know-how und und praxisnahe, effiziente IT-Dienstleistung: von von Strategie Strategie und und Beratung Beratung über über Entwicklung und und Integration Integration bis bis hin hin zu zu Wartung Wartung und und Administration von von IT-Infrastrukturen. 20.11.2007 OWB Runtime Auditing Reporting 2
Inhalt Zielsetzung für Runtime Repository Auswertung Kurzvorstellung der implementierten Lösung Demo Details zur OWB Laufzeitprotokollierung & Reporting Ausblick Q&A 20.11.2007 OWB Runtime Auditing Reporting 3
Motivation Klärung von akuten Schwankungen in der ETL Laufzeit - Warum war die Verarbeitung heute um 200 Min langsamer? Langfristiges Tuning - Verkürzung des Verarbeitungszeitfensters - Anbindung weiterer Quellsysteme - Erweiterung der internen DWH-Verarbeitung (z.b. neue Aggregationen) - An welchen Stellen in der DWH-Verarbeitung lohnt sich eine Optimierung? (Profiling-Ansatz) Kapazitätsplanung - Wie stark wächst das von Quellsystem X gelieferte Datenvolumen im Laufe der Zeit? 20.11.2007 OWB Runtime Auditing Reporting 4
OWB Bordmittel: Runtime Audit Browser -> Charakteristik eines Logfiles Unzureichend! 20.11.2007 OWB Runtime Auditing Reporting 5
OWB Bordmittel (2): SQL Developer Reports Einzelauswertung pro Prozess / Mapping Zeitreihen nur teilweise verfügbar Volumen nicht auswertbar 20.11.2007 OWB Runtime Auditing Reporting 6
Implementierte Lösung Reporting über die OWB Runtime Audit Daten in einem konkreten DWH Projekt Implementiert: Zeitreihenauswertung der OWB Laufzeiten - Laufzeiten - verarbeitete Datenmengen - #Fehler Verknüpfung mit Oracle Statspack Repository Eckdaten: - Auswertung von DB-Resourcenverbrauch, I/O Performance, WaitEvents etc. für gleichen ETL-Verarbeitungszeitraum - #Process Flows: >500 - #Mappings: >1200 - #Tabellen: >1800 - #OWB Workflow Steps executed per day: ~1600 20.11.2007 OWB Runtime Auditing Reporting 7
Hierarchie der Laufzeitdaten im Projekt Workflow Sub-Workflow Mapping (d.h. PL/SQL) Shell Script FTP 20.11.2007 OWB Runtime Auditing Reporting 8
DEMO DEMO: OWB Runtime Auswertung mit dem Oracle Discoverer (Screenshots im Anhang) 20.11.2007 OWB Runtime Auditing Reporting 9
Kennzahlen Es stehen die folgenden Kennzahlen zur Verfügung: Laufzeit Anzahl Fehler Volumen: # Selektierte Zeilen # Eingefügte Zeilen # Aktualisierte Zeilen Oracle Statspack: (die Statspack Auswertungszeitfenster werden an der OWB-Verarbeitung ausgerichtet ): IO Volumen pro Tablespace IO Performance Waitstats 20.11.2007 OWB Runtime Auditing Reporting 10
Architektur der Lösung OWB 10.2 Unified Repository MV Refresh Oracle Statspack Repository MV Refresh Reporting Schema MV MV -> MV Refresh erfolgt durch ETL Steuerung -> MVs halten zeitlich unbegrenzte Historie Discoverer Plus Discoverer Viewer 20.11.2007 OWB Runtime Auditing Reporting 11
Implementierung der Lösung Referentielle Hierarchie des OWB Repositories wurde zwecks Performancesteigerung denormalisiert ( aufgelöst ) Standard-Reports ( daily checks ) per Discoverer Viewer (integriert in das DWH Portal) Tiefergehende Analysen: Discoverer Plus Discoverer Reports greifen auf Materialized Views zu (definiert über: WB_RT_AUDIT_EXECUTIONS und WB_RT_AUDIT_MAP_RUNS sowie Oracle Statspack Repository) Es wird bislang unverändert die default Auditierung des OWB verwendet Erweiterbar: Selbstdefinierte Anreicherungen des OWB Runtime Auditing ermöglichen weitere fachliche Gruppierungen der Laufzeitdaten 20.11.2007 OWB Runtime Auditing Reporting 12
Fragen und Antworten Lutz Bauer Leiter Competence Center Data Integration MT AG Balcke-Dürr-Allee 9 40882 Ratingen Tel. 02102 309 61-0 Fax 02102 309 61-10 www.mt-ag.com Lutz.Bauer@mt-ag.com
Vorträge der MT AG DOAG 2007 Wann Di., 20.11. tbd Di., 20.11. tbd Mi., 21.11. 11:00 11:45h Mi., 21.11. 12:00 12:45h Do., 22.11. 11:00 11:45h Do., 22.11. 12:00 12:45h Do., 22.11. 13:00 13:45h Do., 22.11. 14:00 14:45h Standby Thema ETL Monitoring & Tuning durch Auswertung der OWB Laufzeit- Metadaten Erfahrungsbericht Einführung ARIS beim Kaufhof Oracle Warehouse Builder: Automatisierung von Designschritten bei der Bayer HealthCare AG So profitieren Unternehmen von OracleWeb-Center Suite: Wie sich Web 2.0-Features bewähren Praxisbericht: Database Vault 10.2.0.3 in der Personalabteilung Beschleunigte Oracle-ADF-Entwicklung von Rich Client-Anwendungen im Bankenwesen Risikominimierung bei der Migration von Datenbank und Application Server nach 10gR2 Best Practices: Entwicklung komplexer APEX-Applikationen Best Practices im Business-Reporting: So kombiniert man Hyperion Intelligence mit dem OWB Referent MT AG Lutz Bauer Hildgund von Alten- Krämer Lutz Bauer Niels de Bruijn, Detlef Müller/Oracle Volker Mach Tobias Otto Dr. Peter Alteheld Niels de Bruijn Anja Wiegele Jens Wiesner 20.11.2007 OWB Runtime Auditing Reporting 14
Vielen Dank für Ihre Aufmerksamkeit! Lutz Bauer Leiter Competence Center Data Integration MT AG Balcke-Dürr-Allee 9 40882 Ratingen Tel. 02102 309 61-0 Fax 02102 309 61-10 www.mt-ag.com Lutz.Bauer@mt-ag.com
Beispiel: Auswahl der Workflows zur Tagesverarbeitung (ab 22h) 20.11.2007 OWB Runtime Auditing Reporting 16
Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung 20.11.2007 OWB Runtime Auditing Reporting 17
Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung (Jahresübersicht) 20.11.2007 OWB Runtime Auditing Reporting 18
Zeitreihenauswertung: Laufzeiten der Tagesverarbeitung 20.11.2007 OWB Runtime Auditing Reporting 19
Drill-Down: Laufzeit der Tagesverarbeitung, aufgeteilt auf Ebene der Sub-Workflows 20.11.2007 OWB Runtime Auditing Reporting 20
Drill-Down: Laufzeit der Tagesverarbeitung, aufgeteilt auf Einzelschrittebene (Mappings) 20.11.2007 OWB Runtime Auditing Reporting 21
Auswertung des verarbeiteten Datenvolumens (# Rows Selected) 20.11.2007 OWB Runtime Auditing Reporting 22
Auswertung des Datendurchsatzes (# Rows Selected / Seconds Elapsed) 20.11.2007 OWB Runtime Auditing Reporting 23
Oracle Statspack Auswertung: Read/Write Performance auf Tablespace-Ebene 20.11.2007 OWB Runtime Auditing Reporting 24
20.11.2007 OWB Runtime Auditing Reporting 25