Advanced Monitoring von ETL-Prozessen. Sven Bosinger its-people

Transkript

1 Sven Bosinger its-people 1

2 Sven Bosinger Solution Architect BI u. Portfoliomanagement BI its-people Hochtaunus GmbH 2

3 Das Team Unternehmensphilosophie Gemeinschaft selbständiger IT- Experten Reale Community von Unternehmern Auftritt unter der gemeinsamen Marke als mitarbeitende Gesellschafter Firmenverbund Synergie der Individuen Unternehmensdaten Gründung: 2003 Anzahl der Mitglieder: 70 Leistungsangebot Oracle Technologie Plattform & Anwendungsentwicklung SAP Customizing, Integration, Migration Business Intelligence & DWH Architektur, Design & Implementierung BPM / SOA Prozessberatung, Architektur & Design, Implementierung IT Management Services Projekt-, Qualitäts-, Release-Mgmt Planung, Konzeption, Implementierung, Support Stärken Kompetenz, Exzellenz und Qualität aus praktischer Erfahrung Partnerschaft auf Gegenseitigkeit Kundenorientierung auf höchster Ebene Intern und extern gerichteter Wertekodex als Geschäftsgrundlage Nähe zum Kunden Dienstleistungen von Menschen für Menschen Fachlichkeit und Unternehmerschaft in Vertrieb und Leistungserbringung its-people Frankfurt GmbH Competence Center "Oracle-Technologie" Lyoner Straße 44-48, Frankfurt am Main Tel: frankfurt@its-people.de its-people Köln GmbH Competence-Center "SAP" Hohenzollernring 84, Köln Tel: koeln@its-people.de its-people Hochtaunus GmbH Competence-Center "Business Intelligence & DWH & BPM/SOA" Lyoner Straße 44-48, Frankfurt am Main Tel: hochtaunus@its-people.de Der its-people Verbund arbeitet in strategischer Partnerschaft eng mit der Unternehmensberatung bcs-people automotive GmbH zusammen its-people und bcs-people sind Dachmarken der enterpriser GmbH & Co. KG 2010 Nürnberg 3

4 Datenbewirtschaftung: Regelmäßige Versorgung mit neuen (Warehouse-) Daten ETL- und Administrationsprozesse Stage Core Mart Batch-Charakteristik Sammlung von Prozessen bestehend aus einzelnen Schritten Schritte laufen ergebnisgesteuert in einer Kette ab (parallel und seriell) Laufzeit und Ressourcen-Verbrauch variieren von Lauf zu Lauf in Abhängigkeit von: Anzahl der zu verarbeitenden Datensätze Aktuelle Systemlast Externe Ereignisse 4

5 Anforderungen durch Betriebsführung: Einbettung in den Regelbetrieb Möglichst wenig Administrations-Aufwand Umfangreiche Monitoring-Möglichkeiten Konfigurierbare Protokollierung bis hin zum Einzelstatement Definition von Benachrichtigungsregeln Automatische Benachrichtigungen bei Regelverletzungen Vorhalten von historisierten Laufzeitinformationen zum Vergleich (Zeitreihenauswertung) Einfach Schnell Automatisch Problemlos 5

6 Oracle-Scheduler: Oracle Basistechnologie seit 10gRel1 Bestandteil der Oracle-RDBMS In 11gRel2 stark geändert Starten von PL/SQL und Java-Programmen Starten von externen Jobs, die außerhalb der Datenbank liegen, z.b. Betriebssystem-Skripte Zusammenfassung von Programme zu ergebnisgesteuerten Verarbeitungsketten Parallele und serielle Verarbeitung Einmaliger Start oder regelmäßiger Schedule der Ketten Remote-Zugriff auf andere DB-Instanzen 6

7 Wichtigste Komponenten: PROGRAM: Source, die gestartet werden soll Schedule CHAIN-STEP: Einzelner Schritt einer CHAIN, startet in der Regel ein PROGRAM CHAIN: Zusammenfassung mehrer CHAIN-STEPs CHAIN-RULE: Regel nach der ein CHAIN-STEP gestartet wird JOB: Einmaliger start einer CHAIN SCHEDULE: Regelmäßiger Start eines JOBs nach einem definierten Plan Job Step Program Chain Rule 7

8 PROGRAM: Beschreibt, was durch den Oracle-Scheduler gestartet werden soll Besteht aus: Name der zu startenden Source Typ der Action, STORED_PROCEDURE, PLSQL_BLOCK oder EXECUTABLE Kann beliebig viele Parameter übergeben bekommen dbms_scheduler.create_program (program_name => 'my_program1',program_action => '/usr/local/bin/date',program_type => 'EXECUTABLE',comments => 'My comments here' ); 8

9 CHAIN: Kette von Verarbeitungsschritten CHAIN-STEP ist ein PROGRAM oder wieder eine CHAIN CHAIN-STEPs können parallel oder seriell ablaufen Abhängigkeiten zwischen den CHAIN-STEPs werden über CHAIN-RULEs beschrieben dbms_scheduler.define_chain_rule (chain_name => 'LOAD_DWH',condition => 'STEP4 SUCCEEDED AND STEP7 SUCCEEDED',action => 'START STEP6',rule_name => 'RULE_FOR_STEP6',comments => 'Start Step6, wenn Step4 und Step7 erfolgreich beendet' ); 9

10 JOB: Sammlung von Metadaten, die eine benutzerdefinierte Aufgabe beschreiben Unterschiedliche Arten: Database Job: Start einer PL/SQL-Source, vergleichbar mit PROGRAM External Job: Start eines Betriebssystem-Skripts Chain Job: Start einer CHAIN Kann synchron, d.h. in der startenden Session, oder asynchron, d.h. in einer eigenen Session laufen Asynchron ist vergleichbar mit einem Hintergrundprozess 10

11 SCHEDULE: Bestimmt wann und wie oft ein JOB gestartet werden soll Zwei Arten: Time Schedule: Start und Wiederholung zu definierten Zeiten Event Schedule: Start nach einem definierten Event Ein JOB kann mehreren SCHEDULEs zugeordnet werden 11

12 Eigenentwicklung: Von its-people in mehreren Projekten eingesetzt und weiterentwickelt Kontrollierter Start und Ablauf von Prozessen Reine PL/SQL-Entwicklung Eigene Metadaten-Verwaltung API für alle Funktionen Umfangreiche Protokollierungsmöglichkeiten Fakultative GUI Apex-Entwicklung kann in andere Oberflächen integriert werden 12

13 Objekte: Prozess: Kette von Prozessschritten, die parallel oder seriell ablaufen Prozessschritt: Konditionierter Start eines Programms mit Parametern Programm: PL/SQL-Source, BS-Skript oder OWB-Mapping Prozessschrittparameter: Parameter eines Programms Schedule: Regelmäßiger zeitgesteuerter Start eines Prozesses Schedule Job Prozess Schritt Programm 13

14 Prozess: Abfolge von Prozessschritten, die in festgelegter Reihenfolge gestartet werden Prozessschritt wird gestartet wenn alle vorherigen Schritte erfolgreich beendet wurden Möglichkeit Teilprozesse zu starten, Wiederaufsetzbarkeit Prozess korrespondiert mit einer CHAIN im Oracle-Scheduler 14

15 Prozessschritt: Jeder Prozessschritt bekommt eine Nummer, seine Reihenfolge Prozessschritte werden der Reihenfolge nach aufsteigend gestartet Prozessschritte mit derselben Reihenfolge werden parallel gestartet Eine neue Reihenfolge wird erst dann abgearbeitet, wenn alle Prozessschritte mit der vorherigen Reihenfolge erfolgreich beendet wurden Bricht ein Prozessschritt ab, so wird der gesamte Prozess abgebrochen Prozessschritt korrespondiert mit einem CHAIN-STEP im Oracle-Scheduler Abhängigkeiten werden über CHAIN-RULEs abgebildet 15

16 Programm: Mögliche Programme: PL/SQL-Source BS-Skript OWB-Mapping Kann beliebig viele Parameter besitzen Kann unter einem beliebigen Schema-Benutzer gestartet werden Korrespondiert mit einem PROGRAM im Oracle-Scheduler 16

17 Prozessschrittparameter: Jedes Programm kann Parameter übergeben bekommen Einschränkung auf Input Parameter Erlaubte Typen: NUMBER VARCHAR2 DATE Parameter werden in einer Metadaten-Tabelle gespeichert und beim Start ausgelesen Korrespondiert mit einem PROGRAM_ARGUMENT im Oracle-Scheduler 17

18 Schedule: Mehrfacher Start eines Prozesses Zeitgesteuert Angabe von: Erster Start Frequenz Anzahl der Wiederholungen Korrespondiert mit einem SCHEDULE im Oracle-Scheduler 18

19 Zuordnung: Oracle-Scheduler Job-Steuerung Job Job Schedule Chain Zuordnung Schedule Prozess Step Rule Schritt Program Programm 19

20 Funktionen: API Alle Funktionen werden über eine API in Repository PL/SQL zur Verfügung gestellt Der Zugriff auf das Metadaten-Repository Verwaltung ist über Views gekapselt Verwaltung der Objekte: Anlegen, Ändern, Löschen von Prozessen, Prozessschritten, Scheduling von Prozessen: Einmaliger oder mehrfacher Start von Prozessen und Teilprozessen Protokollierung: Protokollierung des Starts und Ablaufs von Prozessen und Prozessschritten Integration von Log-Meldungen aus den gestarteten Programmen SQL-Statements inkl. Laufzeitstatistiken und Ausführungspläne Scheduling Protokollierung 20

21 Eigenentwicklung: Zusatzmodul zur its-people Job-Steuerung Reine PL/SQL-Entwicklung Erfasst Laufzeitstatistiken zu SQL-Statements und Ausführungspläne Bildung von Profilen auf Basis der Statistiken Erzeugung von Alerts, bei signifikanter Abweichung der aktuellen Statistiken zu den Profilen 21

22 Statistiken: Pro Schritt werden alle SQL-Statements protokolliert SQL-Text, Elapsed Time, Buffer Gets, Quelle ist der Library-Cache (V$SQL) Zuordnung zu einem Prozessschritt Beliebige Aufbewahrungszeit Profile: Durchschnittswert und erlaubte Abweichung der SQL-Statistikwerte über ein definiertes Intervall Funktion für Durchschnittswert anpassbar Erlaubte Abweichung wird ebenfalls über eine Funktion berechnet Alerting: Vergleich der aktuellen Werte gegen die Profile (pro SQL-Statement) Benachrichtigung bei unerlaubter Abweichung Statistiken Profile Alert 22

23 Show-Case: 23

24 24