Oracle Scheduler Know it or leave it DOAG Konferenz 2013

Transkript

1 Integration Consulting Software Oracle Scheduler Know it or leave it DOAG Konferenz 2013

2 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates 8. Kleines Fazit //// Seite 2

3 Das Unternehmen auf einen Blick Gründung: Hauptsitz: Standorte: Rechtsform: Aktionäre: Mitarbeiter: Umsatz 2011: Rendite: Finanzierung: 2002 Bad Nauheim 10 x in Deutschland, 1 x in Frankreich (Lyon) Aktiengesellschaft je 50 % Management und Cora GmbH, Hamburg ,9 Mio. 13 % Vollständig eigenkapitalfinanziert (Eigenkapitalquote > 65 %) Kernbranchen: Handel, Konsumgüterindustrie, Chemie, Pharma, Automotive, Food, Logistikdienstleister, produzierende Industrie Kunden: Über 300 Installationen bei mehr als 200 Kunden in 20 Ländern auf allen 5 Kontinenten //// Seite 3

4 Leistungsangebot im Überblick inconso Logistics Suite SAP Lösungen Dispositive Ebene SCM / SCE Supply Chain Execution mit inconsosce Logistikleitstand und Controlling, SC-Visibility, Event Management SAP ERP und SAP SCM SAP BUSINESS ALL-IN-ONE für LDL Integration mit SAP NetWeaver Operative Ebene Warehouse Management mit inconsowms Product Suite Transport Management mit inconsotms Warehouse Management mit SAP SAP EWM + MFS, SAP LES + TRM Transport Management mit SAP SAP TM IT + Systemtechnik Technik + Services Mobile + Embedded Solutions Full Managed Application Services Technische Ebene LAN, WLAN, Mobiler Datenfunk, RFiD, Pick-by-Voice Hochverfügbarkeits-Cluster (Cluster Ware, Oracle RAC, VMWare) Oracle Datenbanken Administration Mobile Applications Embedded Software Fernüberwachung + Steuerung via Internet Hotline + Support 24/7 Test und Inbetriebnahme Endgeräte Support Rechenzentrumsbetrieb Komplette Betriebsführung der Systeme //// Seite 4

5 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates //// Seite 5

6 Oracle Scheduler im Überblick n n n Löst seit Oracle RDBMS 10gR1 DBMS_JOBS ab Dient der zeit- oder event-gesteuerten Ausführung von Datenbankprogrammen Das Package dbms_scheduler stellt den Großteil der API zur Verfügung //// Seite 6

7 Oracle Scheduler im Überblick n Alle Scheduler Objekte (Jobs, Programs, Schedules, Chains, etc.) sind Datenbank-Objekte und sind auch deren Regeln und Konventionen unterworfen. n Sie besitzen einen Eigentümer (Owner) n Es darf kein anderes Objekt (z.b. eine Tabelle) mit dem gleichen Namen existieren n Empfehlung: Bei größeren Batch-Systemen den Zugriff auf das dbms_scheduler Package durch ein eigenes Interface kapseln //// Seite 7

8 Oracle Scheduler im Überblick Scheduler Jobs sind im wesentlichen definiert durch n n n Unterschiedliche Job-Typen n PLSQL_BLOCK n STORED_PROCEDURE n EXECUTABLE (Ausführung externer Programme außerhalb der DB) n CHAIN Einer entsprechenden Aktion und Parameterdefinition Einem Ausführungszeitplan (Startzeit und Intervall) oder einem Event //// Seite 8

9 Oracle Scheduler im Überblick n n Job-Typ, Aktion und Parameter können auch als wiederverwendbares Programm vordefiniert werden Der Ausführungszeitplan kann ebenfalls in ein Schedule-Objekt ausgelagert werden Achtung: Es wird zwischen Job-Creator und Job-Owner unterschieden! //// Seite 9

10 Oracle Scheduler im Überblick Schedules Sind definiert durch Eine Startzeit (optional!) Einem REPEAT_INTERVAL Ermöglicht eine komplexe Definition von Wiederholungszeitpunkten Einfaches Bsp.: FREQ=DAILY; BYHOUR=17; BYMINUTE=45 Der REPEAT_INTERVAL (Schedules sind schachtelbar) Eine Endzeit, die optional das Ende der Gültigkeit des Schedules angibt //// Seite 10

11 Oracle Scheduler im Überblick Achtung Bei Definition einer Startzeit, gilt diese als Referenz für die Berechnung der wiederholenden Startzeiten der Jobs, sonst ist die Startzeit des Jobs die Referenz für diese Berechnung Abhängig vom Intervall wird ein zum berechneten Startzeitpunkt auf disabled stehender Job ggf. nicht sofort gestartet, sobald er enabled wird! //// Seite 11

12 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates //// Seite 12

13 Oracle Scheduler Views Die Scheduler-Views liefern dem Operator Informationen über den Zustand aller definierten und laufenden Jobs. ALL_SCHEDULER_JOBS Basis-View mit allen Definitions- und Statusdaten der Jobs ALL_SCHEDULER_RUNNING_JOBS Enthält erweiterte Laufzeit-Informationen, wie z.b. Session-ID, CPU-Nutzung, Instance, etc. Enthält ausschließlich zur Laufzeit des Jobs Einträge //// Seite 13

14 Oracle Scheduler Views ALL_SCHEDULER_RUN_DETAILS Wird In der Regel erst nach Beendigung eines Jobs befüllt (Ausnahme bei den Job-Chains) Enthält die Laufzeitdaten aus der RUNNING_JOBS-View und zusätzliche statistische Daten sowie nochmals Statusinformationen Enthält für jeden Lauf einen Eintrag, somit ist der Jobname hier nicht mehr eindeutig Weitere aber nicht so zentrale Views auf die Definitionsdaten der Scheduler-Objekte: ALL_SCHEDULER_PROGRAMS, ALL_SCHEDULER_SCHEDULES, etc. Damit der Operator einen kompletten Überblick für eine ausreichende Entscheidungsgrundlage besitzt, müssen die oben benannten Hauptviews gejoint werden (per Outer-Join und Decode) //// Seite 14

15 Oracle Scheduler Views Performance der Views Kritisch bei > Jobs Case und Decodes Union mit Lightwaight-Jobs Join der Views häufig erforderlich Cost-Base-Optimizer ist schnell überfordert Führung eigener Metadaten- Tabellen zur Steigerung der Performance Aktualisierung über Callbacks //// Seite 15

16 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates //// Seite 16

17 Event-Jobs, File-Events und Callbacks Scheduler-Jobs können Beim Ändern des Job-Status Events auslösen und darüber Callbacks in der Form von PL/SQL-Prozeduren starten -Notifikationen auslösen (11gR2) Von anderen Events ausgelöst werden Über Event-Messages aus beliebigen Advanced Queuing (AQ)-Tables Über File-Events (11gR2) Das gesamte Event-Handling des Schedulers erfolgt über Oracle Advance Queuing (AQ) //// Seite 17

18 Event-Jobs, File-Events und Callbacks Event-Jobs besaßen bis Oracle 10g eine schwerwiegende Einschränkung Ein laufender Event-Job konsumiert alle bestehenden und während seines Laufes eintreffende Event-Messages. Mehrfach ausgelöste Events führen nur zu einem Job-Durchlauf. Das ist aber nicht immer/selten gewünscht. Oracle 11gR1 führt die Lightweight-Jobs ein und die Möglichkeit darüber parallele Job-Instanzen zur Ausführung von Event-Jobs aufzubauen, wodurch jedes Event durch einen separaten parallelen Job verarbeitet wird Achtung: Das ist auch unter 11gR2 noch nicht der Default! //// Seite 18

19 Event-Jobs, File-Events und Callbacks File-Events Seit Oracle 11gR2 Bestandteil des Oracle Scheduler (File Watcher) Zuvor als inoffizielles FileArrival-Package auf OTN verfügbar (mit dem es jetzt starke Ähnlichkeiten hat) //// Seite 19

20 Event-Jobs, File-Events und Callbacks File Events Eine File Watcher Definition umfasst Pfad und Dateinamen (mit Wildcards) der zu überwachenden Datei(en) OS-Credentials für die Zugriffsberechtigung auf die Dateien Parameter zur Feinjustierung der Vollständigkeitsprüfung min_file_size minimale Dateigröße einer vollständigen Datei steady_state_duration Zeitraum ab der eine sich in der Größe nicht mehr verändernde Date als vollständig gilt //// Seite 20

21 Event-Jobs, File-Events und Callbacks File-Events Die Vollständigkeitsprüfung des File Watchers deckt die meisten Praxis-Fälle korrekt ab Der Erkennung neuer Dateien, die unter gleichen Namen wiederholt eingestellt werden, kann aber zu Problemen führen Je nach OS und oder File-Transfertool kann es bei Dateien mit gleicher Größe dazu führen, dass kein Event ausgelöst wird! Unter Linux z.b. Dateien, die per mv (move)-befehl erneut eingestellt werden Der cp (Copy)- Befehl funktioniert, da sich damit das Erstellungsdatum ändert Insbesondere beim File Watcher muss der parallel_instances Parameter gesetzt werden, sonst kann er Dateien verschlucken! //// Seite 21

22 Event-Jobs, File-Events und Callbacks Callbacks Für jeden Scheduler-Job kann definiert werden, ob und bei welchen Statusänderungen dieser ein Event auslösen soll Events werden in eine vordefinierte AQ-Event-Queue des Schedulers geschrieben (SYS.SCHEDULER$_EVENT_QUEUE) Da es sich hierbei um eine normale AQ-Event-Queue handelt, erfolgt die Subscription entsprechend der gängigen AQ-Praxis Ein spezieller DBMS_SCHEDULER.ADD_EVENT _QUEUE_SUBSCRIBER fast die notwendigen Schritte für die Subscription zusammen, filtert aber auch automatisch auf Events, die durch Jobs des Benutzers ausgelöst wurden. Über die AQ-Mechanismen lassen sich auch PL/SQL-Stored-Procedures an die Event-Queue registrieren, die dann als Callback-Methoden fungieren //// Seite 22

23 Event-Jobs, File-Events und Callbacks Hinweise zur Verwendung von Callback-Methoden Callback-Methoden können zur Aktualisierung eigener Meta-Daten-Tabellen verwendet werden Die Methoden sollten unbedingt performant sein und möglichst alle Exceptions abfangen AQ-Callback-Methoden werden wiederum von internen Scheduler-Jobs ausgeführt Seit Oracle 11gR1 wird nicht mehr jedes Callback mit einem eigenen Job abgearbeitet Der QMON-Prozess verwaltet die Callback-Jobs und die Verteilung der Events auf diese Auf einem RAC ließen sich Mehrfach-Zuweisungen des gleichen Events beobachten, deshalb unbedingt innerhalb der Callback-Prozeduren mit einem Timeout auf das Event zugreifen Der QMON-Prozess läuft in einer RAC-Umgebung unter Clusterkontrolle! //// Seite 23

24 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates 8. Kleines Fazit //// Seite 24

25 Job-Chains Chains verketten mehrere Jobs (Steps) zu einem Workflow Die Chain läuft unter einem Mainjob Die Steps laufen als Subjobs Hinter einem Step kann selber wieder eine Chain stehen (Bildung von Hierarchien und Wiederverwendung) Die Verbindung der Steps erfolgt über Rules Die Definition der Chains erfolgt über keine Meta-Sprache Sondern durch PL/SQL-Prozeduraufrufe //// Seite 25

26 Job-Chains Die Steps einer Chain können über Prozeduren Übersprungen werden Pausiert werden (Achtung die Pause erfolgt erst nach dem Step) Und zur Laufzeit zusätzlich Gestoppt werden Als noch nicht gestartet deklariert werden Programmatisch werden Steps über Den (Sub)Job- und Step-Namen angesprochen Bei verschachtelten Chains auch über Punkt-Notation (CHAIN_A_STEP1.CHAIN_B_STEP1) //// Seite 26

27 Job-Chains Der Oracle SQLDeveloper bietet eine Tool-Unterstützung zur Definition von Chains Frage: Ist ein Operator wirklich dazu in der Lage? Ein Operator braucht auch eine Oberfläche zur Administration laufender Jobs! Eine hierarchische Verkettung ist auch programmatisch ohne Chains möglich! Beides hat Vor- und Nachteile und sollte zuvor abgewogen werden //// Seite 27

28 Job-Chains: Vor- und Nachteile Vorteile Einfaches Absetzen synchroner Jobs Einfache Parallelisierung Einfaches Einfangen von parallel laufenden Jobs Trennung der Ablaufsteuerung vom Programmcode Workflow ist einsehbar und editierbar Nachteile Notwendige Tool-Oberflächen für den Operator sind meist nur aufwendig zu realisieren Teils sehr komplexe Handhabung (kleine Änderung große Wirkung) Kontrollstrukturen (insbesondere Schleifen) schwierig bis kaum umsetzbar Starke Einschränkungen bei der Parametrisierung von Steps Teilweise Zerlegung eines fachlichen Steps in technische Teil-Steps notwendig //// Seite 28

29 Job-Chains: Vor- und Nachteile programmatischer hierarchischer Jobs Vorteile Nachteile Oberfläche für das Operating relativ einfach umsetzbar Beliebig komplexe Rules möglich Keine unnötige Zerlegung in Teil-Steps notwendig Beliebige dynamische Kontrollstrukturen definierbar Parametrisierung wie bei normalen Prozeduren möglich Absetzen synchroner Jobs Nur einfach wenn dieser auch in der gleichen Session und Transaktion laufen darf Einfangen paralleler Jobs nur kompliziert, ggf. über eigene AQ- Mechanismen, möglich Workflows sind nicht editierbar, bzw. zukünftige Steps manipulierbar Mindestens für die Hierarchienbildung ist eine eigene Metadaten-Pflege notwendig //// Seite 29

30 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates //// Seite 30

31 Remote-Job-Execution via Oracle Scheduler Agent Mit Oracle 11gR1 wurde der Oracle Scheduler Agent eingeführt Erlaubt die Ausführung von Executables auf Remote-Systemen durch den Oracle Scheduler Die Installation erfolgt aus den Installationsquellen des Datenbank-Clients Muss als eigenständige Installation in einem separaten ORACLE_HOME auf dem Remote- System erfolgen und kann nicht in einem bestehenden Client-Home nachinstalliert werden //// Seite 31

32 Remote-Job-Execution via Oracle Scheduler Agent Ab 11gR2 wurde das Konzept auch auf Remote-Database-Jobs ausgeweitet Auf der Remote-Datenbank muss zusätzlich der Scheduler Agent installiert werden Die Ausführung erfolgt nicht über einen Database-Link Der Scheduler Agent meldet sich, wie bei einer normalen SQL- Connection an der Datenbank an und führt die übergebene PL/ SQL-Stored-Procedure aus Standard-Out und Standard-Error der Executables werden für jeden Job in ein Log-Verzeichnis des Scheduler-Agents geschrieben. Über dbms_scheduler.get_file kann der Inhalt von der Datenbank aus gelesen werden //// Seite 32

33 Remote-Job-Execution via Oracle Scheduler Agent Bei der Definition eines File Watcher-Objektes kann als Destination ebenfalls ein registrierter Scheduler Agent angegeben werden Dieses ermöglicht auch die Überwachung von Remote-Verzeichnissen Auch in diesem Fall gilt, das ausgelöste Event enthält nur den Pfad und den Dateinamen! Den Inhalt der Datei kann man ebenfalls mit der dbms_scheduler.get_file vom Remote- System zur Datenbank übertragen und steht dann direkt als LOB-Objekt zur Verfügung Prinzipiell böten die dbms_scheduler.get_file und das Pendant dbms_scheduler.put_file eine hervorragende Möglichkeit eines allgemeinen Filetransfers zwischen einer Datenbank und einem Remotesystem Problem: Die Methoden liefern bei Verwendung gegen ein Remote-System bei einen Dateioperationsfehler keine Fehlermeldung. Antwort vom Oracle-Support: It s a feature, not a bug! Die gleichen Methoden gegen den lokalen DB-Host liefern sehr wohl einen Fehler. Achtung: In der DB kann unter bestimmten Umständen ein falscher Job-Status stehen! Prozesse, deren Jobs in der DB auf Stopped oder Failed stehen, können auf dem Remote-System noch laufen Ein Neustart des Scheduler Agent -Dienstes kann z.b. dazu führen //// Seite 33

34 Agenda 1. Vorstellung 2. Der Oracle Scheduler im Überblick 3. Die Oracle Scheduler Views 4. Event-Jobs, File-Events und Callback-Routinen 5. Job-Chains 6. Remote-Job-Execution via Oracle Scheduler Agent 7. Datenbank-Migration und Updates //// Seite 34

35 Datenbank Migration und Updates Besonderheiten bei Datenbank-Migrationen per Import und Export-Tools Zum Beispiel beim Downgrade (Enterprise => Standard) Im Besonderen bei Exports ohne Daten Viele Scheduler-Objekte liegen als Daten in Tabellen vor Oracle exportiert diverse Objekte nicht als Create-Anweisungen Diverse Objekte werden über temporäre Tabellen exportiert, die bei beim Export ohne Daten nicht exportiert werden! Tipp: Möglichst die Scheduler-Objekte und Jobs nicht in dem gleichen Schemata anlegen/laufen lassen, in denen große Datenmengen liegen Besonderheit beim Datenbank- /Patchset-Upgrade Niemals Samstags upgraden? Tage an denen Jobs definiert sind die in einem Scheduler-Window laufen scheinen problematisch zu sein Das gilt zum Beispiel für die Oracle Standard-Maintenance-Jobs! Nach dem Upgrade könnte das aktive Window als Global-Scheduler-Attribute übernommen worden sein. Sobald dieses schließt läuft kein Job mehr! Siehe MY ORACLE SUPPORT NOTE Doc ID //// Seite 35

36 MY ORACLE SUPPORT Doc ID //// Seite 36

37 Ansprechpartner Vielen Dank für Ihre Aufmerksamkeit. Für weitere Informationen stehe ich Ihnen gern zur Verfügung. Torsten von Osten Seniorberater inconso AG Dieselstraße Bad Nauheim TEL: FAX: //// Seite 37