Divide et impera Session-Management im ETL

Transkript

1 we make the difference Divide et impera Session-Management im ETL 17. November 2015 Sven Bosinger Portfoliomanager BI Themenverantwortlicher DWH der DOAG BI Community

2 IT Management Services Projekt-, Qualitäts-, Test-Mgmt its-people auf einen Blick Unternehmensphilosophie Zusammenschluss selbständiger IT-Experten unter einer gemeinsamen Marke Bündelung von umfassendem IT-Wissen Partnerschaft auf Augenhöhe Gemeinsam stark! Unternehmensdaten Gründung: 2003 Anzahl der Experten: 70 Leistungsangebot DatenbankTechnologie Plattform & Anwendungsentwicklung Business Intelligence & DWH Architektur, Design & Implementierung Customer Data Integration Beratung, Konzepte & Projekte Best Practice ERP Mediation, Integration, Migration Beratung, Planung, Konzeption, Implementierung, Support, Krisenbewältigung Stärken Kompetenz, Exzellenz und Qualität aus praktischer Erfahrung Partnerschaft auf Gegenseitigkeit Kundenorientierung auf höchster Ebene Wertekodex als Geschäftsgrundlage Teams für komplexe Projektaufgaben Nähe zum Kunden Dienstleistungen von Menschen für Menschen its-people Ihr Partner für Projekte im Umfeld Datenbanken, Data Warehouse, Business Intelligence, Customer Data Integration und ERP its-people Frankfurt Lyoner Str , Frankfurt Tel.: +49 (69) its-people ERP Beratungsgesellschaft mbh Lyoner Str , Frankfurt Tel.: +49 (69) its-people Köln Hohenzollernring 57, Köln Tel.: +49 (221) its-people München Lichtenbergstr. 8, Garching Tel.: +49 (89) its-people Hamburg Am Strohhause 31, Hamburg Tel.: +49 (40) November 2015 Sven Bosinger its-people 2

3 Unsere Vorträge auf der DOAG 2015 Dienstag Virtual Reality Analytics 12:00-12:45 Uhr Raum Oslo, Ebene 2 Jörg Osarek SQL Developer Lassen Sie sich anstecken! 12:00-12:45 Uhr Raum Sydney, Ebene 1 Sabine Heimsath Kommandozeile 2.0 SQLcl Ein Erfahrungsbericht Uhr Raum Sydney, Ebene 1 Jens Behring Divide et impera Session-Management im ETL Uhr Raum Oslo, Ebene 2 Sven Bosinger Mittwoch Mind the Gap: Lücken und Muster erkennen mit Match-Recognize 12:00-12:45 Uhr Raum Helsinki, Ebene 2 Robert Marz Donnerstag Nächster Halt 12c: Migration bei der DB Netz 12:00-12:45 Uhr Raum Seoul, Ebene 3 Robert Marz These: Werkverträge in der IT sind anachronistisch! 12:00-12:45 Uhr Raum Oslo, Ebene 2 Thomas Algermissen Customer Analytics Erkenntnisse einer 20-jährigen Reise! Uhr Raum Oslo, Ebene 2 Frank Sommerer

4 Agenda 17. November 2015 Sven Bosinger its-people 4

5 Aufgabenstellung / Herausforderung 17. November 2015 Sven Bosinger its-people 5

6 1. Beispiel: Geometrie-Index Geo- DWH Oracle Spatial Spatial Indexes ETL MBR Fläche Fläche MBR Minimum Bounding Rectangle USER_SDO_GEOM_METADATA Inserts Änderung des MBR Update USER_SDO_GEOM_METADATA erweitertes MBR Erweiterung ETL ETL-USER <> Table-Owner Benutzer-Wechsel Neue Session aus Package Fläche 17. November 2015 Sven Bosinger its-people 6

7 2. Beispiel: Dynamische Segmentierung Streckenlinie Segmente Streckenlinien Linear Referencing System (LRS) Alle Straßen Deutschlands Liste Tempo 80 Abschnitte (von- bis- KM) mit Tempo 80 Mehrere Tausend Geometrien durch dynamische Segmentierung Problem Sehr PGA inensiv Freigabe erst nach Abbau der Session Aufteilen auf mehrere Pakete Massensegmentierung 17. November 2015 Sven Bosinger its-people 7

8 3. Beispiel: Parallelisierung mehrerer Sessions Aufruf externer Programme zur Geodaten-Umrechnung Aufruf über Betriebsystem-Call Filebasiert, jedes File eine Geometrie Sehr viele Geometrien > zu laden Programm parallelisiert nicht Parallelisierung durch mehrfachen parallelen Aufruf n.file 2.File n.file 2.File n.file 2.File 1.File 1.File 1.File 17. November 2015 Sven Bosinger its-people 8

9 Der Oracle Werkzeugkasten Start von PL/SQL und Java seit 10gRel1 Oracle Scheduler Externe Jobs Parallele und Serielle Ergebnisgesteuerte Verarbeitun gsketten 17. November 2015 Sven Bosinger its-people 9

10 Der Oracle Werkzeugkasten 17. November 2015 Sven Bosinger its-people 10

11 Der Oracle Werkzeugkasten DBMS_ALERT Sync paralleler Sessions Handshaking Transaktionsgesichert 17. November 2015 Sven Bosinger its-people 11

12 Der Oracle Werkzeugkasten Master Session Start init new Session dbms_alert. waiton go on Slave-Session Work dbms_alert. signal 17. November 2015 Sven Bosinger its-people 12

13 1. Anwendungsfall: Geometrie-Index ETL-USER ETL füllen Geo-Tabelle start Job: create_index dbms_alert. waiton ETL GEO-USER anlegen Index dbms_alert. signal 17. November 2015 Sven Bosinger its-people 13

14 2. Anwendungsfall: Dynamische Segmentierung Master-Session ja Chunks ermitteln start Job und warten Chunk übrig? nein Chunks ermitteln Slave-Session Segmentierung 17. November 2015 Sven Bosinger its-people 14

15 3. Anwendungsfall: Parallelisierung mehrerer Sessions nein Master-Session Datei vorh. ja freier worker nein warten Ende ja fertig Slave-Session Slave-Session 1 Slave-Session 1 Start: Geo2Spatial.jar 17. November 2015 Sven Bosinger its-people 15

16 Zusammenfassung 17. November 2015 Sven Bosinger its-people 16

17 we make the difference Herzlichen Dank für Ihre Aufmerksamkeit! Ihre Fragen? its-people GmbH Frankfurt Tel Hamburg Tel Köln Tel München Tel its-people ERP Beratungsgesellschaft mbh Frankfurt Tel