we make the difference www.its-people.de Divide et impera Session-Management im ETL 17. November 2015 Sven Bosinger Portfoliomanager BI Themenverantwortlicher DWH der DOAG BI Community
IT Management Services Projekt-, Qualitäts-, Test-Mgmt its-people auf einen Blick Unternehmensphilosophie Zusammenschluss selbständiger IT-Experten unter einer gemeinsamen Marke Bündelung von umfassendem IT-Wissen Partnerschaft auf Augenhöhe Gemeinsam stark! Unternehmensdaten Gründung: 2003 Anzahl der Experten: 70 Leistungsangebot DatenbankTechnologie Plattform & Anwendungsentwicklung Business Intelligence & DWH Architektur, Design & Implementierung Customer Data Integration Beratung, Konzepte & Projekte Best Practice ERP Mediation, Integration, Migration Beratung, Planung, Konzeption, Implementierung, Support, Krisenbewältigung Stärken Kompetenz, Exzellenz und Qualität aus praktischer Erfahrung Partnerschaft auf Gegenseitigkeit Kundenorientierung auf höchster Ebene Wertekodex als Geschäftsgrundlage Teams für komplexe Projektaufgaben Nähe zum Kunden Dienstleistungen von Menschen für Menschen its-people Ihr Partner für Projekte im Umfeld Datenbanken, Data Warehouse, Business Intelligence, Customer Data Integration und ERP its-people Frankfurt Lyoner Str. 44-48, 60528 Frankfurt Tel.: +49 (69) 2475 210-0 E-Mail: frankfurt@its-people.de its-people ERP Beratungsgesellschaft mbh Lyoner Str. 44-48, 60528 Frankfurt Tel.: +49 (69) 2475 19-80 E-Mail: erp@its-people.de its-people Köln Hohenzollernring 57, 50672 Köln Tel.: +49 (221) 1602 5204 E-Mail: koeln@its-people.de its-people München Lichtenbergstr. 8, 85748 Garching Tel.: +49 (89) 5484 2401 E-Mail: muenchen@its-people.de its-people Hamburg Am Strohhause 31, 20097 Hamburg Tel.: +49 (40) 2360 8808 E-Mail: hamburg@its-people.de 17. November 2015 Sven Bosinger its-people 2
Unsere Vorträge auf der DOAG 2015 Dienstag Virtual Reality Analytics 12:00-12:45 Uhr Raum Oslo, Ebene 2 Jörg Osarek SQL Developer Lassen Sie sich anstecken! 12:00-12:45 Uhr Raum Sydney, Ebene 1 Sabine Heimsath Kommandozeile 2.0 SQLcl Ein Erfahrungsbericht 15.00 15.45 Uhr Raum Sydney, Ebene 1 Jens Behring Divide et impera Session-Management im ETL 16.00 16.45 Uhr Raum Oslo, Ebene 2 Sven Bosinger Mittwoch Mind the Gap: Lücken und Muster erkennen mit Match-Recognize 12:00-12:45 Uhr Raum Helsinki, Ebene 2 Robert Marz Donnerstag Nächster Halt 12c: Migration bei der DB Netz 12:00-12:45 Uhr Raum Seoul, Ebene 3 Robert Marz These: Werkverträge in der IT sind anachronistisch! 12:00-12:45 Uhr Raum Oslo, Ebene 2 Thomas Algermissen Customer Analytics Erkenntnisse einer 20-jährigen Reise! 14.00-14.45 Uhr Raum Oslo, Ebene 2 Frank Sommerer
Agenda 17. November 2015 Sven Bosinger its-people 4
Aufgabenstellung / Herausforderung 17. November 2015 Sven Bosinger its-people 5
1. Beispiel: Geometrie-Index Geo- DWH Oracle Spatial Spatial Indexes ETL MBR Fläche Fläche MBR Minimum Bounding Rectangle USER_SDO_GEOM_METADATA Inserts Änderung des MBR Update USER_SDO_GEOM_METADATA erweitertes MBR Erweiterung ETL ETL-USER <> Table-Owner Benutzer-Wechsel Neue Session aus Package Fläche 17. November 2015 Sven Bosinger its-people 6
2. Beispiel: Dynamische Segmentierung Streckenlinie Segmente Streckenlinien Linear Referencing System (LRS) Alle Straßen Deutschlands Liste Tempo 80 Abschnitte (von- bis- KM) mit Tempo 80 Mehrere Tausend Geometrien durch dynamische Segmentierung Problem Sehr PGA inensiv Freigabe erst nach Abbau der Session Aufteilen auf mehrere Pakete Massensegmentierung 17. November 2015 Sven Bosinger its-people 7
3. Beispiel: Parallelisierung mehrerer Sessions Aufruf externer Programme zur Geodaten-Umrechnung Aufruf über Betriebsystem-Call Filebasiert, jedes File eine Geometrie Sehr viele Geometrien > 100.000 zu laden Programm parallelisiert nicht Parallelisierung durch mehrfachen parallelen Aufruf n.file 2.File n.file 2.File n.file 2.File 1.File 1.File 1.File 17. November 2015 Sven Bosinger its-people 8
Der Oracle Werkzeugkasten Start von PL/SQL und Java seit 10gRel1 Oracle Scheduler Externe Jobs Parallele und Serielle Ergebnisgesteuerte Verarbeitun gsketten 17. November 2015 Sven Bosinger its-people 9
Der Oracle Werkzeugkasten 17. November 2015 Sven Bosinger its-people 10
Der Oracle Werkzeugkasten DBMS_ALERT Sync paralleler Sessions Handshaking Transaktionsgesichert 17. November 2015 Sven Bosinger its-people 11
Der Oracle Werkzeugkasten Master Session Start init new Session dbms_alert. waiton go on Slave-Session Work dbms_alert. signal 17. November 2015 Sven Bosinger its-people 12
1. Anwendungsfall: Geometrie-Index ETL-USER ETL füllen Geo-Tabelle start Job: create_index dbms_alert. waiton ETL GEO-USER anlegen Index dbms_alert. signal 17. November 2015 Sven Bosinger its-people 13
2. Anwendungsfall: Dynamische Segmentierung Master-Session ja Chunks ermitteln start Job und warten Chunk übrig? nein Chunks ermitteln Slave-Session Segmentierung 17. November 2015 Sven Bosinger its-people 14
3. Anwendungsfall: Parallelisierung mehrerer Sessions nein Master-Session Datei vorh. ja freier worker nein warten Ende ja fertig Slave-Session Slave-Session 1 Slave-Session 1 Start: Geo2Spatial.jar 17. November 2015 Sven Bosinger its-people 15
Zusammenfassung 17. November 2015 Sven Bosinger its-people 16
we make the difference www.its-people.de Herzlichen Dank für Ihre Aufmerksamkeit! Ihre Fragen? its-people GmbH Frankfurt Tel. 069 2475 2100 Hamburg Tel. 040 2360 8808 Köln Tel. 0221 1602 5204 München Tel. 089 5484 2401 its-people ERP Beratungsgesellschaft mbh Frankfurt Tel. 069 2475 1980 www.its-people.de info@its-people.de