Gut versorgt von der AOK dank...integrierter Datenhaltung in PureData System for Analytics. Sascha Bäcker Managing Consultant, FRITZ & MACZIOL GmbH

Transkript

1 Gut versorgt von der AOK dank......integrierter Datenhaltung in PureData System for Analytics Sascha Bäcker Managing Consultant, FRITZ & MACZIOL GmbH

2 Go live-architektur (2011) 2013 International Business Machines Corporation 2

3 Situationsanalyse Q Ausgangssituation DWH auf Basis Oracle Einsatz von PowerCubes zur Analyse User erzeugen Reports mit Laufzeiten von mehr als 24h Entwickler verbringen ca. 30% der Zeit mit Performanceoptimierung Einige ETLs laufen über 80h Zunehmende Probleme, alle geforderten Aktualisierungen in einem Monat durchzuführen Unzufriedenheit der Business-User wächst 2013 International Business Machines Corporation 3

4 Analyse Infrastruktur bisher Einsatz klassischer RDBMS erhöhen aufgrund der Architektur Entwicklungszeit Indexierung (Entwickler müssen User-Verhalten vorhersehen (Bsp. Bitmap-Join-Indizies (Oracle)) Partitionierung Komprimierung Bisher gewählte Lösungen bei Performanceproblemen (meistens I/O) schaffen weitere Komplexität und verursachen Kosten Aufbau von Aggregationstabellen Einsatz weiterer Tools Statistische Werkzeuge (Panoratio, SPSS) mit eigenen Metadaten- Modellen Tools zur Analyse (PowerCubes, TM1 etc.) Benutzer passen sich mangelhafter Performance an Mögliche Auswertungen werden nicht gemacht, da Laufzeiten utopisch Angepasste Arbeitsweise führt zu Inneffizienz 2013 International Business Machines Corporation 4

5 POC Appliance PureData / Competitor Technischer Fokus Performance Auswahl von Beispiel-SQLs für Benchmark Durchführung eines User-Lasttests Administrations-/Entwicklungsaufwand Administration soll durch das BI-Team gewährleistet werden Entwicklungsaufwand soll sich deutlich reduzieren 2013 International Business Machines Corporation 5

6 PureData Fakten Storage Systemen Optimierte Hardware + Software Zweckbestimmt für sehr leistungsfähige Analysen. Kein Tuning notwendig Verteilte Datenhaltung auf redundant ausgelegten Systemen SMP Hosts SQL Datenbank Server SQL Kompilierung Query Plan Optimierung Administration Ergebnisausgabe Snippet Blades (S-Blades ) Hardware basierende Abfragebeschleunigung Massiv Paralleles Processing Für maximale Geschwindigkeit für z.b. Joins, Aggregationen, Sortierungen 2013 International Business Machines Corporation 6

7 PureData AMPP (Asymmetric Massively Parallel Processing) FPGA Memory CPU Advanced Analytics FPGA Memory CPU Host Hosts ETL BI FPGA Memory CPU Loader Disk Enclosures S-Blades Network Fabric Anwendungen 2013 International Business Machines Corporation 7

8 S-Blade Komponenten SAS Expander Module DRAM SAS Expander Module Dual-Core FPGA Intel Quad-Core IBM BladeCenter Server PureData DB Accelerator 2013 International Business Machines Corporation 8

9 Das Erfolgsgeheimnis: S-Blades Zone Map Accelaration Field Programmable Gate Array (FPGA) SQL Operationen und Analytische Verarbeitung "On Stream" 2013 International Business Machines Corporation 9

10 Zone Maps oder automatische Partitionierung / Indexierung Nutzen den Vorteil von dateninhärenter Sortierung Beispielsweise die Sortierung nach Datum Für jede Spalte (Integers, timestamps, dates) in einer Tabelle Min und Max Werte werden pro Block (3MB) gesammelt Ergebnisse werden in die Zone Map der Tabelle eingefügt. Wenn eine Abfrage startet, werden automatisch die Bereiche/Blöcke eliminiert (dies bedeutet nicht gelesen), die aufgrund der Zone Map nicht analysiert werden müssen Dies führt zu einer drastischen Reduktion des I/Os Automatische Erstellung und Konfiguration der Zone Maps Beim Erstellen der Statistik Beim Laden, Einfügen, Aktualisieren und Reorganisieren Dank den ZoneMaps weiß PureData, wo die Daten nicht stehen können! 2013 International Business Machines Corporation 10

11 Parallel Loading and Data Distribution SOLARIS AIX PureData Appliance Plattform TRU64 HP-UX WINDOWS LINUX ODBC 3.X JDBC Type 4 OLE-DB SQL/92 SQL Compiler 1 2 S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Query Plan Loading Engine 3 S-Blade Processor & streaming DB logic Quell Systeme ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Optimize Admin Front End DBOS 960 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic High Performance Loader SMP Host Network Fabric Massively Parallel Intelligent Storage 2013 International Business Machines Corporation 11

12 Asymmetric Massively Parallel Processing SOLARIS AIX PureData Appliance Plattform TRU64 HP-UX WINDOWS LINUX SQL SQL Compiler Query Plan Optimize Snippets Execution Engine S-Blade Processor & streaming DB logic S-Blade 1 Processor 2 & 3 streaming DB logic S-Blade Processor & streaming DB logic Quell Systeme ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Admin SQL Front End DBOS High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic High Performance Loader SMP Host Network Fabric Massively Parallel Intelligent Storage 2013 International Business Machines Corporation 12

13 Das Geheimnis des Erfolgs select DISTRICT, PRODUKTE, sum(umsatz) from MONTH_DATA where MONTH = ' ' and MARKET_ID = and SPECIALTY = PureData' FPGA Core CPU Core Uncompress Project Restrict, Visibility Complex Joins, Aggs, etc. Slice of table from disc Sum(UMSATZ) MONTH_DATA (compressed) select DISTRICT, PRODUKTE, sum(umsatz) where MONTH = ' and MARKET = and SPECIALTY = PureData' 2013 International Business Machines Corporation 13

14 Asymmetric Massively Parallel Processing SOLARIS AIX PureData Appliance Plattform TRU64 HP-UX WINDOWS LINUX ODBC 3.X JDBC Type 4 OLE-DB SQL/92 SQL Compiler Query Plan Consolidate Execution Engine S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & Source Systems ETL Server DBA CLI 3rd Party Apps High-Speed Loader/Unloader Optimize Admin Front End DBOS 960 streaming DB logic High-Performance Database Engine Streaming joins, aggregations, sorts, etc. S-Blade 2 3 Processor & streaming DB logic High Performance Loader SMP Host Network Fabric Massively Parallel Intelligent Storage 2013 International Business Machines Corporation 14

15 PureData Fakten Zonemaps Entwickler kümmern sich ausschließlich um das Datenmodell Indizes entfallen Alle Abfragen beschleunigt, ohne spezifische Indizierung (kein Wartungsaufwand) Distribution Verteilung der Daten über alle Platten bzw. Prozessoren Wenn zwei Tabellen nach dem gleichen Schlüssel verteilt sind: Optimum, Collocated Joins, join der Daten bereits in den S-Blades Materialized Views Projektion breiter Tabellen, um weniger Daten lesen zu müssen Haben eigene Zonemaps 2013 International Business Machines Corporation 15

16 PureData in Ihrem IT Ecosystem Enterprise Applications Transactional Databases PureData Appliance Business Analytics Applications Billing CRM Customers RFID ERP Partners Suppliers SCM HR NPS Employees External Sources Databases e.g. BI-Tools e.g. E-Commerce Supplier Data Key Advantages Performance Scalability Low TCO 2013 International Business Machines Corporation 16

17 PureData Fakten PureData nach 1,5 Werktagen einsatzbereit APL-Schicht nach 40h (Loading aus alter Landschaft) für Konsumenten in Cognos verfügbar (Initial-Load, Performance der Quellsysteme als limitierender Faktor) Sofortige Performancesteigerung durchschnittlicher Faktor knapp 100, teilweise deutliche mehr (Bsp.: Laufzeit eines Berichtes bisher 25h, auf PureData 2:40 min.) Reduktion der DDLs nur für APL-Schicht von ca Zeilen auf ca Zeilen Userakzeptanz innerhalb weniger Stunden vervielfacht 2013 International Business Machines Corporation 17

18 Durchschnittliche Beschleunigung der fünfzehn Test-SQLs (out of the Box) Durchschnittl. Laufzeit Oracle Durchschnittl. Laufzeit Netezza ohne Optimierung Kurzläufer >1 min. <5 min. Laufzeit Altsystem (Oracle) Kurzläufer >1 min. <5 min. Mittel >30 min. < 60 min. Mittel >30 min. < 60 min. Langläufer > 60 min. Durchschnittl. Laufzeit Oracle (Minuten) Durchschnittl. Laufzeit PureData ohne Optimierung (Minuten) Faktor 1,326 0,126 10,52 47,862 0,926 51,69 Langläufer > 60 min. 260,188 2, , International Business Machines Corporation 18

19 PureData Fakten (ETL) Join Tabelle A (600 Mio. DS) auf Tabelle B (146 Mio. DS) und Tabelle C (550 Mio DS) Ergebnismenge 180 Mio. Oracle DWh PureData (ohne Optimierung) PureData (nach Optimierung: Anpassung Distribution Key) Minuten 50 Minuten 9 Minuten 100,0 % 2,1 % 0,4 % 2013 International Business Machines Corporation 19

20 PureData Deutliche Reduzierung von Entwicklungs- und Administrationsaufwand Weitere Tools obsolet (DMR macht dimensionale Auswertung auf relationalen Daten performant möglich, statistische Analysen mit dem PureData-Analytics-Package möglich) Keine Aggregationstabellen mehr notwendig Keine Indexierung Keine Partitionierung Komprimierung erfolgt automatisch Keine DBAs notwendig Entwickler verbringen keine Zeit mehr mit Performanceoptimierung Konzentration auf Business-Logik Entwicklungskapazitäten werden frei User erhalten bei komplexen Reports Ergebnisse innerhalb von Minuten, nicht mehr innerhalb von Stunden oder Tagen Deutlich höhere User-Akzeptanz 2013 International Business Machines Corporation 20

21 Vergleich klassische RDBMS vs. PureData Klassisches RDBMS PureData Indizierung manuell Nicht notwendig Komprimierung manuell automatisch Partitionierung manuell Nicht notwendig Aggregationstabellen manuell Nicht notwendig Relationale Analysen - Statistische Analysen Zusatz inkludiert 2013 International Business Machines Corporation 21

22 PureData Fakten Migration der ETLs mit geringem Aufwand möglich Hauptsächlich Umstellung von Oracle-SQL auf ANSI-SQL Für Langläufer Umstellung von ETL auf ELT (SQL Push-Down, Daten bleiben in PureData, dadurch keine Limitierung durch Netzwerk) Beschleunigung der extremen Langläufer Durch den Einsatz von Cognos 10.2 wird eine weitere Steigerung durch DQM erreicht, über die Abschaffung von PowerCubes wird nachgedacht Storage Bedarf sinkt signifikant (1,5 TB Daten in Oracle (inkl. Indizes) = 250 GB in PureData) 2013 International Business Machines Corporation 22

23 Go live-architektur (2011) 2013 International Business Machines Corporation 23

24 Neue BI-Architektur 2013 International Business Machines Corporation 24

25 Fazit PureData reduziert TCO für DWH deutlich Bei neuen Projekten kann durch die Einsparung an Entwicklungszeit ein guter ROI erreicht werden User-Akzeptanz wird deutlich erhöht Hohe Integration in Cognos 10.2 Entwicklung ist Entwicklung und nicht mehr Suche nach Bottlenecks, fehlenden Indizies oder die Entwicklung von Work-Arounds SPSS-Engine für PureData verfügbar 2013 International Business Machines Corporation 25