IBM DB2 Analytics Accelerator Das Beste aus beiden Welten!

Transkript

1 IBM DB2 Analytics Accelerator Das Beste aus beiden Welten! IBM Netezza Webcast: 10:00 10:45 Uhr Ralf Götz IBM Netezza Systems Engineer

2 1908 x schneller: 2 Stunden 39 Minuten reduziert auf 5 Sekunden! 99% weniger CPU: 24Millionen Sätze: 56.5 CPU Sekunden reduziert auf 0.4 CPU Sekunden! und das in nur 2 Tagen klingt das interessant für Sie? 2

3 IBM DB2 Analytics Accelerator Was ist der IBM DB2 Analytics Accelerator (IDAA)? Was macht der IDAA? Warum kann der IDAA mein System/z für analytische Abfragen so stark beschleunigen? IBM Netezza Kurze Historie IBM Netezza 1000 Appliance die Technologie Erste Kundenbeispiele Fragen & Antworten

4 Was ist der IBM DB2 Analytics Accelerator? Ein Add-On für DB2 auf System z zur drastischen Beschleunigung von analytischen Abfragen DB2/z analysiert die ankommenden Queries und entscheidet, eine Query weiterzuleiten, oder selbst auszuführen. Die clevere Idee: die jeweils am besten geeignete Technology für die jeweilige Aufgabe wird genutzt!

5 Add-On? Weiterzuleiten? Was? Wohin? System z196/z114 IBM Netezza 1000 Das Add-On ist ein Stück Software und die Netezza DWH Appliance 5

6 DB2 Analytics Accelerator V2.1 Das Beste beider Welten System z und Netezza 6 Was es ist Der IBM DB2 Analytics Accelerator ist ein lastoptimierte, Appliance Add-On. Dieses Add-On beschleunigt Select Queries mit atemberaubender Geschwindigkeit! Warum ist IDAA so anders: Performance: Beispiellose Near- Realtime Antwortzeiten für Analysen, die durch schlechte Performance vorher unmöglich waren. Integration: Tiefe Integration mit DB2 ermöglicht vollständige Transparenz für alle Anwender und Anwendungen. Self-Managed Workloads: Queries werden immer am richtigen Ort verarbeitet. Transparenz: Applikationen, die zur DB2 verbunden sind, bemerken den Accelerator gar nicht. Vereinfachte Administration: Appliance hands-free Betrieb, eliminiert die meisten Tuning Aufgaben Breakthrough Technology Enabling New Benchmarks in Analytics

7 Lösungskomponenten zenterprise z196/z114 Netezza 1000 CLIENT OSA-Express3 10 GbE Primary Private Service Network 10Gb Backup Data Studio Foundation DB2 Analytics Accelerator Admin Plug-in BladeCenter Users/ Applications Data Warehouse application DB2 for z/os enabled for IBM DB2 Analytics Accelerator IBM DB2 Analytics Acelerator 7

8 Einfachheit, Flexibilität, freie Wahl Erfüllen von Anforderungen durch vollständige Lösungen IBM Netezza IBM System z Zweckbestimmte Appliance Mixed Workload System Netezza 1000 PureScale Analytics System 9700 Information Management Portfolio (Information Server, MDM, Streams, etc) Einfachheit Der richtige Mix aus Einfacheit und Flexibilität Flexibilität

9 Das Beste beider Welten Data Mart Data Mart Data Mart Data Mart Data Mart Consolidation NZ IBM DB2 Analytics Accelerator for z/os Netezza 1000 System z Appliance Stark in OLTP Marktführer in unternehmenswichtigen Transaktionalen Systemen Transaction Systems (OLTP) Stark in Data Warehousing Appliance Marktführer bei High- Speed Analytischen Systemen Stark in der Konsolidierung Data Warehouse Analytics z/os: Recognized leader in mixed workloads with security, availability and recoverability Netezza: Recognized leader in cost-effective high speed deep analytics Beispielloser flexibilität bei einem mixed workload und Virtualisierung ermöglicht kosteneffiziente Konsolidierung

10 Information Management Sie haben die Wahl: Mehrere DB2 Systeme und ein IDAA Ein DB2 System und mehrere IDAA Mehrere DB2 Systeme und mehrere IDAA Volle Flexibilität für DB2 Systeme: Bessere Ausnutzung der IDAA Ressourcen Skalierbarkeit Hochverfügbarkeit 10 residing in the same LPAR residing in different LPARs residing in different CECs being independent (non-data sharing) belonging to the same data sharing group belonging to different data sharing groups

11 Netezza 1000 Appliance Skalierbarkeit TF3 TF6 TF12 TF24 TF36 TF48 TF72 TF96 TF120 Cabinets 1/4 1/ Processing Units Capacity (TB) Effective Capacity (TB)* List Price $380k $730k $1.39m $2.78m $4.17m $5.56m $8.34m $11.12m $13.9m Aktuelle IDAA Plattformen Vorhersagbare, lineare Skalierung über die gesamte Familie Capacity = User Data space Effective Capacity = User Data Space with compression *: 4X compression assumed

12 Warum kann der IDAA mein System/z für analytische Abfragen so stark beschleunigen?

13 Wie funktioniert das Routing der Queries? 13

14 Wer ist Netezza? Woher kommen wir? Ein kurzer Blick zurück und in die Technik unter dem Blech

15 Netezza unter blauer Flagge Gründung Netezza Corporation 2001 Erstes Produkt 2003 IBM gab am die Übernahme von Netezza bekannt Seit ist die vollständige Integration in die IBM abgeschlossen IBM Netezza ist nun Teil der Software Group / Information Management

16 Netezza unter blauer Flagge Gründung Netezza Corporation 2001 Erstes Produkt 2003 IBM gab am die Übernahme von Netezza bekannt QUALITY Seit ist die vollständige Integration in die IBM abgeschlossen IBM Netezza ist nun Teil der Software Group / Information Management APPROVED

17 Netezza Marktführer & Innovator bei DWH Appliances Eine kurze Historie Erste High Capacity Appliance weltweit IBM Netezza High Capacity Appliance (>10 PB Storage) Erste Analytic DWH Appliance weltweit IBM Netezza 1000 with Advanced Analytics (300X Performance) Erste PB DWH Appliance weltweit Erste 100TB DWH Appliance weltweit Erste DWH Appliance der Welt Impact NPS 8000 Series NPS Series (50X Performance) IBM Netezza 1000 (150X Performance) einfache Paradigmen: - Preis/Performance - Hohe Geschwindigkeit - einfach zu bedienen

18 Digitale Medien Öffentlicher Bereich Handel Finanzdienstleistungen Gesundheitswesen Telekommunikation Andere Page 18 18

19 Digitale Medien Öffentlicher Bereich Handel Finanzdienstleistungen Gesundheitswesen Telekommunikation Andere Page 19 19

20 Traditionelle Data Warehouse Anwendungen sind einfach zu komplex Sie basieren auf Datenbanken die für die Transaktionsverarbeitung optimiert wurden NICHT um die Anforderungen von fortschrittlichen Analysen auf großen Datenbeständen abzubilden Zu komplexe Infrastruktur Zu komplizierter Einsatz Zu viel Tuning notwendig Zu ineffiziente Analysen Zu viel Personal für die Wartung Zu kostspielig im Betrieb Zu zeitraubend für schnelle Antworten

21 Eine einzige echte Data Warehouse Appliance: Gemacht nur für einen Zweck: die Analyse ihrer Daten Integrierte Datenbank, Server und Speicher Standard Schnittstellen Niedrigste TCO für Data Warehouse-Systeme Geschwindigkeit: x schneller als traditionelle Systeme Einfachheit: Minimale Administration und Tuning Skalierbarkeit: bis zu Petabytes Nutzerdaten Smart: High-performance advanced Analytics 21

22 Information Management Die Netezza TwinFin (=IBM Netezza 1000) Appliance Plattengehäuse SMP Hosts S-Blades (mit FPGA-basierendem Databankbeschleuniger) 22 Nutzdaten Swap- und Spiegelpartitionen Hochgeschwindkeitsdatenstrom SQL Compiler Query Plan Optimize Admin Prozessor & DB- und Datenstrom-Logik Hochgeschwindigkeitsdatenbank Im Datenstrom: Joins, Aggregationen, Sortierung, etc.

23 Information Management Das Geheimnis hinter der Leistung Snippet Blades (S-Blades ) Zone Map Accelaration Field Programmable Gate Array (FPGA) Keine Wartung notwendig Aktualisierung bei jedem Laden Automatisierte Konfiguration

24 Netezza Data Stream Processing select DISTRICT, PRODUCTGRP, sum(nrx) from MTHLY_RX_TERR_DATA where MONTH = ' ' and MARKET = and SPECIALTY = 'GASTRO' FPGA Core CPU Core Slice of table MTHLY_RX_TERR_DATA (compressed) Uncompress Project select DISTRICT, PRODUCTGRP, sum(nrx) Restrict, Visibility Complex Joins, Aggs, etc. where MONTH = ' ' and MARKET = Page 24 and SPECIALTY = 'GASTRO'

25 Wir bringen die Netezza AMPP TM Architektur zur DB2/z AMPP = Asymmetric Massively Parallel Processing CPU FPGA Advanced Analytics Memory BI Legacy Reporting DB2 for z/os V9 V10 SMP Host CPU Memory FPGA CPU FPGA DBA Netezza 1000/3 1000/6 1000/12 Network Fabric Memory S-Blades Disk Enclosures IBM DB2 Analytics Accelerator

26 Erste Kunden- und Einsatzbeispiele

27 Erstes Feedback unserer Kunden: Fast Time to Value IBM DB2 Analytics Accelerator (Netezza ) Production ready - 1 person, 2 days Table Acceleration Setup 2 Hours DB2 Add Accelerator Choose a Table for Acceleration Load the Table (DB2 copy to Netezza) Knowledge Transfer Query Comparisons Initial Load Performance 5.1 GB in 1 Min 25 Seconds (24M rows) 400 GB in 29 Min (570M rows) Actual Query Acceleration 1908x faster 2 Hours 39 Minutes to 5 Seconds CPU Utilization Reduction 99% less CPU 24M rows: 56.5 CPU seconds to 0.4 CPU seconds Actual customer results, October 2011

28 IDAA Beta Customer Workload characteristics Workload already running on DB2 for z/os Accelerating queries to operational data store for financial reporting The challenges The DB2 challenges workload on the mainframe is permanently cost challenged The DB2 workload on the mainframe is permanently cost Customer challenged focus is on CPU savings for long running reports The Customer facts: focus is on CPU savings for long running reports The Workload facts: assessment: turnaround in 1 day Workload assessment: helped turnaround to identify in 1 the dayopportunity Time Workload to Value: assessment 2 days: helped to identify the opportunity Time Installation to Value: + first 2 days: tables acceleration No Installation changes to + the first application tables acceleration and SQL needed Compression: No changes 400 to GB the raw application data compresses and SQL needed down to 40 GB Load Compression: time 29 minutes 400 GB raw data compresses down to 40 GB Acceleration Load time 29 for minutes first customer query Acceleration 720 sec (DB2) for first 14 customer sec (IDAA) query / Acceleration factor 51 The unique 720 sec selling (DB2) point 14 sec (IDAA) / Acceleration factor 51 The IDAA unique Strongly selling supports point the ongoing active cost management on IDAA mainframe Strongly supports the ongoing active cost management Return on mainframe on investment Return Fast ROI on based investment on saved mainframe CPU MIPS together with Fast Netezza ROI based price/performance on saved mainframe CPU MIPS together with Netezza price/performance

29 IDAA Beta Customer Workload characteristics Workload already running on DB2 for z/os Accelerating queries to data hub for reporting on medical data and reporting on claims processing The challenge The Long challenge query execution times The Long facts: query execution times The Workload facts: assessment: turnaround in 1 day Workload assessment: showed turnaround 3111 out in 1 of day 3464 queries with a potential Workload for assessment offload showed 3111 out of 3464 queries with POC a potential focusing for on offload the 224 to of those queries Time POC to focusing Value: 2.5 on days: the 224 to of those queries Time Installation to Value: + first 2.5 tables days: acceleration 221 Installation out of queries first tables were acceleration offloaded immediately 5.1 GB 221 Loaded out of 224 in 1 queries Min 25 were Seconds offloaded immediately Top 5.1 query GB Loaded acceleration in x: Min 25 from Seconds 159Min 5 sec Top Top 10 query queries: acceleration 11 hrs+ 1908x: 5 min from (average 159Min 139x) 5 sec The Top unique 10 queries: selling 11 point hrs+ 5 min (average 139x) The IDAA unique implementation selling w/o point a change to applications and data IDAA IDAA strengthens implementation the role w/o of a DB2 change as a to data applications hub and data Return IDAA on strengthens invesment the role of DB2 as a data hub Return Fast ROI on based invesment on saved mainframe CPU MIPS together with Fast Netezza ROI based price/performance on saved mainframe CPU MIPS together with Netezza price/performance

30 Erste Kundenkommentare über den IBM DB2 Analytics Accelerator Product Lifecycle CoE Turnaround within 1 day Size Best thing: ease of on-boarding Build upon Workload assessment and subsequent Nz sizing It was intuitive and very similar to what you would do with a normal DB2 It was very easy to use POC Install "Easy to use" "For ordinary users: very easy with a 5 min tutorial" I found everything to be intuitive Table Setup Load "Only requires a few seconds to get used to..." Usable without studying user manuals "Intuitive interaction and well-arranged layout" Compress "The way we have seen here is really easy. Most of the admin tasks can be done once and distributed with the tool" Accelerate

31 Assessment: Ist IDAA eine Option?

32 Information Management Modernizing your DBMS infrastructure on System z Production Data Low Latency Data Transactional Information Operational Applications 32 Operational Analytics DB2 Analytics Accelerator Enhancing the operational systems by bringing business insights pervasively across the organization embedded in the operational applications Passt IDAA für Sie? Do you have long running DB2 for z/os queries that could provide business value if they could be run in seconds vs hours? Do you face performance challenges with complex and ad hoc queries? Extending the use of operational platform data to perform business analysis and daily reporting The forgotten query: Have you elected to set aside some queries due to performance challenges? Have you exhausted all efforts to tune the system? Organized to a support high speed transaction environment with historical and analytic information Increase agility by rapidly responding with immediate, accurate information, eliminating the need to search for answers with analysis that is timely Enables the organization to become more nimble by placing fact-based information into the hands of decision makers Removes the never-ending search for the right information Delivers new insights that help business users discover opportunities to maximize customer and product profitability, minimize customer churn, detect fraud, improve patient care, increase campaign effectiveness and more.

33 Erster Schritt: Ein schneller Workload Test Customer Collecting information from dynamic statement cache, supported by step-by-step instruction and REXX script (small effort for customer) Uploading compressed file (up to some MB) to IBM FTP server Report for a first assessment: Acceleration potential for Queries Estimated time CP cost IBM / Center of Excellence Importing data into local database Quick analysis based on known DB2 Analytics Accelerator capabilities Customer Database Documentation and REXX procedure Data package (mainly unload data sets) Pre-process and load IBM lab Database Quick Workload Test Tool Report Assessment 33

34 Business Case Approach 1 Look at the number of reports eligible for IDAA. Use the workload assessment tool 2 Sort by CPU consumption 4 Calculate MIPS savings from the offloadable queries 5 Calculate effort savings for needless DB2 performance tuning efforts for offloadable queries 3 IDAA target Combine the best of both worlds -Use DB2 for short running queries -Use IDAA for long running queries 6 Compare with IDAA investments ROI within a few months

35 Fragen? 35