Die IBM Netezza Architektur für fortgeschrittene Analysen

Transkript

1 Michael Sebald IT Architect Netezza Die IBM Netezza Architektur für fortgeschrittene Analysen 2011 IBM Corporation

2 Was ist das Problem aller Data Warehouse Lösungen? I / O

3 Transaktionaler und analytischer Workload Zwei sehr unterschiedliche Anforderungen für die Speicherung und Verarbeitung von Daten: Kunde Geschäftstransaktion OLTP Datenbank Business Analyst Data Warehouse BI Reports & Dashboards

4 Data Warehouse Workload ist gekennzeichnet durch eher wenige Abfragen und viele Datenänderungen Verwendung eines transaktionalen Systems für BI: Request Request CPU nicht-intelligenter Speicher

5 Allerdings erfüllen transaktionale Systeme Diese Aufgabe nur ineffizient: Verwendung eines transaktionalen Systems für BI: Ergebnis Request CPU nicht-intelligenter Speicher

6 Im Gegensatz zu einem Asymmetrisch-Massiv-Parallelen System IBM Netezza Ergebnis Request CPU intelligenter Speicher

7 das die Daten dort verarbeitet, wo sie gespeichert sind: IBM Netezza Ergebnis 2% der CPU Anforderungen 1% der Netzwerklast Request CPU intelligenter Speicher AMPP: Asymmetric Massively Parallel Processing

8 Information Management Die IBM Netezza 1000 Data Warehouse Appliance Festplatten Benutzerdaten Swap und Mirror Partitionen SMP Hosts SQL Compiler Query Plan Optimizer Admin S-Blades (mit FPGA-basiertem Datenbank Accelerator) Prozessoren und Data Streaming In-Database Analytics

9 Das Streaming Verfahren von Netezza select DISTRICT, PRODUCTGRP, sum(nrx) from MTHLY_RX_TERR_DATA where MONTH = ' ' and MARKET = and SPECIALTY = 'GASTRO' FPGA Core CPU Core Slice of table MTHLY_RX_TERR_DATA (compressed) Uncompress Project Restrict, Visibility Complex Joins, Aggs, etc. sum(nrx) select DISTRICT, PRODUCTGRP, sum(nrx) where MONTH = ' ' and MARKET = and SPECIALTY = 'GASTRO'

10 Blade-Server bilden die Basis... CPUs Memory Standard IBM HS22 Blade

11 ... für den IBM Netezza Datenbank Accelerator CPUs Memory FPGA

12 Information Management S-Blade Komponenten SAS Expander Module DRAM SAS Expander Dual-Core FPGA Module Intel Quad-Core IBM HS22 Blade Netezza DB Accelerator

13 Das IBM-Netezza S-Blade

14 Advanced Analytics mit the Netezza Traditional Way SAS, SPSS Data Warehouse Analytics Grid Data ETL Bedarfsvorhersage SQL ETL R, S+ ETL SQL Fraud Detection SQL C/C++, Java, Python, Fortran,

15 Advanced Analytics mit Netezza SAS, SPSS Data Analytics Grid Bedarfsvorhersage ETL R, S+ SQL C/C++, Java, Python, Fortran, Fraud Detection

16 Advanced Analytics mit Netezza SAS, SPSS komplexe Analysen SAS, SPSS, R, Java, etc implizite Parallelisierung Skalierbarkeit Einfachheit SQL Bedarfsvorhersage R, S+ Fraud Detection SQL

17 In-Database Analytics Parallel Analytic Engines Software Development Kit nzmatrix nzengine for Hadoop nzengine for R Streaming Accelerator Netezza AMPP Platform Page 17 Company Confidential

18 Drei prinzipielle Varianten der Integration mit SAS Data Extraction Database Connector In-Database Analytics Data Base SAS Extraction DATA STEP Base SAS PROC SQL SAS Access ODBC Data Base SAS Extraction SAS Access for Netezza SAS Data Enterprise Extraction Miner SAS Scoring Accelerator for Netezza ODBC SAS Access SAS Scoring Netezza Datenbank Data Extraction SAS Access for Netezza Data Extraction Netezza Datenbank SAS Scoring Accelerator Data Extraction for Netezza Netezza Analytics Netezza Datenbank

19 Fallbeispiel Erstellung eines Entscheidungsbaums zur Bestimmung der Kreditwürdigkeit Ausgangsparameter: Kreditwürdigkeit Alter Einkommen Anzahl Kreditkarten Ausbildung Anzahl Autokredite

20 Abbildung in R

21 Was ist R? R ist eine freie Programmiersprache für statistische Berechnungen und grafische Darstellungen Sie wurde 1992 an der Universität Auckland entwickelt und ist heute Teil des GNU-Projekts Eines der am häufigsten eingesetzten Data Mining Tools Es gibt eine Reihe kommerzieller Implementierungen, bspw. Revolution Analytics

22

23

24

25

26

27

28 Abbildung in SPSS

29

30

31

32

33

34

35

36

37 Ein exemplarischer Laufzeitvergleich ergab: bei 1 Million Datensätzen: In-Database: konventionell : 1 Minute und 24 Sekunden 1 Minute und 3 Sekunden bei 20 Millionen Datensätzen: In-Database: konventionell : 1 Minute und 47 Sekunden 21 Minuten und 19 Sekunden

38 Durch die Verarbeitung der Daten an ihrem Speicherort, also In-Database entfallen Datenextraktions- und bewegungsprozesse Zeitersparnis für den Anwender Reduzierung der Netzwerklast können alle gespeicherten Daten analysiert werden werden analytische Berechnungen schneller ausgeführt I/O (!) ist der Bottleneck für analytische Aufgaben reduzieren sich die Infrastruktur-Kosten (96 CPU Cores sind ja bereits da) verringern sich die Betriebskosten (da weniger Umgebungen erforderlich sind) und dies

39 beschleunigt somit den gesamten Analyseprozess! Business Value Model Execution Wettbewerbsvorteil Model Testing Model Deployment Business Requirements Data Preparation Exploration Data Cleansing Data Transformation Model Development Time To Intelligence

40 IBM Netezza Roadshow am 1. Dezember 2011 im KochWerk in Frankfurt am Main. ibm.com/software/de/data/netezza/ 40 Michael Sebald Telefon: