Milliarden in Sekunden: Demo zu PureData for Analytics. Marc Bastien Senior Technical Professional Big Data, IBM

Größe: px

Ab Seite anzeigen:

Download "Milliarden in Sekunden: Demo zu PureData for Analytics. Marc Bastien Senior Technical Professional Big Data, IBM"

Carsten Bretz
vor 7 Jahren
Abrufe

1 Milliarden in Sekunden: Demo zu PureData for Analytics Marc Bastien Senior Technical Professional Big Data, IBM

2 IBM PureData System Für die Herausforderungen von Big Data Schnell und Einfach! System for Transactions Für Anwendungen: E-Commerce Datenbank-Cluster Dienste, optimiert für transaktionalen Durchsatz und Skalierbarkeit System for Analytics Powered by Netezza technology System for Operational Analytics Für Anwendungen: Kundenanalyse Data Warehouse Dienste, optimiert für hohe Geschwindigkeiten, Skalierung bis Petabyte und Einfachheit Für Anwendungen: Real-time Fraud Detection Operationale Data Warehouse Dienste, optimal ausbalanciert zwischen hoher Geschwindigkeit und operationalem Durchsatz in Echtzeit 2013 International Business Machines Corporation 2

3 Das neue Modell ist da! PureData System for Analytics N2001 ( Striper ) PureData for Analytics in ZWEI Varianten N1001 ökonomisch, hochperformant, skalierbar N2001 maximale derzeitige Performance PureData for Analytics setzt fort: Schnellste Amortisation zurzeit am Markt Optimierte Big Data Analyse-Geschwindigkeit Einfache Administration für schnelle und agile Entwicklung Beschleunigt analytische Möglichkeiten durch umfassende Bibliotheken analytischer Funktionen Das neue N2001 Modell adressiert diese Herausforderungen besonders: Verbesserte Geschwindigkeit Höhere Speicherdichte Effizienz im Rechenzentrum 2013 International Business Machines Corporation 3

4 Herausforderungen im DWH Performance, Performance, Performance P1: Abfragen dauern zu lang P2: Befüllungsprozesse dauert zu lang P3: Weiterentwicklung dauert zu lang Traditionelle Ansätze skalieren nur bedingt, Aufwand steigt exponentiell Fachliche Anforderungen steigen exponentiell -> Frustration! -> Fachlösungen? 2013 International Business Machines Corporation 4

Die Hütte brennt (bei der Abfrage)! - klassisch Schnell, ohne -Indizes -Tuning -Administration -80% Code Ersparnis Quelle: www.

5 Die Hütte brennt (bei der Abfrage)! - klassisch Schnell, ohne -Indizes -Tuning -Administration -80% Code Ersparnis Quelle: DWH_Architektur_Exadata_Seminar_Sep_2012_V1, Alfred Schlaucher 2013 International Business Machines Corporation 5

6 Die Hütte brennt (beim ETL)! - klassisch Schnell, ohne -Indizes -Tuning -Speicher-Administration -80% Code Ersparnis Quelle: DWH_Architektur_Exadata_Seminar_Sep_2012_V1, Alfred Schlaucher 2013 International Business Machines Corporation 6

PureData System for Analytics N1001 Hardware Overview 8 Disk Enclosures 96 1TB SAS Drives (4 hot spares) RAID 1 Mirroring 2 Hosts (Active-Passive) 2 Quad-Core Intel 2.

7 PureData System for Analytics N1001 Hardware Overview 8 Disk Enclosures 96 1TB SAS Drives (4 hot spares) RAID 1 Mirroring 2 Hosts (Active-Passive) 2 Quad-Core Intel 2.6 GHz CPUs 7x146 GB SAS Drives Red Hat Linux 5 64-bit Scales from ¼ Rack to 10 Racks 32 TB to 1.2 PB of User Data 14 PureData for Analytics S-Blades 2 Intel Quad-Core 2+ GHz CPUs 4 Dual-Engine 125 MHz FPGAs 24 GB DDR2 RAM Linux 64-bit Kernel User Data Capacity: Data Scan Speed: Load Speed (per system): 128 TB** 145 TB/hr** 5+ TB/hr Power Requirements: Cooling Requirements: 7.6 kw 7.8 kw **: 4X compression assumed 2013 International Business Machines Corporation 7

PureData System for Analytics N2001 Hardware Overview 12 Disk Enclosures 288 600 GB SAS2 Drives 240 for User Data 14 for S-Blades 34 Spare RAID 1 Mirroring 2 Hosts

46 GHz CPUs 7x300 GB SAS Drives Red Hat Linux 6 64-bit Scales from ½ Rack to 4 Racks 7 PureData for Analytics S-Blades 2 Intel 8 Core 2+ GHz CPUs 2 8-Engine Xilinx

8 PureData System for Analytics N2001 Hardware Overview 12 Disk Enclosures GB SAS2 Drives 240 for User Data 14 for S-Blades 34 Spare RAID 1 Mirroring 2 Hosts (Active-Passive) 2 6-Core Intel 3.46 GHz CPUs 7x300 GB SAS Drives Red Hat Linux 6 64-bit Scales from ½ Rack to 4 Racks 7 PureData for Analytics S-Blades 2 Intel 8 Core 2+ GHz CPUs 2 8-Engine Xilinx Virtex-6 FPGAs 128 GB RAM + 8 GB slice buffer Linux 64-bit Kernel User Data Capacity: Data Scan Speed: Load Speed (per system): 192 TB* 478 TB/hr* 5+ TB/hr Power Requirements: Cooling Requirements: 7.5 kw 27,000 BTU/hr * Assuming 4X compression 2013 International Business Machines Corporation 8

9 PureData for Analytics AMPP Architecture in Action SOLARIS AIX PureData System for Analytics Appliance HP-UX Client S-Blade #1 Processor & streaming DB logic S-Blade #2 Processor & 1 2 SQL Compiler ODBC 3.X JDBC Type 4 OLE-DB SQL/92 WINDOWS LINUX streaming DB logic S-Blade #3 Processor & 3 Execution Engine Query Plan streaming DB logic High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic DBOS Optimize Admin Front End High-Speed Loader/Unloader ETL Server DBA CLI 3rd Party Apps Source Systems Massively Parallel Intelligent Storage Network Fabric SMP Host High Performance Loader 2013 International Business Machines Corporation 9

MultiBillionRowCustomerTable Where BirthDate < < 01/01/1960 And State in ( FL, ( FL, GA, GA, SC, NC )

10 S-Blade Data Stream Processing FPGA Core CPU Core Stream via Zone Map From Decompress Project Restrict Visibility SQL & Advanced Analytics From Select Where Group by Select State, Age, Gender, count(*) From MultiBillionRowCustomerTable Where BirthDate < < 01/01/1960 And State in ( FL, ( FL, GA, GA, SC, NC ) Group by State, Age, Gender Order by by State, Age, Gender 2013 International Business Machines Corporation 10

11 DEMO 2013 International Business Machines Corporation 11

12 2013 International Business Machines Corporation 12

13 DWH: Optionen Ist Performance (online bzw. ETL) wirklich DAS Problem? Viele Optionen und Funktionen werden benutzt, weil traditionelle Systeme sie bieten, sonst Geht es gar nicht Erzwungene Performance hier wirkt sich 1:1 auf Komplexität, Wartung, Weiterentwicklung aus Neue Ansätze bieten die benötigte Performance! In-Memory, Columnar, Appliances Unterschiede im Detail, aber: wenn Performance NICHT das Problem, warum dann Aufwand in Tuning? Möglicherweise Wegfall aller Indizes, Summentabellen, I/O-Tuning usw! Ziel: KEEP IT SIMPLE! Ergebnis: schnellere, smartere Projekte Bessere Umsetzung fachlicher Anforderungen Mehr Daten für zu breiteren Analysen und zu besseren Ergebnissen 2013 International Business Machines Corporation 13

14 Vielen Dank Beim Strohhause 17 D Hamburg Marc Bastien Client Technical Professional IInformation Management Big Data IBM Software Group Mobile International Business Machines Corporation 14

15 2013 International Business Machines Corporation 15

Ähnliche Dokumente

Gut versorgt von der AOK dank...integrierter Datenhaltung in PureData System for Analytics. Sascha Bäcker Managing Consultant, FRITZ & MACZIOL GmbH

Gut versorgt von der AOK dank......integrierter Datenhaltung in PureData System for Analytics Sascha Bäcker Managing Consultant, FRITZ & MACZIOL GmbH Go live-architektur (2011) 2013 International Business