In-Memory Computing als Grundlage für Big Data und Ihre Data-Warehouse-Strategie

Transkript

1 In-Memory Computing als Grundlage für Big Data und Ihre Data-Warehouse-Strategie

2 EXASOL AG Zahlen & Fakten Name: Gründung: 2000 Tochterges.: Management: Produkte: Firmensitz: EXASOL AG EXASOL Cloud Computing GmbH EXASOL Europa Vertriebs GmbH Steffen Weissbarth (Vorstandsvorsitzender) Aaron Auld (Vorstand) Hochleistungsdatenbank EXASolution für Data Warehousing Nürnberg, Deutschland 2000 Firmengründung 2006 Pilotkunde Karstadt-Quelle setzt EXASolution produktiv ein 2010 EXASOL ist erfolgreichster Anbieter analytischer Datenbanken in Deutschland (BARC) 2012 Gartner listet EXASOL im Magic Quadrant for Data Warehouse Database Management Systems 2004 Europäischer IST-Preis ,6 Mio Punkte im TPC-H Benchmark 2011 Neuer Rekord im TPC-H Benchmark und Gartner Cool Vendor 2

3 Referenzen & Kundenstimmen adidas Global IT Groupon Mit EXASolution können wir unsere Geschäftsprozesse deutlich optimieren. Gerhard Zapf, Projektleiter, Semikron Ein zuverlässiger und schneller Support, eine bessere Kundenbetreuung sowie eine bewiesene Fachkompetenz David Hodge, IT Director, Sony Music Wir haben uns nach einem ausgiebigen Benchmark- Test für die Lösung von EXASOL entschieden. Anfragen, die früher undenkbar waren, sind jetzt möglich... Nils Grabbert Director Business Intelligence, XING AG Mit EXASolution haben wir eine Lösung erworben, die unsere hohen Leistungsansprüche komplexer Analysen bei steigenden Datenmengen für unsere Kunden optimal erfüllt. Christian Sauer Geschäftsführer, Webtrekk GmbH 3

4 Was wird unter Big Data verstanden? Als Big Data werden besonders große Datenmengen bezeichnet, die mit Hilfe von Standard-Datenbanken und Daten-Management-Tools nicht oder nur unzureichend verarbeitet werden können. Problematisch sind hierbei vor allem die Erfassung, die Speicherung, die Suche, Verteilung, Analyse und Visualisierung von großen Datenmengen. Das Volumen dieser Datenmengen geht in die Terabytes, Petabytes, Exabytes und Zettabytes. Wikipedia Big Data bietet Methoden und Technologien für das Erfassen, Speichern und Analysieren poly-strukturierter Daten genau dort, wo klassische analytische Informationssysteme an ihre Grenzen stoßen. Timm Grosser, Dr. Carsten Bange (BARC) 4

5 Anwendungsszenarien von Big Data E- Commerce Social Media Web- Analytics Telko Big Data Marktforschung Smart- Metering Online- Marketing Fertigung & Logistik Fraud Detection 5

6 Herausforderungen durch Big Data In-Database Analysen MPP- Architektur Großes Datenvolumen High-Speed- Loader Column Store Relationales DBMS (SQL) Rohdaten Analysen Analysekomplexität Strukturierte und unstrukturierte Daten MapReduce integriert Tuning-frei Abfragegeschwindigkeit In-Memory- Technologie 6

7 In-Memory 2.0 Hybrid-Ansatz (In-Memory mit Festplattenunterstützung) Optimierte Least recently used (LRU) Priorisierung Intelligente Algorithmen für RAM-Zugriff Daten werden 1:1 in Hauptspeicher gemappt 7

8 Live Demo

9 CATALOG_SALES Column CS_ITEM_SK CS_ORDER_NUMBER CS_SO LD_DATE_SK CS_SO LD_T IME_SK CS_SHIP_DATE_SK CS_BILL_CUSTO MER_SK CS_BILL_CDEMO_SK CS_BILL_HDEMO_SK CS_BILL_ADDR_SK CS_SHIP_CUST OMER_SK CS_SHIP_CDEMO_SK CS_SHIP_HDEMO_SK CS_SHIP_ADDR_SK CS_CALL_CENT ER_SK CS_CATALO G_PAG E_SK CS_SHIP_MODE_SK CS_WAREHOUSE_SK CS_PROMO _SK CS_QUANT ITY CS_WHOLESALE_COST CS_LIST_PRICE CS_SALES_PRI CE CS_EXT_DI SCO UNT _AMT CS_EXT_SALES_PRICE CS_EXT_W HOLESALE_COST CS_EXT_LI ST_PRICE CS_EXT_TAX CS_COUPO N_AMT CS_EXT_SHIP_COST CS_NET_PAID CS_NET_PAID_INC_TAX CS_NET_PAID_INC_SHIP CS_NET_PAID_INC_SHIP_TAX CS_NET_PROF IT WAREHOUSE Column W_WAREHOUSE_SK W_WAREHOUSE_ID W_WAREHOUSE_NAME W_WAREHOUSE_SQ_F T W_STREET _NUMBER W_STREET _NAME W_STREET _TYPE W_SUI TE_NUMBER W_CIT Y W_COUNTY W_STATE W_ZIP W_COUNTRY W_GMT_O FFSET DATE_DIM Column D_DAT E_SK D_DAT E_ID D_DAT E D_YEAR D_DOW D_MOY D_DOM D_QOY D_DAY_NAME D_QUARTER_NAME D_HOLIDAY D_WEEKEND ITEM Column I_I TEM_SK I_I TEM_ID I_I TEM_DESC I_CURRENT _PRICE I_W HO LESALE_COST I_BRAND I_CATEGO RY I_MANUFACT I_SIZE I_COLO R I_UNIT S I_PRODUCT _NAME CATALOG_RETURNS Column CR_ITEM_SK CR_ORDER_NUMBER CR_RETURNED_DAT E_SK CR_RETURNED_TIME_SK CR_REFUNDED_CUSTO MER_SK CR_REFUNDED_CDEMO _SK CR_REFUNDED_HDEMO _SK CR_REFUNDED_ADDR_SK CR_RETURNING _CUSTO MER_SK CR_RETURNING _CDEMO _SK CR_RETURNING _HDEMO _SK CR_RETURNING _ADDR_SK CR_CALL_CENT ER_SK CR_CATALOG_PAG E_SK CR_SHIP_MODE_SK CR_WAREHOUSE_SK CR_REASO N_SK CR_RETURN_Q UANTITY CR_RETURN_AMOUNT CR_RETURN_TAX CR_RETURN_AMT_I NC_TAX CR_FEE CR_RETURN_SHIP_COST CR_REFUNDED_CASH CR_REVERSED_CHARG E CR_ST ORE_CREDIT CR_NET_LO SS 9

10 TPC-H 10

11 EXASolution mit SAS SAS/Share Server SAS Session Proc Server SAS/Access Native Library Data Step View Engines Engines Engine ETL Operative Systeme z.b. Oracle, DB2, SAS Data EXASolution Andere externe Daten ETL 11

12 Wie passt EXASolution zu Ihnen? Auswerte- Systeme und Business- Applikationen Adhoc Analysen Advanced Analytics Mustererkennung Pfadanalysen Executive Information Systeme Abfrage und Berichtssysteme Geodaten Analysen Data Mining BAM EPM Unstrukturierte Daten In-Database- Analytics OLAP- Services Machine Data Data-Marts und Enterprise Data Warehouse Enterprise DWH Weblogs Social Media ETL-System Text Operative Vorsysteme (strukturierte Daten) Produktion HR SAP CRM 12

13 Sommer 2012: neues Feature Selbstdefinierbare Aggregatsfunktionen inkl. Map/Reduce Flexible Verzahnung mit SQL-Ausführung Einheitliche Programmiersprache für Skripte zur Jobsteuerung (z.b. ELT-Prozesse) Skalare/Analytische Funktionen M/R Analysen, Statistics, Data Mining, 13

14 Testen Sie uns einfach! Steigen Sie um auf Technologien der Zukunft. Gemeinsamen gehen wir mit Ihnen neue Wege ohne Risiko. Lange Abfragezeiten? Umständliche Prozesse? Aufwändige Installationen? Hohe Betriebskosten? Machen Sie Schluss mit teuren Kompromissen bei wichtigen Datenanalysen! Überprüfen Sie schon im Vorfeld Einsatz und Nutzen von EXASolution für Ihr Unternehmen! EXASOL - Mobiles Testsystem 14

15 Vielen Dank für Ihre Aufmerksamkeit! 15

16 Ihre Vorteile auf einen Blick Optimales Analyse- Spektrum Mehr Analysen in kürzerer Zeit Mehr Freiheiten und Flexibilität bei Fragestellungen Ad Hoc-Reporting mit individueller Segmentierung Senkung der Komplexität Vereinfachung der Data Warehouse Architektur Keine Aggregate und Vorberechnungen notwendig Reduzierung von Data Marts Schneller ROI Geringe Investitionskosten Reduzierte Betriebskosten durch minimale Administration Kein Schulungsaufwand für Anwender Kein Austausch bestehender Applikationen (BI/ ETL) Herstellerunabhängig Planungs- und Investitionssicherheit Flexible Skalierung entsprechend Ihren Anforderungen 16

17 Höchste Performance unabhängig vom Datenvolumen Performance QpH GB 300 GB GB GB Mitbewerb EXASOL GB Quelle: /April 2011 Es ist bemerkenswert, dass EXASOL die für Data-Warehouse-Anwendungen besten Resultate in allen fünf Kategorien, von 100 GB bis hin zu 10 TB, erreicht hat (Dr. Carsten Bange, BARC) 17

18 Bei jeweils bestem Preis-Leistungsverhältnis 35 32,89 Price per QphH in USD , , GB 0,38 3,15 0,89 0,15 0, GB GB EXASOL Mitbewerb 0, GB 0, GB Source: /April 6, 2011 Zudem adressiert EXASOL mit seiner guten Kosten-Performance einen wunden Punkt vieler derzeit auf dem Markt befindlicher Systeme. (Dr. Carsten Bange, BARC) 18

19 Shared-Nothing-Architektur für massiv parallele Analysen Standard-Hardware (x86-64bit) Flexibel erweiterbar Optimale gleichzeitige Ausnutzung aller Ressourcen Result Query

20 Column Store Spaltenorientierte Datenspeicherung Sehr effiziente Kompression Kunden ID Name Vorname Umsatz Row 1 1 Becker Becker Hans Hans Weber Weber Peter Peter Huber Huber Schmidt Klaus Klaus Maria Maria AVG Schneider Thomas Fischer Stefan Stefan

21 High-Speed-Loader Einfacher SQL Befehl (IMPORT/EXPORT) Empfehlung: ELT statt ETL Database JDBC Oracle CSV FBV OCI FTP/HTTP EXAloader SAP Xtract EXA 21

22 Rohdaten-Analysen Auswertungen direkt auf Rohdaten Keine aufwendigen Vorberechnungen Keine Vorverdichtungen Unabhängig vom Datenmodell Real-Time-/Near-Time-Analysen 22

23 Tuning-freie Software Automatische Datenverteilung inkl. Redundanzerzeugung Automatische & transparente Index-Erstellung schneller Tabellenanalyzer + kostenbasierter Optimizer Automatische Failover Mechanismen 23

24 Abfrage-Sicherheit Redundante Shared-Nothing-Architektur mit zusätzlichem Reserve-Knoten A B C D RC D A B C RB Server1 Server2 Server3 Server4 Server5 24

25 Warum fragen Kunden bei uns an? Meine Berichte dauern regelmäßig zu lange und ich kann nicht alle Berichte ausführen Wir müssen unsere IT Kosten senken, benötigen aber trotzdem eine super Performance Groupon adidas Global IT 25