Sybase IQ. Schneller und sicherer Zugriff auch bei exponentiellem Datenwachstum Macht es mir Linux schneller und einfacher?

Transkript

1 Sybase IQ Schneller und sicherer Zugriff auch bei exponentiellem Datenwachstum Macht es mir Linux schneller und einfacher? Kia Khosroschahli Business Consultant

2 FIRMENÜBERSICHT INNOVATION INTEGRITÄT KUNDENORIENTIERUNG Gegründet 984, Hauptsitz in Dublin, Kalifornien, USA 3.6 Mitarbeiter in 6 Ländern 95 der Fortune Firmen setzen Sybase-Technologie ein Maßgebliche Durchdringung in wichtigen vertikalen Märkten, u. a. Finanzsektor, Telekommunikation, Gesundheitswesen, öffentliche Verwaltung, Homeland Security Umsatz 23: US$778. Millionen Barguthaben von mehr als US$55 Millionen 23 Quartale mit pro forma Profitabilität Erweiterung strategischer Partnerschaften mit: SAP, Sun, HP, Intel, NEC

3 MEILENSTEINE Mobile & Wireless Nr. : Mobile Middleware Nr. : Mobile Datenbank 73% Marktanteil Nr. : Wireless Portal (MyAvantGo) Integration Nr. : größtes B2B Portal in den U.S.A. Nr. : Lieferant für HIPAA Compliance Nr. : Online Banking Lösung für Tier Banken Sybase ianywhere Solutions ist als das führende Unternehmen in mobiler Middleware Technologie mit höherem Umsatz und Marktanteil als die annähernd 2 Wettbewerber anerkannt. [T]he company with the strongest financial and marketing muscle -IDC Report, July, 23 Datenbanken Nr. : Daten Modellierung Nr. : Produktionsdatenbank an der Wall Street, mehr als die Hälfte aller Transaktionen läuft über Sybase Nr. : Mobile Datenbank 73% Marktanteil Nr. : Telekommunikation (42%) und Transport (36%) Datenbank in China

4 Eine typische Analyse Architektur SYBASE Direct Connect, Replication Server, PARTNERS PRODUCTS Informatica, BODI, Genio, Datastage... Oracle Informix DB/2 Microsoft SybaseASE

5 Zu lösende Probleme Infrastruktur ist teuer Daten sind nicht aktuell genug Schlechte Performance Anwender können ihre Abfragen nicht sofort erweitern

6 Sybase IQ: Spezielle analytische Datenbank

7 Gegenüberstellung Ein Data Warehouse wächst exponentiell RDBMS Sybase IQ Datenvolumen Anzahl der Queries Anzahl der Nutzer Performance Hardware Platten CPU 6 TB.4 TB 3 Software Row Centric Column Centric People Administration 3 dba.5 dba Development Pre-defined Ad-hoc Tuning SysAdmin work ETL/Query tool complexity

8 DSS versus OLTP Workload Performance & Effektivität Skalierfähigkeit(Daten & Anwender) Row-zentrisches DBMS (entworfen vor +2 Jahren für OLTP) DB2, Oracle, MS SQL, ASE, NCR etc. Sybase IQ Multiplex 2x- x 2x- x OLTP=einfache Query -verarbeitet s von Rows -s von Rows pro Sekunde -einfache (½-Seite) SQL Statements DSS=komplexe Query -verarbeitet M(B)ILLIONS von Rows -Millionen von Rows pro Sekunde -komplexe (-Seiten) SQL Statements

9 Was IQ so besonders macht Schnellste Abfragen, da für Analysen optimiert Daten werden zu 3% bis 95% komprimiert Anwender Skalierbarkeit für te bis de Anwender Abfragen Skalierbarkeit für te bis de Anwender Minimaler Administrationsaufwand, da keine Indizes gepflegt werden müssen, weniger Aggregate notwendig sind und jedes Schema möglich ist Während Laden kann von Tabelle gelesen werden

10 Was IQ so besonders macht Unter 65. Ausprägungen in einer Spalte wird jeder Wert in einer Lookup Tabelle nur einmal gespeichert Bei über 65. Ausprägungen werden Rohdaten komprimiert abgespeichert Die Lookup Tabelle arbeitet mit einem oder zwei Bytes für Spalten < 256 Ausprägungen oder < 65. Ausprägungen Daten Rohdaten SY BOBJ ONV SY Lookup Tabelle BOBJ ONV 2 SY

11 Was IQ so besonders macht Date Store State Class Sales 3//96 32 NY A 6 3//96 36 MA A 9 3//96 38 NY B 5 3//96 4 CT A 3//96 43 NY A 9 3//96 46 RI B 3 3//96 47 CT B 7 3//96 49 NY A 2 Nur relevante Daten werden gelesen Bei Wertebereich < 65. werden Werte nur einmal gespeichert JEDE Spalte ist indiziert Indizes sind für Analysen optimiert Bitmuster sind komprimiert IO und Cache wird um 9% reduziert

12 Was IQ so besonders macht Alle Bitmuster sind komprimiert Daten nehmen üblicherweise,5, fachen Platz der Rohdaten ein. Bei voller Indizierung! Daten Komprimierung mit IQ Multiplex in GB Uncompressed Size Compressed Size Quelle: EMC Certification

13 Was IQ so besonders macht Zehn Indextypen stehen derzeit zur Auswahl Fast Projection Alle Spalten Low Fast: Kardinalität <=. High Group: Kardialität >.) High Non Group: Dimensions- und Faktenspalten Compare: Redundante Spalten in einer Tabelle Join: Fremdschlüssel, künstl. Prim Key Word: Textspalten Date/Time/Datetime Datumsspalten Mehrere Indizes pro Spalte sind möglich und üblich!

14 Schema Work-Around zur Erhöhung der Performance Tabellen Partitionierung (horizontale Partitionierung) By Year, By Month, By Week oder anders Tabellen Splitting (vertikale Partitionierung) erzeugen von mehreren Tabellen mit einer one-one Beziehung Summen/Aggregate/vorberechnete Tabellen Erhöht DB Schema Komplexität erhöht ETL Komplexität Erhöht Query Tool Komplexität Erhöht DWH Kosten!!

15 Horizontale Partitionierung

16 Vertikale Partitionierung

17 Einsatz von Sybase IQ

18 Skalierung IQ IQ IQ IQ IQ IQ Sybase IQ Administrative Functions Unix Unix Unix Unix SMP SMP SMP SMP FC Data Unterstützte Betriebssysteme: Sun Solaris (64-bit) Linux (32 Bit/64-bit) Redhat, Suse, Redflag IBM RISC System/6 AIX (32-bit/64-bit) HP-UX (64-bit) HP Itanium (64-bit) Windows NT /Windows 2 /Windows 23

19 IQ auf Linux Niedrige Kosten Mehr Performance durch Skalierbarkeit Alle relevanten Datanbanksicherheitskonzepte Sicherheit durch Linux und Datenbanksicherheitsstufen Mehrere Maschinen parallel (Multiplex) Benutzer Skalierung Abfrageskalierung Einfachste Migration bereits bestehender Systeme

20 23 - größte DW Installationen in der Welt AT&T Daytona SMP AT&T Sun Sun Amazon.com France Telecom Health Insurance Review Agency IQ MPP/Cluster Sybase HP Hitachi Barclays Bank Teradata MPP/Cluster Teradata NCR LSI FedEx Services Teradata MPP/Cluster Teradata NCR EMC Samsung Card IQ MPP/Cluster Sybase HP HP Kmart Teradata MPP/Cluster Teradata NCR LSI Cho-Hung Bank IQ MPP/Cluster Sybase Sun Hitachi LG Card IQ MPP/Cluster Sybase Sun EMC ( Exploded ) DB Size, All Environments & UNIX Company Input data(gb) DB size DBMS Syst Arch. DBMS vendor server storage France Telecom SMP AT&T Daytona SMP AT&T Sun Sun SBC NULL Teradata MPP/Cluster Teradata NCR LSI Anonymous DB2 MPP/Cluster IBM IBM IBM Amazon.com Oracle SMP Oracle HP HP Kmart Teradata MPP/Cluster Teradata NCR LSI Claria Corporation Oracle SMP Oracle Sun Hitachi Health Insurance Review Agency IQ MPP/Cluster Sybase HP Hitachi FedEx Services Teradata MPP/Cluster Teradata NCR EMC Vodafone D2 GmbH NULL 9.8 Teradata MPP/Cluster Teradata NCR LSI DB ROWS All Environments & UNIX Company rows (M) DBMS Syst Arch. DBMS vendor server storage AT&T Daytona SMP AT&T Sun Sun Nielsen Media Research IQ MPP/Cluster Sybase Sun Sun France Telecom Oracle SMP Oracle HP HP SBC Teradata MPP/Cluster Teradata NCR LSI Kmart Teradata MPP/Cluster Teradata NCR LSI FedEx Services Teradata MPP/Cluster Teradata NCR EMC Kroger DB2 MPP/Cluster IBM IBM IBM LG Card IQ SMP Sybase Sun EMC Health Insurance Review Agency IQ MPP/Cluster Sybase HP Hitachi AT&T Wireless Services Teradata MPP/Cluster Teradata NCR NCR DB ROWS Windows Company input size GB rows (M) DBMS Syst Arch. DBMS vendor server storage ComScore Networks Inc IQ MPP/Cluster Sybase HP EMC ComScore Networks Inc IQ MPP/Cluster Sybase Dell EMC ComScore Networks Inc IQ MPP/Cluster Sybase Dell EMC Ordina 6.42 SQL Server SMP Microsoft IBM IBM Arclight Systems LLC SQL Server SMP Microsoft IBM EMC Edgars Consolidated Stores SQL Server SMP Microsoft IBM IBM Hewlett Packard Company 3.74 Oracle SMP Oracle HP HP Gomez 3.48 SQL Server SMP Microsoft HP other DataQuick SQL Server SMP Microsoft Dell EMC NAREX, Inc SQL Server SMP Microsoft Dell Dell Tabelle: Auszug! Top DBMS # spots IQ 4 Teradata Oracle AT&T 3 DB2 2 Microsoft Total => 5

21 2. Juni 24: Weltgrößtes DWH SUN-Sybase DW Referenz Architektur in Menlo Park (CA) Das größte Datawarehouse läuft auf Sybase IQ mit SUN Billion Zeilen!!! 55 TB Inputdaten Kompression der Inputdaten v. 55 TB auf 55 TB

22 Einige Kunden in Deutschland Vodafone D2 GmbH & Internet AG Bertelsmann Music Group EMI Electrola RTL Television Allianz-Dresdner Bausparkasse Dresdner Bank Deutsche Bank Citibank DEVK Allgemeine Versicherungen AG Risk Consulting Raiffeisen Hauptgenossenschaft Nord Müller (Drogeriemärkte) European Southern Observatory DekaBank

23 Zusammenfassung Sybase IQ ist eine Datenbank, die speziell für DSS entwickelt wurde: Performante Abfragen (X X schneller als RDBMS) Komprimierte Spaltenweise Speicherung der Daten Plattenersparnis (:3 :5) Weniger CPUs Kein teures IO Erstellen der Indizes zur Designzeit geringer administrativer Aufwand Performante Ad-hoc-Queries Reduktion der Komplexität v. ETL Prozessen geringer administrativer Aufwand Parallele Loads (auch online) Beste Analyse und Performance Ergebnisse auch auf Linux

24 Proof of Concept Taten sagen mehr als Worte, lassen Sie sich überzeugen: Mit Ihren Daten Bei Ihnen Auf Ihrer Hardware In 2 bis 3 Tagen Kostenlos! Wir belegen unsere Behauptungen, gemeinsam mit Ihnen. Ohne Verpflichtung Ihrerseits.

25 Vielen Dank für Ihre Aufmerksamkeit Fragen? Kia Khosroschahli Business Consultant Sybase GmbH