Technologien spaltenorientierter Datenbanken beim Sybase IQ-Server

Transkript

1 Technologien spaltenorientierter Datenbanken beim Sybase IQ-Server Einführung Sybase Adaptive Server IQ und IQM Grundkonzept der spaltenorientierten Speicherung bei IQ Indextypen IQ Multiplex Weitere neue Funktionalitäten bei IQ 15 Spezielle Anwendungen Archivierung Transaktionsnahe Umgebung, Real Time (?) Ausblick Jürgen Bittner SQL Projekt AG FSU Jena

2 Das gewöhnliche Performance-Problem Ein Select braucht zu viel Zeit,... was tun? Schnellere Hardware? Überprüfen des Kommandos Prüfen des Datenbank-Servers Prüfen der Datenbank SQL Projekt AG FSU Jena

3 Anfragebeispiel Wieviele Gastronomie-Einrichtungen in Sachsen haben kein Radeberger? Mon Einr Typ Land Prod Abs G SA Werne G MV Becks G SA Radeb K NS Jever 311 SELECT COUNT (DISTINCT Einr) - AnzRadeb G SA Radeb 95 FROM Absatz, G BY Paula 3454 WHERE (SELECT Land = SA COUNT(DISTINCT AND Einr) AS AnzRadeb M NW Dortm 703 FROM Typ = G Absatz AND K SA Lands 1216 WHERE Einr = IS Land NOT = IN SA (SELECT AND DISTINCT Einr Typ = G AND FROM Absatz Prod = Radeb ) WHERE Land = SA AND WHERE Land = SA AND Typ = G AND Typ = G Prod = Radeb ) SQL Projekt AG FSU Jena

4 Data Warehouse Architektur Relationale DB SW-Pakete Altdaten Data Staging (ETL) RDBMS Enterprise Data Warehouse Datamart RDBMS Datamart Benutzer- Tool Benutzer- Tool Benutzer- Tool ROLAP Externe Quellen Daten- Bereinigungs- Tool Warehouse Admin. Tools Daten-Extraktion, Transformation und Laden Quelldaten unternehmenweites/ zentrales Data Warehouse Datamart MOLAP neu strukturierte ( Architected ) Data Marts Benutzer- Tool SQL Projekt AG FSU Jena

5 Häufige Probleme in Business Intelligence Anwendungen Antwortzeiten - sind zu lang Flexibilität und komplexe Abfragen - mit ständiger Erweiterung der Anforderungen (Ad-Hoc SQL) sind sehr problematisch Wachsende Nutzerzahl/ Datenmenge Performance sinkt und genügt nicht mehr den Anforderungen Analyse auf Detaildatenebene - nicht alle Daten werden abgespeichert aufgrund der Größe des Datenbestandes Arbeit mit verdichteten Daten Speicherung und Analyse von (sehr) großen Datenbeständen zu teuer in Speicher, Administration und Antwortzeit Online-Loads - parallel zum Auswerten nicht (immer) möglich SQL Projekt AG FSU Jena

6 Die Anforderungen sind gewachsen und wachsen weiter Mit den Datenmengen und höheren Anforderungen an Reaktionsgeschwindigkeit in den Anwenderprozessen wachsen die Performanceanforderungen Query-Laufzeit Multi-user Kostendruck erfordert genaue Betrachtung der gewünschten Effekte, aber auch der notwendigen Investition und der laufenden Kosten Zunehmendes Gewicht erhält dabei der Energiebedarf von Datenbanken SQL Projekt AG FSU Jena

7 Spaltenorientierte Datenbank Zeilen-orientierte Speicherung - übliche Seitengröße 2-32 K Zeile 1 Zeile 2 Seite 1 w 11 w 12 w 13 w 1l w 21 w 22 w 23 w 2l Zeile 3 Zeile 4 Seite 2 w 31 w 32 w 33 w 3l w 41 w 42 w 43 w 4l Zeile m Seite n w m1 w m2 w m3 w ml Spalten-orientierte Speicherung - übliche Seitengröße K Spalte 1 Spalte 1 Seite 1 w 11 w 21 w 31 w 41 Seite 2 w ml Spalte 2 Seite 3 w 12 w 22 w 32 w 42 w m2 Spalte3 Seite 4 w 13 w 23 w 33 w 43 w m3 SQL Projekt AG FSU Jena

8 Kurzer Rückblick - Spaltenorientierte Datenbank Bereits Anfang der 70er Überlegungen zur Optimierung der Auswertbarkeit inverted files, Vollindexierung, Adreßketten-Technik mit elementaren Datensätzen LfA Berlin 1985: TOPAS: spaltenorientiertes, semirelationales DBMS Ursprung: Rapid von Statistics Canada Sybase Adaptive Server IQ seit 1996 IQ Multiplex ParAccel, Vertica seit 2008 SQL Projekt AG FSU Jena

9 Technologien mit ähnlicher Zielstellung Spaltenorientierung im Hauptspeicher In-Memory-Basistechnik TREX (SAP) Business Intelligence Accelerator (BIA) seit 2005 RAM-Basis: Blades Column-Store DBMSs vs. Column Compression SQL Projekt AG FSU Jena

10 Plattenkapazität und Performance Während der letzten 20 Jahre: Platten-Kapazität -Durchsatz -Zugriffs(Such)-zeit x 50 x 0,2 x Beispielangaben von Forrester: Eine Platte 4 GB disk 8 GB disk 72 GB disk 180 GB disk 8 MB/sec 12 MB/sec 40 MB/sec 45 MB/sec 80 IO/sec 115 IO/sec 160 IO/sec 200 IO/sec 20 ms Zugriff 14 ms Zugriff 10 ms Zugriff 5 ms Zugriff Realisierung 50 disks 25 disks 3 disks 1 disk einer 400 MB/sec 300 MB/sec 120 MB/sec 45 MB/sec 200 GB DB 4000 IO/sec 2875 IO/sec 480 IO/sec 200 IO/sec SQL Projekt AG FSU Jena

11 Die Auswege? Wenn Platten-I/O einschließlich des Transports in den Hauptspeicher das Hauptproblem ist, dann muss Platten-I/O reduziert und/oder beschleunigt werden In-memory DB TREX New DB Intelligente Platten Exadata/Oracle Smart Scan Speicherpreis 1000 x > Platte Energiebedarf 100 x > Platte? SSD Alternative Speicherungsstruktur Spaltenbasierte DB SYBASE IQ Speicherpreis Energiebedarf 10 x > Platte 0,5 x < Platte SQL Projekt AG FSU Jena

12 Technologien spaltenorientierter Datenbanken beim Sybase IQ-Server Einführung Sybase Adaptive Server IQ und IQM Grundkonzept der spaltenorientierten Speicherung bei IQ Indextypen IQ Multiplex Weitere neue Funktionalitäten bei IQ 15 Spezielle Anwendungen Archivierung Transaktionsnahe Umgebung, Real Time (?) Ausblick SQL Projekt AG FSU Jena

13 Der traditionelle RDBMS-Ansatz Berechne den durchschnittlichen Absatz von Radeberger in Gastronomie- Einrichtungen in Sachsen je Monat der letzten 3 Jahre Mon Einr Typ Land Prod Abs G SA Werne G MV Becks G SA Radeb K NS Jever 311 SELECT AVG (Abs), SUM(Abs)/AnzGSA/ G SA Radeb 95 FROM Absatz, G BY Paula 3454 (SELECT COUNT(DISTINCT Einr) AS AnzGSA M NW Dortm 703 FROM Absatz K SA Lands 1216 WHERE Land = SA AND Traditioneller Ansatz: Benutze einen Index wenn verfügbar Typ = G ) - benötigt normalerweise Table Scan WHERE Gehe Land zu den = SA ausgewählten AND Datenseiten und addiere die Zahlen - Zufällige Verteilung der Daten führt dazu, daß fast alle Seiten gelesen werden Typ = G AND müssen. - Auf Prod jeder = Seite Radeb müssen alle - auch die irrelevanten - Daten gelesen werden. SQL Projekt AG FSU Jena

14 Das Problem: Große Datenmengen Berechne den durchschnittlichen Absatz von Radeberger in Gastronomie- Einrichtungen in Sachsen je Monat der letzten 3 Jahre Mon Einr Typ Land Prod Abs G SA Werne G MV Becks G SA Radeb K NS Jever Millionen Zeilen 200 Bytes pro Zeile 16K Seitengröße G SA Radeb G BY Paula M NW Dortm K SA Lands I/O s pro Table Scan werden benötigt, mit Platte z.b. 40MB/sec 30 Minuten!!! Sehr teuer und unflexibel bei Ad-hoc-Anfragen SQL Projekt AG FSU Jena

15 Speichern einer Spalte: Fast Projection (FP) Index Jede Spalte wird in IQ automatisch als FP Index realisiert, enthält n Werte fester Länge mit dem definierten Datentyp für die n Zeilen der Tabelle, geordnet aufsteigend nach Record-Id Land Sachsen Sachsen-Anhalt Thüringen Niedersachsen Hessen Brandenburg Sachsen Hessen SELECT Land FROM Landtabelle WHERE Land LIKE Sa% notwendig für select list Spalten, (wildcard) string Suche, ad-hoc joins geeignet für Berechnungen kann mit anderen Indextypen kombiniert werden SQL Projekt AG FSU Jena

16 Optimierter Fast Projection Index FP(1) Subtype: FP(1), wenn Anzahl verschiedener Spaltenwerte < 257 Spaltenwerte 1 Byte - Lookup table Logical array Land Sachsen Sachsen-Anhalt Thüringen Niedersachsen Hessen Brandenburg Sachsen Hessen Sachsen 1 Sachsen-Anhalt 2 Thüringen 3 Niedersachsen 4 Hessen 5 Brandenburg SQL Projekt AG FSU Jena

17 Optimierter Fast Projection Index FP(2) Subtype: FP(2), wenn Anzahl verschiedener Spaltenwerte Spaltenwerte Lookup table Logical array Prod Radeberger Wernesgrüner Radeberger Landskron Becks Radeberger Paulaner Wernesgrüner Klosterbräu Radeberger 0 1 Wernesgrüner 0 2 Landskron 0 3 Becks 0 4 Paulaner 0 5 Klosterbräu SQL Projekt AG FSU Jena

18 Fast Projection (FP) Der DBA kann die Kardinalität der Spalte in der create table syntax durch Benutzung des UNIQUE Parameters angeben, IQ realisiert FP dementsprechend Verschiedene Werte Spaltenbreite = 1 Byte Spaltenbreite = 2 Byte Spaltenbreite = 3 Byte Spaltenbreite >3 Byte <257 FP(1) FP(1) FP(1) FP(1) FP(2) FP(2) FP(2) Flat FP(3) > Flat Ohne UNIQUE Parameter beginnt IQ mit FP(1) und setzt dann bei Erreichen der jeweiligen Grenzen automatisch auf FP(2), FP(3) und Flat SQL Projekt AG FSU Jena

19 Ergebnis der FP-Technologie Berechne Sybase IQ: den Daten sind in durchschnittlichen Spalten statt in Zeilen Absatz von gespeichert. Radeberger in Gastronomie- Einrichtungen in Sachsen je Monat der letzten 3 Jahre Sybase IQ: Es werden nur die relevanten Spalten gelesen Mon Mon Einr Einr Typ Typ Land Prod Abs Abs GG SA Werne GG MV Becks GG SA Radeb KK NS Jever Jever GG SA Radeb Radeb G G BY BY Paula Paula M M NW NW Dortm Dortm K K SA SA Lands Lands Ohne weitere Techniken kann IQ den Disk-I/O sehr stark reduzieren Ergebnis im Beispiel: Reduzierung des Disk-I/O auf maximal 5 % bzw. 1,5 min (ohne einen Index zu benutzen) SQL Projekt AG FSU Jena

20 Page - Kompression Grösse der IQ Pages 64, 128, 256 oder 512K werden vor dem Schreiben komprimiert in DB Blocks, deren Grösse default 1/16 der Page-Grösse, also 4, 8, 16 oder 32K Ergebnis der Kompression einer Page: 1 16 Blocks 1 Read/Write einer Page enthält alle DB Blocks dieser Page Device Block sollte Page-Grösse oder Vielfaches haben Laufzeit des Beispiels noch kürzer als angegeben SQL Projekt AG FSU Jena

21 Konsequenz der Spaltenorientierung Wenig zu empfehlen: Insert einer Zeile in Tabelle mit vielen Spalten IQ ist kein OLTP-Server! Select * Stattdessen Bulk Load erforderlich Beispiel 1 Mio DS gemessen: INSERT INTO telco_facts values (4, ,1,1, ,1,61,1756,5,188,3); LOAD INTO TABLE telco_facts ( ) FROM Insert/ Bulk Load 1 Mio DS DS/Sekunde MS/DS Faktor 1 Einzelinsert 3,06h 90,9 11 1: 1 97,5h 2, , ,97h 23,2 43,1 0, ,34h 206,6 4, ,1m 2066,1 0, ,2s 20325,2 0, , ,45s 95693,8 0, ,42s ,8 0, SQL Projekt AG FSU Jena

22 Schnelles INSERT, flexibles LOAD Ab IQ 15 mit automatischer Bulk-Funktionalität und parallelisiert: INSERT SELECT INSERT LOCATION Flexible loading Client side loading, including LOBs Client side load via DBLib, ODBC, OLE DB, ADO.Net or JDBC drivers SQL Projekt AG FSU Jena

23 Technologien spaltenorientierter Datenbanken beim Sybase IQ-Server Einführung Sybase Adaptive Server IQ und IQM Grundkonzept der spaltenorientierten Speicherung bei IQ Indextypen IQ Multiplex Neue Funktionalitäten bei IQ 15 Spezielle Anwendungen Archivierung Real Time Ausblick SQL Projekt AG FSU Jena

24 4 Basis-Index-Typen und weitere Spezial-Typen Bezeichnung Fast Projection High Group Low Fast High Non Group Abkürzung FP HG LF HNG Wird für jede Spalte grundsätzlich Verwendet, Default Index Für UNIQUE und PRIMARY KEY notwendig Comparison Index CMP Word Index Join Index Date-, Time-, Datetime WD JI Date,TIME,DTTM SQL Projekt AG FSU Jena

25 Low Fast (LF) Bitmap Index mit B-tree Prod Radeberger Wernesgrüner Radeberger Landskron Becks Radeberger Paulaner Wernesgrüner Klosterbräu Radeber ger Wernes grüner Landskr on SELECT DISTINCT Einr FROM Absatz WHERE Prod = Radeberger Für jeden Spaltenwert ein Bitmap Menge solcher Bitmaps für Bearbeitung fast aller Anfragen angewendet Ideal für Spalten mit einer Kardinalität <1500 SQL Projekt AG FSU Jena

26 Low Fast (LF) wird angewendet bei folgenden Anfrageoperationen: Suchargumente in where-klauseln Joins GROUP BY ORDER BY Spaltenbeispiele: Geschlecht Ja/nein Produktname Land Datum (falls < 1500 verschiedene Werte) SQL Projekt AG FSU Jena

27 High Group (HG) Index für Daten mit hoher Kardinalität (> 1500), unique/non-unique Verbesserter B-tree Index zur Ausführung von =, GROUP BY, Join Neu mit IQ 15: auch mehrspaltig, z.b. für Beschleunigung von ORDER BY, wird multi-threaded geschrieben Spaltenbeispiele (häufig Primärschlüssel): Produkt Id, Mitarbeiter ID SQL Projekt AG FSU Jena

28 High Non Group (HNG) Bit-weiser Index, optimiert für Bereichs-Suche und Aggregations-Funktionen Binäre Darstellung HNG-Index für Abs Abs SELECT SUM(Abs) FROM Absatz (1 * 64) + (0 * 32) + (1 * 16) + (6 * 8) + (4 * 4) + (3 * 2) + (4 * 1) = 154 für Datentyp NUMERIC und CHARCTER (<255) Ideal für Spalten, die benutzt werden in: Ranges, BETWEEN, SUM( ) und AVG( ) Funktionen Spaltenbeispiele: Datum (falls > 1500 verschiedene Werte), Beträge, Mengen SQL Projekt AG FSU Jena

29 4 Basis-Index-Typen und weitere Spezial- Typen Bezeichnung Fast Projection High Group Low Fast High Non Group Abkürzung FP HG LF HNG Wird für jede Spalte grundsätzlich Verwendet, Default Index Für UNIQUE und PRIMARY KEY notwendig Comparison Index CMP Word Index Join Index Date-, Time-, Datetime WD JI Date,TIME,DTTM SQL Projekt AG FSU Jena

30 Prinzipielle Herangehensweise bei der Indexierung von Tabellen SQL Projekt AG FSU Jena

31 Prinzipielle Herangehensweise bei der Indexierung von Tabellen (Forts.) SQL Projekt AG FSU Jena

32 Datenkompression - Radikale Senkung von Speicherbedarf und Wartung Herkömmliche DBMS Gleiche INPUT-Daten: Konventionelles DW ist 6x-10x größer als Sybase IQ DW Summaries Aggregates 1 2 TB Indexes 0,5 3 TB TB INPUT DATA: 1 TB Source: Flat Files, ETL, Replikation, ODS LOAD LOAD TB Aggr/Summ: 0 0,1 TB Indexes: 0,05 0,3 TB Base table: 0,2 0,5 TB Base table RAW data no indexes 0,9 1,1 TB SQL Projekt AG FSU Jena

33 Sybase IQ Praxisergebnisse Performance vs. - x (Kundenbeispiel Citibank) Durchschnittl. Antwortzeit Ladezeit Plattenplatz x 3.1 Std. 8.4 Std. 47 GB Sybase IQ 6.9 Min. 3.1 Std. 8 GB Plattform 2-1- Ausführen von sechs komplexen Anfragen - Bankenanwendung (select customer ID, group by product and account) SQL Projekt AG FSU Jena

34 Beispiel SELECT AVG (Abs), SUM(Abs)/AnzGSA/36 FROM Absatz, (SELECT COUNT(DISTINCT Einr) AS AnzGSA FROM Absatz WHERE Land = SA AND Typ = G ) WHERE Land = SA AND Typ = G AND Prod = Radeb 1 High Non Group Index für die Aggregatbildung 1 High Group Index für die Aggregatbildung 3 Low Fast Indizes für die Suchbedingung SQL Projekt AG FSU Jena

35 Ergebnis der Indexbenutzung Berechne den durchschnittlichen Absatz von Radeberger in Gastronomie- Einrichtungen in Sachsen je Monat der letzten 3 Jahre Mon Einr Typ Land Prod Abs G SA Werne G MV Becks G SA Radeb 1128 SELECT AVG (Abs), SUM(Abs)/AnzGSA/ K NS Jever 311 FROM Absatz, Sybase IQ: Es werden nur die relevanten Spalten gelesen (SELECT COUNT(DISTINCT Einr) AS AnzGSA FROM Absatz WHERE Land = SA AND Typ = G ) WHERE Land = SA AND Typ = G AND Prod = Radeb G SA Radeb G BY Paula M NW Dortm K SA Lands 1216 Ergebnis im Beispiel: Sehr starke Reduzierung des Disk-I/O auf ca. 0,1 0,2% bzw. 1 3 sec SQL Projekt AG FSU Jena

36 Sybase IQ und überprüfte Einsparungen bei Plattenspeicher Sybase IQ DATA COMPRESSION Beispiele Geladene Rohdaten Sybase IQ komprimiert Erwartete Datenexplosion bei anderen Anbietern Sun DWH Reference Architecture (InfoSizing August 2007) Sun DWH Reference Architektur (InfoSizing June 2004) 1 PB 260 TB 3 PB bis 7 PB 155 TB 55 TB 500 TB bis 1,000 TB Telefonica 70TB 15 TB 210 TB bis 490 TB comscore Networks 40 TB 16 TB 120 TB bis 280 TB Health Insurance Review Agency 27 TB 12 TB 81 TB bis 189 TB Samsung Card 15 TB 7 TB 45 TB bis 105 TB Nielsen Media Research 12 TB 12 TB 36 TB bis 84 TB Large Credit Card Company 10 TB 4 TB 30 TB bis 70 TB SQL Projekt AG FSU Jena

37 Eurostat : wide table 10 Mio rows SQL Projekt AG FSU Jena

38 Eurostat : Horizontale Partitionierung SQL Projekt AG FSU Jena

39 Eurostat : Vertikale Partitionierung SQL Projekt AG FSU Jena

40 Eurostat : In IQ-M SQL Projekt AG FSU Jena

41 Paralleles Ändern Ändern der DB soll Queries nicht behindern großes Problem für viele BI- Projekte In IQ soll eine Query nie auf eine Page warten, die sich im Ändern befindet Deshalb Page-Level Snapshot Versioning oder auch Page-Copy-On-Write Transaction-Id identifiziert Tabellenversion und diese die geänderten Pages der Version Queries laufen im isolation level 3 locking overhead ist gering durch table-level write locks In Verbindung mit Tabellenversionierung bleibt dadurch die Versionsanzahl klein SQL Projekt AG FSU Jena

43 SQL Anywhere (ASA) in IQ ASA ist der Zugang zur Sybase IQ database, verwaltet Server connections und logins/user ASA engine liefert Sybase IQ front end/interface und data dictionary, verwaltet metadata/master/system database, alle IQ database und server configuration parameter, IQ database file information ASA verwaltet IQ DB Objekte wie tables, stored procedures, event trigger, views, security information, version management usw. Sybase IQ benutzt SQL Interface von ASA zum Parsen Sybase IQ engine verwaltet data, data compression, DML/DDL/query optimization, IQ errors, data files, IQ temp database, version management, usw. SQL Projekt AG FSU Jena

44 Skalierbarkeit Sybase IQ ermöglicht ausbaufähige Multiplex Konfiguration IQ-M IQ-M IQ-M IQ-M IQ-M Starten mit einem Server Hinzufügen von s u. Speicher nach Bedarf Fiber Channel Storage Area Network Multiplexing ermöglicht es, weitere Server und s hinzuzufügen dabei kein bis minimaler Verlust an Skalierbarkeit; Skaliert wie ein Grid Terabytes an Festplatten können ins SAN eingefügt werden IQ-M wird diese effektiv nutzen SQL Projekt AG FSU Jena

45 Skalierbarkeit Nachgewiesen im Labor und bei Kunden Sybase IQ Multiplex Test der Skalierfähigkeit Anwender User Antw-Zeit: 31 sec sec % User Antw-Zeit = 31.6 sec Erhöhung : 1.9% (0.6 sec) Users 31.6 sec Knoten Workload: Each user executing random sequence of (TPC/H-like) queries (Source : HP Lab in San Bruno, CA) SQL Projekt AG FSU Jena

46 Skalierbarkeit Read/ Write Knoten IQ-M Einfache Administration und implizite Hochverfügbarkeit Read/ Write Knoten IQ-M Read/ Write Knoten IQ-M Read Knoten IQ-M Read Knoten IQ-M SKALIERBARKEIT Nach hinzufügen eines Knotens KEIN globaler Lock Manager nötig KEINE Datenumverteilung erforderlich KEINE Änderungen im Schema SEHR geringe I/O Contention Skaliert wie ein Grid Fiber Channel Storage Area Network SQL Projekt AG FSU Jena HOCHVERFÜGBARKEIT - Keine Unterbrechung des Datenbankzugriffs für andere Knoten - Andere Knoten werden durch Ausfall nicht beeinflußt --Anwender können Queries nach Start des Knotens einfach wiederholen oder automatisch auf anderen Knoten ausweichen (Sybase Open Switch, HW, ) -Bei gespiegelten Platten no single point of failure Architektur

47 Multiplex Koordinator und Sekundärknoten SQL Projekt AG FSU Jena

49 Query Plan Changes Connector Width Varies With Row Count ToolTip for Estimated Row Count Double Bar Indicates Parallel Dataflow Node Depth Varies with Max Thread Count ToolTip for Max Thread Count SQL Projekt AG FSU Jena

50 New Parallel Query Operators (Beispiel) Parallel Combiner Combines parallel dataflow back to a single stream Can or ordered (if above an ordered source) or unordered Dataflow processing is serial above this operator Parallel Order By Can have parallel inputs or parallel outputs or both Parallel outputs create parallel dataflow Parallel inputs with single output acts a a combiner SQL Projekt AG FSU Jena

51 Partitionierung und dbspace Range partitioning Range partitioning is for ILM, not for query performance Partitioned Primary storage All datatypes except float, double, varchar > 255 Bit columns are always in table dbspace SQL Projekt AG FSU Jena

52 SQL Projekt AG FSU Jena

53 SQL Projekt AG FSU Jena

55 Online-Archiv auf Basis Sybase IQ Sybase ASE und heterogene Umgebungen Applikation ASE CIS Technologische Grundlagen: Component Integration Services von Sybase ASE Proxy Tabellen Union in Views Instead-of-Trigger (ASE ) Transparent für SQL Physik. Speicherung/ Logik TABLE KUNDE TABLE ORDER VERTRAG PLACE_.. Direct Connect ORDER_ HISTORY Direct Connect IBM MVS (z/os) DB2(CICS) DB2(IMS) DB2(DRDA) IDMS IMS VSAM ODBC Informix Microsoft Oracle DB2/UDB TABLE VERTRAG Archiv: Sybase IQ AS/400 TABLE ORDER_ HISTORY CICS Trx PLACE_ ORDER Proxy Tabelle SQL Projekt AG FSU Jena

56 Speicherung ALLER relevanten Daten in EINEM System Internet ( und Dokumente) Anwender können weiter ihren bisherigen Client nutzen können aber auch auf das System zugreifen Dokumente Bilder Video Audio Fax Datei und DB Backup Andere Daten imarc Vor- handener Server Partnerlösung Dokumente und Clients ( Optional ) DW Transaktionen Sybase IQ Weitere Daten können in der Lösung nach Bedarf hinzugefügt werden SQL Projekt AG FSU Jena

57 PBS CBW NLS IQ Introduction PBS CBW NLS IQ for Sybase IQ is a powerful and complete Nearline Storage Solution for SAP Business Intelligence SAP BI SAP NLS Data Archiving Process (DAP) Administration/ Monitoring Sybase IQ Access: Queries, Reload,... PBS CBW NLS IQ Interface server Load Data Read Data CBW NLS IQ Infrastrutcure (without adk components) SQL Projekt AG FSU Jena

58 CBW-Architektur mit NLS und Sybase IQ DB und Nearline lesen (in Query-Attributen aktivieren) SAP BW Query InfoCube DataStore Objekt SAP Nearline Provider PBS Nearline Services für Sybase IQ SAP BW Datenbank Sybase IQ Spalten-basierte Data Warehouse DB, Kompression bis 1:10 SQL Projekt AG FSU Jena

59 Kompressionen InfoCubes - Kundenbeispiel InfoCube Größe arch. Daten Größe Daten in Sybase IQ Kompression auf INDIA Bytes Bytes 8 % INDIA Bytes Bytes 4 % FAKT Bytes Bytes 11 % FAKT Bytes Bytes 5 % FAKTP Bytes Bytes 8 % ERG Bytes Bytes 5 % 0FIAR_C Bytes Bytes 9 % 0FIAR_C Bytes Bytes 12 % SQL Projekt AG FSU Jena

60 Query Markthierarchie Speed (I) Query M_INDIA01/WEB1_M_INDIA01_MARHIE_ZJVJB Kundenhierarchie über Attribut KDUNIQUE Anzahl Datensätze: 17 Mio. Zugriffsart Sybase IQ Oracle DB mit Aggregaten Oracle DB ohne Aggregate Primärliste 16 s 71 s 416 s Sybase IQ (16s) Oracle mit Aggregaten (71s -> Faktor 4) Oracle ohne Aggregate (416s -> Faktor 26) Zeit [s] SQL Projekt AG FSU Jena

61 Query Fakturen Speed (I) Query Query M_FAKT01/STD_M_FAKT01_ASS_PC Anzahl Datensätze: 57 Mio. Zugriffsart Sybase IQ Oracle DB Primärliste 12 s 164 s mit Aggregaten Fakturaauswertung Oracle DB ohne Aggregate nach 2000 s abgebrochen Sybase IQ (12s) Oracle mit Aggregaten (164s -> Faktor 14) Oracle ohne Aggregate (abgebrochen) Zeit [s] SQL Projekt AG FSU Jena

62 Erfahrungsbericht Fazit Kundeninstallation Speed Kompression Administration Bis zu 14 x schnellere Antwortzeiten Kompression der Archivdaten bis zu 95 % Keine Indexkeine Aggregat- Modellierung SQL Projekt AG FSU Jena

64 Problem: Ein weiterer DB Server Wenn der OLTP-Server unvermeidlich ist, zusätzliche Kosten, Aufwand für Administration und Entwicklung der Synchronisation oder Replikation Ist das immer der Fall? Oder kann ggf. eine bestimmte Latenz für die Aktualität der DB toleriert werden? Eine Lösung: ASA des IQ als Staging DB benutzen SYBASE IQ Server Eingehende Insert- Transaktionen ASA Engine Zeitgesteuertes Insert Location IQ Engine ASA-DB Staging-DB IQ-DB SQL Projekt AG FSU Jena

65 SQL Projekt AG FSU Jena FK_TELCO_FA_REFERENCE_MONTH FK_TELCO_FA_REFERENCE_RESIDENT FK_TELCO_FA_REFERENCE_SERVICE FK_TELCO_FA_REFERENCE_STATUS month month_key month_text month_number fiscal_period year period_and_year month_and_year integer char(9) integer char(2) integer char(7) char(7) <pk> residential_customer customer_key customer_first_name customer_last_name customer_gender street_address city state postal_code phone_number integer char(11) char(15) char char(18) char(20) char(2) char(9) char(10) <pk> service service_key call_waiting_flag caller_id_flag voice_mail_flag cellular_flag internet_flag isdn_flag integer char char char char char char <pk> status status_key new_customer new_address call_waiting_status caller_id_status voice_mail_status cellular_status internet_status isdn_status closed_this_period integer char char char(10) char(10) char(10) char(10) char(10) char(10) char <pk> telco_facts month_key customer_key service_key status_key combined_revenue number_of_lines local_call_count local_call_minutes long_distance_call_count long_distance_call_minutes minutes_online integer integer integer integer numeric(19,4) integer integer integer integer integer integer <pk,fk1> <pk,fk2> <pk,fk3> <pk,fk4> Telekommunikations-DB Zeilen

66 ASA als Staging DB INSERT INTO telco_facts Zeitgesteuert z.b. in Intervallen von 10, 20, 30 sec INSERT INTO telco_facts LOCATION SELECT DS pro Bulk DS/sec in ASA DS/sec in IQ Faktor ASA Faktor IQ 1 Einzelinsert - 66,7 1: 1: , , ,4 333 SQL Projekt AG FSU Jena

67 Analysten Gartner Gartner Data Warehouse Magic Quadrant Position: Challenger IDC Wir haben beobachtet und darauf gewartet, dass Firmen, die Datenbanken implementieren, sich vermehrt für Sybase IQ und seine einzigartige Tabellen- und Indexstruktur entscheiden. Denn diese sichert eine beeindruckende Performance bei komplexen Abfragen auf großen Data Warehouses. Gemessen an den Markterfolgen der letzten Jahre scheint es so, dass der Markt endlich begriffen hat. Carl Olofson, Research Vice President Information Management and Data Integration Software Research IDC 2007 SQL Projekt AG FSU Jena

68 Kunden in Deutschland (Auszug) 1&1 Internet AG Bertelsmann Music Group EMI Electrola RTL Television Allianz-Dresdner Bausparkasse Dresdner Bank Vodafone D2 GmbH DekaBank Deutsche Bank Citibank DEVK Allgemeine Versicherungen AG Risk Consulting Raiffeisen Hauptgenossenschaft Nord Müller (Drogeriemärkte) European Southern Observatory SQL Projekt AG FSU Jena

70 Fragen Auf welcher Speicherbasis wird sich die spaltenorientierte DB weiter entwickeln? Wird die spaltenorientierte DB eine separate Technologie bleiben? Sicherlich nicht, aber welche Wege werden die Hersteller gehen? Transparenz für Queries und Transactionen wäre ein wichtiges Ziel Standardisierung? SQL Projekt AG FSU Jena

71 Vielen Dank für Ihre Aufmerksamkeit! Jürgen Bittner Vorstandsvorsitzender SQL Projekt AG Telefon (0351) Franklinstraße 25a Telefax (0351) Dresden mobil (0172) w w w. s q l - a g. d e SQL Projekt AG FSU Jena

72 Sun DWH Reference Architecture Reference Architecture Ein Sun SPARC Enterprise M9000 Server mit Solaris 10 Drei Sun StorageTek 6540 Storage Arrays verbunden mit dem Server über Fiber Channel Sybase IQ 12.7 Enterprise Edition BMMsoft DataFusion für die Verwaltung unstrukturierter Daten und s Quelle: Sun Data Warehouse Reference Architecture for Structured and Unstructured Data, InfoSizing, August 20, 2007 Hauptspeichernutzung Sybase IQ Writer nutzte 64 Cores (mit zusammen 128 Threads) und 100 GB Hauptspeicher 45 GB Hauptspeicher für den Sybase IQ Ladeprozess und als Cache für Teile der geladenen Dateien Der BMMsoft DataFusion Ladeserver nutzte 64 Cores (mit zusammen 128 Threads) und 40 GB Hauptspeicher 20 GB Hauptspeicher für Solaris 10 zur Optimierung von Swapping und Paging SQL Projekt AG FSU Jena

73 Sun s iforce Enterprise Data Warehouse Reference Architecture Basiert auf Sybase Adaptive Server IQ Multiplex mit 156 s und 160 GB RAM Ergebnisse: 48,2 Terabyte Rohdaten korrespondieren mit 22 Terabyte Speicherverbrauch Millionen Records werden täglich geladen in < 1h Konkurrenz zwischen Laden und Anfragen der gleichen Tabelle bringt nur 6,9 % Verlangsamung Bis zu 1000 x schnellere Analyse-Laufzeiten 80% weniger Installationsaufwand Unterstützt Tausende Anwender gleichzeitig SQL Projekt AG FSU Jena

74 BusinessObjects - Anwendungsarchitekturen Web Intelligence CrystalReports (Pioneer) Xcelsius+ Web Intelligence (Pioneer) Business Warehouse Xcelsius+ PBS Archiv NLS mit Sybase IQ Analytics Server SQL Projekt AG FSU Jena

75 IQ Multiplex-Archtektur SQL Projekt AG FSU Jena