SOLUTIONS EXECUTIVE BRIEFING BROCHURE SERIES Solutions Sybase IQ Brochure titling here 30/33 and can go to Second Line as needed Massendaten-Auswertungen in Minuten statt Stunden mit einer analytischen, spaltenbasierten Datenbank Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam www.sybase.com www.sybase.de
Sybase Data Management Lösungen ÜBERBLICK Auf Events basierende automatische Entscheidungsfindung Streaming Data: Verarbeitung in Echtzeit Sybase CEP Weg von Batch hin zu Intra-Day Reporting und Analysen Hybride von Echtzeit-Reporting und Analysen historischer Daten Sybase RAP Massendaten-Auswertungen in Minuten statt Stunden Spaltenbasierte Analytics-Datenbank Sybase IQ Hardware-Trends schaffen neue Möglichkeiten im Datamanagement ASE OLTP relationale Datenbank In-Memory Datenbank ASE Cluster Edition IMDB Transparenz im Datenmanagement inkl. Reverse Engineering Replikation heterogener Daten Replication Server Enterprise Modeling PowerDesigner Sybase ASE Oracle DB2 MS SQL DB2 Mainframe Business Requirements Data Modeling Reverse Engineering Sybase ist seit mehr als 25 Jahren Innovationsführer für Data Management Lösungen. Dabei werden die Produkte stets mit dem Paradigma entwickelt, sowohl in transaktions- und datenintensiven Umgebungen maximale Performance bei niedrigen Total Cost of Ownership zu ermöglichen, als auch vollständig plattformunabhängig zu sein. Sybase-Produkte werden weltweit in 46 der Top 50 Banken und Finanzinstitute eingesetzt. Der Fokus dieses Executive Briefing liegt auf Data Analytics, also der Stufe 3 der Sybase Lösungen für das Datenmanagement. Auf den folgenden Seiten stellen wir Ihnen vor, wie Sie mit einer spaltenbasierten Analytics-Datenbank schnellere Berichte für mehr gleichzeitig arbeitende Anwender auf größeren Datenmengen zu minimalen Kosten realisieren können.
IQ 1. Sybase IQ: Übersicht 1.1 Was ist Sybase IQ? 1.2 Was ist die grundlegende Value Proposition von Sybase IQ? 1.3 Was ist der wesentliche Vorteil der spaltenbasierten Architektur von Sybase IQ? 1.4 Was sind die wichtigsten Märkte und Einsatzfelder für Sybase IQ? 1.5 Welche Performance-Vorteile bietet Sybase IQ? 4 5 5 8 8 2. Technische Leistungsmerkmale 2.1 Warum ist Sybase IQ in Bezug auf Nutzeranzahl und Ad-hoc-Abfragen so hoch skalierbar? 2.2 Was bietet Sybase IQ neben der spaltenbasierten Architektur, um die Performance von Abfragen zu erhöhen? 2.3 Welche Verschlüsselungsmöglichkeiten bietet Sybase IQ? 2.4 Welche Methoden gibt es, um Daten in Sybase IQ zu laden? 2.5 Mit welchen BI- und Analyse-Werkzeugen ist Sybase IQ kompatibel? 9 9 9 10 10 3. Sybase RAP und Sybase CEP 11
1. Sybase IQ: Übersicht 1.1 WAS IST SYBASE IQ? Sybase IQ ist eine Datenbanktechnologie, die speziell für Berichte und Analysen entwickelt wurde. Die spaltenbasierte Architektur unterstützt schnelle, komplexe Abfragen und Ad-hoc-Queries wesentlich besser als traditionelle zeilenbasierte Datenbanken. Letztere stammen ursprünglich aus dem OLTP Bereich und müssen grundlegend für Abfragen dieser Art optimiert sein. Sybase IQ als spaltenorientierte Datenbank muss nicht mehr eigens für derartige Abfragen optimiert werden. Deshalb ist Sybase IQ die erste Wahl in Umgebungen, die schnelle und umfassende Reports und Analysen liefern müssen. Sybase IQ bietet deutliche Vorteile bei Performance, Skalierbarkeit und Gesamtkosten. Der wesentliche Vorteil lässt sich anhand eines einfachen Beispiels verdeutlichen: Aus einer Tabelle mit 20 Milliarden Datensätzen soll ein Report generiert werden, der die Summe aller Beträge per Zahlungsart bestimmt. Eine zeilenorientierte Datenbank muss prinzipbedingt mittels Table-Scan alle Zeilen, d.h. auch die Daten lesen, die für die Anfrage irrelevant sind. Dadurch entsteht ein gewaltiger I/O-Overhead. Grafik 1. Klassische zeilenbasierte OLTP-RDBMS-Technologie: Rec Nr. ISIN Nummer ID Währung Zahlungsart Betrag Konto 450,000 450,001 450,002 450,003 450,004 450,005 Abfrage mit einem klassischen RDBMS : Alle Zeilen der Datenbank müssen für den Report gelesen werden. DBAs traditioneller Datenbanken kompensieren diesen Nachteil durch den Einsatz von Indizes, Aggregaten oder z.b. durch sogenannte materialisierte Sichten. Diese Maßnahmen haben jedoch zur Folge, dass sowohl der Analyse- als auch Pflegeaufwand steigen, und die Datenbanken insgesamt beträchtlich größer werden. Grafik 2. Die spaltenbasierte Technologie von Sybase IQ: ISIN Nummer ID Währung Zahlungsart Betrag Konto Abfrage mit Sybase IQ : Es müssen lediglich die Spalten gelesen werden, die zur Abfrage gehören. Sybase IQ greift im Vergleich dazu nur auf die tatsächlich benötigten Spalten und Werte zu; das reduziert die I/O-Operationen deutlich. Die einzelnen Spalten lassen sich so abspeichern, dass kein Extra-Speicherplatz benötigt wird, d.h. jede Spalte wird für sich als Index betrachtet und genutzt. 4
1.2 WAS IST DIE GRUNDLEGENDE VALUE PROPOSITION VON SYBASE IQ? Sybase IQ erlaubt eine schnellere Inbetriebnahmezeit und bessere Performance bei geringeren Gesamtkosten (Total Cost of Ownership). Und trotz seiner fortschrittlichen Architektur handelt es sich um ein relationales Datenbank-Management-System, das mit Standard-SQL arbeitet und leicht in jede Umgebung an Stelle einer anderen SQL Datenbank eingebunden werden kann. Mit Sybase IQ können Unternehmen auf Datenvolumina in der Größenordnung von Milliarden Zeilen zugreifen und Analysen auf riesigen Mengen hochgradig granularer Daten durchführen. Durch die kürzere Realisierungszeit, hohe Datenkompression und die effektive Ausnutzung von Ressourcen sind solche Projekte wesentlich schneller und kostengünstiger als das mit zeilenbasierten DBMS der Fall ist. 1.3 WAS SIND DIE WESENTLICHEN VORTEILE DER SPALTENBASIERTEN ARCHITEKTUR VON SYBASE IQ? Der entscheidende Vorteil der spaltenbasierten Architektur besteht in der Granularität, mit der die Zugriffe erfolgen. Traditionelle zeilenorientierte Datenbanken führen oftmals Table-Scans durch oder nutzen alternativ nur wenige spezialisierte Indizes oder Aggregate pro Query. Eine spaltenorientierte Datenbank kann dagegen alle Spaltenindizes einer jeden Tabelle innerhalb jeder Query kombinieren und erreicht eine wesentlich besserer Ausführungsgeschwindigkeit. Dies ist auch dann noch der Fall, wenn bei traditionellen Datenbanken der für diese Query exakt passende Index bestehen würde. Bei spaltenbasierten Datenbanken stellt jede Datenspalte ein Index dar. Dank der implementierten Bitmap-Indexierungstechnik wird bei der Ausführung einer Abfrage nur auf die Daten zugegriffen, die für diese spezifische Query wirklich relevant sind. Patentierte Komprimierungs-Algorithmen sparen zusätzlichen Speicherplatz. Bei konventionellen Datenbanken müssen die Indizes vorab anhand der erwarteten Abfragen definiert werden. Eine Abfrage in einer Datenbank, für die vorher kein passender Index definiert wurde, führt in der Regel zu einem vollständigen Table-Scan wobei alle Datensätze der Tabelle hintereinander durchsucht werden, was bei großen Tabellen sehr lange dauern kann und damit zu einer sehr schlechten Performance führt. Der Großteil an Design- und Pflegeaufwand bei einem traditionellen Datenbanksystem besteht deshalb im Anlegen und in der Pflege von Indizes, die die erwarteten Abfragemuster unterstützen. Damit wird es den Nutzern natürlich erschwert, neue oder Ad-hoc-Abfragen zu formulieren, denn dies hätte negative Auswirkungen auf die Performance der Datenbank. Sybase IQ hingegen benötigt keine vordefinierten Indizes. Denn erstens bildet hier jede Datenspalte automatisch einen Index, und zweitens gibt es weitere Indizes für Gruppen, Sort- und Join-Operationen. Alle Indizes in Sybase IQ sind außerordentlich klein und benötigen keinerlei manueller Pflege. Ad-hoc-Abfragen auf großen Datenmengen werden mit einer sehr kurzen Verzögerung (Latenzzeit) umgesetzt. Sybase IQ erreicht darüber hinaus kurze Inbetriebnahmezeiten und hohe Kompressionsraten bei gleichwohl schneller Abfrage, da auch eine Voraggration von Daten nicht erforderlich ist.
Grafik 3. INDIZES UND AGGREGATE BEI HERKÖMMLICHEN RDBMS Bei einem herkömmlichen Relationalen Datenbank- Managementsystem (RDBMS) müssen komplexe Indizierungen und Aggregierungen vorgenommen werden. Diese Indizes und Aggregate verursachen zusätzliche Kosten für Datenbankdesign, Wartung, Plattenplatz und Rechenleistung. Standard RDBMS AGGREGATE ca. 1 TB INDIZES ca. 3 TB 5 TB QUELL-DATEN 1 TB QUELLE: TEXT-DATEIEN, ETL, REPLIKATION, ODS Laden auf Faktor 5 " ROHDATEN" GRUND- INDIZIERUNG ca. 1 TB DAS IN SYBASE IQ GESPEICHERTE DATENVOLUMEN IST DEUTLICH GERINGER ALS DAS VOLUMEN AN ROHDATEN Grafik 4. SPALTENBASIERTE SPEICHERUNG UND KOMPRESSION ERMÖGLICHT RADIKALE SENKUNG VON SPEICHERBEDARF UND WARTUNG Spaltenorientierte Speicher können die Performance von analytischen Applikationen dramatisch verbessern, die Speicherkosten reduzieren sowie die Flexibilität des Ad-Hoc- Reportings radikal verbessern. Sybase IQ SPALTENBASIERTER SPEICHER QUELL-DATEN 1 TB QUELLE: TEXT-DATEIEN, ETL, REPLIKATION, ODS Laden Faktor 0,8 mit Sybase IQ AGGREGATE: 0-0.1 TB INDIZES: 0.05-0.3 TB GRUNDINDIZIERUNG: 0.2-0.5 TB 0,8 TB Da Sybase IQ spaltenbasiert ist, sind keine komplexen Indizierungen und Aggregierungen nötig, um performante Abfragen und Reports zu erzeugen. Das bedeutet, dass die höhere Performanz mit der gleichzeitigen Reduzierung von gespeicherten Datenvolumina einhergeht. Einer der Vorteile von Sybase IQ ist die Datenkompression, die Zeit, Ressourcen und Kosten spart. Die Energieeinsparungen können leicht nachvollzogen werden, wenn man von einer ca. 80%igen Hardware-Einsparung ausgeht, bei der die Hardware im 24/7 Rhythmus Energie verbraucht. Hinzu kommen zudem noch die Ersparnisse, die durch kürzere Antwortzeiten bei Abfragen und Reports zum Tragen kommen. 6
GRAFIK 5. EXEMPLARISCHE ROI-KALKULATION FÜR SYBASE IQ Die vorab beschriebenen Effekte der Datenkompression und des schnelleren Zugriffs auf die relevanten Daten lassen sich einfach quantifizieren. Die folgende Grafik zeigt exemplarisch die Einspareffekte bei einem Data Warehouse von 40 Terabyte. Einsparung: Speicherplatz Größe des DWH Kosten pro Jahr und TB* Gesamtkosten für Speicherplatz Typische Kompression mit Sybase IQ Einsparung [TB] [EUR] [EUR] % [EUR] 40 46.000 1.840.000 80 1.472.000 Einsparung: Server Anzahl Server Kosten für RDBMS Unix CPU Kosten für Sybase IQ Linux CPU Pro CPU # CPUS Kosten Pro CPU # CPUS Kosten Einsparung [STK] [EUR] [STK] [EUR] [EUR] [STK] [EUR] [EUR] 4 60.000 48 2.880.000 20.000 12 240.000 2.640.000 Zusammenfassung: Einsparungen Kosten RDBMS Kosten Sybase IQ [EUR] [EUR] [EUR] Speicher 1.840.000 368.000 1.472.000 Server 2.880.000 240.000 2.640.000 TOTAL 4.720.000 608.000 4.112.000 + Verbesserung von Report- und Query-Performance RDBMS Sybase IQ Einsparung Verbesserung Reporting 248 Min 10 Min 24x Ad-hoc 12 Min 3 Sek 240x Mit Sybase IQ lassen sich hinsichtlich Speicherbedarf und Wartung Einsparungen in Millionenhöhe erzielen. 7
1.4 WAS SIND DIE WICHTIGSTEN MÄRKTE UND EINSATZFELDER FÜR SYBASE IQ? Die wichtigsten Märkte und Einsatzfelder für Sybase IQ sind: Reporting Services. Sind operationale Datenbanken oder zentrale Data Warehouses zu langsam, um die geschäftlichen Anforderungen zu erfüllen und performanter zu werden, werden Reports oft herausgenommen und in Sybase IQ verlagert. Die Tatsache, dass marktübliche Reporting-Werkzeuge wie Microstrategy, Business Objects, Cognos die standardisierte ODBC- / JDBC-Schnittstelle von Sybase IQ eingebunden. Anspruchsvolle Analysen - insbesondere wenn Echtzeit- und Prognose-Komponenten große Datenmengen auswerten und deshalb eine hohe Performance verlangen. Das können Untersuchungen des Kundenverhaltens im Rahmen des CRM sein, wie beispielsweise Cross-Sell-/Up-Sell-Analysen mit SPSS Clementine, SAS oder auch mittels Fuzzy Logix in Database. Ad-hoc-Abfragen auf große Datenmengen oder mit einer großen Zahl von Nutzern, wie etwa historische Auftrags- und Marktdaten-Analysen oder das Back-Testing von Anwendungen für Smart Trading bzw. Algo Trading oder z.b. Bondatenanalysen im Handel. Daten-Aggregatoren - vor allem Dienstleister, die Daten sammeln, aufbereiten und einer breiten Kundenbasis Analysen als Service anbieten, beispielsweise Marktforschungsinstitute, Einkaufgemeinschaften, Börsen, Multilaterale Handelssysteme (Multilateral Trading Facilities -MTF), Marktdatenlieferanten, etc. die Speicherung und Analyse großer Mengen historischer Daten. 1.5 WELCHE PERFORMANCE-VORTEILE BIETET SYBASE IQ? Verglichen mit zeilenbasierten Datenbanklösungen können Installationen mit Sybase IQ die Abfragegeschwindigkeit um das Zehnfache, in manchen Fällen bis um das Tausendfache, erhöhen. Gleichzeitig benötigen sie weniger Hardware-Ressourcen. Das ist insbesondere dann der Fall, wenn Abfragen sehr komplex sind oder große Table-Scans erfordern würden. Da die Nutzer keine Indizes oder Datenaggregationen definieren und pflegen müssen, können sie im Vergleich zu traditionellen Ansätzen sowohl die Performance verbessern als auch den Managementaufwand senken. 8
2. Technische Leistungsmerkmale 2.1 WARUM IST SYBASE IQ IN BEZUG AUF NUTZERANZAHL UND AD-HOC-ABFRAGEN SO HOCH SKALIERBAR? Getrennte Sybase IQ Instanzen für Lese- und Schreibzugriffe erlauben es, Prozeduren parallel auszuführen, ohne dass sie sich gegenseitig beeinflussen. Sybase IQ unterstützt gezielt parallele Abfragen. Eine spezielle Optimierung individueller Queries ist hingegen nicht erforderlich, da bereits die spaltenbasierte Architektur gewährleistet, dass praktisch alle Abfragen schneller sind als bei traditionellen Ansätzen. 2.2 WAS BIETET SYBASE IQ NEBEN DER SPALTENBASIERTEN ARCHITEKTUR, UM DIE PERFORMANCE VON ABFRAGEN ZU ERHÖHEN? Die spaltenorientierte Architektur ist nur der erste Schritt hin zu einer herausragenden Performance. Sybase IQ besitzt einen kostenbasierenden Optimizer und erlaubt dynamische Änderungen an den Schema- Attributen (Spalten). Damit können Nutzer im laufenden Betrieb in einer Tabelle Spalten hinzufügen oder löschen. 2.3 WELCHE VERSCHLÜSSELUNGSMÖGLICHKEITEN BIETET SYBASE IQ? Sybase IQ gestattet die Verschlüsselung von Daten mit marktüblichen starken Verschlüsselungsalgorithmen (FIPS zertifiziert). Das ist insbesondere wichtig für Daten-Aggregatoren mit vielfältigen Dienstleistungen und Kundenservices, die unterschiedliche Kundendaten mit verschiedenen Algorithmen verschlüsseln müssen.
2.4 WELCHE METHODEN GIBT ES, UM DATEN IN SYBASE IQ ZU LADEN? Es existieren zahlreiche Optionen, je nach Umgebung und den Anforderungen an die maximale Latenzzeit und die Performance. In der folgenden Liste werden Ladeoptionen genannt, deren Reihenfolge aber keine Präferenz bedeutet. Sybase-Experten helfen, die für das konkrete Projekt am besten geeignete Kombination zu finden. 1) Direktes Laden von csv sowie fixed length Dateien oder named Pipes 2) Kontinuierliches Laden (nahe Echtzeit) der Änderungsdaten aus Datenbanken, durch Verwendung des Sybase Replication Servers 3) Einsatz des Sybase-eigenen ETL Tools 4) Einsatz einer Staging-Datenbank (Sybase ASE oder Sybase SQL Anywhere) Außerdem arbeitet Sybase eng mit führenden Anbietern von ETL-Technologie zusammen (z.b. Informatica, Business Objects). Mit Hilfe der Versionierungsmöglichkeiten von Sybase IQ ist auch simultanes Laden und Abfragen möglich. Dabei wird eine neue Version für den Ladeprozess erzeugt, während die Abfragen auf der älteren Version weiterlaufen, bis der neue Ladevorgang abgeschlossen ist. 2.5 MIT WELCHEN BI- UND ANALYSE-WERKZEUGEN IST SYBASE IQ KOMPATIBEL? Sybase IQ bietet standardisierte ODBC-, JDBC- und OLE-Datenbankverbindungen zu seiner Query-Engine. Dadurch ist der Zugriff von jedem auf Standards basierenden Front-End-BI-Werkzeug möglich. Sybase IQ ist zertifiziert für die Zusammenarbeit mit branchenführenden Tools wie Microstrategy, Business Objects, Cognos, SPSS Clementine und vielen anderen. 10
3. Sybase RAP und Sybase CEP SYBASE RAP ist eine spezielle Analytics-Infrastruktur, die eigens zur Bewältigung der gestiegenen Anforderungen im Kapitalmarktumfeld bezüglich geringer Latenzzeiten und der Verarbeitung großer Datenmengen entwickelt worden ist. Dabei konnte sich Sybase sein einzigartiges Knowhow aus seiner starken Marktposition in der Finanzindustrie zu Nutze machen. Das Designprinzip von RAP integriert Real- Time-Streamingdaten sowie historische Daten auf einer gemeinsamen Plattform. Mittels RAP kann der kontinuierliche Fluss von Daten über die Bereiche Marktdaten,Trading, Risk Management, Controlling und Reporting dargestellt und in Real-Time verarbeitet werden. RAP ist die Infrastruktur für die Realiserung von Lösungen wie u.a. Real-Time Risk Management. Daten können so zu Echtzeit mittels RAP Cache im Speicher verarbeitet werden. Simultan können die gleichen Daten in RAP Store spaltenbasiert zur Auswertung von längeren Zeitabschnitten gelagert werden. So ist zum Beispiel Marktdatenhistorisierung für Market Replay zum Test von Smart-Order-Routing oder Algo-Trading mit Sybase RAP möglich. Mit Sybase CEP geht Sybase noch einen Schritt weiter Richtung Echtzeit-Intelligenz und ermöglicht die Durchführung von Analysen auf Streamingdaten. Mit der CEP-Plattform entwickelte Anwendungen untersuchen fortlaufend eine beliebige Zahl von Datenströmen: in der Geschwindigkeit, in der sie entstehen und in der sie sich kontinuierlich verändern. Das ermöglicht fortlaufend entscheidungsrelevante Einblicke in sich ständig verändernde Datenbestände. Grafik 6. DAS ZUSAMMENSPIEL VON SYBASE RAP UND SYBASE CEP "With Sybase RAP - The Trading Edition, we quickly deployed a very sophisticated system that traders are confident in and use. It is an ideal platform timely, accurate, and FAST." Jason Ross, Director, Rates Trading Group, Mitsubishi UFJ Securities International plc (MUSI) 11
Für weitere Informationen über Sybase IQ und Referenz-Projekte oder falls Sie Fragen, beispielsweise zu Performance-Steigerungen oder den ROI haben, kontaktieren Sie bitte: Sybase, an SAP Company Gisela Kölling Sales & Customer Services Prinzenallee 13 40549 Düsseldorf +49 (0)211 5976 202 Gisela.Koelling@Sybase.com Sybase, an SAP Company Prinzenallee 13 40549 Düsseldorf +49 (0)211 5976 0 marketing_ger@sybase.com www.sybase.de SYBASE GMBH, PRINZENALLEE 13, 40549 DÜSSELDORF, Tel. 0211/5976-0 Copyright 2010 Sybase, Inc. Alle Rechte vorbehalten. Sybase IQ und das Sybase Logo sind Marken von Sybase. gibt die Eintragung eines Urheberrechts in den Vereinigten Staaten von Amerika an. Gedruckt in Deutschland. Änderungen vorbehalten.