ADVANCED ANALYTICS MIT SYBASE IQ

Transkript

1 ADVANCED ANALYTICS MIT SYBASE IQ VOLKER SAGGAU SYSTEMS CONSULTANT 04. MAI 2011

2 RIVA MIT SYBASE IQ Front Offie Kredit Kunden Extraktor Extraktor Extraktor Extraktor Strukturierte Quelldaten mit FTDL (XML-basierte Abbildung aller Finanzinstrumente) Datenbestände werden nur in den Originalsystemen gespeihert Fertige Extraktoren vorhanden (Kondor+, Summit, Murex, ) FTDL zur strukturierten und effizienten Abbildung aller Daten Riva Bewertung Riva Risiko Riva Meldewesen Viele andere Module und Hersteller Riva Cashflows Gekapselte Funktionen für diverse bankfahlihe Anforderungen Angereiherte strukturierte Ergebnisdaten mit FTDL Formatter Sybase IQ Sybase IQ Aggr/Summ: 0 0,1 TB Indizes: 0,05 0,3 TB Basistabelle: 0,2 0,5 TB Ergebnisse werden zentral zur Verfügung gestellt (und arhiviert) Wandlung der veredelten FTDL- Objekte für Sybase IQ Speiherung, Historisierung, flexible hoh performante Abfragen und Analysen auf allen übertragenen Informationen 2 Company Confidential May 6,

3 SYBASE IQ ARCHITEKTUR KOMBINIERT MIT RIVA ARCHITEKTUR Input Extraktor Sybase IQ Strukt. Quelldaten Lose gekoppelte Module für vershiedene betriebswirtshaftl. Modelle Strukt. Ergebnisdaten Formatter Output Output Output Output Datenquellen Datenbelieferung Spaltenbasierter Analyseserver Reporting- und Analyse-Tools Benutzer 3 Company Confidential May 6,

4 ERWEITERUNG DES ANALYSEBEREICHS VON RIVA Höhere Datenvolumina: Einführung der Dimensionen Zeit und Firmen 1. Dimension: beliebig viele Datensätze in kürzester Zeit 2. Dimension: beliebig viele Datensätze pro Unternehmen und Sub-Divisionen 4 Company Confidential May 6, 2011

5 Warum ist Sybase IQ besser für analytishe Aufgaben geeignet als andere Produkte auf dem Markt? 5 Company Confidential May 6, 2011

6 SAP UND SYBASE: PIONIERE FÜR IN- MEMORY TECHNOLOGIE Heute verfügbare Tehnologie-Lösungen SAP und Sybase Tools, angetrieben durh die In-Memory Tehnologie Sybase IQ Sybase ASE Logial Memory Manager SAP NetWeaver BW Aelerator (BWA) SAP Advaned Planner and Optimizer SAP NetWeaver Enterprise Searh SAP CRM Customer Segmentation Sybase SQL Anywhere In- Memory Datenbank Sybase ASE In- Memory Datenbank SAP BusinessObjets Explorer, aelerated SAP Business ByDesign analytis SAP HANA Dez 1996 Dez 1999 Q Q Q Company Confidential May 6, 2011

7 VERSCHIEDENE SPEICHERTECHNOLOGIEN Analogie mit Paletten-Ablagesystemen 7 Company Confidential May 6, 2011

8 DIE DATENBANK KÖNNTE DAS PROBLEM SEIN Überlastung operationaler Datenbanken durh Advaned Analytis-Anforderungen Optimiert für Transaktionen, keine tiefere Analysen Erfordert kontinuierlihe Feineinstellung und Indizierung Zusätzlihe Anwender verlangsamen die Performane Komplexe Abfragen können das System stoppen Durh Indizes und aggregierte Tabellen explodieren Datenvolumen Und in der Zwishenzeit... Werden die Zeitfenster für das Laden der Daten verkleinert Applianes sind oft proprietär und teuer in der Anshaffung, Implementierung und Wartung. 8 Company Confidential May 6, 2011

9 SYBASE IQ: DIE LÖSUNG FÜR ADVANCED ANALYTICS Sybase IQ ist eine hoh optimierte Analyse-Engine, die Unternehmen weltweit für Business Intelligene, Advaned Analytis, prädiktive Modellierung, stringente regulatorishe Compliane und shnelles Reporting einsetzen. Sybase IQ setzt Advaned Analytis in der Praxis um: Von Anfang an auf Analysen, niht Transaktionen ausgerihtet Unübertroffene komplexe Abfrageleistung auf beliebig großen Daten-Sets Niedrigste Gesamtbetriebskosten (TCO) für analytishe Anwendungen Spaltenbasierte Struktur und patentierte Indizierung versetzen Sybase IQ in den Gartner Groups Magi Quadrant als Visionär ¹ 1 Magi Quadrant for Data Warehouse Database Management Systems Gartner Group, Oktober Company Confidential May 6, 2011

10 DER SYBASE IQ VORTEIL Geshwindigkeit aus einer spaltenbasierten Arhitektur Bis zu 100-mal shneller als traditionelle transaktionale Datenbanktehnologie Hohgeshwindigkeits-Analyseleistung bewältigt Volumen an Ad-ho-Abfragen in Ehtzeit Skalierbarkeit und Flexibilität durh Multiplexing Unterstützt tausende von Benutzern und Jahre historisher und Ehtzeit-Daten Unterstützt sowohl einfahe als auh komplexe Analysen für strukturierte und unstrukturierte Daten Niedrigster TCO durh Datenkomprimierung Komprimierungsalgorithmen reduzieren das Datenvolumen der abgelegten Daten um bis zu 70% Niedriger Start- und Langzeit-TCO weniger Speiher- und Wartungsressouren Einfah zu lernen und anzuwenden erfordert nur minimalen Personal- und Trainingsaufwand 10 Company Confidential May 6, 2011

11 ANALYSEARCHITEKTUR-ALTERNATIVEN Datenmanagement für anspruhsvollste Analysen Transaktionale Datenbank Abfrageflexibilität, aber große Datenspeiher, komplexe Abfragen und hohe Benutzerzahlen beeinträhtigen die Systemleistung deutlih Beispiele: ASE, Mirosoft SQL Server, Orale, IBM Parallele Verarbeitung Abfragegeshwindigkeit und -flexibilität, aber erfordert signifikante Hardware-Ausgaben für die proprietäre Plattform. Eine komplexe Abfrage von einem Anwender wird alle beeinträhtigen Beispiele: Teradata, Netezza OLAP Hohe Abfragegeshwindigkeit, aber niedrige Flexibilität das Design erfordert ein tiefgehendes Verständnis für die Anforderungen Beispiele: Hyperion, Mirosoft, Cognos Sybase IQ Abfragegeshwindigkeit und -flexibilität. Niedrige Hardware-Kosten für die Standard- Plattform. Lineare Skalierbarkeit für die Unterstützung hoher Benutzerzahlen. 11 Company Confidential May 6, 2011

12 Leistungsfähigkeit von/ Skalierbarkeit der Analytis IT-Infrastruktur AUSFÜLLEN DER ANALYTISCHEN LÜCKE Analytishe Lüke Potentielle Skalierbarkeit Möglihe analytishe Fähigkeiten heutiger Systeme Anforderungen an Analytis IT-Infrastruktur 12 Company Confidential May 6, 2011

13 SYBASE IQS GEHEIME KERNZUTAT: SPALTENBASIERTE ARCHITEKTUR r1 r2 r3 r4 r5 1 Konventionelle Datenbank Daten werden horizontal gespeihert & abgerufen Abfragen ohne Indizes und Sihten ist sehr I/O-intensiv Bau von Indizes und Sihten ist ein großer Kosten- und Ressouren-Faktor; und die Sihten/Zusammenfassungen stellen kein komplettes Bild dar Datenbank-Footprint muss dramatish erweitert werden, um die Abfrageumgebung effizient zu gestalten SYBASE IQ r Daten werden vertikal gespeihert & abgerufen Jede Spalte wird separat gespeihert die Daten sind der Index r2 Nur Abruf der Spalten, die in dieser Abfrage benötigt werden r3 r4 r5 Dramatishe Reduzierung des System-I/Os starke Erhöhung von Abfragegeshwindigkeit und -genauigkeit 13 Company Confidential May 6, 2011

14 NIEDRIGSTER TCO DURCH DATENKOMPRIMIERUNG Konventionelle DBMS Dieselben INPUT-Daten: Konventionelles DW ist 3x-6x größer als Sybase IQ DW In Summe aggregiert 1 2 TB Indizes TB TB INPUT-DATEN: 1 TB Quelle: flat files, ETL, Replikation, ODS LADEN LADEN TB Aggr/Summ: TB Indizes: TB Basistabelle: TB Basistabelle Rohe Daten keine Indizes TB 14 Company Confidential May 6, 2011

15 IN-DATABASE ANALYTICS: EIN NEUES PARADIGMA Balane zwishen großen Datenvolumina, Durhsatz und Genauigkeit war shon immer eine große Herausforderung Der konventionelle Rat: Suhen Sie sih zwei Ziele aus (oder nur eins) Sybase IQ bietet eine analytishe Plattform, die alle drei Ziele gleihzeitig erfüllt Traditionelle Auflagen für Datenanalyse sind eliminiert Verarbeitungszeit Genauigkeit Daten- Volumen 15 Company Confidential May 6, 2011

16 SYBASE IQ 15.X IN-DATABASE ANALYTICS EINFACH SMARTER Datenbank Daten DIE KONVENTIONELLE ART Logik/Filter angewendet in Analyti Workbenh Servers Ergebnisse Visualisierung Daten in Logik = LANGSAM + UMSTÄNDLICH Daten verlassen NIE die Datenbank, bis die Ergebnisse materialisiert sind Analytis-Code/-Models sind GEMEINSAM NUTZBAR und ermöglihen AD-HOC Analysen Analytis-Code/-Models können auf die AKTUELLSTEN Daten-Sets angewendet werden DIE SYBASE METHODE Datenshutz-Politik ist garantiert Logik/Filter angewendet In-Database Ergebnisse Visualisierung Logik in Daten = SCHNELL + EFFIZIENT Selet myfuntion(ol1,ol2) from payments STANDARD-basierter Zugriff, ERWEITERBARKEIT der In-Database Logik Deutlihe PERFORMANCE und SKALIERBARKEIT -Verbesserungen Durhshnittlihe SQL-Experten können In-Database Analysemodelle kodieren 16 Company Confidential May 6, 2011

17 GROßE DEUTSCHE BANK Reduzierung der P&L-Reporting-Zeit Reduzierung der Kosten für Hardware und Speiherplatz Herausforderung: P&L Report Aktion: 10-tägiger Test Ergebnis: 9x shneller Täglih/monatlih P&L alle Asset-Klassen Test hoh performanten Sybase IQ Spaltenspeiher Lineare Performane trotz Volumenwahstum Reports in 4:51 Stunden Alle Reports laufen über Sybase IQ Reports in 30 Minuten CPUs UNIX nur 30% ausgelastet Weniger CPUs erforderlih Kürzere Wartezeit auf Disk CPUs jetzt LINUX und 100% ausgelastet Notwendigkeit der Kostenreduzierung a. 80% weniger Speiher a. 60% weniger CPU Senkung der CPU- & Speiherkosten um 72% 17 Company Confidential May 6, 2011

18 GUTE REISE FÜR IHRE DATENANALYSE NICHT NUR MIT DER RIVA ANALYSE SUITE 18 Company Confidential May 6, 2011

19