Datenbankstammtisch. Oracle's multidimensionale Lösungen: Oracle OLAP und Oracle Essbase. M. Fischer Dresden,

Transkript

1 Datenbankstammtisch Oracle's multidimensionale Lösungen: Oracle OLAP und Oracle Essbase M. Fischer Dresden,

2 Agenda Kurzvorstellung Robotron Oracle s multidimensionale Lösungen im Überblick Oracle OLAP Geschichte Technologie OLAP Cube Views Cube-Organized Materialized Views Praxisbeispiel: Münchner Preisindex Oracle Essbase Geschichte Technologie Praxisbeispiel: Informationsdatenbank Kommunale Finanzen Produktpositionierung

4 Robotron - Zahlen und Fakten Gründungsjahr 1990 Mitarbeiterzahl 260 (Stand 04/2011) Stammkapital 1,8 Mio. EUR Umsatz ,2 Mio. EUR Geschäftssitz Stuttgarter Str Dresden Oracle-Partner Tschechien ISO 9001 zertifiziert Schweiz Österreich Lösungs- und Entwicklungspartnerschaft Tochterunternehmen Russland

6 Oracle s multidimensionale Lösungen im Überblick Oracle Essbase Oracle OLAP Zweck Typ. Endanwender Kundenspezifisce analytische und BI-Anwendungen mit einem Fokus auf EPM; gebaut und gewartet von Fachanwendern Controller, Analysten in Fachabteilung, Fachabteilungsmgmt. Käufer Fachabteilung IT Systembetreiber Fachabteilung (und IT) IT Datenmanagement Speichert Daten in einer multidimensionalen Datenbank auf Platte und im Hauptspeicher Verbessert die Performance und analytischen Fähigkeiten SQLbasierter BI-Anwendungen DBA, Fachanwender, Anwender bestehender Berichtswerkzeuge Speicherform Multidimensional Multidimensional Speichert Daten in multidimensioalen Objekten in der Oracle DB Abfragesprache MDX und XML/A SQL oder Query Rewrite Metadaten-Management Benutzerverwaltet IT-administriert Security Essbase und andere (z.b. LDAP) Oracle DB Architektur Eigenständiger OLAP Server, Teil der Oracle Fusion Middleware Integrierte OLAP Engine in der Oracle DB

8 Oracle OLAP Geschichte Mainframe Express Entwickelt von Management Decision Systems (MDS) 1985 Übernahme von MDS durch Information Resources (IRI) C-basierte Express Engine pcexpress (auf PC), Express MDB (auf anderen Plattformen) Express bekommt GUIs Financial Management System, SalesAnalyzer, u.a Übernahme von IRI durch Oracle Express Server, Oracle Financial Analyzer, Oracle Sales Analyzer, Express Web Agent, Express SPL, Entwicklerwerkzeuge Ab 1998 Oracle integriert Express Engine direkt in die Datenbank 2002 Erstes OLAP Release: Oracle9i OLAP Analytic Workspace Manager, OLAP DML, OLAP API

10 Oracle OLAP Option zur Oracle Database Enterprise Edition, aktuell 11gR2 Integrierte multidimensionale Engine mit fortgeschrittenen analytischen Funktionen und Aggregationen Gewichtete und hierarchische Aggregationsmethoden OLAP Catalog (OLAPSYS) erweitert das Data Dictionary, um multidimensionale Modelle zu beschreiben OLAP DML und java-basierendes OLAP API SQL-Erweiterungen für den Zugriff auf multidimensionale Datentypen (Analytic Workspace): OLAP_TABLE, MODEL Administration über Oracle Enterprise Manager und Analytic Workspace Manager

11 Analytic Workspace Container multidimensionaler Daten und Objekte (Dimensionen, Variablen, Programme, Formeln) Analytic Workspace (AW) wird als BLOB in relationalen Tabellen verwaltet Programmiersprache OLAP DML AW kann angelegt und verwaltet werden mit: Analytic Workspace Manager (AWM) Oracle Warehouse Builder (OWB) AW XML API OLAP DML AW entspricht im weiteren Sprachgebrauch konzeptionell einem OLAP Cube

12 Analytic Workspace Manager

13 Analytic Workspace Manager

14 Oracle OLAP Frontends Oracle BI Enterprise Edition Oracle Discoverer Plus OLAP Oracle OLAP Excel Add-in (OLAP 10g) Oracle BI Beans (OLAP 10g) SQL-basierte BI-Werkzeuge und kundenspez. SQL-basierte oder API-basierte Anwendungen Drittanbieter: Simba Technologies MDX Provider for Oracle OLAP, Bissantz DeltaMaster, Miner3D

16 OLAP Cubes Views SQL Query von OLAP Cubes (Analytic Workspaces) OLAP Cube wird als Star-Schema in relationalen Views repräsentiert Dimensionen- und Fakten-Views Detail- und Summen-Faktenzeilen Analytische Faktenspalten für Kennzahlen OLAP Cube enthält Alle Kombinationen und Summenebenen Analytische Berechnungen

17 Abfrage an ein Star-Schema Abfrage ohne OLAP Cubes Abfrage mit OLAP Cube Views WITH sales_dense AS (SELECT [breakout columns] sales, SUM(sales) over(partition BY [breakout columns] ORDER BY [time column] ASC range BETWEEN unbounded preceding AND CURRENT ROW) AS sales_ytd FROM (SELECT [breakout columns] a.sales FROM (SELECT [breakout columns] SUM(f.sales) sales FROM [table list] WHERE [star join and other filters] GROUP BY [breakout columns) a PARTITION BY(breakout columns) RIGHT OUTER JOIN (-- need list of all time periods SELECT DISTINCT [time columns] FROM time_dim b ON([join on relevant time level])) ) Continued SELECT [breakout columns], sales, sales_prior_year sales_ytd, sales_ytd_prior_year FROM sales_cube_view WHERE [star join] Vereinfachte, performante Abfrage

18 Analytische Funktionen in OLAP Zeitreihenanalye Auswahl an Funktionen Finanz-Modelle Prognose einfach Expertensystem Verteilungen Regressionen Berechnete Elemente Eigene Funktionen und vieles mehr mittels OLAP Cube Views alle per SQL erreichbar!

20 Klassische Lösung für die Verwaltung von Aggregaten BI Tool Materialized Views für bessere Performance Region SQL Date Sales by Region Sales by Date Query Rewrite Sales Sales by Product Sales by Channel Product Relationales Star-Schema (Tabellen) Channel

21 Viele unterschiedliche Abfragen = viele MVs = Umfangreich! More Time Star Schema Preparation Time Less Time Less Ad-Hoc More Ad-Hoc Predictable Queries Unpredictable Query Patterns Simple Calculations Sophisticated Calculations Ad-Hoc Nature of Application and Query Patterns

22 Cube-Organized Materialized Views Ein einzelner OLAP Cube liefert das Äquivalent tausender Summen-Kombinationen Der Oracle11g SQL Query Optimizer behandelt OLAP Cubes als MV s und schreibt die Abfragen entsprechend um Cube Refresh mit den Standard MV Prozeduren

23 Innovative, einmalige Funktion in Oracle Datenbank BI Tool Cube-Organized Materialized Views Region SQL Date Query Rewrite Product Relationales Star-Schema (Tabellen) Channel Automatic Refresh dbms_mview.refresh('cb$unit_cube','f')

24 Viele unterschiedliche Abfragen = Ein Cube = Einfach! More Time Star Schema Preparation Time Multidimensional Data Types Less Time Less Ad-Hoc More Ad-Hoc Predictable Queries Unpredictable Query Patterns Simple Calculations Sophisticated Calculations Ad-Hoc Nature of Application and Query Patterns

25 Query Rewrite zum OLAP Cube

26 Query Rewrite zum OLAP Cube Explain Plan Before Query Time Before

27 Query Rewrite zum OLAP Cube Explain Plan After Query Time After Database Query Optimizer schreibt automatisch Abfrage auf OLAP Cube um

29 Praxisbeispiel Oracle OLAP: Münchner Preisindex Wunsch des Sozialreferates einen Münchner Preisindex zu berechnen Aussagen zu Preisentwicklungen, auch im Vergleich zu Land und Bund Preisindex wird monatlich ermittelt und basiert auf einem Warenkorb mit 733 gewichteten Produkten Produkte werden mittels COICOP (Classification of Individual Consumption by Purpose, UN-Klassifizierung) verschlüsselt COICOPs lassen sich nach Verwendungsart über mehrere Ebenen gruppieren

30 Preisindex-Berechnung Aus Einzelpreisen für jedes der 733 Produkte (COICOP) im Warenkorb werden über Durchschnittspreise pro Geschäftskategorie zunächst Elementarindizes pro Geschäftskategorie und daraus Teilindizes gebildet Teilindizes werden mittels Wägungsanteil gewichtet entlang der Ebenen bis hin zum Verbraucherpreisindex aggregiert usw. Oracle OLAP Ausgangsmaterial: monatliche Einzelpreise, sowie zentral ermittelte Teilindizes (sogenannte Z-Positionen)

31 Definition des OLAP-Cubes im AWM

34 Auswertung im Discoverer für OLAP

35 Auswertung im Discoverer für OLAP

36 Warum Oracle OLAP? Ausgangssituation: zwei Dimensionen (COICOP, Zeit) mit komplexer Aggregation der Kennzahl (Verbraucherpreisindex) Multidimensionale Berechnungsengine in der Datenbank hohe Abfrageperformance Vielzahl an fortgeschrittenen Aggregationsfunktionen gewichtete und hierarchische Operatoren Konzentration auf Algorithmus, statt auf Implementierung Vorhandene Oracle-Infrastruktur im Projekt Datenbank Enterprise Edition Discoverer für OLAP

38 Oracle Essbase Geschichte 1992 Essbase wird durch Arbor Software veröffentlicht Extended Spread Sheet database APIs und Essbase Web Gateway 1998 Fusion von Arbor mit Hyperion Solutions neue Hyperion Anwendungen Begriff Business Performance Management (BPM) wird geprägt neue Speicherformen, Hybrides OLAP 2007 Übernahme von Hyperion durch Oracle Essbase wird Kern von Oracle s Enterprise Performance Management Strategie

40 Oracle Essbase Komponenten Essbase Datenbank (MDBMS) Essbase Administration Services Essbase Studio Features Großer Funktionsumfang (Zeitreihen, Forecasts, Statistische und multidimensionale Funktionen) Vielzahl von Berechnungsmethoden (Aggregation entlang definierter Hierarchien, gespeicherte und dynamische Berechnung auf Dimensionswerten, Kalkulationsskripte) Zurückschreiben in den Cube (z.b. für Plandaten) Unterstützung von MDX- und XML/A-Abfragen Zahlreiche Schnittstellen (Java-, C-, VB-API, MaxL) und Anbindung von Quellen (RDBMS, Flat Files, Excel, XML, )

41 Essbase Administration Services

42 Oracle Essbase Frontends Oracle BI Enterprise Edition Oracle Hyperion Smart View for Office Oracle Hyperion Anwendungen Hyperion Planning, Hyperion Financial Reporting, Hyperion Web Analyzer, Hyperion Interactive Reporting, Hyperion Visual Explorer, Hyperion Smart Space MDX/XMLA-basierte BI-Werkzeuge und kundenspez. MDX/XMLA-basierte oder API-basierte Anwendungen Drittanbieter: Applix, Arcplan, Cognos, Bissantz, Business Objects

44 Praxisbeispiel Oracle Essbase: Informationsdatenbank Komm. Finanzen Ursprünglich eine OFA-Anwendung des Statistisches Landesamt Sachsen Produktiv seit 1998 Basiert auf Oracle Express Oracle Financial Analyzer (OFA) seit 2009 desupported Migrationsprojekt: Ablösung der OFA-Anwendung durch Kombination von Oracle Essbase und Oracle BI Suite Über 100 Finanzkennzahlen sächsischer Gemeinden Daten liegen seit 1992 sehr detailliert vor Wesentliche Auswertedimensionen: Parameter, Gemeinden, Zeit

45 Datenbasis Aktuell Verarbeitung von zwei Datensätzen Quartalsweise Kassendaten (ca neue DS pro Quartal) Jährl. Jahresendrechnungsdaten (ca neue DS pro Jahr) Datensätze, sowie sämtliche Informationen zu Dimensionen und Hierarchien werden in Textdateien geliefert Aktuelles Datenvolumen: ca. 50 GByte in 32 Datenwürfeln Kassendaten Zeit Jahresendrechnung Jahre Gebietsstand (Datum) Wert Gemeinden Gebietsstand (Datum) Wert Gemeinden Parameter Parameter Gliederung

46 Besonderheiten der Auswertedimensionen Parameterdimension: Umfasst tatsächlich erfasste und berechnete Kennzahlen Gruppiert in unbalancierter Hierarchie Gemeindedimension: Umfasst alle sächsischen Gemeinden und kommunalen Verbände Neben Regionalhierarchie, zahlreiche hierarchisch gruppierbare Zuordnungen für Gemeinden Zeitveränderliche Gemeindestrukturen und -zuordnungen: Neuer Gebietsstand, in der Regel zum Für Vergleichbarkeit der Finanzdaten findet mit jedem neuen Jahr Umrechnung der vergangenen Jahre auf neuen Gebietsstand statt erhöhtes Datenvolumen

47 Besonderheiten der Aggregation Aggregation in der Regel Summen Ausnahmen: Bestandsgrößen: letzter Wert über Zeit, ansonsten Summe Quoten: nicht aggregierbar, Berechnung aus aggregierten Basiswerten Besonderheiten bei Einwohnerzahlen Für jede Kennzahl wird zusätzlich Kennzahlwert/1000 und Kennzahlwert/Einwohner bestimmt

48 Aufbau Essbase-Datenbank

49 Auswertung mittels Oracle BI EE 11g

51 Oracle s multidimensionale Lösungen im Überblick Oracle Essbase Oracle OLAP Zweck Typ. Endanwender Kundenspezifisce analytische und BI-Anwendungen mit einem Fokus auf EPM; gebaut und gewartet von Fachanwendern Controller, Analysten in Fachabteilung, Fachabteilungsmgmt. Käufer Fachabteilung IT Systembetreiber Fachabteilung (und IT) IT Datenmanagement Speichert Daten in einer multidimensionalen Datenbank auf Platte und im Hauptspeicher Verbessert die Performance und analytischen Fähigkeiten SQLbasierter BI-Anwendungen DBA, Fachanwender, Anwender bestehender Berichtswerkzeuge Speicherform Multidimensional Multidimensional Speichert Daten in multidimensioalen Objekten in der Oracle DB Abfragesprache MDX und XML/A SQL oder Query Rewrite Metadaten-Management Benutzerverwaltet IT-administriert Security Essbase und andere (z.b. LDAP) Oracle DB Architektur Eigenständiger OLAP Server, Teil der Oracle Fusion Middleware Integrierte OLAP Engine in der Oracle DB

52 Strategie treibt Produktevolution Oracle Essbase und Oracle OLAP haben ein Jahrzehnte altes Erbe und Erfahrung Früher waren Oracle Essbase und Oracle OLAP (Express) in der gleichen Position Viele gemeinsame/ähnliche Funktionalitäten und Fähigkeiten ABER die Oracle und Hyperion Strategien gingen vor Jahren auseinander Darum sind die OLAP-Produkte heute sehr unterschiedlich Oracle OLAP Zielmarkt: Data Warehousing, Abfrageperformance, analytischer Inhalt für SQL-basierte BI Tools Oracle Essbase Zielmarkt: Performance Management, Controlling

53 Produktpositionierung Spektrum der OLAP Anforderungen Oracle Essbase Oracle OLAP Enterprise Performance Management Oracle OLAP ist optimal für Beschleunigung von Abfragegeschwindigkeiten analytischen Inhalt für SQL-basierte BI Tools auf Oracle Datenbank Oracle Essbase ist ideal für Performance Management Anwendungen Beide Produkte sind strategisch für Oracle Beide können Bestandteil einer Kundenlösung sein; Architektur und Mitwirkung der IT bestimmen, was am besten passt Produktsynergien und Integrationsplanung haben gerade erst begonnen Enhanced Data Warehousing

54 Buchempfehlung Oracle Essbase & Oracle OLAP: The Guide to Oracle's Multidimensional Solution (Osborne Oracle Press Series) Mcgraw-Hill Professional (2009) ISBN-13:

55 Fragen und Antworten Marco Fischer Dipl.-Wirtschaftsinformatiker Leitender Systemberater Certified Business Intelligence Professional Robotron Datenbank-Software GmbH Stuttgarter Straße Dresden Telefon: (0351) Telefax: (0351) Mobil: (0151) Vielen Dank für Ihre Aufmerksamkeit!