Die Eckpfeiler eines ausbalancierten BI Systems. Maik Sandmann Systemberater,

Transkript

1 Die Eckpfeiler eines ausbalancierten BI Systems Maik Sandmann Systemberater,

2 Was ist ein balanciertes System? Agilität Ausbalanciertes System Risikoreduktion Effizienz Performanz Ziel: Kraft, Intelligenz, Flexibel und Universell 2009 Oracle Corporation

3 Agenda Business Intelligence Suite EE Olap Option der Oracle Datenbank Oracle Exadata x Oracle Corporation

4 Allen Nutzergruppen das passende Frontend Eine Plattform individuelle Ansprache Interactive Dashboards Strategic Goals KPIs Reports Mobile Olap Queries What-If Planning Briefing Books Geospatial Visualization Office Integration Mining

5 Neue Funktionen in Neue Datenquellen 1. OLAP Option 2. Timesten 3. SAP Business Informatione Warehouse (BW) 4. Microsoft SQL Server Analysis Services Weitere: Mobile (optimiert für ipad & iphone. Android folgt) 2009 Oracle Corporation

6 BI EE mittels importieren Administration BI Administrator importiert Cube Metadaten Physical Layer versteht Cube- Struktur 2011 Oracle Corporation

7 2009 Oracle Corporation BI EE nativ über OLAP Dataquelle

8 BI EE and Oracle OLAP

9 Was macht Oracle OLAP? ( Vereinfacht und beschleunigt die Verfügbarkeit von Informationen für SQL basierte Business Intelligence Werkzeuge und Applikationen. Einfache Definition von analytischen Berechnungen Einfacher Zugriff auf analytische Berechnungen Schnell & Flexibel Nutzung vorhandener Oracle Expertise 2009 Oracle Corporation

10 Oracle Databank 11g Die optimale Informationsplattform Zusammenhängende, integrierte Datenbankplattform Sicher, Hochverfügbar, Skalierbar, leicht zu verwalten Auch: Umfassende analytische Plattform! OLAP Data Mining Spatial

11 2009 Oracle Corporation Analytic Workspace Manager

12 Cube-based Materialized Views Verwaltung & Performance Ein einzelner Cube liefert das Äquivalent tausender Summen-Kombinationen Konkretes Beispiel der Demo: Vier Dimensionen mit 3*4*6*4 = 288 Kombinationen Füllen des Würfels (Laden + Agg, 2Mio Fakten): 7min Der 11g SQL Query Optimizer behandelt OLAP Cubes als MV s und schreibt die Abfragen entsprechend um Cube Refresh mit den Standard MV Prozeduren

13 Innovative, einmalige Funktion in Oracle Datenbank Cube-Organized Materialized Views BI Tool Materialized View Region SQL Date Query Rewrite Product Relational Star Schema (tables) Channel Automatic Refresh dbms_mview.refresh('cb$unit_cube','f')

14 Einfacher Zugriff komplexer Metriken Berechnet durch die multidimensional OLAP Engine OLAP-Query: SELECT [breakout columns], sales, sales_prior_year sales_ytd, sales_ytd_prior_year FROM sales_cube_view WHERE [star join] Star-Query: WITH sales_dense AS (SELECT [breakout columns] sales, SUM(sales) over(partition BY [breakout columns] ORDER BY [time column] ASC range BETWEEN unbounded preceding AND CURRENT ROW) AS sales_ytd FROM (SELECT [breakout columns] a.sales FROM (SELECT [breakout columns] SUM(f.sales) sales FROM [table list] WHERE [star join and other filters] GROUP BY [breakout columns) a PARTITION BY(breakout columns) RIGHT OUTER JOIN (-- need list of all time periods SELECT DISTINCT [time columns] FROM time_dim b ON([join on relevant time level])) ) Continued

15 Cube-based Materialized Views Die analytischen Fähigkeiten von Oracle OLAP werden nur zum Teil genutzt! Re-Write nur auf Daten, die bereits relational vorhanden OLAP bietet umfangreiche Möglichkeiten, weitere Berechnungen zu definieren OLAP Cube Views Relationaler Zugriff auf OLAP Daten Kein Rewrite, sondern explizit!

16 Cube-based Materialized Views Kennzahl Berechnete Kennzahl SALES_CUBE_SALES Formel SALES_CUBE_SALES_YTD F(x) SALES

17 Ein paar Daten / Zahlen Exadata x2 Quarter 32x Parallel 3,6 GB / sec 2,55 Mrd. ~ 20 Min Oracle Corporation

18 Weitere Zugriffsmöglichkeit MDX Quelle: Simba Technologies

19 Vorteile und Grenzen Vorteile OLAP ist direkt in der Datenbank Erweiterung der relationalen Datenbank um Bessere Performance (i.s. Abfragegeschwindigkeit) Bessere Performance (i.s. Abbildung von fachlichen Anforderungen) Höhere Flexibilität (i.s. Wartbarkeit, Security, Compliances) Grenzen Kein Endanwenderwerkzeug Modellierung nur sehr begrenzt durch Fachabteilungen, eher IT Kein Zurückschreiben, Planung, nur eingeschränkt Simulation (keine Tools)

20 Oracle Exadata Database Machine Das Wichtigste

21 Exadata X2-2 Hardware Architektur Skalierbares Grid mit Standard Servern optimiert für Oracle Datenbanken Database Grid 8 Compute Server je 2 * Sockets je 6 * Intel Xeon X GB Memory InfiniBand Netzwerk Redundante 40Gb/s Switches Einheitlich für Server & Storage Storage Grid 14 storage servers (2U) 2 Xeon CPUs pro Server 100 TB High Speed disk, oder 336 TB High Capacity disk 5 TB PCI Flash NEU: Mit 4* 1GbE und 2* 10 GbE Ethernet Netzwerken

22 Schlüsseltechnologien

23 Exadata Smart Scan Funktionsweise SELECT customer_name FROM calls WHERE amount > 200; Umsetzung SQL Statement Smart Scan identifiziert benötigte Rows & Columns Ergebnis wird angezeigt 2MB werden transportiert Daten werden reduziert auf 2MB Enorme Reduktion an Daten für die meisten SQL Statements Kommunikationsaufwand wird verringert CPU-Ressourcen auf dem Host werden frei. Exadata scanned, filtert und dekomprimiert Daten

24 Exadata Smart Scan Scan offload Vorteile: Reduzierung Datenvolumen Row Filter mit where Klausel Column Filter Join Filter Incremental Backup Filter Scan von verschlüsselten Daten Data Mining Model Scoring Reduzierung Datenvolumen typisch um Faktor 10 Transparent für Applikation Keine Anpassungen notwendig Auch bei Disk- oder Zellenausfall während einer Abfrage

25 Exadata Storage Index Transparente I/O Reduzierung ohne Overhead Exadata Storage Indizes halten Zusammenfassungen von Tabellendaten im Speicher Speichert MIN und MAX Werte von Filterspalten Normalerweise ein Indexeintrag für jedes MB auf Platte Eliminierung von Disk I/Os, falls MIN und MAX nicht der where Bedingung entsprechen Negativer Index Vollautomatisch und transparent Order_date Ship_date Cust _ID Prod _ID Amount 03-SEP SEP , SEP SEP , SEP OCT , SEP OCT , SEP OCT , SEP NOV , MIN ship_date = 19-SEP-2009 MAX ship_date = 07-OCT-2009 MIN ship_date = 01-OCT-2009 MAX ship_date = 03-NOV-2009 Select * from orders where ship_date < 31-SEP-2009 Nur die ersten drei Zeilen können Treffer liefern

26 Storage Index Zusammenfassung Filter zur Vermeidung überflüssigen I/Os Automatische Pflege, transparent für DB Region Indexes im Memory (RIDX), je 1MB Neuaufbau bei Restart Zelle Auswertung einfache Prädikate (<, <=, =,!=, >=, >, is NULL, is NOT NULL), Literale, Bind-Variablen Funktioniert bei komprimierten und unkomprimierten Tabellen, sowie TS Verschlüsselung Optimal bei zusammenhängenden Spalten Sortiertes Laden empfohlen Fast alle Datentypen unterstützt außer LOB

27 Hybrid Columnar Compression Vergleich Spalten- / Zeilenbasierte Speicherung Zeilenbasiert Hervorragend für Queries mit vielen Spalten, Row-Lookup Effizient für OLTP Geringe Kompressionsrate Spaltenbasiert Hervorragend für Queries mit wenigen Spalten Nur die Spalten, die verwendet werden, werden auch in den Speicher geladen Nachteile bei OLTP Sehr gute Kompressionsraten

28 Hybrid Columnar Compression Satz-orientierte Speicherung (Row Organization) Kompletter Satz ist zusammenhängend gespeichert Effizient für Index lookups, Updates und Deletes Spalten-orientierte Speicherung (Columnar Organization) Transparent organisierte Spalten-weise Speicherung Höhere Kompressionsrate Weniger I/O ist zum Lesen nötig, es wird aber der ganze Satz gelesen BLOCK HEADER BLOCK HEADER BLOCK HEADER C1 C2 C3 C4 C5 C5 C6 CO_ID Ticker 1 GM 2 GM 3 GM 4 AAPL Stock Price No of Trades Exchange ,000 NYSE ,000 NYSE ,500 NYSE ,000 NQDS Entry Date IN 1/17/2007 DI 1/17/2007 IN 1/17/2007 IN 1/17/2007

29 Q&A Copyright 2009, Oracle and / or its affiliates. All rights reserved. 29