Oracle Datawarehouse: Neue Funktionen in 10g

Transkript

1

2 Oracle Datawarehouse: Neue Funktionen in 10g Marc Bastien Business Unit Datenbank ORACLE Deutschland GmbH DOAG SIG, Hamburg,

3 Agenda Agenda: Übersicht: Recap der 9i DWH Funktionen Neue Features Oracle 10g Allgemein (Administration etc.) ETL-Funktionen Analytische Funktionen OLAP Mining Neues aus der Tools-Ecke: OWB 10g Disco 10g jdeveloper/bi-beans 10g

4 Oracle 9i Datenbank Single Business-Intelligence Datenbank Plattform Relational ETL OLAP Data Mining M e t a d a t e n DWH Funktionen ETL in der Datenbank Embedded OLAP Engine Embedded Data Mining

5 Oracle 9i Datenbank Single Business-Intelligence Datenbank Plattform DWH Funktionen Analytische Funktionen (ROLLUP, Ranking, Lag/Lead) ETL-Funktionen Externe Tabellen, Merge, Delta-Refresh MAVs OLAP Engine Eigene Speichertechnologie, SQL Zugriff auf mehrdimensionale Objekte Mining Engine In der Datenbank integriert Java API

6 Oracle 10g Datenbank neue Features für eine ideale BI und DWH Plattform Neue Funktionen allgemein Verbesserungen Manageability Automatismen machen das DWH schneller und einfacher Neue DWH/BI Funktionen In der relationalen Datenbank ETL Analytische Funktionen OLAP Mining

7 Oracle 10g Datenbank Manageability 1/3 Statistics Workload Repository Alle Abfragen werden in einem Repository abgelegt Zu jeder Abfrage kann ermittelt werden, wie lange und mit welchen Ressourcen diese lief Self-tuning SQL Optimization Aufgrund der Informationen im Repository kann jede Abfrage automatisch getunt werden, wenn diese nicht in einer bestimmt Zeit beantwortet wird Automatic Statistics Gathering Statistiken werden laufend generiert Keine veralteten Statistiken mehr

8 Oracle 10g Datenbank Manageability 2/3 Automatic Storage Management Keine Notwendigkeit von Volume-Manager mehr Datendateien werden direkt in Disk-Groups gelegt Integrierte Spiegelung und Striping Von Null bis dreifache Spiegelung Automatische Verteilung der Daten auf den physikalischen Platten nach Zugriff Vermeidung von Hotspots Automatische Umverteilung nach Ausfall eines Spiegels Automatisches I/O-Tuning Hebt Grenzen des Dateisystems auf

9 Oracle 10g Datenbank Manageability 3/3 Self-tuning Memory Keine eigenen Parameter für Shared_pool Large_pool Nur noch zwei Parameter: PGA SGA Die Datenbank verteilt je nach Anforderung

10 Oracle 10g Datenbank Manageability-Fakten in der Praxis Performance-Tests intern (Schema SH): Test SELECT COUNT(*) FROM sales WHERE company_id!= 2; SELECT COUNT(*) FROM sales WHERE (amount_sold/quantity_sold) < 1; Anlegen einer partitionierten Tabelle ( Sub-Partitions) 102s 208s 754s 64s 170s 347s

11 Oracle 10g Datenbank Manageability-Fakten in der Praxis: Statistiken 1/4 Beispiel für Statistiken: GATHER_STATS_JOB wird automatisch angelegt MAINTENANCE_WINDOW_GROUP - WEEKNIGHT_WINDOW (22:00 06:00) - WEEKEND_WINDOW (Sa So, 0:00 24:00) Schema wird angelegt und die Faktentabelle befüllt

12 Oracle 10g Datenbank Manageability-Fakten in der Praxis: Statistiken 2/4 SELECT table_name, num_rows, last_analyzed, monitoring FROM user_tables; TABLE_NAME NUM_ROWS LAST_ANALY MON SALES YES TIMES YES PRODUCTS YES CHANNELS YES PROMOTIONS YES CUSTOMERS YES Daten (Fakten und Dimensionen) werden geladen Wenn sich das WEEKNIGHT_WINDOW öffnet, werden die Statistiken neu berechnet!

13 Oracle 10g Datenbank Manageability-Fakten in der Praxis: Statistiken 3/4 SELECT table_name, num_rows, last_analyzed, monitoring FROM user_tables; TABLE_NAME NUM_ROWS LAST_ANALY MON SALES YES TIMES YES PRODUCTS YES CHANNELS YES PROMOTIONS YES CUSTOMERS YES Am Tage werden neue Fakten geladen! Wenn sich das WEEKNIGHT_WINDOW öffnet, werden die Statistiken neu berechnet!

14 Oracle 10g Datenbank Manageability-Fakten in der Praxis: Statistiken 4/4 SELECT table_name, num_rows, last_analyzed, monitoring FROM user_tables; TABLE_NAME NUM_ROWS LAST_ANALY MON SALES YES TIMES YES PRODUCTS YES CHANNELS YES PROMOTIONS YES CUSTOMERS YES

15 Oracle 10g Datenbank Unterstützung großer Datenbanken ULDB Unterstützung (Ultra Large DataBase) Datenbankgröße kann Exabytes erreichen Keine Begrenzung mehr für LOBs Hash-Partitionierte Global Indexes ASM hebt Betriebssystemgrenzen des Dateisystems auf

16 Oracle 10g Datenbank: ETL neue Features für effektives Befüllen eines DWH Erweiterung der vorhandenen Funktionen: Plattformübergreifenden Transportable Tablespaces asynchrones Change Data Capture MV Refresh (Partition Aware) Neue Funktionen Data Pump: Schneller, paralleler Import / Export ETL

17 Oracle 10g ETL: erweitert neue Features für effektives Befüllen eines DWH Plattformübergreifende Transportable Tablespaces Ideal für Migration...wenn operatives System und DWH auf unterschiedlichen Plattformen asynchrones Change Data Capture Ideal für Real-Time DWH ETL

18 Transportable Tablespaces (TT) Historie Erstmals in Oracle8i In Oracle9i verbessert: Unterstützung unterschiedlicher Datenblock-Größen Oracle Database 10g: Unterstützung unterschiedlicher Betriebssysteme Neu Date i Datei expdat.dmp BS copy Datei Datei expdat.dmp

19 Cross Plattform TT (1/3) Nutzen Daten von einer Datenbank zu anderen Datenbanken verschieben Ohne Export- und Import-, bzw. Lade-Operationen Weitgehend unabhängig von der Datenmenge Zur Migration von Datenbanken auf eine andere BS-Plattform Verwendbar für tablespace point-in-time recovery Daten von Read-Only Tablespaces in unterschiedlichen Datenbanken parallel nutzen

20 Cross Plattform TT (2/3) Nutzen Zur Veröffentlichung von Daten in Katalogform z.b. auf CD/DVD Für ISVs: Weitergabe applikationsspezifischer Datenbestände für Oracle-Datenbanken Schnelle Verteilung von Daten Data Warehouse-Daten an Data Marts Daten aus OLTP-Systemen an Data Warehouses

21 Cross Plattform TT (3/3) Nutzen Mit Oracle Streams zum Transport von Tablespaces einer laufenden Datenbank z.b. auf ein Standby-System Automatisches Nachfahren der Daten, die während des Transports des Tablespace im Quellsystem verändert werden Mit einem Befehl verschieben oder kopieren und bei Bedarf transformieren Schneller als FTP

22 Cross Plattform TT Voraussetzungen Start der beteiligten Datenbanken mit Initialisierungsparameter COMPATIBLE >= 10.0 Beteiligte Tablespaces sind operating system aware Mindestens einmal von einer Oracle Database 10g mit dem -Status READ WRITE öffnen Beachten bei Tablespaces mit Status READ ONLY Beachten bei Tablespaces, die komplett oder auch nur mit - -einzelnen Dateien OFFLINE sind

23 Cross Plattform TT unterstützte Plattformen V$TRANSPORTABLE_PLATFORM Aktuell unterstützte Plattformen Zur Zeit - HP UX und HP UX IA (64-Bit) - HP Tru64 UNIX (64-Bit) - IBM AIX (64-Bit) - Linux IA (32- und 64-Bit) - MS Windows NT - SUN Solaris (32- und 64-Bit) V$DATABASE Festlegung der Endian-Format der Plattformen (endianness) Speicherung des Least Significant Byte (LSB)

24 Cross Plattform TT unterstützte Plattformen Little Endian Linux (Intel IA32/64) Windows (Intel IA32/64) Open VMS (Intel IA64) Tru64 UNIX (Alpha) High Speed Konvertierung RMAN Big Endian SUN Solaris (SPARC) HP-UX (Intel IA64) HP-UX (PA-RISC) AIX (Power PC) Transport innerhalb einer Gruppe durch einfaches Kopieren der Dateien

25 Cross Plattform TT Nutzung von RMAN Konvertierung Mit RMAN durchführen Zeitbedarf entspricht dem für ein Backup des betroffenen Tablespace mit RMAN Auf dem Ziel- oder Quellsystem Ausnahme CLOBs von Plattformen mit Format little endian, die nicht in Oracle Database 10g angelegt wurden Manuelle Konvertierung bei Bedarf oder Automatische Konvertierung beim ersten Zugriff Namenskonflikte in Quell/Ziel DB beachten Eins der Tablespaces umbenennen Neu

26 Oracle 10g ETL: neu neue Features für effektives Befüllen eines DWH Data Pump Server-basierende Lösung für sehr performantes Meta-/Daten laden und entladen Grundlage für Streams, Logical Standby, Grid, Transportable Tablespaces Gleichzeitiges Entladen von Daten und Metadaten 60% schneller als 9i Export (single thread) 15x-20x schneller als 9i Import (single thread) ETL

27 Data Pump Übersicht Aufruf über DBMS_DATAPUMP. Interner Aufruf von DBMS_METADATA Daten werden im Direct Path Stream Format ausgelesen. Metadaten werden im XML- Format abgelegt Neue expdp und impdp Clients: Erweiterung des bisherigen exp / imp - Verfahrens

28 Data Pump Beispiel (live!) imp out of the box imp tuned: buffer=2m recordlength=64k impdp out of the box: Parallel=1 Mit einem Index pro Tabelle imp tuned: buffer=2m recordlength=64k impdp: : Parallel=1 Programm exp out of the box: direct=y exp tuned: direct=y buffer=2m recordlength=64k expdp out of the box: Parallel=1 Elapsed 0 hr 10 min 40 sec 0 hr 04 min 08 sec 0 hr 03 min 12 sec 2 hr 26 min 10 sec 2 hr 18 min 37 sec 0 hr 03 min 05 sec 2 hr 40 min 17 sec 0 hr 25 min 10 sec

29 Oracle 10g SQL Erweiterungen mehr relationale Analyse Native Numbers SQL Model Umfangreiche und Ausdrucksvolle Syntax, um multidimensionale Berechnungen auszudrücken Darstellung relationaler Daten als Arbeitsblatt inkl. Berechnungsmodelle Frequent Itemsets Für DataMining: Warenkorb-Analyse Findet z.b. häufige Kombinationen von gekauften Produkten 9i: grosse Joins oder tausende SQL-Kommandos 10g Algorithmus ca. 10x schneller

30 Oracle 10g Native Numbers neuer Datentyp: binary_float, binary_double Native Speicherung von Fliesskomma-Werten Schnellere Fliesskomma-Berechnungen Beispiel mit massiver Berechnung (Datentyp Number) 326s Änderungen am SQL 23s Änderungen am Schema 12s

31 Oracle 10g - Frequent Itemsets Unterstützt Data Mining Wird in Warenkorbanalysen genutzt Findet die am häufigsten vorkommenden Kombinationen innerhalb einer Liste Was wurde am häufigsten zusammen gekauft Oracle10g nutzt neue Algorithmen, um multiple Zählung innerhalb dieser Liste durchzuführen Ohne Optimierung würden riesige Joins oder tausende SQL-Befehle abgesetzt werden Oracle 10g Algorithmus ist durchschnittlich 10mal schneller als konventionelles SQL Neues Package: DBMS_DATAMINING

32 Oracle 10g - SQL Model Clause Stellt Daten als Arbeitsblatt dar Berechnung innerhalb der Arbeitsblätter einfache Adressierung von Zellen Automatische Festlegung der Reihenfolge Wildcards Schleifen look-up auf andere Arbeitsblätter NULL-Unterdrückung

33 SQL Model: Konzept Die Spalten einer Tabelle oder eines Views werden in Partitionen, Dimensionen und Measures (Maße) aufgeteilt: Land D PARTITION A D A D A D A Produkt Äpfel DIMENSION Apfel Birne Birne Apfel Apfel Birne Birne Jahr 2000 DIMENSION Umsatz MEASURE Wie die Spalten aufgeteilt werden, hängt von den geplanten Berechnungen ab!

34 SQL Model: Partitionen etc Partitionen: bleiben außerhalb der Berechnungen, auf diese wird nicht referenziert Dimensionen: auf diese wird referenziert, evtl werden Neue angelegt Measures: mit diesen wird gerechnet Land D PARTITION A Produkt Äpfel DIMENSION Äpfel Jahr 2000 DIMENSION 2000 Umsatz MEASURE D Birne A Birne

35 SQL Model: Regeln Mit Regeln werden die Berechnungen ausgedrückt Innerhalb der Regeln können Zellen direkt adressiert werden umsatz(apfel,2002)=umsatz(apfel,2000)+umsatz(apfel,2001) umsatz(birne,2002)=umsatz(birne,2000)+umsatz(birne,2001) PARTITION DIMENSION MEASURE Keine Berechnung, keine Referenzierung Referenzierung: gilt für Apfel und 2000 Berechnung: ein Umsatz wird berechnet

36 das Arbeitsblatt Ausgangstabelle Land D Produkt Apfel Jahr 2000 Umsatz 10 D Apfel D Birne D Birne PARTITION Jahr Apfel Birne Produkt

37 Eine Zelle füllen Neue Daten erzeugen: Umsatz für Apfel für Jahr 2002 auf Summe von Jahren 2000 und 2001 setzen Jahr Apfel Birne Produkt SELECT land, produkt, jahr, umsatz FROM sales_view MODEL RETURN UPDATED ROWS PARTITION BY (land) DIMENSION BY (produkt, jahr) MEASURES (umsatz) RULES(umsatz['Apfel',2002]=umsatz['Apfel',2001]+umsatz['Apfel',2000]) ORDER BY land, produkt, jahr;

38 Mehrere Zellen füllen Veränderung bestehender Daten: Umsatz für Äpfel und Birnen für Jahr 2001 auf 50 setzen Jahr Apfel Birne Produkt SELECT land, produkt, jahr, umsatz FROM sales_view MODEL RETURN UPDATED ROWS PARTITION BY (land) DIMENSION BY (produkt, jahr) MEASURES (umsatz) RULES(umsatz[produkt in ('Apfel', 'Birne'), 2001] = 50) ORDER BY land, produkt, jahr; HINWEIS: keine neuen Daten mit symbolischer Adressierung!

39 Mehrere Zellen füllen mit CV Veränderung bestehender Daten: Umsatz für Äpfel und Birnen für Jahr 2001 auf den Wert des Vorjahres * Faktor setzen Jahr Apfel Birne Produkt SELECT land, produkt, jahr, umsatz FROM sales_view MODEL RETURN UPDATED ROWS PARTITION BY (land) DIMENSION BY (produkt, jahr) MEASURES (umsatz) RULES(umsatz[produkt in ('Apfel', 'Birne'),2001] = 1.2 * umsatz[cv(produkt),2000]) ORDER BY land, produkt, jahr; HINWEIS: keine neuen Daten mit symbolischer Adressierung!

40 SQL Model: weitere Funktionen Wildcards: nicht mehr explizit alle Werte auflisten FOR-Schleifen: symbolische Adressierung und neue Werte anlegen Reihenfolge: automatische Festlegung NULLs: NULL*1 =?? Look-Up/Referenzen: Verschachtelung von Modellen möglich

41 Oracle OLAP 10g neue Features für maximalen analytischen Nutzen Skalierbarkeit und Unterstützung großer Datenmengen Partitioning (AW - Range Partitionierung) Multi Writer Parallel Cube Build Support for Very Large Dimensions Neuer 64-Bit Index Manageability SQL Interface ausgebaut OLAP

42 Oracle OLAP 10g Partitionierung Aufteilung der Daten in 9i AW$SALES Oracle Data Files 0 20 GB SALES GB GB GB GB OLAP AW$ Tabelle kann partitioniert werden

43 Oracle OLAP 10g Partitionierung Aufteilung der Daten in 10g AW$SALES Oracle Data Files SALES UNITS COST SALES FORECAST_SALES FORECAST_UNITS OLAP AW$ Tabelle kann partitioniert werden

44 Oracle OLAP 10g Partitionierung Nutzen Vorteile von partitionierten Variablen: Rollierende Zeit-Perioden Parallelisiertes Daten laden Parallelisiertes Daten aggregieren, allokieren etc. Performance-Tuning Backup/Restore auf Partitionen

45 Oracle OLAP 10g Multi Writer Attach Modes 9i vs 10g 9i Release 2 attach modes Read only: Kein Locking des Analytic Workspace Read write:locking des AW zum Schreiben Read write exclusive: Locking des AW zum Lesen und Schreiben 10 MULTI attach mode Mehrere Sessions können R/W Zugriff auf den AW erhalten Objekte im AW müssen angefordert werden

46 Oracle OLAP 10g Multi Writer Nutzen von MULTI Separate Sessions können genutzt werden: Paralleles Daten laden Paralleles Aggregieren Paralleles Allokieren Modelle berechnen Prognosen berechnen Etc. Beispiel: AW ATTACH sales MULTI; ACQUIRE actual_sales Neue Daten laden UPDATE MULTI sales; COMMIT; RELEASE actual_sales

47 Oracle OLAP 10g neue Features für maximalen analytischen Nutzen Manageability Keine explizite Angabe für OLAP Page Pool XML-API Datenmodell und Würfelaufbau Variablen-Umdeklaration Dimensionen hinzufügen oder entfernen ohne Neuaufbau Neue analytische Funktionen Custom Members und Custom Measures als eigene Objekte Neuer Sortieralgorithmus: Hierarchisch Aggregation basierend auf Attributen OLAP

48 Oracle OLAP 10g: SQL Interface Verbesserung des relationalen Zugriffs Änderungen am SQL Durchgriff Filter Evaluierung früher ADT werden automatisch generiert Query rewrite auf multidimensionale Datentypen

49 Oracle OLAP 10g: SQL Filter Filter Evaluierung in 9.2: u.u. viele Daten! APPLICATION SELECT Statement Returns data through OCI or JDBC RELATIONAL ENGINE SQL filter evaluated here Select list and WHERE clause predicates Returns data in Row format OLAP_TABLE OLAP DML commands Returns data in multidimensional format Aggregation and calculation MULTIDIMENSIONAL ENGINE

50 Oracle OLAP 10g: SQL Filter Filter Evaluierung in 10g: Reduktion der Datenmenge! APPLICATION SELECT Statement Returns data through OCI or JDBC RELATIONAL ENGINE SQL filter evaluated here Select list and WHERE clause predicates Returns data in Row format OLAP_TABLE Aggregation and calculation OLAP DML commands MULTIDIMENSIONAL ENGINE Returns data in multidimensional format SQL filter evaluated here

51 Oracle OLAP 10g: Query Rewrite Query Equivalency RDBMS Feature Erlaubt es, eine Tabelle oder View so darzustellen als ob mit einem bestimmten SQL erstellt worden sein könnte Erlaubt Query Rewrite auf Views von Analytic Workspaces Erleichtert die Administration von SQL basierenden Werkzeugen

52 Oracle OLAP 10g: Query Rewrite Query Equivalency: Vorgang SQL client View with fact detail View with summary data Analytic Workspace 1) Anwendung fragt Summendaten aus einer Detail- Faktentabelle mit GROUP BY ab 2) Abfrage wird automatisch auf Summenview umgeleitet 3) Daten werden aus dem Analytic Workspace gelesen

53 Oracle Data Mining 10g neue Features für maximalen analytischen Nutzen Neues GUI: DM4J End-user Werkzeug für Data Mining Kann auch zur Codegenerierung genutzt werden Zwei neue Algorithmen Support Vector Machines Nonnegative Matrix Factorization Unterstützt strukturiertes und unstrukturiertes (Text) Data Mining

54 Oracle 10g Neues aus der Tools-Ecke noch mehr Integration! Oracle Warehouse Builder 10g Oracle Discoverer 10g Oracle jdeveloper / BI-Beans 10g

55 Oracle Warehousebuilder 10g neue Features für effektives Befüllen eines DWH Integrierter Debugger für Datenflüsse Integrierte Funktionen für Datenqualität Name & Addressen Überprüfung Unterstützung der Match/Merge Algorithmen Erweiterte OLAP Funktionen direkt aus logischem Design Anlegen von Analytic Workspaces ohne relationales STAR-Schema ETL

56 Oracle Discoverer 10g neue Features für verbesserte Analyse Jetzt (10g) Templates zum Erzeugen von Berechnungen Abfragegenerator überarbeitet Mehr Grafiken Integration mit AS Enterprise Manager Drake (Mitte 04) Neues UI, alle Desktopfunktionen im Web Integration mit Oracle OLAP Drill-to-Detail Export nach PDF Unterstützung zur Versendung von s... Viele, viele neue Features

57 Oracle jdeveloper/ BI-Beans 10g Business Intelligence Java Beans Volle Funktionalität des HTML-Clients Neue Berichte / Grafiken Query Builder Layout Calculation Builder

58 Oracle 10g Warehouse Zusammenfassung Viele Verbesserungen / Erweiterungen nicht speziell für DWH, aber nützlich Manageability Native Numbers Data Pump Neue SQL Analytik SQL Modell SQL Datamining Erweiterung der OLAP Lösung Für grosse Datenmengen

59 F R A G E N A N T W O R T E N

60