SQL/OLAP und Multidimensionalität in der Lehre

Transkript

1 SQL/OLAP und Multidimensionalität in der Lehre Vortrag auf der DOAG 2008 Prof. Dr. Reinhold von Schwerin Hochschule Ulm, Fakultät für Informatik 1. Dezember 2008

2 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 2/52 Inhaltsverzeichnis 1 Einführung 2 Data Warehousing Theorie und Praxis 3 Analysen mit Data Warehouses 4 SQL/OLAP 5 Fazit

3 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 4/52 Lehrveranstaltung Themen und Ansatz Informationsintegration Business Intelligence (BI) Data Warehousing (DWH) Fallstudie zwei WebShops (auf Basis des DELL DVDStore) Durchführung von Analysen wegen Übernahme Transformation in integriertes Data Warehouse Verwendung von Oracle XE

4 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 5/52 Lehrveranstaltung Lernziele I OLTP- vs. analytische Datenbanken Data Warehouse Begriff ETL-Prozess Multidimensionale Daten Cube-Metapher (spezielle Datenstrukturen; MOLAP) Stern- und Schneeflockenschema (relationale Datenhaltung; ROLAP) Dimensionen und Fakten Dimensionshierarchien

5 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 6/52 Lehrveranstaltung Lernziele II OLAP-Operationen Roll-Up/Drill-Down Merge/Split Pivoting Präsentation von Analyseergebnissen in Pivottabellen SQL/OLAP GROUP BY Erweiterungen Analytische Funktionen (Windowing, Ranking) BI Tools last but not least: Einstieg in Oracle mit Oracle XE

6 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 8/52 Aufbau und Ziel des Vortrags Themen und Ziele Themen kurze Übersicht über die Lehrveranstaltung (bereits geschehen) Darstellung der Fallstudie Begriffe rund um analytische Datenbanken und OLAP SQL/OLAP in Aktion Ziele Eignung des Fallstudienansatzes aufzeigen Eignung von SQL/OLAP als didaktisches Mittel

7 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 10/52 Fallstudie Startpunkt: DVDStore WebShop Datenmodell

8 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 11/52 Fallstudie DVDStore erste Analysen Tabelle: Gewünschte Pivottabelle Basis View CREATE VIEW RgYr AS ( SELECT YEAR (o. OrderDate ) TYear, CASE c. Region WHEN 1 THEN USA WHEN 2 THEN World END DVDRegion, SUM (o. NetAmount ) TotSales FROM orders o JOIN customers c ON o. customerid = c. customerid GROUP BY YEAR (o. OrderDate ), c. Region ); UNION zur Befüllung SELECT * FROM RgYr UNION SELECT TYear, All Regions, SUM ( TotSales ) FROM RgYr GROUP BY TYear UNION SELECT All Years, DVDRegion, SUM ( TotSales ) FROM RgYr GROUP BY DVDRegion UNION SELECT All Years, All Regions, SUM ( TotSales ) FROM RgYr ;

9 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 12/52 Fallstudie DVDStore erste Reports Year Region TotSales 2007 USA World USA World All Regions All Regions All Years USA All Years World All Years All Regions Tabelle: Gefüllte Pivottabelle Tabelle: SQL Ausgabe

10 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 13/52 Fallstudie DVDStore Erste Erkenntnisse Probleme teils sehr lange Laufzeiten Web Shop während Analysen nicht verfügbar umständliche Formulierung Erste Lösungen Analysieren des Datenmodells separate Datenbank für Analysen spezielle Indexstrukturen

11 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 14/52 Fallstudie DVDStore analytisiertes Datenmodell

12 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 17/52 Data Warehousing Theorie DWH Definition (frei nach Inmon [L01]) A data warehouse is a subject-oriented, integrated, time-variant, non-volatile collection of data in support of management s decision-making process. Ein Data-Warehouse ist eine themenorientierte, integrierte, zeitabhängige und beständige Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen.

13 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 18/52 Data Warehousing Theorie DWH Charakteristika nach Inmon [L01] Themenorientierung im Mittelpunkt: Datenbankobjekte mit Kennzahlen, keine operativen Prozesse Integration: Zusammenführung interner und externer Quellsysteme Zeitabhängigkeit: Daten haben Zeitbezug und reichen (weit) in Vergangenheit Beständigkeit: dauerhafte Speicherung

14 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 19/52 Data Warehousing Theorie Übergang von OLTP zu DWH ETL als Bindeglied Von OLTP zur integrierten Themenorientierung mit Zeitbezug durch Extraktion, Transformation und Laden

15 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 20/52 Data Warehousing Theorie Datenstrukturen Multidimensionalität Umsetzbar durch spezielle Datenstrukturen (Cubes (dt. Datenwürfel)) oder in Relationalen Datenbanken Datenwürfel (Spezialstruktur) Sternschema (relationale DB)

16 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 21/52 Data Warehousing Theorie Dimensionshierarchien Lineare Hierarchie nur eine Hierarchieebene über einer anderen Verzweigte Hierarchie ggf. mehrere Hierarchieebenen über einer anderen a a a aus [L04] a aus [L04]

17 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 23/52 Data Warehousing Praxis in der Fallstudie Weiterführung der Fallstudie Neue Situation Weiterer Webshop wird gekauft Externe Website für Filminformationen vorhanden Große Übungsaufgabe Ableitung eines Schneeflocken- und Sternschemas Durchführung des ETL-Prozesses

18 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 24/52 Data Warehousing Praxis in der Fallstudie Integriertes DWH Dimensionen und Fakten Dimensionen Wer? Kunde Was? Produkt Wo? WebShop Wann? Zeit (tagesgenau) Fakten Anzahl Produkte (Netto-)Umsatz Anzahl Bestellungen

19 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 25/52 Data Warehousing Praxis in der Fallstudie Integriertes DWH Schneeflockenschema

20 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 26/52 Data Warehousing Praxis in der Fallstudie Integriertes DWH Sternschema

21 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 28/52 Analytische Operationen Aggregation entlang einer Hierarchie Drill-Down und Roll-Up Drill-Down: Daten werden genauer betrachtet (untere Ebene) Roll-Up (bzw. Drill-Up): Zusammenfassung auf höhere Ebene a aus [L04] a

22 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 29/52 Analytische Operationen Aggregation von Dimensionen Split und Merge Split fügt weitere Dimension hinzu Merge fasst Dimensionen zusammen

23 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 30/52 Analytische Operationen Betrachtung des Würfels von verschiedenen Seiten Pivoting Pivot = Drehpunkt Würfel wird gedreht a adaptiert aus [L04] a

24 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 32/52 Präsentation Roll-Up und Drill-Down Erweiterte Pivottabelle Hierarchieebene wird Zeilen bzw. Spalten hinzugefügt auch: erweiterte Kreuztabelle

25 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 33/52 Präsentation Split und Merge ebenfalls mit erweiterter Pivottabelle

26 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 34/52 Präsentation Pivoting Austausch von fixierter mit variabler Dimension

27 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 36/52 ROLLUP Ergebnisse der C-Staaten Ein Kundenausschnitt CREATE VIEW ccustomer AS ( SELECT * FROM CUSTOMER WHERE StateName >= C AND StateName < D ); Eine Dimension verschiedene Hierarchieebenen reines Roll-Up/Drill-Down

28 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 37/52 ROLLUP ROLLUP Erweiterung Dekodierung mit NVL SELECT NVL (c. RegionName, ALL Regions ) Region, NVL (c. StateName, ALL States ) State, SUM ( s. netamount ) TotSales FROM SALES s JOIN ccustomer c ON s. idcust = c. idcust GROUP BY ROLLUP ( c. RegionName, c. StateName ); Beobachtungen keine Umstände mit UNION Performancegewinn! Übereinstimmung von Theorie und Umsetzung

29 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 39/52 GROUPING Grouping Funktion Dekodierung mit GROUPING SELECT CASE GROUPING ( c. RegionName ) WHEN 1 THEN ALL Regions ELSE c. RegionName END Region, CASE GROUPING ( c. StateName ) WHEN 1 THEN ALL States ELSE c. StateName END State, SUM ( s. netamount ) TotSales FROM SALES s JOIN ccustomer c ON s. idcust = c. idcust GROUP BY ROLLUP ( c. RegionName, c. StateName ); Beobachtung Unterscheidung von NULLs aus Basisdaten aus Gruppierung

30 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 41/52 CUBE CUBE Erweiterung Zeit vs. Ort SELECT CASE GROUPING ( t. NumValYear ) WHEN 1 THEN ALL Years ELSE TO_CHAR ( t. NumValYear ) END TYear, CASE GROUPING ( c. RegionName ) WHEN 1 THEN ALL Regions ELSE c. RegionName END Region, SUM ( s. netamount ) TotSales FROM SALES s JOIN CUSTOMER c ON s. idcust = c. idcust JOIN TDAY t ON s. idday = t. idday GROUP BY CUBE ( t. NumValYear, c. RegionName ); Bekannte Pivottabelle Mehrere Dimensionen zweidimensionaler Würfel Korrespondenz Theorie Umsetzung

31 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 42/52 CUBE Erweiterung auf 3 Dimensionen Hinzunahme der Shop-Dimension Würfel 3 Scheiben zusammengefasst ein Würfel

32 Dreidimensionaler Würfel in SQL/OLAP Zeit vs. Ort nach Shop SELECT CASE GROUPING ( sh. ShopName ) WHEN 1 THEN BOTH WebShops ELSE sh. ShopName END WebShop, CASE GROUPING ( t. NumValYear ) WHEN 1 THEN ALL Years ELSE TO_CHAR ( t. NumValYear ) END TYear, CASE GROUPING ( c. RegionName ) WHEN 1 THEN ALL Regions ELSE c. RegionName END Region, SUM ( s. netamount ) TotSales FROM SALES s JOIN CUSTOMER c ON s. idcust = c. idcust JOIN TDAY t ON s. idday = t. idday JOIN SHOP sh ON s. idshop = sh. idshop GROUP BY CUBE ( sh. ShopName, t. NumValYear, c. RegionName );

33 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 45/52 Concatenated Grouping Roll-Up in mehreren Dimensionen Abbildung: Zweimaliges Roll-Up (Zeit und Ort)

34 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 46/52 Concatenated Grouping Umsetzung in SQL/OLAP Hintereinanderschaltung SELECT NVL ( TO_CHAR (t. NumValYear ), ALL Years ) TYear, NVL ( TO_CHAR (t. NumValQuarter ), ALL Quarters ) TQuarter, NVL (c. RegionName, ALL Regions ) Region, NVL (c. StateName, ALL States ) State, SUM ( s. netamount ) TotSales FROM SALES s JOIN ccustomer c ON s. idcust = c. idcust JOIN TDAY t ON s. idday = t. idday GROUP BY ROLLUP ( t. NumValYear, t. NumValQuarter ), ROLLUP (c. RegionName, c. StateName ); Zusammenhang Präsentation Umsetzung in SQL/OLAP

35 Zusammenfassung Beobachtungen DWH Fallstudie Hands-on -Ansatz erlaubt Umsetzung von Theorie in Praxis SQL/OLAP intuitive, performante Erweiterung des SQL Standards unmittelbar abbildbar auf Präsentation multidimensionaler Daten mittels (erweiterter) Pivottabellen geeignet für den Übergang von der Datenmanipulation zur Informationsgenerierung Oracle XE guter Einstieg in Oracle Welt Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 48/52

36 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 50/52 Ausblick Weitere Lehrschritte Analytische Funktionen (u.a. Windowing, Ranking) in SQL/OLAP Business Intelligence Tools für ETL für Reporting für OLAP Analysen (graphische Handhabung der multidimensionalen Operationen) MDX Data Mining

37 Prof. Dr. Reinhold von Schwerin SQL/OLAP und Multidimensionalität 52/52 Quellen Literatur [L01] William H. Inmon, Richard D. Hackathorn: Using the Data Warehouse, John Wiley & Sons, ISBN [L02] Andreas Bauer, Holger Günzel: Data-Warehouse-Systeme: Architektur, Entwicklung, Anwendung, dpunkt, ISBN [L03] Ralph Kimball, Mary Ross: The Data Warehouse Toolkit. The Complete Guide to Dimensional Modeling., John Wiley & Sons, ISBN [L04] Olaf Herden: Eine Entwurfsmethodik für Data Warehouses. Dissertation, Uni Oldenburg [L05] Sanjay Mishra, Alan Beaulieu: Mastering Oracle SQL, O Reilly, ISBN Internetquellen [I 01] [I 02] Sonstige Quellen [Q01] R. von Schwerin: Vorlesungsskript; Hochschule Ulm; Winter 2008/2009