Unterstützung der Unternehmenssteuerung durch Data Warehouses mit ganzheitlicher Sicht auf Daten aus operativen Systemen

Transkript

1 Rückblick Unterstützung der Unternehmenssteuerung durch Data arehouses mit ganzheitlicher Sicht auf Daten aus operativen Systemen Online Transaction Processing (OLTP) und Online Analytical Processing unterscheiden sich deutlich Datenintegration als eine wichtige Herausforderung Multidimensional Entity-Relationship-Model zur konzeptuellen Modellierung von Data arehouses Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 34

2 Implementierung von Data arehouses Verschiedene Ansätze zur Speicherung von Datenwürfeln Relationales OLAP (ROLAP) bildet Datenwürfel auf Relationen ab und verwendet RDBMS Multidimensionales OLAP (MOLAP) speichert Datenwürfel direkt in Form eines mehrdimensionalen Arrays Hybrides OLAP (HOLAP) verwendet eine Kombination von ROLAP und MOLAP (z.b. Detaildaten relational und vorberechnete Aggregate mehrdimensional) Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 35

3 Snowflake-Schema Snowflake-Schema setzt Fakten in eine Faktentabelle und jede Dimension in mehrere normalisierte Dimensionstabellen um Faktentabelle enthält Kennzahl sowie Fremdschlüssel der jeweils niedrigsten Klassifikationsstufe Dimensionstabelle enthält eine ID, beschreibende Attribute sowie Fremdschlüssel der jeweils nächsthöheren Klassifikationsstufe Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 36

4 Snowflake-Schema Dimension "Produkt" Produktkategorie PK_ID PK_Bezeichnung Produktgruppe PG_ID PG_Bezeichnung PG_PKategorie_ID Dimension "Kunde" Bundesland B_ID B_Name B_Land_ID Kundengruppe KG_ID KG_Bezeichnung Stadt S_ID S_Name S_BLand_ID Kunde K_ID K_Name K_ohnort K_Strasse K_Geschlecht K_KGruppe_ID Filiale F_ID F_Filiale F_Stadt_ID Verkauf V_Anzahl V_Kanal V_Produkt_ID V_Zeit_ID V_Kunden_ID V_Filial_ID Produkt P_ID P_Bezeichnung P_Verkaufspreis P_Einkaufspreis P_Rabatt P_Steuern P_PGruppe_ID Zeit Z_ID Z_Datum Dimension "Zeit" Land L_ID L_Name Dimension "Ort" Quelle: Köppen, Saake und Sattler [2, S.58] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 37

5 Star-Schema Star-Schema setzt Fakten in eine Faktentabelle und jede Dimension in eine denormalisierte Dimensionstabelle um Faktentabelle enthält Kennzahl sowie Fremdschlüssel der jeweils zugehörigen Einträge in den Dimensionstabellen Dimensionstabelle enthält ID sowie beschreibende Attribute für eine der niedrigsten Klassifikationsstufe und allen höheren Klassifikationsstufen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 38

6 Star-Schema Kunde K_ID K_Name K_ohnort K_Strasse K_Geschlecht K_Kundengruppe Ort O_ID O_Filiale O_Stadt O_Bundesland O_Land Verkauf V_Anzahl V_Kanal V_Produkt_ID V_Zeit_ID V_Kunden_ID V_Ort_ID Produkt P_ID P_Bezeichnung P_Verkaufspreis P_Einkaufspreis P_Rabatt P_Steuern P_Produktgruppe P_Produktkategorie Zeit Z_ID Z_Datum Quelle: Köppen, Saake und Sattler [2, S.59] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 39

7 Snowflake-Schema vs. Star-Schema Snowflake-Schema hält Dimensionstabellen in 3NF und vermeidet somit redundante Datenspeicherung; beim Star-Schema sind sie nur in NF, wodurch Redundanzen und Anomalien entstehen Star-Schema kann, dank seiner Denormalisierung, Anfragen bzgl. höherer Klassifikationsstufen direkt, ohne zusätzliche Joins bearbeiten Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 40

8 Snowflake-Schema vs. Star-Schema Beispielanfrage im Snowflake-Schema (5 Joins) SELECT S_Name, YEAR(Z_Datum), SUM(V_Anzahl) 2 FROM Verkauf, Filiale, Stadt, Produkt, Produktgruppe, Zeit 3 HERE V_Produkt_ID = P_ID AND P_PGruppe_ID = PG_ID 4 AND V_Filial_ID = F_ID AND F_Stadt_ID = S_ID 5 AND V_Zeit_ID = Z_ID AND PG_Bezeichnung = ein 6 GROUP BY S_Name, YEAR(Z_Datum) Beispielanfrage im Star-Schema (3 Joins) SELECT O_Stadt, YEAR(Z_Datum), SUM(V_Anzahl) 2 FROM Verkauf, Ort, Produkt, Zeit 3 HERE V_Produkt_ID = P_ID AND V_Zeit_ID = Z_ID 4 AND V_Ort_ID = O_ID AND P_Produktgruppe = ein 5 GROUP BY O_Stadt, YEAR(Z_Datum) Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 4

9 Galaxie-Schema Snowflake-Schema und Star-Schema beinhalten eine Faktentabelle, die Kennzahlen in den gleichen Dimensionen speichert Galaxie-Schema als Erweiterung des Snowflake-Schemas beinhaltet mehrere Faktentabellen, die Kennzahlen in verschiedenen Dimensionen speichern Vorberechnete Aggregate (z.b. über alle Filialen hinweg) als eine Quelle zusätzlicher Faktentabellen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 42

10 Galaxie-Schema Land L_ID L_Name Kundengruppe KG_ID KG_Bezeichnung Produktkategorie PK_ID Produktgruppe PG_ID PK_Bezeichnung PG_Bezeichnung PG_PKategorie_ID Bundesland B_ID B_Name B_Land_ID Kunde K_ID K_Name K_ohnort K_Strasse K_Geschlecht K_KGruppe_ID Verkauf V_Anzahl V_Kanal V_Produkt_ID V_Zeit_ID V_Kunden_ID V_Filial_ID Produkt P_ID P_Bezeichnung P_Verkaufspreis P_Einkaufspreis P_Rabatt P_Steuern P_PGruppe_ID Stadt S_ID S_Name S_BLand_ID Filiale F_ID F_Filiale F_Stadt_ID Summe_Verkauf SV_Anzahl SV_Kanal SV_Monat_ID SV_PGruppe_ID SV_BLand_ID Zeit Z_ID Z_Datum Z_Monat_ID Z_Monat Quelle: Köppen, Saake und Sattler [2, S.63] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 43

11 4.4 Anfragen an Data arehouses Analytische Anfragen an Data arehouses wählen einen mehrdimensionalen Teilbereich von Fakten aus und berechnen Aggregationen auf höheren Klassifikationsstufen Beispiel: Umsatz je Produktkategorie in allen europäischen Filialen in den Monaten seit Januar 200 Beispiel: Verkaufte Einheiten je Produkt über alle Filialen pro Jahr seit 2005 Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 44

12 Anfragen an Data arehouses Analytische Anfragen betreffen oft eine große Menge von Daten (z.b. alle Verkäufe seit 200) Antwortzeiten sollen interaktiv (d.h. kürzer 5 Sekunden) sein, um eine Interaktion mit dem Datenwürfel zu erlauben Betrachtung eines kleineren Teilwürfels Verdichtung der Kennzahlen zu höherer Klassifikationsstufe etc. Data arehouses setzen auf Vorberechnungen, um diese Anforderungen zu erfüllen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 45

13 OLAP-Operatoren Datenwürfel dient nicht nur der Modellierung, sondern es lassen sich eine Reihe von Operatoren auf ihm definieren, die dann effizient umgesetzt werden müssen Pivotieren/Rotieren des gesamten Datenwürfels (PIVOT) Navigieren aufwärts/abwärts entlang der Dimensionen (ROLL UP / DRILL DON) Betrachten eines Teilwürfels oder einer Scheibe (DICE / SLICE) Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 46

14 PIVOT Pivotieren/Rotieren des gesamten Datenwürfels Produkt Zeit Softdrink ein Bier Bier 200 ein 20 Softdrink Zeit Sachsen- Anhalt Thüringen Bayern Ort Produkt Sachsen- Anhalt Thüringen Bayern Ort Quelle: Köppen, Saake und Sattler [2, S.26] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 47

15 DRILL DON und ROLL UP Navigieren aufwärts/abwärts entlang der Dimensionen Produkt Drill Down Produkt 2009 Softdrink ein Bier Roll Up Softdrink ein Bier Q Q2 Q3 Zeit Sachsen- Anhalt Thüringen Bayern Ort 200 Q Zeit Sachsen- Anhalt Thüringen Bayern Ort Quelle: Köppen, Saake und Sattler [2, S.27] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 48

16 SLICE Betrachten einer Scheibe des Datenwürfels Produkt Produkt Softdrink ein Bier Softdrink ein Bier Zeit Sachsen- Anhalt Thüringen Bayern Ort Zeit Sachsen- Anhalt Thüringen Bayern Ort Quelle: Köppen, Saake und Sattler [2, S.27] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 49

17 DICE Betrachten eines Teilwürfels des Datenwürfels Produkt Produkt 2009 Softdrink ein Bier 2009 Softdrink ein Bier Zeit Sachsen- Anhalt Thüringen Bayern Ort Zeit Sachsen- Anhalt Thüringen Bayern Ort Quelle: Köppen, Saake und Sattler [2, S.28] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 50

18 Umsetzung in SQL Data-arehouse-Systeme vertrauen meist auf RDBMS zur Speicherung und zum Anfragen der Daten Bei Verwendung eines Star-Schema ergibt sich folgendes Anfragemuster zum Berechnen eines Datenwürfels (n+)-ege-verbund zwischen n Dimensionstabellen und einer Faktentabelle Restriktionen über den Dimensionstabellen Aggregation und Gruppierung über Kennzahlen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 5

19 Umsetzung in SQL Beispiel: SELECT O_Stadt, YEAR(Z_Datum), SUM(V_Anzahl) 2 FROM Verkauf, Ort, Produkt, Zeit 3 HERE V_Produkt_ID = P_ID AND V_Zeit_ID = Z_ID 4 AND V_Ort_ID = O_ID AND P_Produktgruppe = ein 5 GROUP BY O_Stadt, YEAR(Z_Datum) In den Standards SQL:999 und SQL:2003 wurden Erweiterungen speziell für OLAP eingeführt zusätzliche (statistische) Aggregatfunktionen CUBE und ROLLUP Operatoren Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 52

20 Aggregatfunktionen Zusätzliche statistische Aggregatfunktionen in SQL:2003 VAR_POP(A) und VAR_SAMP(A) zum Berechnen der Varianz auf Population oder Stichprobe STDDEV_POP(A) und STDDEV_SAMP(A) zum Berechnen der Standardabweichung auf Population oder Stichprobe COVAR_POP(A,B) und COVAR_SAMP(A,B) zum Berechnen der Kovarianz auf Population oder Stichprobe CORR(A,B) zum Berechnen des Korrelationskoeffizienten Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 53

21 CUBE Analysen benötigen oft Zwischen- und Gesamtsummen PGruppe Jahr Bundesland Umsatz Umsatz Umsatz PGruppe- PGruppe- PGruppe Jahr- Jahr Bundesland ein 200 Sachsen-Anhalt 45 Thüringen Sachsen-Anhalt 47 Bier 20 Thüringen 42 Quelle: Köppen, Saake und Sattler [2, S.32] Je Zwischen- oder Gesamtsumme ist eine separate Unteranfrage an das RDBMS notwendig Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 54

22 CUBE Beispiel: Zwischen- und Gesamtsummen mittels Vereinigung von Unteranfragen -- Zwischensumme () über alle Produktgruppen,Jahre und Bundesländer 2 SELECT P_Produktgruppe AS PGruppe, YEAR(Z_Datum), O_Bundesland, 3 SUM(V_Anzahl P_Verkaufspreis) AS Umsatz 4 FROM Verkauf, Zeit, Produkt, Ort 5 HERE V_Zeit_ID = Z_ID AND V_Produkt_ID = P_ID AND V_Ort_ID = O_ID 6 GROUP BY P_Produktgruppe, YEAR (Z_Datum), O_Bundesland 7 8 UNION ALL Zwischensumme (2) über alle Produktgruppen und Jahre SELECT P_Produktgruppe AS PGruppe, YEAR (Z_Datum), 2 CAST( NULL AS VARCHAR(50)), 3 SUM(V_Anzahl P_Verkaufspreis) AS Umsatz 4 FROM Verkauf, Zeit, Produkt, Ort 5 HERE V_Zeit_ID = Z_ID AND V_Produkt_ID = P_ID AND V_Ort_ID = O_ID 6 GROUP BY P_Produktgruppe, YEAR(Z_Datum) 7 8 UNION ALL Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 55

23 CUBE Vollständige Berechnung aller Zwischen- und Gesamtsummen führt bei n Gruppierattributen zu 2 n auszuwertenden Unteranfragen CUBE-Operator berechnet für gegebene Menge von Gruppierattributen {A,..., A n } Summen für alle Teilmengen der Gruppierattribute {} {A }, {A 2 }, {A 3 },... {A,A 2 }, {A,A 3 },.... {A,...A n } Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 56

24 CUBE Beispiel: Zwischen- und Gesamtsummen mittels Verwendung des CUBE-Operators SELECT P_Produktgruppe AS PGruppe, O_Bundesland, YEAR(Z_Datum), 2 SUM(V_Anzahl P_Verkaufspreis) AS Umsatz 3 FROM Verkauf, Zeit, Produkt, Ort 4 HERE V_Zeit_ID = Z_ID AND V_Produkt_ID = P_ID AND V_Ort_ID = O_ID 5 GROUP BY CUBE(P_Produktgruppe, O_Bundesland, YEAR(Z_Datum)) CUBE-Operator ist interdimensional, d.h. Gruppierattribute stammen von verschiedenen Klassifikationsstufen unterschiedlicher Dimensionen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 57

25 ROLLUP ROLLUP-Operator als intradimensionales Pendant zum CUBE-Operator berechnet Zwischen- und Gesamtsummen entlang verschiedener Klassifikationsstufen einer Dimension Beispiel: Zwischen- und Gesamtsummen für Bundesländer, Städte und Filialen SELECT O_Bundesland, O_Stadt, O_Filiale, 2 SUM(V_Anzahl P_Verkaufspreis) AS Umsatz 3 FROM Verkauf, Zeit, Produkt, Ort 4 HERE V_Produkt_ID = P_ID AND V_Ort_ID = O_ID 5 AND V_Zeit_ID = Z_ID AND YEAR(Z_Datum) = 20 6 AND P_Produktgruppe = ein 7 GROUP BY ROLLUP(O_Bundesland, O_Stadt, O_Filiale) Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 58

26 MD Multidimensional Expressions (MD) als von Microsoft vorgeschlagene Anfragesprache für multidimensionale Daten, die auch von anderen Herstellern unterstützt wird MD-Anfrage nach folgendem Muster SELECT <Achsen> 2 FROM <Cube> 3 HERE <Slicer> zur Spezifikation eines Datenwürfels Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 59

27 MD Achsen-Klausel spezifiziert Achsen des Datenwürfels Aufzählung z.b. {ProduktA, ProduktC} Mengenausdruck z.b. Produkte.CHILDREN Kreuzprodukt z.b. CROSSJOIN(Produkte, Regionen) Cube-Klausel spezifiziert Faktentabelle als Datenquelle Slicer-Klausel erlaubt eine Selektion der Daten gemäß Dimensionen, die nicht als Achsen verwendet werden (z.b. Measures.[Umsatz] betrachtet nur Umsätze) Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 60

28 MD Beispiel ([2], S. 49) SELECT CROSSJOIN ( 2 {Produkt.Kategorie.Gruppe.[Rotwein], 3 Produkt.Kategorie.Gruppe.[eißwein]}, 4 {Ort.[Sachsen-Anhalt].CHILDREN, 5 Ort.[Thüringen]}) 6 ON COLUMNS, 7 {Zeit.[20].[Q].CHILDREN, Zeit.[20].[Q2], 8 Zeit.[20].[Q3], Zeit.[20].[Q4].CHILDREN} 9 ON ROS 0 FROM Verkauf HERE (Measures.[Umsatz]) Achse : Kreuzprodukt aus Produktkategorien Rotwein und eißwein mit Orten in Sachsen-Anhalt und Thüringen Achse 2: Monate im ersten Quartal von 20, zweites und drittes Quartal von 20, Monate im vierten Quartal von 20 Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 6

29 MD Beispiel ([2], S. 49) SELECT CROSSJOIN ( 2 {Produkt.Kategorie.Gruppe.[Rotwein], 3 Produkt.Kategorie.Gruppe.[eißwein]}, 4 {Ort.[Sachsen-Anhalt].CHILDREN, 5 Ort.[Thüringen]}) 6 ON COLUMNS, 7 {Zeit.[20].[Q].CHILDREN, Zeit.[20].[Q2], 8 Zeit.[20].[Q3], Zeit.[20].[Q4].CHILDREN} 9 ON ROS 0 FROM Verkauf HERE (Measures.[Umsatz]) Datenquelle: Faktentabelle Verkauf Slicer: Nur Umsätze werden berücksichtigt Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 62

30 MD Beispiel ([2], S. 49) Umsätze 20 Rotwein eißwein S.-A. Thür. S.-A. Thür. Magdeb. Halle Magdeb. Halle. Quart. Jan Feb Mär Quart Quart Quart. Okt Nov Dez Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 63

31 4.5 Implementierungsaspekte Implementierungsansätze für Data-arehouse-Systeme ROLAP verwendet RDBMS zum Speichern und Anfragen MOLAP speichert Daten als multidimensionales Array HOLAP verwendet Kombination der beiden Ansätze Bitmap-Indizes als zusätzliche Indexstruktur, die insbesondere für Attribute mit kleiner Anzahl möglicher Attributwerte und relativ statische Daten geeignet ist Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 64

32 ROLAP Relationales OLAP (ROLAP) verwendet ein RDBMS, um Datenwürfel in Fakten- und Dimensionstabellen zu speichern Vorteile: RDBMS sind ausgereifte Systeme und weit verfügbar geringer Implementierungsaufwand und Kosten Nachteile: Faktentabellen haben, aufgrund von Dimensionsattributen, einen vergleichsweise hohen Speicherbedarf Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 65

33 MOLAP Multidimensionales OLAP (MOLAP) verwendet ein multidimensionales Arrays zur Speicherung des Datenwürfels Klassifikationsstufen der verschiedenen Dimensionen müssen intern als ganze Zahlen (0...n) kodiert werden Dimensionsinformation eines Fakts muss dann nicht separat gespeichert werden, sondern ist aus seiner Position im multidimensionalen Array ablesbar Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 66

34 MOLAP Datenwürfel als multidimensionales Array, welches dann mittels Linearisierung (wie in Programmiersprachen) als Folge von Fakten (Kennzahlen) gespeichert wird D 3 Magdeburg D Halle D 2 Sachsen-Anhalt Erfurt Thüringen Februar März. Quartal Januar Quelle: Köppen, Saake und Sattler [2, S.57/59] Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 67

35 Bitmap-Indizes Bitmap-Indizes als zusätzliche Form von Indexstruktur (neben B + -Bäumen und hashbasierten Indizes), die insbesondere in Data arehouses Anwendung findet Bitmap-Indizes geeignet für Attribute mit kleiner Anzahl möglicher Attributwerte (z.b. Geschlecht, Kategorie) Für jeden möglichen Attributwert wird ein Bitvektor gespeichert, der Tupel anzeigt (Bit auf gesetzt), welche diesen Attributwert besitzen Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 68

36 69 Bitmap-Indizes Beispiel: eibliche Kunden in Vertriebsgebieten S und Datenbanken & Informationssysteme / Kapitel 4: Data arehouses G:w S U T V V:S S U T V V: S U T V Q c c c c c c c c a S U T V R d d d d d d d d b = S U T V

37 Bitmap-Indizes Bitvektoren lassen sich kompakt speichern und sehr effizient mittels Boole scher Operationen verknüpfen Bitmap-Indizes haben für Attribut mit wenigen möglichen erten einen geringeren Speicherbedarf als herkömmliche B + -Bäume Bitmap-Indizes sind insbesondere für statische Daten geeignet; ein Einfügen oder Löschen von Tupeln erfordert eine Neuberechnung aller Bitvektoren Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 70

38 Zusammenfassung Datenwürfel besteht aus Fakten und Dimensionen, die sich in Form eines Snowflake-Schemas oder eines Star-Schemas in Relationen abbilden lassen OLAP-Operatoren (ROLL UP, DRILL DON, SLICE, etc.) zur Interaktion mit einem Datenwürfel OLAP-Unterstützung in SQL und durch in Form der von Microsoft vorgeschlagenen Anfragesprache MD Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 7

39 Literatur [] A. Kemper und A. Eickler: Datenbanksysteme Eine Einführung, De Gruyter Oldenbourg, 205 (Kapitel 7) [2] V. Köppen, G. Saake und K.-U. Sattler: Data arehouse Technologien, mitp Professional, 204 Datenbanken & Informationssysteme / Kapitel 4: Data arehouses 72