Anfragen in Operativen Systemen und Data Warehouses

Transkript

1 Data Warehouses Sommersemester 011 Melanie Herschel Lehrstuhl für Datenbanksysteme, Universität Tübingen Anfragen in Operativen Systemen und Data Warehouses Anfragen Operative Datenbank Transaktionale Anfragen Insert, Update, Delete, Select Anfragen über einzelne / wenige Tupel Anfrageoptimierung siehe VL Datenbanken II UPDATE Order SET amount = amount + 1 WHERE OrderID = 1 AND BookID = 04 Data Warehouse Analytische Anfragen Bulk-Insert und Select Typische Anfragetypen (drill down, slice, dice, ) Spezialisierte Optimierungsverfahren Jahr Books CDs s Region North America Asia Europe gruppe

2 Gegeben: ein Multidimensionales Datenmodell Beispiel eines multidimensionalen Datenmodells (Cube und Dimensionshierarchien) Datenwürfel (feinste Granularität) Dimensionshierarchien e Typen Kategorien Jahr Quartal Monat Stadt Mai 3 Ziel: Beantworten Analytische Anfragen Erinnerung: Das Data Warehouse integriert Daten, um eine globale Sicht über Geschäftsprozesse zu erlangen, die für Analysezwecke verwendet werden soll. Im Unterschied zu Anfragen auf klassichen relationalen Daten in operativen Systemen folgen analytische Anfragen oft gewissen Mustern. Man unterscheidet zwischen OLTP (Online Transaction Processing) Anfragen in operativen Datenbanken und OLAP (Online Analytical Processing) Anfragen in Data Warehouses. 4

3 Beispiele für OLAP Anfragen Navigation innerhalb eines Cubes z.b. Anzahl verkaufter bücher im Januar, unabhängig vom Navigation durch verschiedene Granularitätsebenen z.b. Verkaufszahlen pro typ (, Film, ) in einem Quartal pro Standort Navigation durch mehrere korrelierte Cubes z.b. Gesamtverkaufszahlen in Läden und im Internet, wobei wir zwei Cubes ( / / Stadt) und ( / / Kunde) haben. Rankinganfragen z.b. Die 10 beliebteste Bücher im Jahr 009 pro Land. In diesem ersten Teil von Kapitel 4 besprechen wir häufige Anfragemuster für OLAP Anfragen genauer. Kapitel 4.1 Typische Anfragen OLAP Operationen Innerhalb eines Cubes Über mehrere Cubes Pivot Sprachen für OLAP MDX SQL Erweiterungen 6

4 Annahmen In diesem Abschnitt nehmen wir an, dass das Data Warehouse Schema (= Schema der dispositiven Datenbasis) nur einen einzelnen Datenwürfel beinhaltet. Zur Einfachheit der Darstellung verwenden wir stets maximal drei Dimensionen. Die hier vorgestellten Konzepten gelten aber auch für Datenwürfel mit beliebig vielen Dimensionen. Zur Einfachheit der Darstellung verwenden wir eine Kennzahl pro Fakt. Im Allgemeinen können beliebig viele Kennzahlen pro Fakt existieren. 7 Überblick Besprochener Anfragemuster Alle in diesem Abschnitt besprochenen Anfragemuster dienen zur Navigation im multidimensionalen Datenmodell. Roll-up / Consolidate: Navigiere zu Daten gröberer Granularität Drill-down: Navigiere zu Daten feinerer Granularität Drill-out / Split: Expandiere Daten durch weitere Dimensionen Drill-in / Merge: Reduziere Dimensionalität der Daten Slice: Selektiere Daten basierend auf einer Einschränkung einer Dimension. Dice: Selektiere Daten basierend auf Einschränkungen mehrerer Dimensionen. 8

5 Roll-Up Definition Roll-Up (auch Consolidate) Gegeben sei ein n-dimensionaler Datenwürfel C = (DS, M) = ({D 1,, D n }, {M 1,, M p }) mit den Dimensionen entsprechenden Granularitäten G = {l1, l,,ln}, wobei li der Ebene des Schemas {D1,, Dm, TopD; "} der Dimension D i entspricht, 1! li! m+1. Während einer Roll-Up Operation (auch Consolidate genannt) wird für eine Menge DS up DS zu einer gröberen Granularität navigiert, d. h. es gilt Di DS up, Dj DS, i = j, i < m + 1: lj < li! m+1 Ein Roll-up entspricht also einem Hinauszoomen aus dem aktuellen Datenwürfel, was dazu führt, dass das Ergebnis einen geringeren Detailgrad hat, z.b. Rollup des Würfels (kategorie / Monat / Stadt) zu (typ / Monat / Stadt). Dieses Hinauszoomen geschieht entlang einer oder mehrerer Dimensionen, z.b. Roll-Up Beispiel oben oder Roll-up zu (typ / Quartal / Stadt). Es ist auch möglich, zur Wurzel TopD einer oder mehrerer Dimensionen zu navigieren. Geschieht dies entlang aller Dimensionen, beinhaltet das Ergebnis nur noch einen Fakt. und Di DS up, Dj DS, i = j: li = lj 9 Roll-Up Beispiel - Roll-Up einer Einzelnen Dimension Roll-Up einer einzelnen Dimension Roll-Up der -Dimension: (Kategorie / Monat / Stadt)! (Typ / Monat / Stadt) Mai (Typ) Medien Bücher Mai 10

6 Roll-Up Beispiel - Roll-up Mehrerer Dimensionen Roll-Up mehrerer Dimension Roll-Up der und der Jahr Dimension: (Kategorie / Monat / Stadt)! (Typ / Quartal / Stadt) Mai (Typ) Medien Bücher Q1 Q (Quartal) 11 Roll-Up Beispiel - Roll-up zur Wurzel aller Dimensionen Roll-Up zur Wurzel aller Dimensionen Roll-Up zur Wurzel aller Dimensionen: (Kategorie / Monat / Stadt)! (e / / ) Mai () () e () 1

7 Roll-Up Ableitung von Kennzahlen Wiederhohlung: Kennzahl gehört zu einem Fakt, dieser hat wiederum eine gewisse Granularität. Zwei Eigenschaften einer Kennzahl: Numerischer Wert Formel, mit der die Kennzahl aus anderen abgeleitet werden kann. Bei einem Roll-Up navigieren wir von einer feineren Granularität G1 der Fakten zu einer gröberen Granularität G der Fakten. Die Formel, die für Kennzahlen von Fakten der Granularität G definiert ist (falls vorhanden) wird angewandt, um den numerischen Wert abzuleiten. Dabei ist allerdings die Eigenschaft der Summierbarkeit (additiv, semi-additiv oder nicht additiv) der Kennzahlen zu beachten. Im Fall semi-additiver oder nicht-additiver Kennzahlen lassen sich ggf. Kennzahlen nur aus Basisdaten (Daten feinster Granularität in allen Dimensionen) ableiten. 13 Roll-Up Ableitung von Kennzahlen Leiten Sie die Kennzahlen des aus dem Roll-Up resultierenden Cubes ab (nur anhand sichtbarer Werte) Roll-Up der und der Jahr Dimension: (Kategorie / Monat / Stadt)! (Typ / Quartal / Stadt) Mai Juni (Typ) Medien Bücher Q1 Q (Quartal) 14

8 Drill-Down Drill-Down ist die inverse Operation zu Roll-Up. Ermöglicht Navigation von einem gröberen Detailgrad zu einem feineren Detailgrad (Hineinzoomen) entlang mindestens einer Dimension. Z.B. von (typ / Quartal / Stadt) zu (Kategorie / Monat / Stadt). Drill-Down Gegeben sei ein n-dimensionaler Datenwürfel C = (DS, M) = ({D 1,, D n }, {M 1,, M p }) mit den Dimensionen entsprechenden Granularitäten G = {l1, l,,ln}, wobei li der Ebene des Schemas {D1,, Dm, TopD;!} der Dimension D i entspricht, 1! li! m+1. Während einer Drill-Down Operation wird für eine Menge DS DOWN DS zu einer feineren Granularität navigiert, d. h. es gilt Di DS up, Dj DS, i = j: li < lj und Di DS up, Dj DS, i = j: li = lj 1 Drill-Down Beispiel - Drill-up Mehrerer Dimensionen Roll-Up mehrerer Dimension Medien Bücher (Typ) Q1 Q (Quartal) Drill-Down der und der Jahr Dimension: (Typ / Quartal / Stadt)! (Kategorie / Monat / Stadt) Mai 16

9 Zusammenfassung Roll-Up / Drill-Down Operatoren zur Navigation zwischen unterschiedlichen Granularitäten entlang einer oder mehrerer Dimensionen. Roll-Up: Weniger Detailgrad Drill-Down: Mehr Detailgrad Ermittlung der Kennzahlen (wenn Ergebniscube nicht materialisiert): Bei Roll-Up: mögliche Ableitung anhand der Detaildaten im Eingabecube. Bei Drill-Down: Ableitung aus Daten feinster (und materialisierter) Granularität In beiden Fällen bleibt die Dimensionalität des Datenwürfels unverändert, d.h. die Anwendung eines Roll-Up / Drill-Down auf einen n-dimensionalen Cube resultiert in einem n-dimensionalen Cube. Ausnahme: Navigation von oder zur Wurzel mindestens einer Dimension. 17 Drill-Out / Split Bei einem Drill-Out (auch Split genannt) wird ein n-dimensionaler Datenwürfel durch k weitere Dimension mit feinerer Granularität als TopD ergänzt, wobei k >= 1.! Ergebnis ist ein (n+k)-dimensionaler Datenwürfel Wie bei Drill-Down wird auch hier zu detaillierteren Daten navigiert. Im Gegensatz zu einem Drill-Down wird der Detailgrad nicht wie bisher durch eine feinere Granularität erhöht, sondern durch eine Anreicherung dimensionaler Information. 18

10 Drill-Out / Split Drill-Out des 1D-Würfels zum D-Würfel (Kategorie / Quartal) Drill-Out der -Dimension Q1 Q Q3 Q4 (Quartal) 19 Drill-In / Merge Inverse Operation zu Drill-Out. Bei einem Drill-In (auch Merge genannt) werdem einem n- dimensionalen Datenwürfel k Dimension entfernt, wobei k < n.! Ergebnis ist ein (n-k)-dimensionaler Datenwürfel Wie bei Roll-Up wird auch hier der Detailgrad reduziert. Im Gegensatz zu einem Roll-Up wird der Detailgrad nicht wie bisher durch eine gröbere Granularität reduziert, sondern durch ein Entfernen dimensionaler Information. 0

11 Drill-In / Merge Drill-In des D-Würfels (Kategorie / Quartal) zum 1D-Würfel Drill-In der -Dimension Q1 Q Q3 Q4 (Quartal) 1 Slice Realisiert eine Ausschnittsbildung gemäß den in einer Dimension vordefinierten Begriffswelten (gegeben durch das Dimensionsschema) Parameter des Slice-Operators ist ein Filterkriterium, das Punkt- oder Bereichsanfragen über eine Dimension beschreibt. Filterkriterium mit AND-, OR-, NOT-Konstruktionen. Z.B. Monat > AND Monat <= Nov. AND Monat <> Filterkriterium auf einer oder mehreren Hierarchieebenen der Dimension Z.B. Land = DE AND PLZ = Notation Slice(p, D): Selektiere nur die Scheiben entlang der Dimension D, die dem Filterkriterium p entsprechen.

12 Slice Slice mit einfachem Filterkriterium (Monat = ) Mai Slice(Monat =, ) Mai 3 Slice Slice mit einer Disjunktion als Filterkriterium (Monat = OR Monat = ) Mai Slice(Monat = OR Monat =, ) Mai 4

13 Slice Slice über die dimension, bestehend aus zwei Hierarchien (Kalender- & Bilanzjahr) Slice( Juli Kalenderjahr = 011 AND (Kalenderquartal = Q1 OR Kalenderquartal = Q), ) Bilanzjahr Bilanzquartal Monat Tag Juli Kalenderjahr Kalenderquartal Dice Anwendung von Slice-Operatoren entlang mehrerer Dimensionen. Z.B. Slice(Monat =, ) UND Slice(Stadt = Berlin, ) Bei Slice haben wir stets Scheiben des Würfels ausgeschnitten, da nur entlang einer Dimension gefiltert wurde. Mittels Dicing können nun beliebige Unterwürfel ausgeschnitten werden. 6

14 Dice Dice entlang zweier Dimensionen Mai Slice(Monat =, ) UND Slice(Stadt = Berlin OR Stadt = Stuttgart, ) Mai 7 Dice Dice entlang drei Dimensionen Juli Slice(Quartal = Q1 OR Quartal = Q, ) AND Slice(typ = Medien, ) AND Slice(Stadt = Berlin OR Stadt = Stuttgart) Juli 8

15 Kapitel 4.1 Typische Anfragen OLAP Operationen Innerhalb eines Cubes Über mehrere Cubes Pivot Sprachen für OLAP MDX SQL Erweiterungen 9 Korrelierte Datenwürfel Bisher haben wir stets einen Datenwürfel betrachtet. In einem Data Warehouse werden üblicherweise mehrere Datenwürfel gespeichert. Zum Beispiel Ein Würfel mit Dimensionen (,, ) zur Verwaltung von Verkaufszahlen nach, und Filiale. Ein Würfel mit Dimensionen (,, Onlinekunde) zur Verwaltung von Online-Verkaufszahlen von en an Kunden zu gegebener. Warum kein Würfel (,,, Kunde)? 30

16 Korrelierte Datenwürfel Korrelierte Datenwürfel teilen sich eine oder mehrere conformed dimensions. Conformed dimensions (übereinstimmende Dimensionen) Zwei Dimensionen D und D sind übereinstimmend wenn für ihre Wertebereiche dom(d) dom(d ) oder dom(d ) dom(d) gilt. Beispiel übereinstimmender und nicht übereinstimmender Dimensionen conformed e e Bücher Medien Bücher Medien Bücher e Medien Roman Roman not conformed e e Bücher Medien Bücher Medien Roman Wissenschaft Roman 31 Korrelierte Datenwürfel Korrelierte Datenwürfel Zwei Datenwürfel sind DC = (DS, M) und DC = (DS, M ) korreliert, wenn mindestens ein Dimensionspaar (Di, Dj), wobei Di DS, Dj DS übereinstimmt. Sei CD die Menge aller Dimensionspaare {(Di, Dj) Di DS, Dj DS, Di übereinstimmend mit Dj}. Beispiel zweier korrelierter Datenwürfel mit CD = {(, ), (, )} Lager Mai Mai 3

17 Drill-Across Der Drill-Across Operator wird über mehrere korrelierte Datenwürfel angewandt. Er dient dazu, Kennwerte der Fakten der korrelierten Würfen zu kombinieren um eine globalere Analyse (über mehrere Würfel hinweg) durchzuführen. Die Kennzahlen müssen sinnvoll kombiniert werden! Z.B. kann das bestverkaufte über Filialhandel und Onlinehandel hinweg dadurch bestimmt werden, indem die Kennzahlen (jeweils Verkaufszahl) der Cubes (,, ) und (,, Onlinekunde) summiert werden. Der von einem Drill-Across zweier Würfel DC = (DS, M) und DC = (DS, M ) zurürckgegebene Datenwürfel besteht aus Der Menge der Dimensionen {gröbste(di, Dj) (Di, Dj) CD } (siehe Folie 3 für die Definition von CD) Der Menge der Kennzahlen M M bzw. daraus abgeleiteter Kennzahlen 33 Drill-Across Drill Across Beispiel 1: Gesamtverkauf (Filial- + Onlineverkauf) von en nach Mai Mai Berlin Stuttgart Kunde Gold Platin Neu Standard Silber Mai Ableitung der Kennzahlen: verkaufszahl(m,k) = "s i Stadt verkaufszahl(m,k,si) + "k i Kunde verkaufszahl(m,k,ki) 34

18 Drill-Across Drill-Across Bsp. : Bei welchen en liegt der Lagerbestand stets über 60% der Anzahl verkaufter e? Verkaufszahlen Stuttgart Berlin ril Ma i Ap Ja n. Fe b. Mä rz Lagerbestände Lager Stuttgart Berlin Ja n. Fe b. Mä rz Ap ril Ma i 3 Kapitel 4.1 Typische Anfragen OLAP Operationen Innerhalb eines Cubes Über mehrere Cubes Pivot Sprachen für OLAP MDX SQL Erweiterungen 36

19 Pivot Bei einem Pivot (auch Rotation) wird konzeptuell der Datenwürfel um eine Achse gedreht. Dieser Operator wird hauptsächlich für anschauliche Navigation bzw. zur ReportGenerierung (Menge von D-Spreadsheets verwendet). Dieses Pivoting ist eigentlich Aufgabe der Präsentationssoftware. Pivot des Würfels (,, ) in (,, ) n Be rl utt St ril Ma i rz Ap Mä n. Ja Fe b. in Stuttgart Berlin Ly o rt ris Pa ga 37 Kapitel 4.1 Typische Anfragen OLAP Operationen Innerhalb eines Cubes Über mehrere Cubes Pivot Sprachen für OLAP MDX SQL Erweiterungen 38

20 OLAP Operationen Die bisher besprochenen OLAP Operationen arbeiten auf Würfeln Navigation entlang der Dimensionshierarchie: Roll-Up, Drill-Down Erweiterung / Reduktion der Dimensionalität: Split / Merge Selektion: Slice, Dice Kombination von Daten mehrerer Würfel: Drill-Across Weitere analytische Anfragen, die zu OLAP Operationen gezählt werden Gleitende Durchschnitte Arbeiten auf reihen Relative Wertevergleiche 39 Sprachen für OLAP Operationen Allgemein Bereitstellung der notwendigen Operationen Deklarative Ansätze Kein vielfach geschachteltes SQL, weniger verbos als Standard SQL Im Wesentlichen zwei Ansätze Multidimensional Expressions (MDX): Baut auf dem multidimensionalen Datenmodell (MDDM) auf (Würfel, Dimensionen, Fakten, ) Erweiterungen von SQL: Anfragen über relationales Star- / Snowflake-Schema 40

21 MDX MDX = Multidimensional Expressions: Microsoft s Vorschlag OLE DB for OLAP Eigene Anfragesprache Standard ohne feste Semantik (by example) MDDM Konzepte als First-Class Elemente Dadurch kompaktere Anfragen als mit SQL SQL-artige Syntax (aber nicht identische Semantik) Sehr mächtig und komplex Erzeugung der Objekte (DDL) erfolgt anderweitig: DSO Interface (Decision Support Objects) von SQL Server Wird von vielen kommerziellen Tools zur Kommunikation mit OLAP Datenbank benutzt. nach [Ulf Leser, VL Data Warehouses und Data Mining, SS 007] 41 MDX Grundprinzip und Struktur Eine MDX Anfrage erzeugt einen mehrdimensionalen Report Z.B. ein D Spreadsheet Z.B. Mehrere Tabs mit D Spreadsheets zur Darstellung von 3 Dimensionen Grundstruktur ist wie bei SQL eine SELECT-FROM-WHERE Klausel Aber andere Semantik als bei SQL! Allgemeine MDX Grundstruktur SELECT <axis-spec1>, <axis-spec>, FROM <cube-spec1>, <cube-spec>, WHERE ( <selection-specification> ) 4

22 MDX Grundprinzip und Struktur Einfaches MDX Beispiel (Beispielcube & Dimensionen siehe Folie 3) SELECT { Berlin, Stuttgart } ON ROWS FROM WHERE { [1. Quartal], [. Quartal].CHILDREN } ON COLUMNS VerkaufsWürfel ( Measures.Verkauf, ).[010], e.e Aggregation der Kennzahl (measure) Verkauf über vordefinierte Funktion (z.b. SUM) Einschränkung der - Dimension (nur raum 010) Selektion relevanter e. Hier alle, da TopD Ebene gewählt Berlin Stuttgart 1. Quartal Mai 010 Juni 010 numerische Zellenwerte 43 MDX Klammern und SELECT Klammern in MDX {} - Menge von Elementen für die Erzeugung einer Ergebnisdimension [] - Repräsentation von Leer- und Sonderzeichen & nicht numerische Interpretation von Zahlen. () - Liefert Tupel für die WHERE-Klausel SELECT - Achsendimensionen Beschreibung des Ergebnisraum Jeder Dimension der Ergebnisses wird präsentationsgerecht eine Rolle zugewiesen ON COLUMNS, ON ROWS, ON PAGES, ON SECTIONS, ON CHAPTERS Eine Dimension im Ergebnis entspricht einer (Auswahl einer) Dimension im MDDM über ein oder mehrere Hierarchieebenen. {Berlin, Stuttgart} aus -Dimension und Stadt-Ebene {[1. Quartal], [. Quartal].CHILDREN} aus -Dimension, Quartal- und Monat-Ebene 44

23 MDX FROM und WHERE FROM - Würfelspezifikation Menge von Datenwürfeln, die zur Konstruktion des Ergebniswürfels notwendig sind. Falls mehr als ein Würfel referenziert wird, wird implizit ein multidimensionaler Verbund durchgeführt, wobei jeweils zwei Datenwürfel mindestens eine gemeinsame Dimension aufweisen müssen (siehe auch korrelierte Datenwürfel) WHERE - Restriktion Einschränkung der in der FROM-Klausel spezifizierten Datenwürfel Einschränkung durch Angabe einer Liste von Klassifikationsknoten aus so genannten Slicer-Dimensionen. Kennzahlen sind normale Elemente der speziellen Measures-Dimension (diese kann in der WHERE-Klausel, aber auch in FROM-Klausel verwendet werden) 4 MDX Mengenausdrücke Aufzählung von Knoten der dimensionalen Hierarchie Einzelne Knoten müssen nicht aus der gleichen Ebene stammen Z.B. liefert {,, Medien} eine Mischung aus Kategorien und Typen der -Dimension. Elementausdrücke zur Erzeugung von Mengen von Knoten CHILDREN: Kindknoten eines Klassifikationsknoten z.b. [. Quartal].CHILDREN = {, Mai, Juni} MEMBERS: Knoten einer Klassifikationsstufe z.b..quartal.members = {[1. Quartal],, [4. Quartal]} PARENT: Vaterknoten eines Klassifikationsknoten z.b..parent = {Bücher} 46

24 MDX Mengenausdrücke Schachtelung von Mengen mittels CROSSJOIN Projektion zweier Dimensionen in eine Semantik: Alle möglichen Kombinationen (Kreuzprodukt) CROSSJOIN Beispiel SELECT CROSSJOIN({Berlin, Stuttgart} {Kiosk, [Mega-Store]} ON ROWS FROM { 010.CHILDREN } ON COLUMNS VerkaufsWürfel WHERE ( Measures.Verkauf,.[010], e.medien ) Berlin Kiosk Mega-Store Stuttgart Kiosk Mega-Store 1. Quartal 010. Quartal Quartal Quartal 010 numerische Zellenwerte (Anzahl Verkäufe von en von Typ Medien im raum MDX Mengenausdrücke Relative Auswahl zur Nutzung einer Ordnung innerhalb dimensionaler Strukturen. LASTCHILD - letzte Kind eines Knotens z.b. Bücher.LASTCHILD = {} NEXTMEMBER - nächster Nachbar auf gleicher Ebene z.b. [1. Quartal 010].NEXTMEMBER = {[. Quartal 010]} LEAD(x) - Nachbar in positiver Entfernung x auf gleicher Ebene z.b. [November 010].LEAD() = {[Januar 011]} [x]:[y] - Bereichseinschränkung zwischen x und y z.b. [199]:[00] beschränkt den zu betrachtenden raum auf die Jahre 199 bis

25 MDX Mengenausdrücke Methoden für dimensionale Schemata zur Nutzung einer Ordnung innerhalb dimensionaler Strukturen. LEVEL - Ermittlung der Schemaebene z.b..level = {Kategorien}, Medien.LEVEL = {Typen} LEVELS(x) - Nutzung der internen Nummerierung der Klassifikationsstufen zum Zugriff auf Schemaebene x z.b. LEVELS(1) = {Jahr} 49 Konditionierte Ergebnisproduktion Konstruktion des Ergebniswürfels in Abhängigkeit von berechneten Ergebnissen. Top-k Anfragen TOPCOUNT TOPRECENT TOPSUM Allgemeine Filter-Bedingungen FILTER 0

26 Konditionierte Ergebnisproduktion Beispiel der TOPCOUNT Funktion Ermittlung des Umsatzes der fünf verkaufsstärksten Bundesländer in Deutschland in 010 (Annahme: Hierachie Land-Bundesland-Stadt) SELECT {Measures.Umsatz} ON COLUMNS {TOPCOUNT(Deutschland.CHILDREN,, Measures.Verkauf)} ON ROWS FROM WHERE VerkaufsWürfel ( Measures.Umsatz,[010]) Beispiel der Filter Funktion Zeige Verkaufszahlen für Bundesländer an, deren Umsatz im Jahr 00 höher als im Jahr 001 war. Hier bezieht sich der Umsatz auf den Umsatz pro Quartal in der kategorie Medien. SELECT FILTER(Deutschland.CHILDREN, ([00], Umsatz) > ([001], Umsatz) ) ON COLUMNS Quartal.MEMBERS ON ROWS FROM VerkaufsWürfel WHERE ( Verkauf,[00], e.medien ) 1 Temporale Auswertung Addressierung von punkten und - orten PERIODSTODATE(k, d) Alle Knoten vom Beginn der Klasse k bis zum Datum d z.b. PERIODSTODATE(Quartal, [1. November 00] = LASTPERIODS(k, d) Letzte k abschnitte vor Datum d (k und d auf gleicher Hierarchieebene). z.b. LASTPERIODS(3, [Sept. 00]) = {[Juni 00], [Juli 00], [Aug. 00]} PARALLELPERIOD(k, n, d) z.b. PARALLELPERIOD(Jahre, 3, [Sept. 00]) = {[Sept. 1999]}

27 Temporale Auswertung Auswertung Kovarianz Korrelation gleitender Durchschnitt 3 MDX Fazit Hohe Komplexität Mächtige Sprache Direkte Anlehnung an MDDM Weit verbreitet Schnittstelle zwischen OLAP GUI und DB-Server Unterstützt von Microsoft, Cognos (IBM), BusinessObject (SAP), 4

28 Kapitel 4.1 Typische Anfragen OLAP Operationen Innerhalb eines Cubes Über mehrere Cubes Pivot Sprachen für OLAP MDX SQL Erweiterungen SQL und OLAP Übersetzung eines MDDM in Star- oder Snowflake Schema Operationen mit Standard SQL (SQL-9) Auswahl (slice, dice): Joins und Selects Verfeinerung (drill-down): Joins uns Selects Aggregation um eine Stufe: Group-By OLAP-Erweiterungen von SQL Mehrfachgruppierungen! in dieser Vorlesung Analytische Funktionen! in der Übung Prinzipiell auch in SQL-9 möglich, aber nur kompliziert auszudrücken und ineffizient in der Bearbeitung 6

29 Beispiel Beispiel eines Star Schemas PID Kategorie Typ 1 Bücher Bücher 3 Bücher 4 Medien Medien 6 Medien ZID Monat Quartal Jahr 1 Jan10 Q Feb10 Q OID Stadt 1 Berlin Stuttgart 3 4 Faktentabelle PID ZID OID #Verkäufe Gewinn Mai Kennzahlen (Verkäufe & Gewinn) für im Januar 010 in Stuttgart. Alle weiteren Kombinationen von kategorien und en im Januar Beginn der Kombinationen für Februar 010(danach auch für alle weiteren Monate) 7 Mehrfachgruppierungen Erinnerung zu GROUP BY (siehe VL Datenbanken I) GROUP BY <att1>, <att>,, <attn> partitioniert die von der Anfrage betrachteten Daten anhand der Werte in Attributen att1 bis attn. Wird GROUP BY verwendet, können in der SELECT-Klausel (i) die Attribute att1 bis attn vorkommen plus (ii) aggregierte Werte anderer Attribute. Aggregation mittels SUM, COUNT, AVG, MIN, MAX Beispiel einer GROUP-BY Anfrage - Gesamtgewinn mit Büchern nach Jahr, Quartal und Monat? SELECT Jahr, Quartal, Monat, SUM(Gewinn) FROM Faktentabelle,, WHERE.PID = Faktentabelle.PID AND.ZID = Faktentabelle.ZID AND.Typ = Bücher GROUP BY Jahr, Quartal, Monat Summe nur für Tage (unterteilt nach Monaten / Jahren) Keine Summe pro Monat / pro Jahr 8

30 Mehrfachgruppierungen Beispiel einer GROUP-BY Anfrage - Gesamtgewinn mit Büchern nach Jahr, Quartal und Monat SELECT Monat AS Time, SUM(Gewinn) AS Gewinn FROM Faktentabelle,, WHERE.PID = Faktentabelle.PID AND.ZID = Faktentabelle.ZID AND.Typ = Bücher GROUP BY Monat UNION SELECT Quartal AS Time, SUM(Gewinn) AS Gewinn FROM Faktentabelle,, WHERE.PID = Faktentabelle.PID AND.ZID = Faktentabelle.ZID AND.Typ = Bücher GROUP BY Quartal UNION SELECT Jahr AS Time, SUM(Gewinn) AS Gewinn FROM Faktentabelle,, WHERE.PID = Faktentabelle.PID AND.ZID = Faktentabelle.ZID AND.Typ = Bücher GROUP BY Jahr Monate Quartale Jahre Time Gewinn Dec Q Q Mehrfachgruppierungen Gewünschtes Ergebnis - Gesamtgewinn mit Büchern nach Jahr, Quartal und Monat Jahr Quartal Monat Gewinn 010 Q Q Q Q Q Q Nutzung einer Dimensionshierarchie in SQL? Mehrfachgruppierung : Gewinn pro Quartal und typ und Quartal und in 010 Quartal Typ Gewinn Q1 010 Bücher - 0 Bücher - Q4 010 Bücher - 70 Q1 010 Medien - 40 Medien - Q4 010 Medien - 60 Q Berlin 60 - Berlin Q Berlin 0 Q Stuttgart 0 - Aggregation entlang mehrerer Dimensionskombinationen in SQL? 60

31 Mehrfachgruppierungen SQL Erweiterung zur Unterstützung von Mehrfachgruppierungen GROUPING SETS - Gruppierungsmengen Explizite Angabe einer Menge von Gruppierungskombinationen CUBE - Multidimensionale Gruppierung Generierung aller Gruppierungskombinationen der als Parameter übergebene Attribute ROLLUP - Hierarchische Multidimensionale Gruppierung Kombination dieser Klauseln mit bekannten SQL-Klauseln (GROUP BY, HAVING, CASE, ) 61 Mehrfachgruppierungen Gruppierungsmengen Grouping Sets GROUP BY GROUPING SETS ((<set1_a1>,, <set1_am>), (<set_a1>,, <set_an>), ) Explizite Angabe der gewünschten Gruppierungen Jede Gruppierungsmenge (<seti_a1>, ) gibt eine gewünschte Gruppe an Äquivalent zu UNION einzelner GROUP BY mit Auffüllen der Werte nicht überlappender Attribute der einzelnen Gruppierungsmengen mit NULL. Abfragen der gruppierenden Spalten mittels GROUPING() Funktion: GROUPING(<attr>) = 0 wenn nach <attr> gruppiert, sonst 1. 6

32 Mehrfachgruppierungen Gruppierungsmengen Mehrfachgruppierung : Gewinn pro Quartal und typ und Quartal und in 010 Quartal Typ Gewinn Q1 010 Bücher - 0 Bücher - Q4 010 Bücher - 70 Q1 010 Medien - 40 Medien - Q4 010 Medien - 60 Q Berlin 60 - Berlin Q Berlin 0 Q Stuttgart 0 - Mehrfachgruppierung in SQL unter Verwendung von Gruppierungsmengen SELECT Quartal, Typ,, SUM(Gewinn)AS GEWINN FROM Faktentabelle FT,, WHERE.PID = FT.PID AND.ZID = FT.ZID AND.Jahr = 010 GROUP BY GROUPING SETS ( (Quartal, Typ), (Quartal, ) ) 63 Mehrfachgruppierungen Gruppierungsmengen Mehrfachgruppierung mit Ausgabe der entsprechenden Gruppen Quartal Typ Gewinn GQ GT GO Q1 010 Bücher Q Berlin Berlin Mehrfachgruppierung mit Ausgabe der entsprechenden Gruppen in SQL SELECT Quartal, Typ,, SUM(Gewinn) AS GEWINN GROUPING(Quartal) AS GQ, GROUPING(Typ) AS GT, GROUPING() AS GO FROM WHERE GROUP BY GROUPING SETS ((Quartal, Typ), (Quartal, )) 64

33 Mehrfachgruppierungen Gruppierungsmengen Gruppierungssemantik bei Gruppierungsmengen GROUP BY A, B GROUP BY GROUPING SETS ((A, B))! Gruppe (A, B) GROUP BY GROUPING SETS (A, B), (A, C), (A)) GROUP BY A, GROUPING SETS ((B), (C), ( ))! Gruppen (A) " ( (B), (C), ( )) = (A, B), (A, C), (A) GROUP BY GROUPING SETS ((A, B), (B, C)), GROUPING SETS ((D, E), (D), ())! Gruppen ( (A, B), (B, C) ) " ( (D, E), (D), ( ) ) = (A, B, D, E), (A, B, D), (A, B), (B, C, D, E), (B, C, D), (B, C) 6 Mehrfachgruppierungen Gruppierungsmengen Formulieren Sie eine SQL Anfrage, die das unten dargestellte Ergebnis berechnet Typ Jahr Stadt #Verkäufe Buch Buch 010 Berlin 30 Buch 010 Stuttgart 0 Medien Medien 010 Berlin 30 Medien 010 Stuttgart Berlin Stuttgart 30 66

34 Mehrfachgruppierungen Multidimensionale Gruppierung Multidimensionale Gruppierung mittels CUBE() GROUP BY CUBE (<a1>,, <an>) Bildet alle Gruppierungskombinationen der als Parameter übergebenen Attribute Z.B. bildet CUBE(A, B, C) Gruppen (A, B, C), (A, B), (A, C), (B, C), (A), (B), (C), ( )) Insgesamt n Gruppen In Kombination mit Aggregation wird CUBE() zur Berechnung der Summen sämtlicher Kombinationen genutzt. 67 Mehrfachgruppierungen Multidimensionale Gruppierung Gewinn nach (jeder Kombination von)quartal, typ und in 010 Quartal Typ Gewinn Q1 010 Bücher Berlin 10 Q1 010 Bücher Stuttgart 0 Q1 010 Bücher Q Berlin 80 Q Stuttgart Bücher Berlin 0 - Bücher Stuttgart 80 - Q Bücher Medien Berlin Stuttgart Mehrfachgruppierung in SQL unter Verwendung von Gruppierungsmengen SELECT Quartal, Typ,, SUM(Gewinn)AS GEWINN FROM Faktentabelle FT,, WHERE.PID = FT.PID AND.ZID = FT.ZID AND.Jahr = 010 GROUP BY CUBE (Quartal, Typ, ) 68

35 Mehrfachgruppierungen Multidimensionale Gruppierung Gruppierungssemantik beim CUBE-Operator GROUP BY CUBE(A, B, C) GROUP BY GROUPING SETS ((A,B,C), (A,B), (A,C), (B,C), (A), (B), (C), ()) GROUP BY CUBE(A, B), CUBE(B, C)! Gruppen ( (A, B), (A), (B), ( ) ) " ( (B, C), (B), (C), ( )) = ( A, B, B, C ), (A, B, B), (A, B, C), (A, B), (A, B, C), (A, B), (A, C), (A), (B, B, C), (B, B), (B, C), (B), (B, C), (B), (C), ( ) = (A, B, C), (A, B), (A, B, C), (A, B), (A, B, C), (A, B), (A, C), (A), (B, C), (B), (B, C), (B), (B, C), (B), (C), ( ) GROUP BY GROUPING SETS(CUBE(A, B), CUBE(B,C)) GROUP BY GROUPING SETS ((A,B), (A), (B), (), (B,C), (B), (C), ()) Duplikate in Kombinationen (z.b. (A, B, C), (A, B), (B), ) werden nicht eliminiert! 69 Mehrfachgruppierungen Multidimensionale Gruppierung Formulierung einer SQL Anfrage mit dem CUBE-Operator Geben Sie eine SQL Anfrage an, die die Anzahl -Verkäufe im ersten Quartal 010 aggregiert nach Monat und ausgibt. Das Ergebnis der Anfrage entspricht demnach den Daten, die das unten gezeigte Spreadsheet veranschaulicht. Berlin Stuttgart Summe Summe

36 Mehrfachgruppierungen Hierarchische Multidimensionale Gruppierung Multidimensionale Gruppierung mittels ROLLUP() GROUP BY ROLLUP (<a1>,, <an>) In herkömmlichem SQL kann man UNION über k Subanfragen formulieren, um hierarchische Gruppierung füe k Dimensionsstufen zu erhalten (siehe z.b. Folie 9). Aufwändig zu formulieren, zu berechnen (k Scans der Faktentabelle) und ungünstige Reihenfolge für Reports (und nur schwer zu sortieren). ROLLUP berechnet hierarchische Aggregation in günstiger Reihenfolge. Attribute <a1>,, <an> stammen aus einer Dimensionshierarchie und werden in absteigender Granularität angegeben. 71 Mehrfachgruppierungen Hierarchische Multidimensionale Gruppierung Gesamtgewinn mit Büchern nach Jahr, Quartal und Monat Jahr Quartal Monat Gewinn 010 Q Q Q Q Q Q SQL Anfrage mit ROLLUP SELECT Jahr, Quartal, Monat, SUM(Gewinn)AS GEWINN FROM Faktentabelle FT,, WHERE.PID = FT.PID AND.ZID = FT.ZID AND.Typ = Bücher GROUP BY ROLLUP (Jahr, Quartal, Monat) 7

37 Mehrfachgruppierungen Hierarchische Multidimensionale Gruppierung Gruppierungssemantik beim CUBE-Operator GROUP BY ROLLUP(A1, A,, An) GROUP BY GROUPING SETS ( (A1,, An-1, An), (A1,, An-1),, (A1, A), (A1), () ) wobei die funktionalen Abhängigkeiten An " An-1 " " A " A1 gelten GROUP BY ROLLUP(A1,, An), ROLLUP(B1,, Bm)! Gruppen ( (A1,, An),, (A1, A), (A1), ( ) ) " ( (B1,, Bn),, (B1, B), (B1), ( ) ) 73 Mehrfachgruppierungen Hierarchische Multidimensionale Gruppierung Formulierung einer SQL Anfrage mit hierarchischer multidimensionaler Gruppierung Geben Sie eine SQL Anfrage an, die die Anzahl Von Verkäufen von Medien-en nach Jahr, Monat, Kategorie und Stadt wie in der rechten Beispieltabelle aufschlüsselt. Verwenden Sie dabei keine GROUPING SETS Klausel. Jahr Monat Kategorie Stadt Verkauf 010 Dez Dez Dez Dez Dez Berlin Stuttgart Berlin Berlin Stuttgart

38 Zusammenfassung OLAP-Operationen Navigation entlang der Dimensionshierarchie: Roll-Up, Drill-Down Erweiterung / Reduktion der Dimensionalität: Split / Merge Selektion: Slice, Dice Kombination von Daten mehrerer Würfel: Drill-Across OLAP-Sprachen MDX - Orientiert an MDDM und Spreadsheets SQL Erweiterungen: GROUPING SETS, CUBE, ROLLUP 7