Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil

Transkript

1 Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing H. Schuldt Wiederholung aus Kapitel 5. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches Produkt hat sich am.. in der Filiale Allschwil am besten verkauft? Was wird in der Filiale Muttenz zusammen mit Chips verkauft?... SQL FS Data Warehousing (CS4) Data Warehousing 5-

2 Wie lassen sich diese Probleme lösen? Anwendungsbeispiel Variante : Verteilte Datenbank Jede Anfrage wird als globale Anfrage über mehreren Datenbanken behandelt. Also muss bei jeder Anfrage auf eine Reihe von Systemen zugegriffen werden, Ergebnisse müssen zusammengeführt werden, etc. Nachteil: verteilte Anfrageausführung ist sehr aufwändig! Variante : Zentrale Datenbank Anstelle von unabhängigen Filialdatenbanken betreibt Tresgros eine zentrale Datenbank. Alle Änderungen finden nicht lokal statt sondern gehen zu dieser zentralen Datenbank Nachteil: dies ist mit langen Antwortzeiten im operativen Betrieb verbunden Variante 3: Data Warehouse FS Data Warehousing (CS4) Data Warehousing 5-3 Anwendungsbeispiel Tresgros Tresgros T Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Asynchrone Aktualisierung (Warehouse Update) Data Warehouse Redundante Datenhaltung, Transformierte, vorberechnete Daten FS Data Warehousing (CS4) Data Warehousing 5-4

3 Aufbau von Data Warehouse-Systemen DW Monitoring & Administration Quellsysteme Metadaten- Repository OLAP-Server Externe Quellen Operative Datenbanken Extraktion Transformation Laden Data Warehouse Analyse Query/Reporting Data Mining Werkzeuge Data Marts FS Data Warehousing (CS4) Data Warehousing 5-5 Aufbau von Data Warehouse-Systemen Quellsysteme Alle Systeme oder Dateien, die direkt oder indirekt als Datenlieferanten auftreten Daten werden in einem Extraktionsvorgang aus den Quellsystemen extrahiert und in das Data Warehouse eingefügt (Transformation) Extraktion, Transformation, Laden Monitore überwachen die Quellsysteme auf Veränderungen. Änderungen werden entweder direkt in das Data Warehouse eingespielt oder (häufiger) temporär gesammelt und offline in das Data Warehouse eingefügt ( Warehouse Update ) Extraktoren: Selektion und Transport der Daten aus Quellen in das Data Warehouse Transformatoren: Vereinheitlichung und Bereinigung der Daten (unter Zuhilfenahme von Metadaten) FS Data Warehousing (CS4) Data Warehousing 5-6 3

4 Aufbau von Data Warehouse-Systemen Data Warehouse A Data Warehouse is a subject-oriented, integrated, non-volatile, and time variant collection of data in support of managements decisions (W.H. Inmon 996) Ein Data Warehouse ermöglicht eine globale Sicht auf heterogene und verteilte Datenbestände, tä indem die für die globale l Sicht relevanten Daten aus den Datenquellen zu einem gemeinsamen konsistenten Datenbestand zusammengeführt werden Das Data Warehouse ist die Basis für die Aggregation von Daten innerhalb mehrdimensionaler Strukturen (OLAP-Cube), dem so genannten Online Analytical Processing (OLAP) OLAP Explorative, interaktive Datenanalyse, meist aufbauend auf multidimensionalem Datenmodell FS Data Warehousing (CS4) Data Warehousing 5-7 Aufbau von Data Warehouse-Systemen Data Mart Meist anwendungsspezifische Auszüge, die durch Kopieren von Daten aus dem Data Warehouse entstehen Analysekomponenten Analyse und Präsentation der Daten mit Hilfe geeigneter (Desktop-) Werkzeuge Im Data Warehouse erfolgt eine klare Trennung zwischen operativen und analytischen Systemen Antwortzeitverhalten: Analyse auf operativen Quelldatensystemen würde zur Verschlechterung der Performance führen Langfristige Speicherung der Daten im DW ermöglicht Zeitreihenanalyse Verfügbarkeit: Zugriff auf Daten unabhängig von operativen Datenquellen Einheitliches Datenformat im DW trotz möglicherweise heterogener operativen Systemen Datenqualität: Data Cleansing während des Ladeprozesses FS Data Warehousing (CS4) Data Warehousing 5-8 4

5 OLTP vs. OLAP Online Transactional Processing (OLTP) beinhaltet klassische operative Informationssysteme Erfassung und Verwaltung von Daten Verarbeitung der Daten erfolgt unter Verantwortung der jeweiligen Fachabteilung Transaktionale Verarbeitung: kurze Lese-/ Schreibzugriffe auf wenige Datensätze Data Warehouse Datenanalyse steht im Mittelpunkt Charakteristik: lange Lesetransaktionen auf vielen Datensätzen Fokus ist die Integration, Konsolidierung und Aggregation der Daten FS Data Warehousing (CS4) Data Warehousing Data Cube Produktive Datenbanken enthalten in der Regel Rohdaten, also Daten, die im Rahmen des On-line Analytical Processing OLAP im Detail analysiert werden müssen Zuvor ist zumeist eine Itegration von Daten aus mehreren Datenbanken nötig Arten von Auswertungen: (Tabellarische) Berichte Grafische Auswertungen Für diese Auswertungen müssen Daten über mehrere Dimensionen hinweg aggregiert werden (z.b. Berechnung von bestimmten Summenwerten) FS Data Warehousing (CS4) Data Warehousing 5-5

6 Beispieltabelle: OLTP- Rohdaten Sales Model Year Color Sales Chevy 4 Red 5 Chevy 4 White 87 Chevy 4 Blue 6 Chevy 5 Red 54 Chevy 5 White 95 Chevy 5 Blue 49 Chevy 6 Red 3 Chevy 6 White 54 Chevy 6 Blue 7 Ford 4 Red 64 Ford 4 White 6 Ford 4 Blue 63 Ford 5 Red 5 Ford 5 White 9 Ford 5 Blue 55 Ford 6 Red 7 Ford 6 White 6 Ford 6 Blue 39 FS Data Warehousing (CS4) Data Warehousing 5- Beispiel für einen Bericht Sales Report Model Year Color Sales by Model by Year by Color Chevy 4 Red 5 White 87 Blue 6 5 Red 54 White 95 Blue 49 Sales by Model by Year Sales by Model 35 FS Data Warehousing (CS4) Data Warehousing 5-6

7 Data Cube und erweiterte SQL-Operationen Grundlegende Idee Die unterschiedlichen Aggregationen, die in den einzelnen Dimensionen für Berichte benötigt werden, werden vorberechnet Sales Data Warehousing (CS4) Data Warehousing 5-3 Ausgangspunkt: in SQL eingebaute Aggregatfunktionen sum(), min(), max(), count(), avg() FS Viele Datenbanksysteme erweitern diese um: statistische Funktionen, benutzerdefinierte Funktionen,... Hauptidee: Berechne aus allen Werten einer Spalte einen Skalar Beispiel select sum(sales) from sales Data Cube und erweiterte SQL-Operationen In SQL erlaubt Group By die Aggregation über Teilmengen von Tupeln Das Resultat ist eine neue Tabelle, mit einer Zeile pro Gruppe Beispiel: select year, sum(sales) from sales FS group by year Year Sales 4 5 Year Sum 4 87 (Sales) Data Warehousing (CS4) Data Warehousing 5-4 7

8 Data Cube und erweiterte SQL-Operationen Für viele Auswertungen reicht die Standard-SQL-Funktionalität nicht aus Beispiele: Histogramme Auswertungen, bei denen Teilsummen und Gesamtsumme gleichzeitig dargestellt werden müssen F() G() H() sum Dies sind keine relationalen Operationen, aber in vielen Berichtsgeneratoren vorhanden Air Hotel Food Misc S M T W T F S S S FS Data Warehousing (CS4) Data Warehousing 5-5 Data Cube und erweiterte SQL-Operationen Einführung eines ALL -Wertes Eine zu SQL passende Erweiterung, um Aggregationen wieder als (flache) Tupel im Relationenmodell darstellen zu können Bedeutung des ALL-Wertes ALL ist Abkürzung für Menge, die durch Nestung entlang der Dimension entstehen würde bei gleichzeitiger Aggregation, also im Beispiel für die Mengen {red, white, blue} in der Color-Dimension {4, 5, 6} in der Year-Dimension {Chevy, Ford} in der Model-Dimension FS Data Warehousing (CS4) Data Warehousing 5-6 8

9 Der CUBE-Operator verallgemeinert den group by Operator und die Aggregation Aggregat Group By Sum (with total) Cross Tab By Color (by Model & Color) RED WHITE BLUE By Color RED WHITE Sum BLUE By Model CHEVY FORD Sum Data Cube und Aggregate in den Unterräumen By Year By Model& Year By Model By Color & Year Sum By Color RED WHITE BLUE By Model & Color FS Data Warehousing (CS4) Data Warehousing 5-7 Dimensionen und Measures Dimensionen: Koordinatenachsen (x,..., x n ) des mehrdimensionalen Arrays ( Datenwürfels ) Measures: Werte der Funktionen f (x,...,x n ), f (...),... In relationaler Terminologie: Measures sind funktional abhängig von den Dimensionen Dimensionshierarchie: Vergröberung für die Aggregation Benannte Partitionierung des Wertebereichs einer Dimension Beispiele: Stadt T Kanton Datum T Monat T Quartal Drill-Down, Drill-up: Aggregation entlang der Dimensionshierarchie, Down für Verfeinerung, Up für Vergröberung FS Data Warehousing (CS4) Data Warehousing 5-8 9

10 Beispiel: Dimensionen vs. Measures Year Dimensionen Year Model Color Measure Sales Chevy Ford Model Red White Blue Color FS Data Warehousing (CS4) Data Warehousing 5-9 Der CUBE-Operator Idee: Tupel = Punkt im N-dimensionalen Raum N-dimensionale Aggregation (sum(), max(),...) a, a,..., a N, f() Mit f(): übliche Aggregation aus den relationalen Rohdaten Super-Aggregation über N- dimensionale i Sub-Cubes bc b ALL, a,..., a N, f() a, ALL, a 3,..., a N, f()... a, a,..., ALL, f() dies sind die N- -dimensionalen Cross-Tabellen Super-Aggregation über N- dimensionale Sub-Cubes ALL, ALL, a 3,..., a N, f()... a, a,..., ALL, ALL, f() FS Data Warehousing (CS4) Data Warehousing 5-

11 FS Sales Model Year Color Sales Chevy 4 Red 5 Chevy 4 White 87 Chevy 4 Blue 6 Chevy 5 Red 54 Chevy 5 White 95 Chevy 5 Blue 49 Chevy 6 Red 3 Chevy 6 White 54 Chevy 6 Blue 7 Ford 4 Red 64 Ford 4 White 6 Ford 4 Blue 63 Ford 5 Red 5 Ford 5 White 9 Ford 5 Blue 55 Ford 6 Red 7 Ford 6 White 6 Ford 6 Blue 39 Cube-Beispiel Data Cube Model Year Color Sales ALL ALL ALL 94 Chevy ALL ALL 58 Ford ALL ALL 433 ALL 4 ALL 343 ALL 5 ALL 38 ALL 6 ALL 84 ALL ALL Red 33 ALL ALL White 367 ALL ALL Blue 339 Chevy 4 ALL Chevy 5 ALL Chevy 6 ALL Ford 4 ALL CUBE Ford 5 ALL Ford 6 ALL Chevy ALL Red Chevy ALL White Chevy ALL Blue Ford ALL Red Ford ALL White Ford ALL Blue ALL 4 Red ALL 5 Red ALL 6 Red ALL 4 White ALL 5 White ALL 6 White ALL 4 Blue ALL 5 Blue ALL 6 Blue Data Warehousing (CS4) Data Warehousing 5- SQL-Erweiterung: CUBE-Operator SQL-Cube-Operation im Beispiel: select model, color, year, sum(sales) as sales from sales where model in { chevy, ford } and year between 4 and 6 group by cube (model, color, year) having sum(sales) > ; Zu beachten ist hier, dass sowohl Select als auch Group By die Aggregationsliste wiederholen FS Data Warehousing (CS4) Data Warehousing 5-

12 Nachbildung des CUBE-Operators mit SQL FS Data Warehousing (CS4) Data Warehousing 5-3 Syntax des Cube-Operators CUBE hinter Group By mit Attributliste definiert Koordinatenachsen (Dimensionen) des Cube ROLLUP erlaubt die Auswahl einzelner Dimensionen, über die aggregiert werden soll Select <field list> <aggregate list> From <table expression> Where <search condition> Group by [cube rollup] <aggregate list> Having <search condition> FS Data Warehousing (CS4) Data Warehousing 5-4

13 Syntax des Cube-Operators Beispiel (ROLLUP): Select color, year, sum(sales) From sales Group by rollup (color,year) FS Data Warehousing (CS4) Data Warehousing 5-5 Syntax des Cube-Operators Rollup erlaubt zudem die Definition von Aggregationen innerhalb einzelner Dimensionen, durch so genannte Dimensionshierarchien (z.b., sales by quarter). Beispiel: Schema sales'(model, year, quarter, color, sales) Select year, quarter, sum(sales) From sales' Group by rollup (year,quarter) FS Data Warehousing (CS4) Data Warehousing 5-6 3

14 Syntax des Cube-Operators Der CUBE-Operator berechnet automatisch alle möglichen Aggregationen über die vorhandenen Dimensionen. Mit Hilfe der so genannten Grouping Sets können die Aggregationen, die durchgeführt werden sollen, individuell bestimmt werden Select <field list> <aggregate list> From <table expression> Where <search condition> Group by Grouping Sets (<aggregate list> [,<aggregate list>]* )) Having <search condition> Falls <aggregate list> leer ist, dann entspricht die Semantik der Grouping Sets genau der des cube-operators (es werden alle möglichen Aggregationen berechnet) Ansonsten werden nur Aggregationen über Kombinationen aus den in der <aggregate list> aufgeführten Attributen berechnet Falls ein Grouping Sets-statement mehrere durch Komma getrennte <aggregate list> besitzt, dann werden diese unabhängig voneinander berechnet und für das Ergebnis zusammen gefügt (union) FS Data Warehousing (CS4) Data Warehousing 5-7 Beispiel: Anfrage mit Grouping Sets Beispiel: Aus der sales-tabelle soll getrennt jeweils über Color und über Year aggregiert werden FS Data Warehousing (CS4) Data Warehousing 5-8 4

15 Speicherung multi-dimensionaler Daten Problem: Wie können Cubes bzw. deren Zellen (also ein multidimensionales Datenschema mit n Dimensionen) logisch bzw. physisch gespeichert werden? Rein relationale Speicherung Star Schema bzw. Snowflake Schema Speicherung multi-dimensionaler Arrays Hilfreich, falls Aggregationsfunktion a priori nicht bekannt ist Spezielle Anordnung der Array-Elemente, falls die Aggregationsfunktion bekannt ist Indexierung für Cubes Bitmap-Index FS Data Warehousing (CS4) Data Warehousing 5-9 Star Schema (relational) Dimensions-Tabelle (z.b. Model) Dimensions-Tabelle (z.b. Color) Dimensions-Tabelle (z.b. Year) Fakten-Tabelle (z.b. Sales) Dimensions-Tabelle (z.b. Accesories) Dimensions-Tabelle (z.b. Engine) FS Data Warehousing (CS4) Data Warehousing 5-3 5

16 Fakten- und Dimensionstabellen N-dimensionales Datenschema Faktentabelle Verwaltet die Bewegungsdaten Struktur Shlü Schlüssel l( (z.b. Order Od Number) Fremdschlüssel zu allen Dimensions-Tabellen Eigentliche Measures (z.b. Sales, ) In der Regel gross und eher nicht normalisiert Fakten-Tabelle (z.b. Sales) n Dimensionstabellen Verwalteten Stammdaten zu den Bewegungsdaten Normalerweise sind die Dimensionstabellen nicht normalisiert um Joins zu vermeiden Z.B. City T Region T Country Eher klein, mit konstanter Grösse Dimensions-Tabelle (z.b. Model) Dimensions-Tabelle (z.b. Color) Dimensions-Tabelle (z.b. Engine) FS Data Warehousing (CS4) Data Warehousing 5-3 Snowflake Schema Wiederholtes Anwenden des Prinzips des Star Schemas Falls Dimensionstabellen zu gross werden, dann können diese weiter partitioniert werden bzw. bei Normalisierung der Dimensionstabellen Das führt zu weniger Redundanz in den Daten (kleinere Tabellen) Allerdings auch zu mehr Joins FS Data Warehousing (CS4) Data Warehousing 5-3 6

17 Bereichsanfragen: Motivation 3 Umsatz Bereichsanfragen stellen typische Warehouse- Anfragen dar und erfordern die Aggregation der Measures über in der Anfrage vorgegebene Intervalle der vorhandenen Dimensionen Datum Kombination von Bereichsanfragen in allen Dimensionen MA-Anzahl FS Data Warehousing (CS4) Data Warehousing 5-33 Bereichsanfragen: Motivation 3 Umsatz Datum Bereichsanfragen in beliebiger Kombination von Teilräumen MA-Anzahl FS Data Warehousing (CS4) Data Warehousing

18 Lineare Speicherzuordnung - Illustration Für die Unterstützung von Bereichsanfragen müssen die Measures möglichst so gespeichert werden, dass individuelle Aggregationen gut unterstützt werden Das Ergebnis der Linearisierung kann dann mittels einer Indexstruktur (z.b. B*- Baum) verwaltet und suchbar gemacht werden Bevorzugte n 3 Aggregationsrichtung = Speicheranordnung Für andere Aggregationen: Replikation mit anderer Speicheranordnung n n+ n n n FS Data Warehousing (CS4) Data Warehousing 5-35 Linearisierung Wie lässt sich der Raum am besten linearisieren? Space-filling curves (raumfüllende Kurven): eine eindimensionale Linie, die eine zweidimensionale Fläche oder einen dreidimensionalen Raum, komplett durchläuft Row wise Hilbert-Kurve FS Data Warehousing (CS4) Data Warehousing

19 Linearisierung Peano-Kurve Gray-Kurve FS Data Warehousing (CS4) Data Warehousing 5-37 Vorausberechnung von Aggregaten Eine weitere Variante besteht in der Materialisierung/Vorausberechnung von Aggregaten für Bereichsanfragen Ein Prefix-Sum Array berechnet in einer zweidimensionalen Struktur mögliche Aggregationen bereits vor Bereichsanfragen lassen sich so durch wenige Zugriffe auf das Prefix-Sum Array beantworten t Beispiel Gegebenes Array Prefix-Sum Array FS Data Warehousing (CS4) Data Warehousing

20 Vergröberung durch Blockbildung Um Platz zu sparen müssen nicht unbedingt alle Zellen im Prefix-Sum Array vorberechnet werden Das Blocked Prefix Sum Array berechnet die Aggregationen nur für bestimmte Blöcke vor Falls Anfragen nicht diesen Blöcken entsprechen müssen die fehlenden Daten aus dem Originalarray i besorgt werden Beispiel Gegebenes Array Blocked Prefix-Sum Array FS Data Warehousing (CS4) Data Warehousing 5-39 Bitmap Index Idee des Bitmap-Index ist es, die besonderen Eigenschaften von Data Warehouses durch spezielle Indexmechanismen auszunützen: Read-Mostly Umgebungen komplexe Anfragen grosses Datenvolumen Prinzip des Bitmap Index: Invertierte Listen werden durch Bitvektoren repräsentiert Tupel werden durchnumeriert Alle möglichen Ausprägungen eines Attributs werden aufgelistet Bit wird gesetzt an der Position, die der Kombination aus Tupel- Nummer und attributwert entspricht Vorteile: Kompaktheit von Bitvektoren ermöglicht relativ oft, dass Bitmap Indizes im Hauptspeicher verwaltet werden können Operationen auf Bit-Ebene werden Hardware-seitig gut unterstützt Indizes werden auch für Selektionen mit geringerer Selektivität akzeptabel FS Data Warehousing (CS4) Data Warehousing 5-4

21 Bitstring-Darstellung der Attributwerte Bitmap-Index wird über einzelnem Attribut einer Relation gebildet, d.h. es gibt einen Bit-Spaltenvektor pro Attributwert π A (R) V 8 V 7 V 6 V 5 V 4 V 3 V V V TupelNr Beispiel: R(A, B, C, D) mit Bitmap-Index über A π A (R) V V V V V V V V V TupelNr FS Data Warehousing (CS4) Data Warehousing 5-4 Cluster-Bildung im Bitmap-Index Mehrstufigkeit oder Vergröberung im Bitmap-Index Clusterung der Attributwerte: Logisches Oder einer Teilmenge der Spaltenvektoren Clusterung der Tupel: Logisches Oder einer Teilmenge der Zeilenvektoren (R) V 8 V 7 V 6 V 5 V 4 V 3 V V V T ln π A (R) V 8 V 7 V 6 V 5 V 4 V 3 V V V TupelNr FS Data Warehousing (CS4) Data Warehousing 5-4

22 Cluster-Bildung im Bitmap-Index Ergebnis der Vergröberung nach Attributwerten und Tupeln Tupel Nr Tupel Cluster Nr 3 3 Value Cluster Nr V 8 V 7 V 5 V 4 V 3 V V V Value Nr FS Data Warehousing (CS4) Data Warehousing 5-43