Kap. 6 Data Warehouse

Transkript

1 1 Kap. 6 Data Warehouse 6.1 Was ist ein Data Warehouse, Motivation? 6.2 Data Cube und Cube-Operationen 6.3 Workshop: MS SQL Server, Cube Operationen 6.4 Physischer Entwurf, Implementierung von Cubes 6.5 Workshop: Operationen auf dem Cube 6.6 Von OLAP zu Mining 6.7 Workshop: Kap : Was ist Data Warehousing, Motivation Zugriff auf und Kombination von Daten aus mehreren unterschiedlichen Quellen, Quelle Quelle Quelle komplexe Datenanalyse über mehrere Quellen, multidimensionale Sichten auf die Daten, die die jeweilige Perspektive reflektieren, Analyse der zeitlichen Entwicklung, auch wenn Datenquellen sich auf aktuellen Datenbank -Zustand beschränken. Kap5-2

2 2 Daten Analyse (J. Gray) Benutzer extrahiert Daten mit Anfrage aus der Datenbank Spread Sheet Table Dann werden Daten analysiert und visualisiert mit Desktop Tools Disc Size(B) 10 9 Secondary 10 6 Main Size vs Speed Nearline Tape Offline Tape Online Tape Price vs Speed Cache 10 3 Cache Access Time (seconds) Access Time (seconds) Kap Main 10 2 Secondary Online $/MB Disc Tape 10 0 Nearline Tape Offline Tape 10-2 OLTP vs. OLAP OLTP ( Online Transaction Processing ): Transaktionsorientierte Datenzugriffe, typischerweise Erfassen von Daten und Lesezugriffe auf diesen. Tagesgeschäft bedienen S Beispiel aus dem Bankbereich: Wie hoch ist mein Kontostand? Beispiele für OLTP-Systeme: Buchungssysteme, Lagerverwaltung, Aktien-/Wertpapierhandel. OLAP ( On-line Analytical Processing ): Konsolidierung, Viewing und Analyse der Daten in mehreren Dimensionen, Berichtsgenerierung (RPG, Decision Support) strategische Entscheidungen unterstützen S Beispiel: Was ist der Zusammenhang zwischen Kontostand und Häufigkeit von Buchungen? They (the users) don t even know what they want! How can we provide it? Kap5-4

3 3 Beispieltabelle SALES Model Year Color Sales Chevy 1990 red 5 Chevy 1990 white 87 Chevy 1990 blue 62 Chevy 1991 red 54 Chevy 1991 white 95 Chevy 1991 blue 49 Chevy 1992 red 31 Chevy 1992 white 54 Chevy 1992 blue 71 Ford 1990 red 64 Ford 1990 white 62 Ford 1990 blue 63 Ford 1991 red 52 Ford 1991 white 9 Ford 1991 blue 55 Ford 1992 red 27 Ford 1992 white 62 Ford 1992 blue 39 Kap5-5 Beispiel für einen Bericht Sales Roll Up by Model by Year by Color Model Year Color Sales by Model by Year by Color Chevy 1994 black 50 white black 85 white 115 Sales by Model by Year Sales by Model 290 Kap5-6

4 4 Operationale Datenbanken vs. Data Warehouses Entstehung Tuning Operationale Datenbanken jeweils für Anwendungsklasse oder aus bestimmter Perspektive heraus Bekannt alltägliche Geschäftsabläufe Ein Aufruf liefert wenige Zeilen zurück. Getuned für häufige Zugriffe auf kleine Datenmengen Datenbestand wird für operationales Geschäft gebraucht. Data Warehouses mehrere Perspektiven gleichzeitig vage Entscheidungen des Managements, die sich auf Profitabilität auswirken Grosse Datenmengen werden zugegriffen, um das Ergebnis zu ermitteln. Getuned für eher seltene Zugriffe auf grosse Datenmengen Grosser Datenbestand wird für statist. Analysen, Vorhersagen, ad hoc Reports gebraucht. Kap5-7 Operationale Datenbanken vs. Data Warehouses (2) Anforderungen Bedeutung Datenzugriff Datenvolumen Datenaufbewahrung Aktualität Bedeutung Verfügbarkeit Entwurfs ziel Operationale Datenbanken solange es das Tagesgeschäft erfordert auf die Minute alltägliche Geschäftsabläufe Hohe Verfügbarkeit erforderlich. Hohe Performance Data Warehouses Langfristig, um Reporting über Zeiträume oder Vergleiche zu ermöglichen. Üblicherweise wird ein bestimmter Zeitpunkt in der Vergangenheit beschrieben Entscheidungen des Managements, die sich auf Profitabilität auswirken Nicht ganz so hoch wie in Produktionsumgebungen, abhängig davon, ob weltweiter Zugriff. Flexibilität Kap5-8

5 5 Data Warehousing - warum reichen herkömmliche Datenbank-Konzepte und -Technologie nicht aus? Im Prinzip reichen sie schon, aber: Höheres Abstraktionsniveau durch neue, mächtige Operatoren vereinfachen die Anwendungsentwicklung, insbesondere durch: S Cube, S Drill-Down, S Roll-Up. Direkte Optimierungsmöglichkeit der neuen Operatoren! Abbildung auf Standard-SQL hinsichtlich der Laufzeit nicht akzeptabel. Kap Data Cube und Operationen Idee: Cube wird aus relationaler DB gebildet, Vorteil: S Aggregationen werden nahe bei den Daten durchgeführt. S Filterung der Daten gleichzeitig möglich Visualisisierung und Exploration wird auf dem Daten Cube durchgeführt Blue ALL Red Kap5-10

6 6 Aggregations-Funktionen in relationalen DBMS SQL hat Aggregatfunktionen S sum(), min(), max(), count(), avg() Viele Systeme erweitern diese um: S statistische Funktionen, Benutzer definierte Funktion,... Hauptidee: S Berechne aus allen Werten einer Spalte einen Skalar. Syntax select sum(units) from inventory; SUM() Kap5-11 Relationaler Group By Operator Group By erlaubt Aggregation über Teilmengen von Tupeln Resultat ist neue Tabelle, eine Zeile pro Gruppe Syntax: select location, sum(units) from inventory group by location having nation = USA ; A A A B B B B B C C C C C D D Table attribute A B C D SUM() Kap5-12

7 7 Histogramme nötig Probleme mit Standard-SQL Teilsummen und Gesamtsumme gleichzeitig S drill-down & roll-up reports Pivot-Tabellen nötig F() G() H() sum Erkenntnis S Dies sind keine relationalen Operationen, aber in vielen Berichtsgeneratoren vorhanden AIR HOTEL FOOD MISC M T W T F S S Kap5-13 Einführung eines ALL -Wertes Warum? S Eine zu SQL passende Erweiterung, um Aggregationen wieder als (flache) Tupel im Relationenmodell darstellen zu können Bedeutung des ALL-Wertes? S ALL ist Abkürzung für Menge, die durch Nestung entlang der Dimension entstehen würde bei gleichzeitiger Aggregation, also im Beispiel für die Mengen ¾{red, white, blue} in der Color-Dimension ¾{1990, 1991, 1992} in der Year-Dimension ¾{Chevy, Ford} in der Model-Dimension Kap5-14

8 8 SQL mit ALL-Erweiterung für Berichte? Sales Summary Model Year Color Units Chevy 1994 black 50 Chevy 1994 white 40 Chevy 1994 ALL 90 Chevy 1995 black 85 Chevy 1995 white 115 Chevy 1995 ALL 200 Chevy ALL ALL 290 SELECT Mode l, ALL, ALL, SUM(Sales) FROM Sal es WHERE Model = ' Chevy' GROUP BY Model UNI ON SELECT Model, Year, ALL, SUM(Sales) FROM Sal es WHERE Model = ' Chevy' GROUP BY Model, Year UNI ON SELECT Model, Year, Col or, SUM(Sales) FROM Sal es WHERE Model = ' Chevy' GROUP BY Model, Year, Col or; Kap5-15 Der Data CUBE Operator (J. Gray)...verallgemeinert den Group By-Operator und die Aggregation Aggregate Sum RED WHITE BLUE Group By (with total) By Color Sum Cross Tab Chevy Ford By Color RED WHITE BLUE By Make Sum By Make & Year By Year FORD CHEVY By Color & Year The Data Cube and The Sub-Space Aggregates By Make RED WHITE BLUE By Make & Color Sum By Color Kap5-16

9 9 Idee: Tupel = Punkt im N-dimensionalen Raum N-dimensionale Aggregation (sum(), max(),...) ¾a 1, a 2,..., a N, f() ¾übliche Aggregation aus den relationalen Rohdaten Super-Aggregation über N-1 dimensionale Sub-Cubes ¾ALL, a 2,..., a N, f() ¾a 3, ALL, a 3,..., a N, f() ¾... ¾a 1, a 2,..., ALL, f() S dies sind die N-1 -dimensionalen Cross-Tabellen. Super-Aggregation über N-2 dimensionale Sub-Cubes ¾ALL, ALL, a 3,..., a N, f() ¾... ¾a 1, a 2,..., ALL, ALL, f() Kap5-17 Cube-Beispiel SALES Model Year Color Sales Chevy 1990 red 5 Chevy 1990 white 87 Chevy 1990 blue 62 Chevy 1991 red 54 Chevy 1991 white 95 Chevy 1991 blue 49 Chevy 1992 red 31 Chevy 1992 white 54 Chevy 1992 blue 71 Ford 1990 red 64 Ford 1990 white 62 Ford 1990 blue 63 Ford 1991 red 52 Ford 1991 white 9 Ford 1991 blue 55 Ford 1992 red 27 Ford 1992 white 62 Ford 1992 blue 39 CUBE DATA CUBE Model Year Color Sales ALL ALL ALL 942 chevy ALL ALL 510 ford ALL ALL 432 ALL 1990 ALL 343 ALL 1991 ALL 314 ALL 1992 ALL 285 ALL ALL red 165 ALL ALL white 273 ALL ALL blue 339 chevy 1990 ALL 154 chevy 1991 ALL 199 chevy 1992 ALL 157 ford 1990 ALL 189 ford 1991 ALL 116 ford 1992 ALL 128 chevy ALL red 91 chevy ALL white 236 chevy ALL blue 183 ford ALL red 144 ford ALL white 133 ford ALL blue 156 ALL 1990 red 69 ALL 1990 white 149 ALL 1990 blue 125 ALL 1991 red 107 ALL 1991 white 104 ALL 1991 blue 104 ALL 1992 red 59 ALL 1992 white 116 ALL 1992 blue 110 Kap5-18

10 10 Dimensionen: Measures: Dimensionen, Measures Koordinatenachsen (x1,..., xn) des Data Cube Werte der Funktionen f1(x1,...,xn), f2(...),... Keine strikte Unterscheidung! Wird durch Anwendung festgelegt. Ueber Measures möchte man aggregieren; die Koordinaten (Dimensionen) dienen der Festlegung von Teilräumen, über die man die Aggregationen berechnen möchte. Typische Anzahlen für Dimensionen S Versicherung: S Industrie: 8 S Controlling: S Marketing: 5-7 Kap5-19 Dimensionen vs. Measures Brot Milch Produkt 95 Dimensionen: Produkt, Datum, Filiale Measure: Umsatz Tee 52 Irchel Central Wipkingen Filiale Datum Kap5-20

11 11 Im Beispiel: SQL-Erweiterung: CUBE - Operator select model, make, year, sum(units) from car_sales where model in { chevy, ford } and year between 1990 and 1994 group by cube model, make, year having sum(units) > 0; Beachten: Select und Group By wiederholen Aggregationsliste Kap5-21 Syntax CUBE hinter Group By mit Attributliste definiert Koordinatenachsen (Dimensionen) des Cube select <field list> <aggregate list> from <table expression> where <search condition> group by [ cube drill down] <aggregate list> having <search condition> erlaubt zusätzliche Aggregationen durch Dimensionshierarchien (e.g., sales by quarter): select store, quarter, sum(units) from sales group by drill down store, quarter(date)as quarter and year = 1994; Kap5-22

12 12 Klassifizierung von Aggregationsfunktionen Im folgenden bezeichne F die Aggregationsfunktion: distributiv: Es gibt eine Funktion G, so dass F({X i,j }) = G({F{X i,j i=1,, I}) j=1,, J}), Beispiele: min(), max(), count() G? algebraisch: Es gibt Funktion G, die M-Tupel liefert, und H, so dass F({X i,j }) = H(G({X i,j i=1,, I}) j=1,, J}), M ist apriori bekannt, ebenso der Typ der Tupel. Beispiel: avg() holistisch: Man kann keine Beschränkung des Speicherbedarfs für Sub-Aggregate, d.h. für die Aggregate über die {X i,j i=1,, I}, angeben. Beispiel: median() Distributive und algebraische Aggregationsfunktionen sind interessant, weil Aggregation schrittweise bzw. parallel ausgeführt werden kann. Kap5-23