Data Warehousing. Beispiel: : Amazon. Aufbau eines DWH OLAP <-> OLTP Datacube. FU-Berlin, DBS I 2006, Hinze / Scholz

Transkript

1 Data Warehousing Aufbau eines DWH OLAP <-> OLTP Datacube Beispiel: : Amazon 2 1

2 Datenbank 3 Fragen des Marketingleiters Wie viele Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach Produktgruppen? 4 2

3 Technisch CREATE VIEW christmas AS SELECT Y.year, PG.name, count(b.id) FROM year Y, month M, day D, order O, WHERE M.year = Y.id and GROUP BY Y.year, PG.product_name ORDER BY Y.year 6 Joins Year: 10 Records Month: 120 Records Day: 3650 Records Orders: Order: Books: Bookgroups: 100 Probleme Schwierig zu optimieren (Join- Order) Je nach Ausführungsplan riesige Zwischenergebnisse Ähnliche Anfragen ähnlich riesige Zwischenergebnisse 5 Amazon weltweit 6 3

4 Lösung des Integrationsproblems? Zentrale Datenbank Probleme Zweigstellen schreiben über das Netz Lange Antwortzeiten im operativen Betrieb 7 Lösung des Datenmengenproblems? Denormalisiertes Schema Problem Jeder lesende / schreibende Zugriff erfolgt auf eine Tabelle mit 72 Mill. Records Lange Antwortzeiten im operativen Betrieb 8 4

5 Tatsächliche LösungL Aufbau eines Data Warehouse Redundante, transformierte Datenhaltung Asynchrone Aktualisierung 9 Handels - DWH 10 5

6 Praxisbeispiel Wal Mart Unternehmensweites Data Warehouse Verkaufzahlen, Lagerhaltung, Filialen Größe: über 500 Terabyte Täglich bis zu DW-Anfragen: Überprüfung des Warensortiments zur Erkennung von Ladenhütern oder Verkaufsschlagern Standortanalyse, Rentabilität von Niederlassungen Untersuchung der Wirksamkeit von Marketing-Aktionen Analyse / Planung der Zwischenlager Warenkorbanalyse mit Hilfe der Kassenbons 11 Definition DWH A DWH is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management s decision [Inm96] Subj-orient.: Verkäufe, Personen, Produkte, etc. Integrated: Erstellt aus vielen Quellen Non-Volatile: Hält Daten unverändert über die Zeit Time-Variant: Vergleich von Daten über die Zeit Decisions: Wichtige Daten rein, unwichtige raus 12 6

7 Def. Data Warehousing Erstellung, Pflege und Nutzung des DWH Erstellung hauswahl von Datenquellen hlogische Integration Pflege haktualisierung der Daten hoptimierung des Zugriffs hmonitoring der Performance Nutzung hbereitstellung spezieller Ableitungen hanalyse der Daten 13 DB Nutzung OLTP (Online Transaction Processing) 14 7

8 DB Nutzung OLAP (Online Analytical Processing) Welche Produkte hatten im letzten Jahr im Bereich Bamberg einen Umsatzrückgang um mehr als 10%? Welche Produktgruppen sind davon betroffen? Welche Lieferanten haben diese Produkte? Welche Kunden haben über die letzten 5 Jahre eine Bestellung über 50 Euro innerhalb von 4 Wochen nach einem persönlichen Anschreiben aufgegeben? Wie hoch waren die Bestellungen im Schnitt? Wie hoch waren die Bestellungen im Vergleich zu den durchschnittlich. Bestellungen des jew. Kunden in einem vergleichbaren Zeitraum? Lohnen sich Mailing-Aktionen? Haben Zweigstellen einen höheren Umsatz, die gemeinsam gekaufte Produkte zusammen stellen? Welche Produkte werden überhaupt zusammen gekauft und wo? 15 Modellierung im DWH Modellierung in operativen Systemen: Normalisierung Modellierung in DWH: Dimensionen und Fakten 16 8

9 OLAP vs. OLTP 17 Multidimensionale Modellierung Analyseorientierte, intuitive Modellierung Fakten & Dimensionen Star / Snowflake Schema Definition spezieller Operationen: Roll-Up,Drill-Down Vermeidung von Joins Hochredundante Datenhaltung Wenige, sehr große Tabellen Spezielle Optimierungsverfahren Optimiert für Lesezugriff 18 9

10 Das Stern-Schema Schema (Beispiel) 19 Stern-Schema Schema bei Data Warehouse-Anwendungen Eine sehr große Faktentabelle Alle Verkäufe der letzten drei Jahre Alle Telefonate des letzten Jahres Alle Flugreservierungen der letzten fünf Jahre normalisiert Mehrere Dimensionstabellen Zeit Filialen Kunden Produkt Oft nicht normalisiert 20 10

11 Das Stern-Schema: Schema: Handelsunternehmen Kunden Produkte Verkäufe Filialen Zeit Verkäufer 21 Das Stern-Schema: Schema: Krankenversicherung Patienten Ärzte Behandlungen Krankenhäuser Zeit Krankheiten 22 11

12 Stern-Schema Schema VerkDatum 25-Jul-00 Verkäufe Filiale Produkt Anzahl Kunde Passau Faktentabelle (SEHR groß) Verkäufer 825 FilialenKennung Passau Filialen Kunden Land Bezirk KundenNr Name wiealt D Bayern 4711 Kemper 43 Dimensionstabellen (relativ klein) VerkäuferNr 825 Name Handyman Verkäufer Fachgebiet Manager Elektronik 119 wiealt Stern-Schema Schema (cont( cont d) Zeit Datum Tag Monat Jahr Quartal KW Wochentag Saison 25-Jul Dienstag Hochsommer 18-Dec Dienstag Weihnachten Produkte ProduktNr Produkttyp Produktgruppe Produkthauptgruppe Hersteller Handy Mobiltelekom Telekom Siemens

13 Nicht-normalisierte Dimensionstab.: effizientere Anfrageauswertung Zeit Datum Tag Monat Jahr Quartal KW Wochentag Saison 25-Jul Dienstag Hochsommer 18-Dec Dienstag Weihnachten Datum Monat Quartal Produkte ProduktNr Produkttyp Produktgruppe Produkthauptgruppe Hersteller Handy Mobiltelekom Telekom Siemens ProduktNr Produkttyp Produktgruppe Produkthauptgruppe Normalisierung führt f zum Schneeflocken-Schema Schema Produkthauptgruppen Kunden Filialen Produktgruppen Produkttypen Verkäufe Produkte Zeit Verkäufer KWs Quartale 26 13

14 Anfragen im Sternschema select sum(v.anzahl), p.hersteller from Verkäufe v, Filialen f, Produkte p, Zeit z, Kunden k where z.saison = 'Weihnachten' and z.jahr = 2001 and k.wiealt < 30 and p.produkttyp = 'Handy' and f.bezirk = 'Bayern' and v.verkdatum = z.datum and v.produkt = p.produktnr and v.filiale = f.filialenkennung and v.kunde = k.kundennr group by p.hersteller; Einschränkung der Dimensionen Join-Prädikate 27 Algebra-Ausdruck Ausdruck σ(produkte) σ(filialen) Verkäufe σ(kunden) σ(zeit) 28 14

15 Roll-up up/drill-down-anfragen select Jahr, Hersteller, sum(anzahl) from Verkäufe v, Produkte p, Zeit z where v.produkt = p.produktnr and v.verkdatum = z.datum and p.produkttyp = 'Handy' group by p.hersteller, z.jahr; Roll-up select Jahr, sum(anzahl) from Verkäufe v, Produkte p, Zeit z where v.produkt = p.produktnr and v.verkdatum = z.datum and p.produkttyp = 'Handy' group by z.jahr; Drill-down 29 Roll-up up/drill-down-anfragen: : Ultimative Verdichtung select sum(anzahl) from Verkäufe v, Produkte p where v.produkt = p.produktnr and p.produkttyp = 'Handy'; 30 15

16 Roll-up up/drill-down-anfragen: : Beispiel 31 Roll-up up/drill-down-anfragen: : Beispiel Rol l- up Drill- Down 32 16

17 Flexible Auswertungsmethoden: slice and dice Regionen Produktgruppen Kunden Regionen Produktgruppen Regionen Produktgruppen Kunden Kunden 33 Relationale Struktur der Datenwürfel 34 17

18 Materialisierung von Aggregaten insert into Handy2DCube ( select p.hersteller, z.jahr, sum(v.anzahl) from Verkäufe v, Produkte p, Zeit z where v.produkt = p.produktnr and p.produkttyp = 'Handy' and v.verkdatum = z.datum group by z.jahr, p.hersteller ) union ( select p.hersteller, to_number(null), sum(v.anzahl) from Verkäufe v, Produkte p where v.produkt = p.produktnr and p.produkttyp = 'Handy' group by p.hersteller ) union ( select null, z.jahr, sum(v.anzahl) from Verkäufe v, Produkte p, Zeit z where v.produkt = p.produktnr and p.produkttyp = 'Handy' and v.verkdatum = z.datum group by z.jahr ) union ( select null, to_number(null), sum(v.anzahl) from Verkäufe v, Produkte p where v.produkt = p.produktnr and p.produkttyp = 'Handy' ); 35 Würfeldarstellung 36 18

19 Der cube-operator select p.hersteller, z.jahr, f.land, sum(v.anzahl) from Verkäufe v, Produkte p, Zeit z, Filialen f where v.produkt = p.produktnr and p.produkttyp = 'Handy' and v.verkdatum = z.datum and v.filiale = f.filialenkennung group by cube (z.jahr, p.hersteller, f.land); 37 Wiederverwendung von Teil-Aggregaten insert into VerkäufeProduktFilialeJahr ( select v.produkt, v.filiale, z.jahr, sum(v.anzahl) from Verkäufe v, Zeit z where v.verkdatum = z.datum group by v.produkt, v.filiale, z.jahr ); Bisher: select v.produkt, v.filiale, sum(v.anzahl) from Verkäufe v group by v.produkt, v.filiale 38 19

20 Wiederverwendung von Teil-Aggregaten insert into VerkäufeProduktFilialeJahr ( select v.produkt, v.filiale, z.jahr, sum(v.anzahl) from Verkäufe v, Zeit z where v.verkdatum = z.datum group by v.produkt, v.filiale, z.jahr ); Jetzt: select v.produkt, v.filiale, sum(v.anzahl) from VerkäufeProduktFilialeJahr v group by v.produkt, v.filiale 39 Die Materialisierungs-Hierarchie { } {Produkt} {Jahr} {Filiale} {Produkt, Jahr} {Produkt, Filiale} {Filiale, Jahr} {Produkt, Filiale, Jahr} Teilaggregate T sind für eine Aggregation A wiederverwendbar wenn es einen gerichteten Pfad von T nach A gibt Also T A Man nennt diese Materialisierungshierarchie auch einen Verband (Engl. Lattice) 40 20

21 Zusammenfassung Data Warehousing Erstellung Pflege Nutzung des DWH Data Warehouse Decision Support OLAP (vs. OLTP) Eigenes Design (Star Schema, Snowflake Schema) Datacube (Roll up, Drill down) Cube Operator Wiederverwendung von Teil-Aggregaten 41 Quellen/Literatur Folienmaterial aus: Vorlesung Data Warehousing (SoSe 03), Ulf Leser Folienmateriel zu "Datenbanksdysteme" Kemper/Eickler 5. Auflage [Inm96]: Inmon: Building the Data Warehouse, JohnWiley & Sons,