Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube

Transkript

1 Fragen des Marketingleiters Data Warehousing Wie viele Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach? Aufbau eines DWH OLAP <-> OLTP Datacube Beispiel: : Amazon Technisch CREATE VIEW christmas AS SELECT Y.year, PG.name, count(b.id) FROM year Y, month M, day D, order O, WHERE M.year = Y.id and GROUP BY Y.year, PG.product_name ORDER BY Y.year 2 6 Joins Year: 10 Records Month: 120 Records Day: 650 Records Orders: Order: Books: Bookgroups: 100 Probleme Schwierig zu optimieren (Join- Order) Je nach Ausführungsplan riesige Zwischenergebnisse Ähnliche Anfragen ähnlich riesige Zwischenergebnisse 5 Datenbank Amazon weltweit 6 1

2 Lösung des Integrationsproblems? Handels - DWH Zentrale Datenbank Probleme Zweigstellen schreiben über das Netz Lange Antwortzeiten im operativen Betrieb 10 Lösung des Datenmengenproblems? Denormalisiertes Schema Praxisbeispiel Wal Mart Unternehmensweites Data Warehouse Verkaufzahlen, Lagerhaltung, Filialen Größe: über 500 Terabyte Täglich bis zu DW-Anfragen: Überprüfung des Warensortiments zur Erkennung von Ladenhütern oder Verkaufsschlagern Standortanalyse, Rentabilität von Niederlassungen Untersuchung der Wirksamkeit von Marketing-Aktionen Analyse / Planung der Zwischenlager Warenkorbanalyse mit Hilfe der Kassenbons Problem Jeder lesende / schreibende Zugriff erfolgt auf eine Tabelle mit 2 Mill. Records Lange Antwortzeiten im operativen Betrieb 8 11 Tatsächliche LösungL Aufbau eines Data Warehouse Definition DWH A DWH is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management s decision [Inm96] Subj-orient.:, Personen,, etc. Integrated: Erstellt aus vielen Quellen Non-Volatile: Hält Daten unverändert über die Time-Variant: Vergleich von Daten über die Decisions: Wichtige Daten rein, unwichtige raus Redundante, transformierte Datenhaltung Asynchrone Aktualisierung

3 Def. Data Warehousing Erstellung, Pflege und Nutzung des DWH Erstellung hauswahl von Datenquellen hlogische Integration Pflege haktualisierung der Daten hoptimierung des Zugriffs hmonitoring der Performance Nutzung hbereitstellung spezieller Ableitungen hanalyse der Daten Modellierung im DWH Modellierung in operativen Systemen: Normalisierung Modellierung in DWH: Dimensionen und Fakten 1 16 DB Nutzung OLTP (Online Transaction Processing) OLAP vs. OLTP 1 1 DB Nutzung OLAP (Online Analytical Processing) Welche hatten im letzten Jahr im Bereich Bamberg einen Umsatzrückgang um mehr als 10%? Welche sind davon betroffen? Welche Lieferanten haben diese? Welche haben über die letzten 5 Jahre eine Bestellung über 50 Euro innerhalb von Wochen nach einem persönlichen Anschreiben aufgegeben? Wie hoch waren die Bestellungen im Schnitt? Wie hoch waren die Bestellungen im Vergleich zu den durchschnittlich. Bestellungen des jew. in einem vergleichbaren raum? Lohnen sich Mailing-Aktionen? Haben Zweigstellen einen höheren Umsatz, die gemeinsam gekaufte zusammen stellen? Welche werden überhaupt zusammen gekauft und wo? Multidimensionale Modellierung Analyseorientierte, intuitive Modellierung Fakten & Dimensionen Star / Snowflake Schema Definition spezieller Operationen: Roll-Up,Drill-Down Vermeidung von Joins Hochredundante Datenhaltung Wenige, sehr große Tabellen Spezielle Optimierungsverfahren Optimiert für Lesezugriff 15 18

4 Das Stern-Schema Schema (Beispiel) Das Stern-Schema: Schema: Krankenversicherung Patienten Ärzte Behandlungen Krankenhäuser 19 Krankheiten 22 Stern-Schema Schema bei Data Warehouse-Anwendungen Stern-Schema Schema Eine sehr große Faktentabelle Alle der letzten drei Jahre Alle Telefonate des letzten Jahres Alle Flugreservierungen der letzten fünf Jahre normalisiert Mehrere Dimensionstabellen Filialen Produkt Oft nicht normalisiert 20 VerkDatum 25-Jul-00 Passau Filiale Passau Filialen FilialenKennung Land Nr 825 D Name Handyman Produkt Anzahl 1 Bezirk Bayern Elektronik 1 Faktentabelle (SEHR groß) Nr 11 Fachgebiet Manager 119 Kunde 11 Kemper Dimensionstabellen (relativ klein) 825 Name wiealt wiealt 2 2 Das Stern-Schema: Schema: Handelsunternehmen Stern-Schema Schema (cont( cont d) Datum 25-Jul-00 Tag 25 Monat Jahr 2000 Quartal KW 0 Wochentag Saison Hochsommer 18-Dec Weihnachten Filialen 21 ProduktNr 1 Produkttyp Handy Produktgruppe Mobiltelekom Produkthauptgruppe Telekom Hersteller.. Siemens.... 2

5 Nicht-normalisierte Dimensionstab.: effizientere Anfrageauswertung Algebra-Ausdruck Ausdruck Datum 25-Jul-00 Tag 25 Monat Jahr 2000 Quartal KW 0 Wochentag Saison Hochsommer σ() σ(filialen) 18-Dec Weihnachten Datum Monat Quartal ProduktNr Produkttyp Produktgruppe Produkthauptgruppe Hersteller.. 1 Handy Mobiltelekom Telekom Siemens ProduktNr Produkttyp Produktgruppe Produkthauptgruppe σ() σ() 28 Normalisierung führt f zum Schneeflocken-Schema Schema up/drill-down-anfragen KWs Filialen Quartale Produkthauptgruppen Produkttypen 26 select Jahr, Hersteller, sum(anzahl) from v, p, z where v.produkt = p.produktnr and v.verkdatum = z.datum and p.produkttyp = 'Handy' group by p.hersteller, z.jahr; select Jahr, sum(anzahl) from v, p, z where v.produkt = p.produktnr and v.verkdatum = z.datum and p.produkttyp = 'Handy' group by z.jahr; Drill-down 29 Anfragen im Sternschema select sum(v.anzahl), p.hersteller from v, Filialen f, p, z, k where z.saison = 'Weihnachten' and z.jahr = 2001 and k.wiealt < 0 and p.produkttyp = 'Handy' and f.bezirk = 'Bayern' and v.verkdatum = z.datum and v.produkt = p.produktnr and v.filiale = f.filialenkennung and v.kunde = k.nr group by p.hersteller; Einschränkung der Dimensionen up/drill-down-anfragen: : Ultimative Verdichtung select sum(anzahl) from v, p ; Join-Prädikate 2 0 5

6 up/drill-down-anfragen: : Beispiel Relationale Struktur der Datenwürfel 1 up/drill-down-anfragen: : Beispiel Rol l- up Drill- Down 2 Materialisierung von Aggregaten insert into Handy2DCube ( select p.hersteller, z.jahr, sum(v.anzahl) from v, p, z and v.verkdatum = z.datum group by z.jahr, p.hersteller ) union ( select p.hersteller, to_number(null), sum(v.anzahl) from v, p group by p.hersteller ) union ( select null, z.jahr, sum(v.anzahl) from v, p, z and v.verkdatum = z.datum group by z.jahr ) union ( select null, to_number(null), sum(v.anzahl) from v, p ); 5 Flexible Auswertungsmethoden: slice and dice Würfeldarstellung Regionen Regionen Regionen 6 6

7 Der cube-operator select p.hersteller, z.jahr, f.land, sum(v.anzahl) from v, p, z, Filialen f and v.verkdatum = z.datum and v.filiale = f.filialenkennung group by cube (z.jahr, p.hersteller, f.land); Die Materialisierungs-Hierarchie {Produkt} {Produkt, Jahr} { } {Jahr} {Produkt, Filiale} {Filiale} {Filiale, Jahr} {Produkt, Filiale, Jahr} Teilaggregate T sind für eine Aggregation A wiederverwendbar wenn es einen gerichteten Pfad von T nach A gibt Also T A Man nennt diese Materialisierungshierarchie auch einen Verband (Engl. Lattice) 0 Wiederverwendung von Teil-Aggregaten Zusammenfassung insert into ProduktFilialeJahr ( select v.produkt, v.filiale, z.jahr, sum(v.anzahl) from v, z where v.verkdatum = z.datum Data Warehousing Erstellung Pflege Nutzung des DWH group by v.produkt, v.filiale, z.jahr ); Bisher: select v.produkt, v.filiale, sum(v.anzahl) from v group by v.produkt, v.filiale 8 Data Warehouse Decision Support OLAP (vs. OLTP) Eigenes Design (Star Schema, Snowflake Schema) Datacube (Roll up, Drill down) Cube Operator Wiederverwendung von Teil-Aggregaten 1 Wiederverwendung von Teil-Aggregaten Quellen/Literatur insert into ProduktFilialeJahr ( select v.produkt, v.filiale, z.jahr, sum(v.anzahl) from v, z where v.verkdatum = z.datum Folienmaterial aus: Vorlesung Data Warehousing (SoSe 0), Ulf Leser Folienmateriel zu "Datenbanksdysteme" Kemper/Eickler 5. Auflage [Inm96]: Inmon: Building the Data Warehouse, JohnWiley & Sons, group by v.produkt, v.filiale, z.jahr ); Jetzt: select v.produkt, v.filiale, sum(v.anzahl) from ProduktFilialeJahr v group by v.produkt, v.filiale 9 2