Data Warehouses. Kapitel 1 Einführung. Sommersemester Melanie Herschel melanie.herschel@uni-tuebingen.de

Transkript

1 Data Warehouses Sommersemester 2011 Melanie Herschel Lehrstuhl für Datenbanksysteme, Universität Tübingen Kapitel 1 Einführung Vorstellung Organisatorisches Data Warehouses Ausblick auf das Semester 2 Credit: Michael Marcol

2 Willkommen! Zu meiner Person Aufgewachsen in Bayern & Lothringen Studium an der Berufsakademie Stuttgart Information Technology Wissenschaftliche Mitarbeiterin an der HU Berlin und am HPI Potsdam Datenqualität & Datenintegration 2007 Promotionsverteidigung seit 06/2009 Post-Doc am IBM Almaden Research Center, Kalifornien Datenherkunft Wissenschaftliche Mitarbeiterin an der Uni Tübingen Debugging von Anfragen mit Nautilus Melanie Herschel Tel Web 3 Willkommen... und jetzt sind Sie dran. Einheimisch oder zugezogen? Welches Semester? Studiengang: Informatik, andere? Master vs. Diplom? Ihre Motivation? Vorwissen DBS1, DBS2, andere DB-Vorlesungen? 4

3 Kapitel 1 Einführung Vorstellung Organisatorisches Data Warehouses Ausblick auf das Semester 5 Credit: Michael Marcol Termine & Vorlesungsmaterial Vorlesung Wann? jeden Donnerstag, 10:15-11:45 Uhr ca. jeden 2. Freitag, 10:15-11:45 Uhr Wo? Sand 13, A104 Sand 13, A104 Sand C118 am Vorlesungstermine: 15.4., 21.4., 6.5., 12.5., 13.5., 20.5., 26.5., 27.5., 27.5., 9.6.,10.6., 24.6., 1.7., 7.7., 8.7., 14.7., Übung Wann? Wo? ca. jeden 2. Freitag, 10:15-11:45 Uhr Sand 13, A104 Übungstermine: 5.5., 19.5., 3.6., 30.6., Hier werden die Folien und aktuelle News zur Vorlesung bereitgestellt. 6

4 Organisatorisches Voraussetzungen Mindestvoraussetzung: Datenbanken I Relationenmodell ER-Modellierung SQL Von Vorteil: Datenbanken II Anfrageübersetzung von Joins Grundzüge der Anfrageoptimierung 7 Organisatorisches Leistungserfassung Klausur / Prüfung Je nach Teilnehmerzahl am 22. Juli 2011 Übung Klausur 90 minütige Klausur, die um 10:15 Uhr beginnt Es sind keine Hilfsmittel erlaubt. Mündliche Prüfung: 30 Minuten, Termin nach Vereinbarung Die Übung besteht aus fünf Übungsblättern. Sie dürfen und sollten die Aufgaben in Zweier-Gruppen bearbeiten. Spätester Abgabetermin (nur schriftliche Abgabe!) ist jeweils der Tag vor dem Besprechungstermin, 13 Uhr 8

5 Zu diesen Folien... Quizzies Definition Hier lohnt es sich, mitzuschreiben! Beispiel Code snippet 9 Literatur Andreas Bauer und Holger Günzel. Data Warehouse Systeme. dpunkt Verlag. Wolfgang Lehner. Datenbanktechnologie für Data-Warehouse-Systeme Christian S. Jensen, Torben Bach Pedersen und Christian Thomsen. Multidimensional Databases and Data Warehousing. Synthesis Lecture on Data Management, Morgan & Claypool. Jeweils Literaturhinweise in der Vorlesung 10

6 Fragen & Feedback Fragen bitte jederzeit! Während der Vorlesung , Telephon Feedback und Anregungen sind Willkommen! Folien Informationen im Web... Sprechstunde nach Vereinbarung 11 Lehrstuhl für Datenbansysteme, Uni Tübingen Ferry Nautilus Pathfinder Habitat 12

7 Kapitel 1 Einführung Vorstellung Organisatorisches Data Warehouses Ausblick auf das Semester 13 Credit: Michael Marcol Data Warehouse Einsatzgebiete Risikomanagement bei Versicherungen Marktforschung bei WalMart und Co. über alle Filialen Konzernmonitoring von ERP-Prozessen in Pharma-Unternehmen Customer Relationship Management bei Amazon und Partnershops Weltweite Logistik bei DHL Analyse weltweit gewonnener wissenschaftlicher Daten... Wesentliche Eigenschaften! Integration mehrerer Datenquellen, um eine globale Sicht zu erhalten.! Analyse großer Datenmengen 14

8 Definition eines Data Warehouse Definition eines Data Warehouse nach William H. Inmon A data warehouse is a subject oriented, integrated, time variant, non-volatile collection of data in support of management s decision making process. [Inmon92] subject oriented: für bestimmte Entitätentypen zugeschnitten, z.b. Verkäufe, Produkte, Läden. integrated: die Daten im Data Warehouse stammen i.d.r. aus verschiedenen Quelldatenbanken, z.b., aus mehreren Verlagskatalogen, Lagerbeständen einzelner Lager, Einnahmen einzelner Läden, usw. time-variant: Data Warehouse zeigt die zeitliche Evolution der betrachteten Entitäten. non-volatile: Daten werden nicht gelöscht oder nachträglich geändert, Änderungen im Datenbestand sind allein auf das Laden neuer Daten zurückzuführen. support decision making: nur wichtige Daten für solche Entscheidungen speichern. 15 Motivation für ein Data Warehouse Anwendungsfall! Eine oder mehrere (ähnliche) Datenbanken mit Bücherverkaufsinformationen! Daten werden oft aktualisiert! Jede Bestellung einzeln! Katalogupdates täglich! Management benötigt Entscheidungshilfen (decision support)! Komplexe Anfragen 16

9 Motivation für ein Data Warehouse Anwendungsfall - Bücher im Internet bestellen Backup Durchsatz Loadbalancing Zielkonflikt Portfolio Umsatz Werbung SQL 17 Motivation für ein Data Warehouse Anwendungsfall - Die Datenbank dazu Year id year Month Id Month year_id Day Id day month_id Order Order_id book_id amount single_price Orders Id Day_id Customer_id Total_amt Bookgroup id name Book id Book_group_id Customer id name 18

10 Motivation für ein Data Warehouse Anwendungsfall - Fragen eines Marketingleiters Wie viele abgeschlossene Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach Produktgruppen? Year id year Month Id Month year_id Day Id day month_id Order Order_id book_id amount single_price Orders Id Day_id Customer_id Total_amt Bookgroup id name Book id Book_group_id Customer id name 19 Motivation für ein Data Warehouse Anwendungsfall - Technisch SQL Anfrage des Marketingleiters SELECT! Y.year, BG.name, count(b.id) FROM year Y, month M, day D, order O, orders OS, book B, bookgroup BG WHERE! M.year = Y.id and! M.id = D.month and! O.day_id = D.id and! OS.order_id = O.id and! B.id = O.book_id and! B.book_group_id = BG.id and! day < 24 and month = 12 GROUP BY Y.year, PG.product_name ORDER BY Y.year 6 Joins Year:! 10 Records Month:! 120 Records Day:! 3650 Records Orders:! Order:! Books:! Bookgroups:! 100 Problem! Schwierig zu optimieren (Join-Reihenfolge) Je nach Ausführungsplan riesige Zwischenergebnisse Ähnliche Anfragen ähnlich riesige Zwischenergebnisse 20

11 Motivation für ein Data Warehouse Anwendungsfall - In Wahrheit... Es gibt noch:! Amazon.de! Amazon.fr! Amazon.it!... Verteilte Ausführung! Count über Union mehrerer gleicher Anfragen in unterschiedlichen Datenbanken? 21 Motivation für ein Data Warehouse Anwendungsfall - In Wahrheit... 22

12 Motivation für ein Data Warehouse Anwendungsfall - Technisch eine Sicht (View) Sichtdefinition CREATE VIEW christmas AS! SELECT! Y.year, PG.name, count(b.id) FROM!! DE.year Y, DE.month M, DE.day D, DE.order O,... WHERE! M.year = Y.id and... GROUP BY!Y.year, PG.product_name ORDER BY! Y.year UNION! SELECT! Y.year, PG.name, count(b.id) FROM! EN.year Y, EN.month M, EN.day D, DE.order O,... WHERE! M.year = Y.id and... Verwendung der Sicht in einer SQL Anfrage SELECT! year, name, count(b.id) FROM!! christmas GROUP BY! year, name ORDER BY! year! 23 Motivation für ein Data Warehouse Anwendungsfall - Probleme Frage 1: Count über Union über verteilte Datenbanken?! Heterogenitätsproblem Quellen werden Schemata verändern Länderspezifischer Eigenheiten (MWST, Versandkosten, Sonderaktionen,...) Oftmals verborgene Änderungen in der Semantik der Daten Frage 2: Berechnung riesiger Zwischenergebnisse bei jeder Anfrage?! Datenmengenproblem Transport großer Datenmengen durchs Netz Historische Sicht -Datenmengen wachsen immer weiter Operative Systeme brauchen die historischen Daten nicht " Ziel: Frühes löschen (abgeschlossene Bestellungen) Manager brauchen viele der operativen Daten nicht " Ziel: Alles aufheben 24

13 Motivation für ein Data Warehouse Anwendungsfall - Lösung Heterogenitätsproblem? Probleme:! Zweigstellen schreiben übers Netz! Lange Antwortzeiten im operativen Betrieb! Datenmengenproblem bleibt Zentrale Datenbank 25 Motivation für ein Data Warehouse Anwendungsfall - Lösung Anfragezeit? UK FR DE Probleme:! Schnelle lokale Anfragen! Lange Antwortzeiten für strategische Anfragen! Heterogenitätsproblem bleibt 26

14 Motivation für ein Data Warehouse Anwendungsfall - Lösung Datenmengenproblem? A Replikation A Replikation A Probleme:! Lokale Anfrage arbeiten auf riesigen Tabellen! Verzögerung im operativen Betrieb! Lange Antwortzeiten für strategische Anfragen 27 Motivation für ein Data Warehouse Anwendungsfall - Tatsächliche Lösung Aufbau eines Data Warehouse! Redundante Datenhaltung! Transformierte und Selektierte Daten! Spezielle Modellierung! Asynchrone Aktualisierung 28

15 Operative Datenbanken vs. Data Warehouses Perspektive der Anwendung Anwendertyp Interaktionsdauer und -typ Anfragestruktur Bereich einer Anfrage Anzahl gleichzeitiger Zugriffe Anwenderzahl Operative Datenbank Sachbearbeiter kurze Transaktionen (echtzeit bis wenige Sekunden) Insert, Update, Delete einfach strukturiert wenige Datensätze (überwiegend Einzeltupelzugriffe) sehr viele (Tausende) sehr viele Data Warehouse Manager, Controller, Analyst Analyse-Anfragen (Minuten) Lesen, periodisches Hinzufügen komplex, jedoch überwiegend bestimmten Mustern folgend viele Datensätze (überwiegend Bereichsanfragen) wenige (Hunderte) wenige, bis einige hundert 29 Operative Datenbanken vs. Data Warehouses Perspektive der Datenhaltung Datenquellen Schemaentwurf Eigenschaften des Datenbestands Datenvolumen Typische Antwortzeit Verfügbarkeit Operative Datenbank zentraler Datenbestand anfrageneutrale Datenmodellierung (3NF) originär zeitaktuell autonom dynamisch Megabyte - Gigabyte ms - s Hochverfügbar (Ausfall kostet Millionen!) Data Warehouse mehrere unabhängige Datenquellen analysebezogene Datenmodellierung abgeleitet/ konsolidiert historisiert integriert stabil teilweise (vor-) aggregiert Gigabyte - Terabyte s - min Ausfall ärgerlich, aber nicht kritisch 30

16 Operative Datenbanken vs. Data Warehouses Technische Sicht Architektur Operative Datenbank ANSI-SPARC 3-Schichtenarchitektur Geeignet für Daten aus einer Datenquelle! keine Heterogenität Data Warehouse Data Warehouse integriert Daten aus mehreren Datenquellen. Datenquellen üblicherweise heterogen (im Schema, z.b. Name vs. Nachname, in den Daten, z.b vs. 01/06,...) Architketur zur Integration verschiedener Datenquellen Details siehe Kapitel 2 31 Operative Datenbanken vs. Data Warehouses Technische Sicht Schema Operative Datenbank Vermeidung von Redundanz / Anomalien Schema in 3NF Schema unabhängig von der Art der Anfragen entworfen Data Warehouse Modellierung von Dimensionen und Fakten, basierend auf geplante analytische Anfragen Redundanz möglich bzw. erwünscht Multidimensionales Modell (Star-Schema, Snowflake-Schema) Details siehe Kapitel 3 Jahr Books CDs DVDs... Region... North America Asia Europe Produktgruppe 32

17 Operative Datenbanken vs. Data Warehouses Technische Sicht Anfragen Operative Datenbank Transaktionale Anfragen Insert, Update, Delete, Select Anfragen über einzelne / wenige Tupel Anfrageoptimierung siehe VL Datenbanken II UPDATE Order SET amount = amount + 1 WHERE OrderID = 1 AND BookID = 204 Data Warehouse Analytische Anfragen Bulk-Insert und Select Typische Anfragetypen (drill down, slice, dice,...) Spezialisierte Optimierungsverfahren Details siehe Kapitel 3 und 4 Jahr Books CDs DVDs... Region... North America Asia Europe Produktgruppe 33 Extract-Transform-Load (ETL) Prozess Datenübertragung in das Data Warehouse?! Extrahiere relevante Daten aus den Quellen.! Transformiere die extrahierten Daten in das Schema des Data Warehouse.! Lade die transformierten Daten in das Data Warehouse.! Siehe Kapitel 5 (Hauptfokus auf Datenqualität, die während der Transformationsphase gewährleistet wird). 34

18 Data Warehouse Systeme und Tools! Diverse Data Warehouse Lösungen auf dem Markt! Siehe Kapitel 6! Gastvortrag Dr. Jens Bleihoder, OPITZ Consulting GmbH 35 Entwicklungsprozess eines Data Warhouse! Integration mehrerer, oft autonomer Datenquellen erfordert folgende Maßnahmen:! Einbindung / Mitwirkung der Fachabteilungen! Durchsetzen eines Qualitätsanspruchs! Gemeinsames Sprachverständnis! Nachvollziehbarkeit! Vom Produkt- zum Prozess-Gedanken 36

19 Kapitel 1 Einführung Vorstellung Organisatorisches Data Warehouses Ausblick auf das Semester 37 Credit: Michael Marcol Inhalte der Vorlesung Einführung Definition Data Warehouse Motivation für ein Data Warehouse Unterschied zu einer operativen Datenbank Architektur von Data Warehouse Systemen Bestandteile eines Data Warehouse Systems Konfigurationen Ermöglichung der Integration Datenmodellierung Multidimensionale Modellierung (Dimensionen, Fakten, Datenwürfel) Umsetzung des Datenmodells (relationale Abbildung, Star-Schema, SQL Operatoren,...) 38

20 Inhalte der Vorlesung Anfrageverarbeitung und Optimierung Indexstrukturen Optimierung von Star-Joins Materialisierte Sichten Partitionierung Datenreinigung ETL und Datenreinigung Typische Datenfehler Beheben von Datenfehlern durch Data Scrubbing, Dublettenerkennung, Datenfusion ETL-Werkzeuge und Anwendungsfälle 39 Fragen? Zum Inhalt der Vorlesung? Zur Leistungserfassung? Zum Ablauf?... 40