1. Einführung. Szenario: Getränkemarkt. DB-Schema. Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks

Transkript

1 . Einführung Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks Sattler / Saake Data-Warehouse-Technologien Szenario: Getränkemarkt Umsatz, Portfolio SSaufland Werbung Sattler / Saake Data-Warehouse-Technologien 2 DB-Schema Produkt liefert Lieferant kauft Menge Kunde Sattler / Saake Data-Warehouse-Technologien 3

2 DB-Nutzung Anfragen: Wie viele Flaschen Cola wurden letzten Monat verkauft? Wie hat sich der Verkauf von Rotwein im letzten Jahr entwickelt? Wer sind unsere Top-Kunden? Von welchem Lieferanten beziehen wir die meisten Kisten? Probleme Nutzung externer Quellen (Kundendatenbank, Lieferantendatenbank, ) Daten mit historischem Bezug Sattler / Saake Data-Warehouse-Technologien 4 Erweitertes Szenario Saufland Saufland Saufland Sattler / Saake Data-Warehouse-Technologien 5 DB-Nutzung /2 Anfragen Verkaufen wir in Ilmenau mehr Bier als in Erfurt? Wie viel Cola wurde im Sommer in ganz Thüringen verkauft? Mehr als Wasser? Problem Anfragen über mehrere Datenbanken Sattler / Saake Data-Warehouse-Technologien 6 2

3 Lösungen Variante : Verteilte DB Globale Anfrage über mehrere DBs Sicht mit Union Nachteil: aufwändige verteilte Anfrageausführung Variante 2: Zentrale DB Änderungen über einer zentralen DB Nachteil: lange Antwortzeiten im operativen Betrieb Sattler / Saake Data-Warehouse-Technologien 7 Data Warehouse-Lösung SSaufland SSaufland SSaufland Asynchrone Aktualisierung DB Ilmenau DB Erfurt DB Jena Redundante Datenhaltung, Transformierte, vorberechnete Daten Data Warehouse Sattler / Saake Data-Warehouse-Technologien 8 Gegenstand der Vorlesung Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen Herausforderung an Datenbanktechnologien Datenvolumen (effiziente Speicherung und Verwaltung, Anfragebearbeitung) Datenmodellierung (Zeitbezug, mehrere Dimensionen) Integration heterogener Datenbestände Schwerpunkt Datenbanktechniken von Data Warehouses Sattler / Saake Data-Warehouse-Technologien 9 3

4 Überblick Monitoring & Administration Externe Quellen Operative Datenbanken Extraktion Transformation Laden Metadaten- Repository Data Warehouse OLAP-Server Analyse Query/Reporting Data Mining Werkzeuge Data Marts Sattler / Saake Data-Warehouse-Technologien 0 Betriebswirtschaftliche Anwendungen Informationsbereitstellung Daten und Informationen als Grundlage einer erfolgreichen Abwicklung von Geschäftsprozessen (z.b. Kennzahlen) Anwender: Manager, Abteilungsleiter, Fachkräfte Formen der Bereitstellung Query-Ansätze: frei definierbare Anfragen und Berichte Reporting: Zugriff auf vordefinierte Berichte Redaktionell aufbereitete, personalisierte Informationen Sattler / Saake Data-Warehouse-Technologien Betriebswirtschaftliche Anwendungen Analyse Detaillierte Analyse der Daten zur Untersuchung von Abweichungen oder Auffälligkeiten Anwender: Spezialisten (z.b. Controlling, Marketing) Planung Unterstützung durch explorative Datenanalyse Aggregrierung von Einzelplänen Kampagnenmanagement Unterstützung strategischer Kampagnen Kundenanalyse, Risikoanalyse Sattler / Saake Data-Warehouse-Technologien 2 4

5 Wissenschaftliche und Technische Anwendungen Wissenschaftliche Anwendungen Statistical und Scientific Databases technische Wurzeln des DW Beispiel: Projekt Earth Observing System (Klima- und Umweltforschung) täglich ca.,9 TB meteorologischer Daten Aufbereitung und Analyse (statistisch, Data Mining) Technische Anwendungen Öffentlicher Bereich: DW mit Umwelt- oder geographischen Daten (z.b. Wasseranalysen) Sattler / Saake Data-Warehouse-Technologien 3 Einsatzbeispiel Wal-Mart ( Marktführer im amerikanischen Einzelhandel Unternehmensweites Data Warehouse Größe: ca. 300 TB (2003) Täglich bis zu DW-Anfragen Hoher Detaillierungsgrad (tägliche Auswertung von Artikelumsätzen, Lagerbestand, Kundenverhalten) Basis für Warenkorbanalyse, Kundenklassifizierung,... Sattler / Saake Data-Warehouse-Technologien 4 Fragestellungen und Aufgaben (Bsp.) Überprüfung des Warensortiments zur Erkennung von Ladenhütern oder Verkaufsschlagern Standortanalyse zur Einschätzung der Rentabilität von Niederlassungen Untersuchung der Wirksamkeit von Marketing-Aktionen Auswertung von Kundenbefragungen, Reklamationen bzgl. bestimmter Produkte etc. Analyse des Lagerbestandes Warenkorbanalyse mit Hilfe der Kassenbons Sattler / Saake Data-Warehouse-Technologien 5 5

6 Beispiel einer Anfrage Welche Umsätze sind in den Jahren 998 und 999 in den Abteilungen Kosmetik, Elektro und Haushaltswaren in den Bundesländern Sachsen-Anhalt und Thüringen angefallen? Sattler / Saake Data-Warehouse-Technologien 6 Ergebnis (Würfel) Produkt Summe Haushalt Elektro Kosmetik Summe Zeitraum Sachsen- Anhalt Thüringen Summe Region Kennzahl Umsatz Sattler / Saake Data-Warehouse-Technologien 7 Ergebnis (Bericht) Umsatz Kosmetik Elektro Haushalt SUMME 998 Sachsen-Anhalt Thüringen SUMME Sachsen-Anhalt Thüringen SUMME SUMME Sattler / Saake Data-Warehouse-Technologien 8 6

7 Marktentwicklung Marktgröße: Data Warehouse und OLAP (Quelle: OLAP Report OnLine 3,5 3 2,5 2,5 0, Mrd. Euro Sattler / Saake Data-Warehouse-Technologien 9 Aspekte von Data Warehouses Integration Vereinigung von Daten aus verschiedenen, meist heterogenen Quellen Überwindung der Heterogenität auf verschiedenen Ebenen (System, Schema, Daten) Analyse Bereitstellung der Daten in einer vom Anwender gewünschten Form (bezogen auf Entscheidungsgebiet) erfordert Vorauswahl, Zeitbezug, Aggregation Sattler / Saake Data-Warehouse-Technologien 20 Abgrenzung zu OLTP Klassische operative Informationssysteme Online Transactional Processing (OLTP) Erfassung und Verwaltung von Daten Verabeitung unter Verantwortung der jeweiligen Abteilung Transaktionale Verarbeitung: kurze Lese-/ Schreibzugriffe auf wenige Datensätze Data Warehouse Analyse im Mittelpunkt lange Lesetransaktionen auf vielen Datensätzen Integration, Konsolidierung und Aggregation der Daten Sattler / Saake Data-Warehouse-Technologien 2 7

8 Abgrenzung zu OLTP: Anfragen Anfrage transaktional analytisch Fokus Transaktionsdauer und typ Lesen, Schreiben, Modifizieren, Löschen kurze Lese-/ Schreibtransaktionen Lesen, periodisches Hinzufügen lange Lesetransaktionen Anfragestruktur einfach strukturiert komplex Datenvolumen einer Anfrage Datenmodell wenige Datensätze anfrageflexibel viele Datensätze analysebezogen Sattler / Saake Data-Warehouse-Technologien 22 Abgrenzung zu OLTP: Daten Daten transaktional analytisch Datenquellen meist eine mehrere Eigenschaften Datenvolumen nicht abgeleitet, zeitaktuell, autonom, dynamisch MByte... GByte abgeleitet/konsolidier t, nicht zeitaktuell, integriert, stabil GByte... TByte Zugriffe Einzeltupelzugriff Tabellenzugriff Sattler / Saake Data-Warehouse-Technologien 23 Abgrenzung zu OLTP: Anwender Anwender transaktional analytisch Anwendertyp Anwenderzahl Ein-/Ausgabe durch Angestellte oder Applikationssoftware sehr viele Manager, Controller Analyst wenige (bis einige hundert) Antwortzeit ms... sec sec... min Sattler / Saake Data-Warehouse-Technologien 24 8

9 Abgrenzung: DBMS-Techniken Parallele Datenbanken Technik zur Realisierung eines DWH Verteilte Datenbanken I.d.R. keine redundante Datenhaltung Verteilung als Mittel zur Lastverteilung Keine inhaltliche Integration/Verdichtung der Daten Föderierte Datenbanken Höhere Autonomie und Heterogenität Kein spezifischer Analysezweck Sattler / Saake Data-Warehouse-Technologien 25 Data Warehouse: Begriff A Data Warehouse is a subjectoriented, integrated, non-volatile, and time variant collection of data in support of managements decisions. (W.H. Inmon 996) Sattler / Saake Data-Warehouse-Technologien 26 Data Warehouse: Charakteristika Fachorientierung (subject-oriented): Zweck des Systems ist nicht Erfüllung einer Aufgabe (z.b. Personaldatenverwaltung), sondern Modellierung eines spezifischen Anwendungsziels Integrierte Datenbasis (integrated): Verarbeitung von Daten aus mehreren verschiedenen Datenquellen (intern und extern) Nicht-flüchtige Datenbasis (non-volatile): stabile, persistente Datenbasis Daten im DW werden nicht mehr entfernt oder geändert Historische Daten (time-variant): Vergleich der Daten über Zeit möglich (Zeitreihenanalyse) Speicherung über längeren Zeitraum Sattler / Saake Data-Warehouse-Technologien 27 9

10 Weitere Begriffe Data Warehousing Data-Warehouse-Prozess, d.h. alle Schritte der Datenbeschaffung (Extraktion, Transformation, Laden), des Speicherns und der Analyse Data Mart externe (Teil-)Sicht auf das Data Warehouse durch Kopieren anwendungsbereichsspezifisch OLAP (Online Analytical Processing) explorative, interaktive Analyse auf Basis des konzeptuellen Datenmodells Sattler / Saake Data-Warehouse-Technologien 28 Trennung operativer und analytischer Systeme Gründe Antwortzeitverhalten: Analyse auf operativen Quelldatensystemen schlechte Performance, Langfristige Speicherung der Daten Zeitreihenanalyse Zugriff auf Daten unabhängig von operativen Datenquellen (Verfügbarkeit, Integrationsproblematik) Vereinheitlichung des Datenformats im DW Gewährleistung der Datenqualität im DW Sattler / Saake Data-Warehouse-Technologien 29 Historie Wurzeln 60er Jahre: Executive Information Systems (EIS) qualitative Informationsversorgung von Entscheidern kleine, verdichtete Extrakte der operativen Datenbestände Aufbereitung in Form statischer Berichte Mainframe 80er Jahre: Management Information Systems (MIS) meist statische Berichtsgeneratoren Einführung von Hierarchieebenen für Auswertung von Kennzahlen (Roll-Up, Drill-Down) Client-Server-Architekturen, GUI (Windows, Apple) Sattler / Saake Data-Warehouse-Technologien 30 0

11 Historie 992: Einführung des Data-Warehouse-Konzeptes durch W.H. Inmon redundante Haltung von Daten, losgelöst von Quellsystemen Beschränkung der Daten auf Analysezweck 993: Definition des Begriffs OLAP durch E.F. Codd Dynamische, multidimensionale Analyse Weitere Einflussgebiete Verbreitung geschäftsprozeßorientierter Transaktionssysteme (SAP R/3) Bereitstellung von entscheidungsrelevanten Informationen Data Mining WWW (Web-enabled Data Warehouse etc.) Sattler / Saake Data-Warehouse-Technologien 3 Vorlesung: Zielstellungen Vermittlung von Kenntnissen zu Datenbanktechniken für Aufbau und Implementierung von Data Warehouses Anwendung bekannter DB-Techniken (siehe Vorlesung Datenbanken I ) Datenmodellierung, Anfragesprachen und -verarbeitung DW-spezifische Techniken multidimensionale Datenmodellierung spezielle Anfragetechniken Indexstrukturen materialisierte Sichten Sattler / Saake Data-Warehouse-Technologien 32 DW-Architektur Komponenten von DW und deren Aufgaben Datenbanken Datenquellen: Herkunftsort der Daten Arbeitsbereich: temporäre Datenbank für Transformation Data Warehouse: physische Datenbank für Analyse Repository: Datenbank mit Metadaten Sattler / Saake Data-Warehouse-Technologien 33

12 DW-Architektur Komponenten Data-Warehouse-Manager: zentrale Kontrolle und Steuerung Monitore: Überwachung der Quellen auf Veränderungen Extraktoren: Selektion und Transport der Daten aus Quellen in Arbeitsbereich Transformatoren: Vereinheitlichung und Bereinigung der Daten Ladekomponenten: Laden der transformierten Daten in das DW Analysekomponenten: Analyse und Präsentation der Daten Sattler / Saake Data-Warehouse-Technologien 34 Multidimensionales Datenmodell Datenmodell zur Unterstützung der Analyse Fakten und Dimensionen Klassifikationsschema Würfel Operationen: Pivotierung, Roll-Up, Drill-Down, Drill-Across, Slice und Dice Notationen zur konzeptuellen Modellierung Relationale Umsetzung Star-Schema, Snowflake-Schema Multidimensionale Speicherung Sattler / Saake Data-Warehouse-Technologien 35 Anfrageverarbeitung und -optimierung Gruppierung und Aggregation Supergroups, CUBE OLAP-Funktionen aus SQL:999 Star-Joins Optimierungsaspekte Histogramme, Sampling Mehrdimensionale Erweiterungen von Anfragesprachen MDX Sattler / Saake Data-Warehouse-Technologien 36 2

13 Index- und Speicherungsstrukturen Klassifikation Wiederholung: B-Baum und B*-Baum Mehrdimensionale Indexstrukturen R-Baum UB-Baum Bitmap-Index Vergleich Multidimensionale Speicherung Sattler / Saake Data-Warehouse-Technologien 37 Materialisierte Sichten Materialisierte Sicht (engl. materialized view): vorab berechneter Ausschnitt aus einer Faktentabelle Verwendung: Anfrageersetzung generalized projection Auswahl: Bestimmung der redundant gehaltenen Daten statische vs. dynamische Auswahlverfahren Semantisches Caching Wartung und Aktualisierung Sattler / Saake Data-Warehouse-Technologien 38 Metadaten und Datenqualität Metadatenmanagement Metadaten-Repository Standards für Metadaten Aspekte der Datenqualität Sattler / Saake Data-Warehouse-Technologien 39 3

14 OLAP und Data Mining OLAP Anforderungen OLAP-Operationen OLAP-Werkzeuge Data-Mining-Technikem Klassifikation, Assoziationsregeln, Clustering Sattler / Saake Data-Warehouse-Technologien 40 TPC-Benchmarks Vergleich der Leistungsfähigkeit von Datenbanken ( TPC-C: OLTP Benchmark TPC-H: Ad-hoc Decision Support (variable Anteile) TPC-R: Reporting Decision Support (feste Anfragen) TPC-W: ecommerce Transaktionsprocessing Vorgegebene Schemata (Lieferwesen) Schema-, Query- und Datengeneratoren Unterschiedliche DB-Größen TPC-H: 00 GB GB - TB - 3 TB QphH: Query per Hour Performance Sattler / Saake Data-Warehouse-Technologien 4 TPC-H: Schema PART REGION N NATION N SUPPLIER REGION N NATION N CUSTOMER ORDERS N N N PARTSUPP N LINEITEM N Sattler / Saake Data-Warehouse-Technologien 42 4

15 TPC-H: Anfragen SELECT c_name, c_custkey, o_orderkey, o_orderdate, o_totalprice, SUM(l_quantity) FROM customer, orders, lineitem WHERE o_orderkey IN (SELECT l_orderkey FROM lineitem GROUP BY l_orderkey HAVING SUM(l_quantity) > :) AND c_custkey = o_custkey AND o_orderkey = l_orderkey GROUP BY c_name, c_custkey, o_orderkey, o_orderdate, o_totalprice ORDER BY o_totalprice desc, o_orderdate; Sattler / Saake Data-Warehouse-Technologien 43 TPC-H: Zahlen (00 GB) Sattler / Saake Data-Warehouse-Technologien 44 TPC-H: Zahlen (3.000 GB) Sattler / Saake Data-Warehouse-Technologien 45 5

16 Produkte OLAP-Tools/Server MS Analysis Services, Hyperion, Cognos DW-Erweiterungen für RDBMS Oracle9i, IBM DB2, MS SQL Server: SQL- Erweiterungen, Indexstrukturen, mat. Sichten, Bulk-Load/Insert, ETL-Tools MS Data Transformation Services, Sattler / Saake Data-Warehouse-Technologien 46 Literatur Lehner: Datenbanktechnologie für Data- Warehouse-Systeme, dpunkt.verlag, 2003 Inmon: Building the Data Warehouse, John Wiley & Sons, 996 Bauer, Günzel (Hrg.): Data Warehouse Architektur, Entwicklung, Anwendung; dpunkt.verlag, 2000 Westerman: Data Warehousing: Using the Wal-Mart Model, Morgan Kaufman, 2000 Kurz: Data Warehousing: Enabling Technology; MITP, 999 Sattler / Saake Data-Warehouse-Technologien 47 6