1. Data Warehouses - Einführung

Transkript

1 1. Data Warehouses - Einführung Definitionen und Merkmale Grobdefinition Einsatzbeispiele DW-Merknmale nah Imnon OLTP vs. OLAP Grobarchitektur Virtuelle vs. phsische Datenintegration Mehrdimensionale Datensicht Stern-Schema und -Anfragen Data Mining Big Data SS14 Prof. Dr. E. Rahm 1-1 Ausgangsproblem Data Warehouses viele Unternehmen haben Unmengen an Daten ohne daraus ausreichend Informationen und Wissen für kritische Entscheidungsaufgaben ableiten zu können Data Warehouse (Def.): für Analsezwecke optimierte zentrale Datenbank die Daten aus mehreren i.a. heterogenen Quellen zusammenführt und verdichtet (Integration und Transformation) OLTP Online Transaction Processing operationale DB OLAP Online Analtical Processing Decision Support-Anfragen / Data Mining operationale DB operationale DB SS14 Prof. Dr. E. Rahm 1-2 Data Warehouse initiales Laden und periodisches Auffrischen des Warehouse

2 Szenario: Supermarktkette Umsatz Sortiment KAUFHIER Werbung Anfragen: Wie viele Pakete Windeln wurden letzten Monat verkauft? Wie hat sich der Verkauf von Bier und Wasser im letzten Jahr entwickelt? Wo sind unsere Top-Filialen? Von welchem Lieferanten beziehen wir das meiste Bier? Wie wirkten sich die Wernepreise für Produkt X aus? SS14 Prof. Dr. E. Rahm 1-3 Warenhauskette Einsatzbeispiele Verkaufszahlen und Lagerbestände aller Warenhäuser mehrdimensionale Analsen: Verkaufszahlen nach Produkten Regionen Warenhäusern Ermittlung von Kassenschlagern und Ladenhütern Analse des Kaufverhaltens von Kunden (Warenkorbanalse) Erfolgskontrolle von Marketing-Aktivitäten Minimierung von Beständen Optimierung der Produktpalette Optimierung der Preisgestaltung Versicherungsunternehmen Bewertung von Filialen Vertriebsbereichen Schadensverlauf... automatische Risikoanalse schnellere Entscheidung über Kreditkarten Lebensversicherung; Krankenversicherung... Banken Versandhäuser Restaurant-Ketten wissenschaftliche Einsatzfälle (z.b. Bioinformatik) SS14 Prof. Dr. E. Rahm 1-4

3 DW-Eigenschaften nach Inmon A Data Warehouse is a subject-oriented integrated non-volatile and time variant collection of data in support of managements decisions (W. H. Inmon Building the Data Warehouse 1996) Themenorientiert (subject-oriented): Zweck des Sstems ist nicht Erfüllung einer dedizierten Aufgabe (z.b. Personaldatenverwaltung) sondern Unterstützung übergreifender Auswertungsmöglichkeiten aus verschiedenen Perspektiven alle Daten - unternehmensweit - über ein Subjekt (Kunden Produkte Regionen...) und nicht versteckt in verschiedenen Anwendungen operationale DB Data Warehouse SS14 Prof. Dr. E. Rahm 1-5 DW-Eigenschaften nach Inmon (2) Integrierte Datenbasis (integrated): Daten aus mehreren verschiedenen Datenquellen Operational DB Data Warehouse DB A - mf DB B - male female DB C - x DB D - 10 m f inconsistent consistent SS14 Prof. Dr. E. Rahm 1-6

4 DW-Eigenschaften nach Inmon (3) Nicht-flüchtige Datenbasis (non-volatile): Daten im DW werden i.a. nicht mehr geändert stabile persistente Datenbasis Change Delete operationale DB Select Insert Load Data Warehouse Access regelmäßige Änderungen von Sätzen SS14 Prof. Dr. E. Rahm 1-7 DW-Eigenschaften nach Inmon (4) Historische Daten (time-variant): Vergleich der Daten über Zeit möglich (Zeitreihenanalse) Speicherung über längeren Zeitraum operationale DB Time Varianc Data Warehouse aktuelle Datenwerte: Zeitbezug optional Zeithorizont: Tage Daten änderbar Schnappschuß-Daten Zeitbezug aller Objekte Zeithorizont: 2-10 Jahre keine Änderung nach Schnappschuß-Erstellung SS14 Prof. Dr. E. Rahm 1-8

5 Operationale Datenbanken vs. Data Warehouses (OLTP vs. OLAP) Operationale Datenbanken /OLTP Data Warehouses/OLAP Entstehung Bedeutung Nutzer Datenzugriff Änderungen #Datenquellen für je eine Applikation / eine Perspektive Tagesgeschäft Sachbearbeiter Online-Nutzer sehr häufiger Zugriff; kleine Datenmengen pro Operation; Lesen Schreiben Modifizieren Löschen sehr häufig meist eine pro Anwednung Datenmerkmale Optimierungsziele nicht abgeleitet zeitaktuell autonom dnamisch hoher Durchsatz sehr kurze Antwortzeiten (ms.. s) hohe Verfügbarkeit SS14 Prof. Dr. E. Rahm 1-9 Warum separates Data Warehouse? Unterschiedliche Nutzung und Datenstrukturierung Performance OLTP optimiert für kurze Transaktionen und bekannte Lastprofile komplexe OLAP-Anfragen würden gleichzeitige OLTP-Transaktionen des operationalen Betriebs drastisch verschlechtern spezieller phsischer und logischer Datenbankentwurf für multidimensionale Sichten/Anfragen notwendig Transaktionseigenschaften (ACID) nicht wichtig Funktionalität historische Daten Konsolidierung (Integration Bereinigung und Aggregation) von Daten aus heterogenen Datenquellen Sicherheit Nachteile der separaten Lösung Datenredundanz Daten nicht vollständig aktuell hoher Administrationsaufwand hohe Kosten SS14 Prof. Dr. E. Rahm 1-10

6 Grobarchitektur einer DW-Umgebung Führungs - Informationsssteme Entscheidungsunterstützungsssteme Business- Intelligence Berichts- und Abfragessteme Designer Workbench Repositor Data Marts Cubes Data Administator Workbench Metadaten Zentrale Datenbasis Warehouse Daten-Extraktion / -Transformation / -Laden DB2 ORACLE Files Interne Daten Externe Daten operative Datenquellen Datenflüsse Metadatenf lüsse SS14 Prof. Dr. E. Rahm 1-11 DW-Prozesse Data Warehousing umfaßt mehrere Teilprozesse Entwurf ( design it ) Aufbau ( build it populate ) Nutzung ( use it analze ) sowie Betrieb und Administration ( maintain it / administer ) Entwurf Aufbau Nutzung Betrieb Metadaten DW ist meist kein monolithisches Sstem meist Nutzung von Tools / Komponenten unterschiedlicher Hersteller sowie eigenprogrammierten Anteilen zentrale Bedeutung der Metadaten jedoch oft unzureichend unterstützt SS14 Prof. Dr. E. Rahm 1-12

7 Datenintegration: phsisch vs. virtuell Phsische (Vor-) Integration (Data Warehousing) Virtuelle Integration (Mediator/Wrapper-Architekturen föderierte DBS) Front-End Tools Client 1 Client k Data Marts Metadaten Metadaten Data Warehouse Mediator / FDBS Import (ETL) Wrapper 1 Wrapper m Wrapper n Operationale Sseme Source 1 (DBS 1) Source m (DBS j) Source n SS14 Prof. Dr. E. Rahm 1-13 Datenintegration: phsisch vs. virtuell (2) Integrationszeitpunkt: Metadaten Integrationszeitpunkt: Daten Aktualität der Daten Autonomie der Datenquellen Erreichbare Datenqualität Analsezeitbedarf für große Datenmengen Hardwareaufwand Phsisch (Data Warehouse) Vorab (DW-Schema) vorab Virtuell Vorab (globale Sicht) Dnamisch (zur Anfragezeit) Skalierbarkeit auf viele Datenquellen SS14 Prof. Dr. E. Rahm 1-14

8 Mehrdimensionale Datensicht Ost Kennzahlen (Fakten Measures) Q 2Q 3Q 4Q Nord Süd West Elektronik Fahrzeuge Lebensmittel Software Region Branche Dimensionen Kennzahlen: numerische Werte als Grundlage für Aggregationen/Berechnungen (z.b. Absatzzahlen Umsatz etc.) Dimensionen: beschreibende Eigenschaften Operationen: Zeit Aggregierung der Kennzahlen über eine oder mehrere Dimension(en) Slicing and Dicing: Bereichseinschränkungen auf Dimensionen SS14 Prof. Dr. E. Rahm 1-15 Hierarchische Dimensionierung Region Branche Zeit Bundesland Produktgruppe Jahr Ort Produkt Quartal Monat Woche Operationen zum Wechsel der Dimensionsebenen Drill-Down Roll-Up SS14 Prof. Dr. E. Rahm 1-16 Tag

9 OLAP (Online Analtical Processing) interaktive multidimensionale Analse auf konsolidierten Unternehmensdaten Merkmale / Anforderungen multidimensionale konzeptionelle Sicht auf die Daten unbegrenzte Anzahl an Dimensionen und Aggregationsebenen unbeschränkte dimensionsübergreifende Operationen intuitive interaktive Datenmanipulation und Visualisierung transparenter (integrierter) Zugang zu heterogenen Datenbeständen mit logischer Gesamtsicht Skalierbarkeit auf große Datenmengen stabile volumenunabhängige Antwortzeiten Mehrbenutzerunterstützung Client/Server-Architektur SS14 Prof. Dr. E. Rahm 1-17 Multidimensional vs. relational Q 2Q 3Q 4Q Ost Nord Süd West Elektronik Fahrzeuge Lebensmittel Software Region Branche Bestellnr Region Branche Zeit Menge 1406 Ost Fahrzeuge 2Q West Elektronik 1Q Süd Fahrzeuge 2Q Ost Lebensmittel 4Q Nord Software 1Q Ost Elektronik 4Q 2 Zeit multidimensionale Darstellung (MOLAP): Kreuzprodukt aller Wertebereiche mit aggregiertem Wert pro Kombination Annahme: fast alle Kombinationen kommen vor relationale Darstellung (ROLAP): Relation: Untermenge des Kreuzproduktes aller Wertebereiche nur vorkommende Wertekombinationen werden gespeichert (Tupel) Hbrides OLAP (HOLAP): ROLAP + MOLAP SS14 Prof. Dr. E. Rahm 1-18

10 Star-Schema zentrale Faktentabelle sowie 1 Tabelle pro Dimension Kunde Zeit KundenNr KundenName Geschlecht Alter Produkt ProduktNr ProduktName Produktgruppe Branche Hersteller Farbe Preis Verkauf KundenNr ProduktNr Datum Fname Anzahl Umsatz Datum Tag Monat Quartal Jahr Filiale Fname Ort Land Region SS14 Prof. Dr. E. Rahm 1-19 Anfragen Beispielanfrage: Welche Auto-Hersteller wurden von weiblichen Kunden in Sachsen im 1. Quartal 2013 favorisiert? select p.hersteller sum (v.anzahl) from Verkauf v Filialen f Produkt p Zeit z Kunden k where z.jahr = 2013 and z.quartal = 1 and k.geschlecht = W and p.produkttp = Auto and f.land = Sachsen and v.datum = z.datum and v.produktnr = p.produktnr and v.filiale = f. FName and v.kundennr = k.kundennr group b p.hersteller; Star-Join sternförmiger Join der (relevanten) Dimensionstabellen mit der Faktentabelle Einschränkung der Dimensionen Verdichtung der Kennzahlen durch Gruppierung und Aggregation SS14 Prof. Dr. E. Rahm 1-20

11 (Ad Hoc-) Quer-Tools Analsewerkzeuge Reporting-Werkzeuge Berichte mit flexiblen Formatierungsmöglichkeiten OLAP-Tools interaktive mehrdimensionale Analse und Navigation (Drill Down Roll Up...) Gruppierungen statistische Berechnungen... Data Mining-Tools Darstellung Tabellen insbesondere Pivot-Tabellen (Kreuztabellen) Analse durch Vertauschen von Zeilen und Spalten Veränderung von Tabellendimensionen Graphiken sowie Text und Multimedia-Elemente Nutzung über Web-Browser Speadsheet-Integration SS14 Prof. Dr. E. Rahm 1-21 Beispiel: OLAP-Ausgabe (Excel) Oct Dec Jan Mar Apr Jun Jul Sep Oct Dec Jan Mar Apr Jun Jul Sep IPHONE Q1 Q2 Q3 Q4 IPAD Q1 Q2 Q3 Q Verkaufszahlen in TSD (Apple) SS14 Prof. Dr. E. Rahm 1-22

12 Jahresabsatz #Produkte (in TSD) Jahresumsatz nach Produkttp (in Mio $) IPAD Iphone MAC SS14 Prof. Dr. E. Rahm 1-23 Knowledge Discover Selektion Vorverarbeitung/ Transformation Rohdaten Daten Data Mining Daten Interpretation Muster Wissen SS14 Prof. Dr. E. Rahm 1-24

13 Data Mining: Techniken Data Mining: Einsatz statistischer und wissensbasierter Methoden auf Basis von Data Warehouses Auffinden von Korrelationen Mustern und Trends in Daten Knowledge Discover : setzt im Gegensatz zu OLAP ( knowledge verification ) kein formales Modell voraus Clusteranalse Objekte werden aufgrund von Ähnlichkeiten in Klassen eingeteilt (Segmentierung) Bsp.: ähnliche Kunden ähnliche Website-Nutzer... Assoziationsregeln Warenkorbanalse (z.b. Kunde kauft A und B => Kunde kauft C) Klassifikation Klassifikation von Objekten Erstellung von Klassifikationsregeln / Vorhersage von Attributwerten (z.b. guter Kunde wenn Alter > 25 und... ) mögliche Realisierung: Entscheidungsbaum SS14 Prof. Dr. E. Rahm 1-25 Beispiel Warenkorbanalse SS14 Prof. Dr. E. Rahm 1-26

14 Big Data SS14 Prof. Dr. E. Rahm 1-27 Massives Wachstum an Daten: Big Data Gartner-Schätzungen: pro Tag werden 2.5 Exabtes an Daten generiert 90% aller Daten weltweit wurden in den 2 letzten Jahren erzeugt. SS14 Prof. Dr. E. Rahm 1-28

15 Big Data Challenges Volume Variet Velocit: Veracit: Skalierbarkeit von Terabtes nach Petabtes (1K TBs) bis Zettabtes (1 Milliarde TBs) variierende Komplexität: strukturiert teilstrukturiert Text / Bild / Video Near-Realtime Streaming Vertrauenswürdigkeit Value Erzielen des (wirtschaftl.) Nutzens durch Analsen SS14 Prof. Dr. E. Rahm 1-29 Potentiale für Big Data-Technologien Daten sind Produktionsfaktor ähnlich Betriebsmitteln und "Humankapital " Essentiell für viele Branchen und Wissenschaftsbereiche Valide Grundlage für zahlreiche Entscheidungsprozesse Vorhersage/Bewertung/Kausalität von Ereignissen Kurzfristige Analsen von Realdaten im Geschäftsleben Beispiele Nutzungsanalse auf Web-Sites Empfehlungsdienste (Live Recommendations) Analse/Optimierung von Werbe-Massnahmen Smart Cities Smart House Industrie 4.0 Personalisierte Medizin Kriminalistik SS14 Prof. Dr. E. Rahm

16 Analse-Pipeline für Big Data SS14 Prof. Dr. E. Rahm 1-31 Zusammenfassung Data Warehousing: DB-Anfrageverarbeitung und Analsen auf integriertem Datenbestand für Decision Support (OLAP) riesige Datenvolumina Hauptschwierigkeit: Integration heterogener Datenbestände sowie Bereinigung von Primärdaten Phsische Datenintegration ermöglicht aufwändige Datenbereinigung effiziente Analse auf großen Datenmengen Mehrdimensionale Datenmodellierung und -organisation Breites Spektrum an Auswertungs- und Analsemöglichkeiten Data Mining: selbständiges Aufspüren relevanter Muster in Daten Big Data: Datenanalsen auf großen Mengen integrierter Daten SS14 Prof. Dr. E. Rahm 1-32