Data Warehousing und Data Mining

Transkript

1 Data Warehousing und Data Mining Architektur und Komponenten von Data Warehouses Ulf Leser Wissensmanagement in der Bioinformatik

2 Data Warehouse Redundante Datenhaltung DWH kann unabhängig von Quellen entworfen werden Optimiert für andere Arten von Anfragen Quellen werden nur bei periodischen Uploads belastet Heterogenität muss beim Upload abgefangen werden Ulf Leser: Data Warehousing and Data Mining 2

3 Inhalt dieser Vorlesung Definition & Einbettung Architektur & Komponenten ETL: Extraction, Transformation, Load Ulf Leser: Data Warehousing and Data Mining 3

4 Definition DWH A DWH is a subject-oriented, integrated, non-volatile, and time-variant collection of data in support of management s decisions [Inm96] Subj-oriented: Verkäufe, Personen, Produkte, etc. Integrated: Erstellt aus vielen Quellen Non-Volatile: Hält Daten unverändert über die Zeit Time-Variant: Vergleich von Daten über die Zeit Decisions: Wichtige Daten rein, unwichtige raus Ulf Leser: Data Warehousing and Data Mining 4

5 Geschichte von DWH Managementinformationssysteme (MIS), Decision Support Systeme (DSS), Executive Information Systeme (EIS) Seit den 60er Jahren Feste, programmierte Reports Doppelte Datenhaltung teuer Downtimes für operative Sys. Nur einfachste Analysemethoden (Data Mining) Keine User-Interaktion, keine Ad-Hoc Queries Schattendasein Ulf Leser: Data Warehousing and Data Mining 5

6 Erfolg von DWH Top-Thema seit Mitte der 90er Jahre Voraussetzungen Extreme Verbilligung von Plattenspeicherplatz Relationale Modellierung: Anwendungsneutral IT in allen Unternehmensbereichen (z.b. SAP R/3) Vernetzung und Standardisierung (SQL) Trend zur rationalen Entscheidungsfindung im Unternehmen Grafische Nutzerinterfaces, Trend zur Interaktion Aber Vision der vollständigen Integration scheitert bisher (immer wieder aufs neue) Soziale versus technische Aspekte Ulf Leser: Data Warehousing and Data Mining 6

7 Betriebswirtschaftliche Sicht Ein DWH Ermöglicht viele neue Fragen Verbessert viele Antworten erheblich... durch... Direkter Zugriff auf integrierte Daten Übergreifende, vergleichende, historische Analysen Produkte, Niederlassungen, Kunden, Bessere Datenqualität Fehlerminimierung, Ergänzung, Plausibilitätschecks Korrektur von Fehlern ist im DWH vertretbar, aber nicht in den operativen Systemen (Originaldaten) Anreicherung mit externen Daten Externe Kundenprofile, geographische Daten, Ulf Leser: Data Warehousing and Data Mining 7

8 Informatische Sicht Operative Systeme Kassensysteme, Bestellabwicklung, Lagerverwaltung Viele Benutzer, kurze Transaktionen, einfache Queries Echtzeit -Anforderungen Kurzes Gedächtnis OLTP (Online Transaction Processing) DWH Sortimentplanung, Kapazitätsplanung, Marketing Wenige(r) Benutzer, komplexe Queries, nur lesend Zeitlich weniger kritisch Historische Daten OLAP (Online Analytical Processing) Ulf Leser: Data Warehousing and Data Mining 8

9 OLTP Beispiel Login Willkommen Bestellung Best. löschen SELECT pw FROM kunde WHERE login=... UPDATE kunde SET last_acc=date, tries=0 WHERE... COMMIT SELECT k_id, name FROM kunde WHERE login=... SELECT last_pur FROM purchase WHERE k_id= COMMIT SELECT av_qty FROM stock WHERE p_id=... UPDATE stock SET av_qty=av_qty-1 where... INSERT INTO shop_cart VALUES( o_id, k_id, COMMIT DELETE FROM shop_cart WHERE o_id=... UPDATE stock SET av_qty=av_qty+1 where COMMIT Ulf Leser: Data Warehousing and Data Mining 9

10 OLAP Beispiel Welche Produkte hatten im letzten Jahr im Bereich Bamberg einen Umsatzrückgang um mehr als 10%? Welche Produktgruppen sind davon betroffen? Welche Lieferanten haben diese Produkte? Welche Kunden haben über die letzten 5 Jahre eine Bestellung über 50 Euro innerhalb von 4 Wochen nach einem persönlichen Anschreiben aufgegeben? Wie hoch waren die Bestellungen im Schnitt? Wie hoch waren die Bestellungen im Vergleich zu den durchschnittlich. Bestellungen des selben Kunden in einem vergleichbaren Zeitraum? Lohnen sich Mailing-Aktionen? Haben Zweigstellen einen höheren Umsatz, die gemeinsam gekaufte Produkte zusammen stellen? Welche Produkte werden überhaupt zusammen gekauft und wo? Ulf Leser: Data Warehousing and Data Mining 10

11 OLAP versus OLTP Typische Operationen OLTP Insert, Update, Delete, Select OLAP Select (Bulk-Inserts) Transaktionen Viele und kurz Nur lesend Typische Anfragen Einfache Queries, Primärschlüsselzugriff, Schnelle Abfolgen von Selects/inserts/updates/ deletes Komplexe Queries: Aggregate, Gruppierung, Subselects, etc. Bereichsanfragen über mehrere Attribute Aggregate mit komp. Rechnungen Daten pro Operation Wenige Tupel Mega-/ Gigabyte Datenmenge in DB Gigabyte Terabyte Datenart Erwartete Antwortzeiten Rohdaten, häufige Änderungen, nur intern Echtzeit bis wenige Sekunden Abgeleitete Daten, historisch & stabil, externe Daten I.A. nicht zeitkritisch (aber UI-Erlebnis) Modellierung Anwendungsorientiert Themenorientiert Typische Benutzer Elektronische Systeme (Sachbearbeiter) Management Ulf Leser: Data Warehousing and Data Mining 11

12 Inhalt dieser Vorlesung Definition & Einbettung Architektur & Komponenten ETL: Extraction, Transformation, Load Ulf Leser: Data Warehousing and Data Mining 12

13 Grobarchitektur: Hubs and Spokes Abgeleitete Sichten Mart 1 Mart 2 Mart 3 Mart 4 Aktualisierungen DWH Basisdatenbank Quelle 1 RDBMS Quelle 2 IMS Quelle 3 Textfile Quellsysteme Ulf Leser: Data Warehousing and Data Mining 13

14 Verfeinerung: DWH Architektur Monitoring Qrtl. 2. Qrtl. 3. Qrtl. Analysewerkzeuge Data Mining Ost West Nord 4. Qrtl. Quelle 1 RDBMS Staging Area Metadaten Mart 2 Quelle 2 IMS Staging Area Cube Mart 1 Datenquellen Arbeitsbereich Basisdaten Abgeleitete Sichten Ulf Leser: Data Warehousing and Data Mining 14

15 Langlebigkeit Qrtl. 2. Qrtl. 3. Qrtl. 4. Qrtl. Ost West Nord Quelle 1 RDBMS Metadaten Staging Area Mart 2 Quelle 2 IMS Staging Area Cube Mart 1 Flüchtig Persistent Ulf Leser: Data Warehousing and Data Mining 15

16 Alternativen Physikalische Aufteilung variabel Data Marts auf eigenen Rechnern (Laptop) Staging Area auf eigenen Servern Metadaten auf eigenem Server (Repository) Metadaten Quelle 1 RDBMS Quelle 2 IMS Staging Area Staging Area Cube Mart 2 Mart 1 Ulf Leser: Data Warehousing and Data Mining 16

17 Datenquellen Meist heterogen Technisch: RDBMS, IMS, Access Mainframe, COBOL, Textfiles,... Logisch: Schema, Format, Repräsentation,... Syntaktisch: Datum, Währung,... Qualität: Fehlende / falsche Werte, Duplikate,... Rechtlich: Datenschutz (Kunden & Mitarbeiter) Zugriff Push: Quelle erzeugt (regelmäßig) Extrakte Pull: DWH fragt Änderungen ab Individuelle Behandlung notwendig Qrtl. Qrtl. Qrtl. Qrtl. Ulf Leser: Data Warehousing and Data Mining 17

18 Arbeitsbereich Qrtl. Qrtl. Qrtl. Qrtl. Temporärer Speicher ETL Arbeitsschritte effizienter implementierbar Mengenoperationen, SQL Zugriff auf Basisdatenbank möglich Vergleich zwischen Datenquellen möglich Filtern: Nur einwandfreie Daten in Basisdatenbank übernehmen Ulf Leser: Data Warehousing and Data Mining 18

19 Basisdatenbank (Cube) Qrtl. Qrtl. Qrtl. Qrtl. Zentrale Komponente des DWH Speichert Daten in feinster Auflösung Einzelne Verkäufe, einzelne Bons, Historische Daten Große Datenmengen Spezielle Modellierung Spezielle Optimierungsstrategien Ulf Leser: Data Warehousing and Data Mining 19

20 Analyseorientiertes DWH Klassische Datenmodellierung Ziele: Redundanzvermeidung / Integritätswahrung / hoher Durchsatz bei nebenläufigem Zugriff Normalformen, Fremdschlüssel, Satzsperren Für Lesen und Schreiben geeignet Ergebnis: Viele Relationen, unübersichtliches Schema Orientiert sich an technischen Anforderungen Nur für Informatiker Im DWH: Multidimensionale Modellierung Modellierung von Business Entities (Produkte, Kunde, ) Zentriert auf Geschäftsziel: Verkäufe (meistens) Übersichtliches, leicht verständliches Modell Für Nicht-Informatiker Ulf Leser: Data Warehousing and Data Mining 20

21 Beispiel: Normalisiertes Schema year id year customer id name cust_class discount customer_id productg_id discount line_item order_id product_id amount single_price productgroup id name product id productgroup_id month id Month year_id day id day month_id session id cust_id day_id time order id session_id supply_id total_amount order_status order_id supply_id status supply_station id region_id region id name Ulf Leser: Data Warehousing and Data Mining 21

22 Multidimensionales Schema customer id name cust_class time id day month year line_item order_id product_id amount single_price discount_rate product id name product_group supply id region Technische Informationen raus (Session) Vereinfachung / Denormalierung (discount_rate) Fokus auf Verkäufe (line_item) Ulf Leser: Data Warehousing and Data Mining 22

23 time Cube DVD Verkäufe in Hessen in Sales Cube Hessen NRW region Bücher CD Gesch. DVD produkt_group Ulf Leser: Data Warehousing and Data Mining 23

24 Abgeleitete Sichten Typische Anfragen Aggregiert und gruppiert Verkäufe nach Monat und Lieferant nach Niederlassung und Produkt Probleme bei Auswertung Queries scannen sehr großer Datenbestände Hohe Detailstufe des Cubes für viele Anfragen nicht notwendig Vorab-Erstellung von abgeleiteten Daten Technisch: Materialisierte Sichten Prä-aggregiert, angereichert, gefiltert, automatisch aktualisiert Architektur: Data Marts Qrtl. Qrtl. Qrtl. Qrtl. Ulf Leser: Data Warehousing and Data Mining 24

25 Datenanalyse OLAP Operationen Viele kommerzielle Systeme SAS, SPSS, BusinessObjects, Cognos, Excel, Funktionalität Grafische Oberflächen zur Navigation (Cube) Interaktive Datenauswahl, Filtering, Chaining,... Präsentation: Grafiken, Tabellen, Reports,... Management: Zugriffsrechte, Scheduling, Standardreports versus Ad-hoc Anfragen Gutes UI verlangt sehr schnelle Antwortzeiten Qrtl. Qrtl. Qrtl. Qrtl. Ulf Leser: Data Warehousing and Data Mining 25

26 Data Mining Finden verborgender, nicht-trivialer Informationen Bereiche Statistische Analyse Maschinelle Lernverfahren Knowledge Discovery in Databases (KDD) Suche nach Auffälligkeiten, Mustern, Regeln Viele Kunden, die Windeln kaufen, kaufen auch Bier Suche nach Erklärungsmodellen Modell: Abstraktion der Wirklichkeit Korrelation versus Kausalität Ulf Leser: Data Warehousing and Data Mining 26

27 Metadatenrepository Qrtl. Qrtl. Qrtl. Qrtl.... key success factor in DWH... Quellbeschreibungen, Datentypen, Skripte, Prozessbeschreibungen, Schema, Zugriffsgruppen, Sichtdefinitionen, Versionskontrolle, Konfigurationsmanagement,... Erweiterung des klassischen DB-Systemkatalogs Ziele Nachvollziehbarkeit der Prozesse Zentrale Steuerung der Prozesse Standards: IRDS, OIM, CWM,... Ulf Leser: Data Warehousing and Data Mining 27

28 Oracle Warehouse Builder Ulf Leser: Data Warehousing and Data Mining 28

29 Inhalt dieser Vorlesung Qrtl. Qrtl. Qrtl. Qrtl. Definition & Einbettung Architektur & Komponenten ETL: Extraction, Transformation, Load Ulf Leser: Data Warehousing and Data Mining 29

30 ETL - Extraktion Filtern der richtigen Daten aus den Quellen Korrekt und relevant (für das Ziel des DWH) Bereitstellung der Datenfiles im gewünschten Format zum gewünschten Zeitpunkt am gewünschten Ort Kontinuierliche Datenversorgung des DWH Producer - Consumer Quelle informiert über Änderungen DWH konsumiert Änderungen Ulf Leser: Data Warehousing and Data Mining 30

31 ETL - Transformation Transformation der Daten in eine DWH-gerechte Form Schema, Format, Semantik Laden soll so schnell wie möglich gehen Erledigung vieler Teilschritte außerhalb des DWH Arten von Transformationen Schema-/ Formattransformationen Datentransformationen Transformationen möglich an zwei Stellen Transformation der Quell-Extrakte in Load-Files Transformation von Staging-Area nach Basis-DB Ulf Leser: Data Warehousing and Data Mining 31

32 ETL - Laden Effizientes Einbringen der neuen Daten in das DWH Techniken SQL Satzbasiert Standardschnittstellen: Embedded SQL, JDBC,... Einzelne Operationen oder proprietäre Erweiterungen Array Insert Beachtung und Aktivierung aller Datenbankverfahren Trigger, Indexaktualisierung, Transaktionen,... BULK Loader Funktionen DB-spezifische Erweiterungen zum Laden großer Datenmengen Benutzung von Anwendungsschnittstellen Bei manchen Produkten notwendig (SAP) Ulf Leser: Data Warehousing and Data Mining 32

33 Beispiel Handelshaus, Daten einer Woche, 1 Filiale Laden mit voller Qualitätskontrolle Laden mit partieller Datenverbesserung Nur Laden 10 min 2 min 45 sec Handelshaus, Daten einer Woche, 2000 Filiale Laden mit voller Qualitätskontrolle 330h = 14d Laden mit partieller Datenverbesserung 67 h = 2,8d Nur Laden 25h = 1d Ulf Leser: Data Warehousing and Data Mining 33