Data Warehouses. Kapitel 2 Architektur. Sommersemester Melanie Herschel melanie.herschel@uni-tuebingen.de

Transkript

1 Data Warehouses Sommersemester 2011 Melanie Herschel Lehrstuhl für Datenbanksysteme, Universität Tübingen Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 2

2 Die Vogelperspektive Heterogene und autonome Datenquellen. Data Warehouse sammelt Daten der Quellen und speichert diese gebündelt in Basisrelationen. Data-Warehouse-System Data Mart 1 Teilsichten über DW Data Mart 2 Data Mart 3 Verschiedene Sichten () über die Relationen im Data Warehouse werden Anwendungen zur Verfügung gestellt. Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen 3 Detailansicht Data-Warehouse-System Data Mart 1 Teilsichten über DW Data Mart 2 Data Warehouse (DW) Basisrelationen Data Mart 3 Datenanalyse DB2 Oracle XML Datenquellen Datenbereitstellung Datenkonsolierung Basisdaten Transformation Datenbeschaffung & Transformation (staging area) Nach Wolfgang Lehner, Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag,

3 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Systeme und Dateinen, die als Datenlieferenaten dienen. Meist sehr heterogen (siehe Klassifikation auf folgender Folie) Zugriff durch das Data-Warehouse-System Push: Quelle erzeugt regelmäßig Extrakte Pull: Data-Warehouse stößt Zugriff an Jede Quelle muss indivuell behandelt werden. 5 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Heterogenität Syntaktische Heterogenität Strukturelle Heterogenität Semantische Heterogenität Hardware Software Schnittstellen Datenmodell Schematisch Namenskonflikte Identität Datenkonflikte Bandbreite OS CPU Protokolle Hauptspeicher Sicherheit HTLM SQL XQuery... Relational OO... Attribut vs. Wert Relation vs. Wert Attributbenennung Normalisierung Schachtelung... Konzept Synonym Homonym Einheiten... Unterschiedliche Darstellung des gleichen Objekts Fehlende Daten Wiedersprüchliche Daten 6

4 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Quellsystem 1 Produkt p_ Name Preis Typ 1 Matrix 9.99 Blue Ray 2 Der Pate $12.45 DVD 3 Dirty Dancing 7.50 Veo Quellsystem 2 Produkt kennung Beschreibung dvd veo blueray P1 The Matrix nein nein ja P2 The Godfather ja nein nein P3 Moulin Rouge nein nein ja Verkauf p_ wagen_ anzahl datum /1/ /1/ /2/ /3/ Lagerbestand l p_kennung lagerbestand letzte_beschaffung 1 PDVD PDVD PDVD PDVD Gegeben die oben beschriebenen Quellsysteme 1 und 2, welche Arten der Heterogenität erkennen Sie? 7 Bestandteile eines Data-Warehouse-Systems Datenbeschaffung und Transformation Ziel: Integration der extrahierten Daten Relevante lokale Daten (Daten aus den Datenquellen) werden physisch in die Kontrollsphäre des Data Warehouse gebracht (load time). Säuberung und Anpassung der Daten (Transformation) Prüfung ausreichender Datenqualität Zusammenführung lokaler Daten zu einem globalen Gesamtbild Zwischenergebnisse werden nur temporär gespeichert. Der Bereich zur Datenbeschaffung und Transformation wird oft staging area genannt. 8

5 Bestandteile eines Data-Warehouse-Systems Datenbeschaffung und Transformation Transformation der Datenbestände aus den Quellsystemen 1 und 2 Schemaebene Produkt_Integriert Neues Feld Name = Beschreibung Name Preis Währung typ Preis aufgeteilt in Preis + Währung 1 The Matrix 9.99 EUR Blue Ray Typdarstellung aus Quelle 1 übernommen 2 The Godfather USD DVD Datenebene 3 Dirty Dancing 7.50 EUR Veo Werte für Feld generiert 4 Moulin Rouge NULL NULL Blue Ray Identität von Filmen überprüft Englische Namen übernommen Preis von Währungszeichen befreit Währung aus Preisangaben abgeleitet Verkauf typ aus Quelle 1 und 2 integriert wagen_ anzahl datum Schemaebene /1/2010 Quelle 1 einziger Datenlieferant für Verkauf --> Schema übernommen (bis auf ) /1/2010 Datenebene /3/2011 Werte für Feld anhand von Produkt. generiert Irrelevante Tupel (anzahl = 0) gefiltert Lagerbestand l lagerbestand letzte_beschaffung /4/ /3/ /1/ /2/ Schemaebene Quelle 2 einziger Datenlieferant für Lagerbestand --> Schema übernommen (bis auf ) Datenebene Werte für Feld anhand von Produkt. generiert Datumsformat angepasst Unzulässige Werte (lagerbestand < 0) korrigiert 9 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung basis Realisiert eine organisationsweite, anwendungsunabhängige Speicherung aller relevanten. Gibt somit einen Überblick über Vorgänge und Zustände einer Organisation, die im Rahmen des Data-Warehouse-Konzepts abgespeichert werden. Ziel: Aktualisierung der konsolierten Datenbasis im Data Warehouse Hinzufügen der neu integrierten Daten zum Datenbestand das Data Warehouse (refresh time) Schema Schemaentwurf nach Regeln des relationalen Schemaentwurfs (Normalisierung, Vermeung von Redundanz) Oft Ergebnis der Schemaintegration der einzelnen Quellsysteme 10

6 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung Schemaintegration Gegeben eine Menge von Quellen Qi mit jeweiligen Schemata Si, so finde ein Schema S = Si, wobei es sich bei um eine semantische Vereinigung handelt. Schemaintegration aufgrund von Heterogenität problematisch, insb. aufgrund der Semantik von Schemaelementen. Was speichert die Relation KVMU? Was speichert das Feld Produkt.ANS? Was speichert das Feld Name? (Filmtitel, Schauspielername, Untertitel,...) Was ist Preis? (Steuer, Währung, Rabatte,...?) Schemaintegration bisher nicht automatisierbar, sondern semi-automatisch und interaktiv. Aktives Forschungsfeld: entifizieren von Korrespondenzen zwischen Schemaattributen (schema matching) (z.b. Name = Beschreibung). 11 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung Beispiel: Normalisiertes Schema Beispiel eines normalisierten Schemas einer konsolierten Datenbasis year year customer name cust_class discount customer_ productg_ discount line_item order_ product_ amount single_price productgroup name product productgroup_ month Month year_ day day month_ session cust_ day_ time order session_ supply_ total_amount order_status order_ supply_ status supply_station region_ region name Ulf Leser: DWH und DM, Sommersemester

7 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung Probleme der konsolierten Datenbasis Viele Relationen, unübersichtliches Schema Viele Joins in (fast) allen Queries notwendig, Optimierung schwierig Joins lenken vom Analyseziel ab man möchte lieber mit Begriffen des Geschäftsprozesses umgehen Lösung: multimensionale Modellierung in dispositiver Datenbasis 13 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung basis Die dispositive Datenbasis hält Daten in einer anwendungsorientierten und optimierten Form für geplante Auswertungsszenarien vor. Ziel der Datenbereitstellung: Aktualisierung der dispositiven Datenbasis, abgeleitet von der konsolierten Datenbasis. Schemaentwurf für Anwendung optimiert (Star/Snowflake-schema) Detailgrad der Daten ebenfalls der Anwendung angepasst. Möglich sind auch verschiedene Detailstufen (Aggregation), die explizite Redundanz erzeugen. 14

8 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung Multimensionales Schema Beispiel eines normalisierten Schemas einer konsolierten Datenbasis customer name cust_class time day month year line_item Star order_ schema product_ amount single_price discount_rate product name product_group supply region Technische Informationen raus (Session) Nur abgeschlossene Bestellungen aufnehmen (Orderstatus) Zusammenfassen (discount_rate) Denormalisieren (überall) Konzentration auf Businessobjekte und -prozesse Ulf Leser: DWH und DM, Sommersemester Bestandteile eines Data-Warehouse-Systems Datenanalyse Bereich zur Datenanalyse umfasst alle Datenbasen und Systeme, die zur konkreten Interaktion mit dem Nutzer / Auswertungsanwendungen dienen. Spezialisierte Sichten über dispositive Datenbasis, sogenannte data marts, werden hier für bestimmte Anwendungen bereitgestellt. Sichten in klassischen relationalen Datenbanken: gespeicherte Anfragen, Anfrageausführung bei jeder Verwendung der Sicht. Da wiederholter Zugriff auf große dispositive Datenbasis zu teuer, verwenden Data Warehouses materialisierte Sichten, die Anfrageergebnis speichern. Interessante Probleme Aktualisierung der Sichten (view maintenance) Auswahl der Sichten, da eine Sicht für mehr als nur eine Analyseanfrage nutzbar (view selection) 16

9 Bestandteile eines Data-Warehouse-Systems Datenanalyse Beispiel möglicher Sichten customer_class_per_product customer_class product_name product_class count Class 1 The Matrix Blue Ray 5000 Class 2 The Matrix Blue Ray 2000 Class 1 Dirty Dancing Veo 1000 Class 2 Dirty Dancing Veo product_sales_per_region region product_name product_class income Europe The Matrix Blue Ray 50,000 North America The Matrix Blue Ray 100,000 Asia The Matrix Blue Ray 90,000 Europe The Godfather DVD 150, Fallen Ihnen Analyseanfragen ein, die Sie ebenfalls anhand dieser been Sichten beantworten können? 17 Bestandteile eines Data-Warehouse-Systems Metadata Repository Ziele Nachvollziehbarkeit der Prozesse Vermeung von Fehlinterpretationen Technische Beschreibung des Data Warehouse Anforderungen an -Verwaltung / Repository Vollständige Bereitstellung aller relevanten auf aktuellem Stand Flexible Zugriffsmöglichkeiten (DB-basiert) über mächtige Schnittstellen Versions- und Konfigurationsverwaltung Unterstützung für technische und fachliche Aufgaben und Nutzer aktive Nutzung für DW-Prozesse (Datentransformation, Analyse) [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 18

10 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Implementierung Realisierungsformen Werkzeugspezifisch: fester Teil von Werkzeugen Allgemein einsetzbar: generisches und erweiterbares Repository-Schema (-Modell) Zahlreiche proprietäre -Modelle Standardisierungsbemühungen, z.b. das Common Warehouse Metamodel (CWM) der Object Management Group (OMG) Häufig Integration von bzw. Austausch zwischen dezentralen - Verwaltungssystemen notwendig. [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 19 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Data-Warehouse-System (besprochene Komponenten) [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 20

11 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Technische Informationen, die beim Aufbau und beim Betrieb des Data-Warehouse- Systems anfallen. Zur Laufzeit gesammelte Protokollinformationen, die Auskunft darüber geben, wann welche Transformation stattgefunden hat und mit welchem Zustand sie terminiert ist. Beispiele für technische Technische Daten für Zugriff (Protokoll, Nutzer, Passwort,...) Abbildungsvorschriften zur Durchführung von Schemaanpassungen (schema matching) Transformationsskript zur Straßenstandardisierung Prozessbeschreibung der gesamten Transformation 21 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Geschäftsprozessorientierte Beschreibung, wie die Daten der operativen Quellsysteme und des Data- Warehouse-Systems aus der Perspektive des Geschäftsprozesses zu interpretieren sind. Spezifikation der Semantik erfolgt auf einer höheren Sprachebene, auf der Aussagen über die Daten gemacht werden können. Beispiel aus dem Bankenumfeld 22

12 Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 23 Konfigurationen Besprochene Architektur ist maximales Rahmenwerk. Das heisst, nicht jede Data Warehouse Lösung muss alle besprochenen Komponenten implementieren. Spezifische Konfiguration hängt stark vom Anwendungsszenario ab. Die physische Verteilung der Daten (gleicher Server vs. unterschiedliche Systeme) kann variieren. Konfigurationen variieren bezüglich persistenter (materialisierter) und flüchtiger (temporärer, virtueller) Datenhaltung. 24

13 Konfigurationen Beispiel Konfiguration 1 - Fehlen der Konsolierten Datenbasis Analysewerkzeuge Spreadsheets Data Mining Tools Query Tools Datenanalyse staging area Basisdaten Transformation Datenquellen DB2 Oracle XML 25 Konfigurationen Beispiel Konfiguration 2 - Überspringen der Transformation Analysewerkzeuge Datenanalyse staging area Spreadsheets Data Mining Tools Query Tools Basisdaten Datenbereitstellung Datenbereitstellung Transformation Operational Data Store (ODS) nach Inmon Themenorientierte, integrierte, nicht dauerhafte bzw. nicht persistente detaillierte Sammlung von Daten, um eine Organisationseinheit bei ihrem Bedarf nach aktuellen, betrieblichen, integrierten und gesamtheitlichen Informationen zu unterstützen. Operational Data Store Datenquellen DB2 Oracle XML 26

14 Konfigurationen Beispiel Konfiguration 3 - Monolithischer DW-Server DW-Server Basisdaten Transformation Datenquellen DB2 Oracle XML 27 Konfigurationen Beispiel Konfiguration 4 - Verteiltes System auf eigenen Rechnern (Laptop) Repository Server Data Warehouse Server Basisdaten Transformation Staging Area Server Datenquellen DB2 Oracle XML 28

15 Konfigurationen Beispiel Konfig. 5 - Materialisierte Integration & Virtuelle Views Spreadsheets Data Mining Tools Query Tools temporär / virtuell persistent / materialisiert Basisdaten Transformation DB2 Oracle XML 29 Konfigurationen Beispiel Konfiguration 6 - Virtuelle Integration temporär / virtuell persistent / materialisiert Data Mining Tools Spreadsheets Query Tools Basisdaten Transformation! Daten sind in Quellen gespeichert.! Informationsquellen sind (zu einem gewissen Grad) autonom.! Nur die zur Anfragebeantwortung notwendigen Daten werden übertragen.! Transformation und Integration nur zur Anfragezeit möglich.! Anfragen werden deklarativ an das globale Schema gestellt (hier entspricht es dem konsolierten Schema) und verteilt ausgeführt.! Keine historische Komponente! Zwei wesentliche Architekturen DB2 Oracle XML! 5-Schicht Architektur für föderierte Datenbanksysteme! Mediator-Wrapper Architektur 30

16 5-Schichten Architektur [SL90]! Anwendung: heterogene, verteilte, föderierte DBMS! Z.B. Katalog DBMS und Image DBMS, die gemeinsamen Zugriff erlauben.! Z.B. lokale Data Warehouses aus Teilbereichen eines Unternehmens! Semi-autonome Quellen:! Starke Autonomie, Externes Schema 1 Exportschema... Föderiertes Schema... Externes Schema N Exportschema Komponentenschema Komponentenschema! aber Wille zur Kooperation mit anderen! Föderation (federation) Lokales Schema... Lokales Schema! Verwendung von erleichtert Anfragebearbeitung 31 5-Schichten Architektur [SL90]! Lokale Schemas! Logisches Schema der Datenquellen! Komponentenschemas Externes Schema 1... Externes Schema N Föderiertes Schema! Kanonisches Datenmodell ( = Datenmodell des föderierten Schemas)! Übergang durch Mappings Exportschema... Exportschema Komponentenschema Komponentenschema! Überwindet Datenmodellheterogenität! Exportschemas Lokales Schema... Lokales Schema! Teilmenge des Komponentenschemas 32

17 5-Schichten Architektur [SL90]! Föderiertes Schema! Integriert aus den Exportschemas! Kennt Datenverteilung! Andere Namen:! Import Schema! Globales Schema! Enterprise Schema! Unified Schema! Mediator Schema! Externes Schema! Föderiertes Schema kann sehr groß sein " Vereinfachung im Exportschema! Schema Evolution leichter! Zusätzliche Integritätsbedingungen! Zugangskontrollen Externes Schema 1 Exportschema Lokales Schema... Externes Schema N Föderiertes Schema Exportschema Komponentenschema Komponentenschema Lokales Schema 33 Mediator-Wrapper Architektur! Anwendung Heterogene Quellen Stark autonome Quellen, die oft nichts von ihrer Integration wissen. Kein Umfangreiches Metadata- Repository vorhanden.! Mediator! Schema anwendungsorientiert entwickelt, nicht anhand von Schemaintegration.! Komponente zur Integration! Wrapper! Vermitteln zwischen Quelle und Mediator! Lösen Schnittstellen-, Datenmodell-, und schematische Heterogenität! Unterstützen Anfrageoptimierung Anwendung 1 Anwendung 2 Wrapper1 Mediator Wrapper2 Wrapper3 Quelle 1 Quelle 2 Quelle 3 34

18 Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 35 Überblick Data Warehouse Architektur Data-Warehouse-System Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3... Basisrelationen DB2 Oracle Datenanalyse Data Warehouse (DW) XML Datenquellen Basisdaten Nach Wolfgang Lehner, Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag, 2003 Datenbereitstellung Transformation Datenkonsolierung Datenbeschaffung & Transformation (staging area) 36

19 Datenbeschaffung und Transformation Erinnerung Ziel ist, lokale Daten (d.h., Daten aus den Quellsystemen) zu integrieren. Diese integrierten Daten werden physisch in die Kontrollsphäre des Data Warehouse gebracht. Drei wesentliche Schritte finden im Bereich der Datenbeschaffung und Transformation, der staging area, statt, und werden als Extract-Transform- Load (ETL) Prozess bezeichnet. Extract-Transform-Load (ETL) Prozess. Extract: Beschaffung der relevanten Daten aus den Quellsystemen Transform: Transformation der Quelldaten in das Schema und Format der Zieldatenbank (im allgemeinen Framework der konsolierten Datenbank). Load: Laden der Daten in die Zieldatenbank. 37 Der ETL Prozess Extract Strenge Performance-Anforderungen Analysewerkzeuge brauchen Daten rechtzeitig. Analysewerkzeuge brauchen möglichst aktuelle Daten. Operativer Betrieb der Quellsysteme soll nicht bzw. nur minimal eingeschränkt werden.! Variabler Datenumfang der Extraktion! Variable Kooperationsbereitschaft der Quellsysteme zur Datenübergabe Heterogene Datenquellen, insb. syntaktische Heterogenität bei der Extraktion relevant.! Variable Zugriffsmöglichkeiten auf Datenquellen 38

20 Der ETL Prozess Extract - Datenmäßiger Umfang der Extraktion Zwei wesentliche Varianten: Extraktion der Nettoänderungen Es werden nur die Teile der Datenbasis in das Data-Warehouse-System überführt, die sich seit dem vorangegangenen Extraktionsvorgang geändert haben. Veränderungen sind neu hinzugefügte Einträge (insert) und gelösche Einträge (delete). Änderungen existierender Datensätze (update) werden typischerweise als als insert+delete modelliert. Abzug des kompletten Quelldatenbestands (snapshot) Verwendung, wenn zu viele Änderungen der Quellen oder wenn Extraktion der Nettoänderungen aus systemtechnischen Gründen nicht möglich ist. Zielkonflikt: konsistenter Abzug der Quelldaten vs. Einschränkung des operativen Betriebs durch exklusiven Zugriff auf diese. " Spezielle snapshot Verfahren [AdLi80] zur Erstellung einer logischen Datenbankkopie. 39 Der ETL Prozess Extract - Kooperationsbereitschaft der Quellsysteme Kooperationsbereitschaft der Quellsysteme, absteigend sortiert: Replikationsquellen Extrem enge Kopplung von Quellsystem und Eingangsbereich des DW. Einsatz von Replikationstechniken, um synchron Änderungen an den Quellsystemen direkt an das DW zu propagieren. Aktive Quellen Änderungen werden von der Quelle selbständig an das DW propagiert. Verwendung von Datenbanktriggern Snapshot-Quellen Quelle liefert einen Snapshot, der einem konsistenten, aber nicht notwendigerweise aktuellen Datenbankzustand entspricht. Änderungen der Quelle (die im Snapshot reflektiert sind) können ohne Beeinträchtigung des operativen Systems extrahiert werden. 40

21 Der ETL Prozess Extract - Kooperationsbereitschaft der Quellsysteme (ctd) Exportbasierte Quellen Alternativ zu einem Snapshot kann eine physische Kopie der Datenbasis (database dump) exportiert werden. Erstellen der Exportdatei muss vom Quellsystem unterstützt werden. Protokollierende Quellen Auswertung des Änderungsprotokolls einer Quelldatenbank zur Feststellung der im DW zu reflektierenden Änderungen. Nicht explizit unterstützende Quellen Geschlossene Systeme, keine elegante Möglichkeit, Daten für eine weitere Anwendung bereitzustellen. Spezialsoftware (adapter) oder Programmierung indivualisierter Anwendungssoftware nötig. 41 Der ETL Prozess Extract - Zugriffsmöglichkeiten auf Datenquellen Zugriff auf Ebene des Anwendungsdialogs Bei abgeschlossenen Systemen, Anwendungsdialog einziges Zugriffsprotokoll. Extraktion der Daten durch Simulation eines entsprechenden Anwendungsdialogs. Zugriff auf Anwendungsebene Operative Systeme mit externen Schnittstellen. Extraktion der Daten über eine entsprechende Programmierschnittstelle. Zugriff auf Ebene des Datenbanksystems Direkter Zugriff auf das System zur persistenten Speicherung (z.b. RDBMS) vorhanden. Verwendung standardisierter bzw. systemspezifischer Protokolle als Programmierschnittstelle (z.b. ODBC bei C/C++, JDBC bei Java) 42

22 Der ETL Prozess Extract - Zugriffsmöglichkeiten auf Datenquellen (ctd) Zugriff auf Ebene der Protokollierungsinformation Kein Zugriff auf Anwendungs- oder Datenbankebene Zugriff auf Änderungsprotokolle Verwendung spezieller Extraktoren (log file sniffer), die aus Änderungsprotokollen die Änderungen am Quelldatenbestand liefern. Export und Import Kein Zugriff aus dem Zielsystem, also dem Data Warehouse, auf jegliche Informationen im Quellsystem. Quellsystem exportiert Daten in einem fest vorgeschriebenen Format. Zielsystem kann diese Daten importieren. 43 Der ETL Prozess Transform Erzeugung einer konsistenten und integrierten Datenbasis Einmaliger Schritt: Entwurf des Schemas der konsolierten Datenbasis "Techniken der Schemaintegration Schritt bei jedem erneuten Laden von Daten: Transformation der Quelldaten in das Zielschema (Schema der konsolierten Datenbasis). " Techniken der Datenintegration 44

23 Der ETL Prozess Transform - Schemaintegration Definition siehe Folie 11, Techniken nicht im Detail in dieser VL Anforderungen an das integrierte Schema Vollständigkeit Alle in den Quellschemata beschriebenen Gegenstände werden im Zielschema reflektiert. Korrektheit Semantik der Quelldaten geht durch Zielschema nicht verloren. Da die integrierten Daten (z.b. Preis) jedoch alle die gleiche Darstellung haben sollen (z.b. ohne MWSt), muss die ursprüngliche Semantik der Quellen nachvollziehbar sein. Minimalität Keine Redundanz der im globalen Schema dargestellten Gegenstände. Verständlichkeit Schema muss von jedermann verstanden und modifiziert werden können. 45 Der ETL Prozess Transform - Datenintegration Wichtigste Aufgabe: Datenqualität der integrierten Daten gewährleisten. Detaillierte Techniken werden in Kapitel 5 - Datenreinigung besprochen. 5 Phasen der Datenreinigung (diese und nächste Folie): Zerlegen der Daten in die Bestandteile (elementizing) Z.B. wird Attribut Adresse in Straße, Hausnummer, PLZ, Stadt aufgeteilt. Standardisierung der elementaren Angaben (standardizing) Z.B. Vereinheitlichung verschiedener Datumsformate, Straßennamen wie Stuttgarter Str. einheitlich in Stuttgarter Straße transformieren. Plausibilitätsprüfungen (verification) Z.B. Konflikt zwischen PLZ = und Stadt = Tübingen für eine beschriebene Adresse erkennen. 46

24 Der ETL Prozess Transform - Datenintegration (ctd) Abgleich mit bestehenden Daten (matching) Z.B. Prüfung der Existenz eines gleichen Produkts in der bisherigen integrierten Datenbasis. Falls vorhanden, muss die Darstellung erweitert bzw. aktualisiert werden. Gruppenbildung (householding) Prüfung ob neue Objekte mit bereits existierenden Objekten aus Sicht der Anwendung definierte Gruppen, z.b., Käuferklassen bilden oder vergrößern. Dies ist für Analysezwecke vorteilhaft. 47 Der ETL Prozess Load Ziel: Effizientes Hinzufügen der transformierten Daten in das Data Warehouse. Techniken SQL Satzbasiert Standardschnittstellen: Embedded SQL, JDBC,... Einzelne Operationen oder proprietäre Erweiterungen Array Insert Beachtung und Aktivierung aller Datenbankverfahren Trigger, Indexaktualisierung, Concurrency,... BULK Loader Funktionen: DB-spezifische Erweiterungen zum Laden großer Datenmengen Benutzung von Anwendungsschnittstellen: Bei manchen Produkten notwendig (SAP) [Prof. Ulf Leser, HU Berlin, Data Warehouse VL, SS 2007] 48

25 Der ETL Prozess Load - Bulk Uploads Für große Datenmengen einzige ausreichend performante Schnittstelle Kritischer Prozess LOAD füllt i.d.r. immer nur eine Tabelle LOAD setzt eine Sperre auf die gesamte Tabelle Während LOAD werden Integritätsconstraints, Trigger, Indexaktualisierung deaktiviert! Nach LOAD werden IC überprüft und Indexe aktualisiert! Trigger werden nicht ausgeführt Update oder Insert? (Upsert!) Performance von LOAD oft limitierender Faktor [Prof. Ulf Leser, HU Berlin, Data Warehouse VL, SS 2007] 49 Zusammenfassung Architektur / Bestandteile eines Data Warehouse Konfiguration hängt von Anwendung ab Implementierte Komponenten variieren Verteilte Systeme Materialisierte Integration Virtuelle Integration Extract-Transform-Load (ETL) Prozess Basisdaten Transformation Extract: Beschaffung der relevanten Daten aus Quellsystemen Transform: Transformation der Quelldaten in das Schema und Format der Zieldatenbank. Load: Laden der Daten in die Zieldatenbank. 50