Architektur eines Data Warehouse Systems. Mario Jandeck

Transkript

1 Architektur eines Data Warehouse Systems Mario Jandeck

2 Agenda Folie 2 von Die Referenzarchitektur 2. Komponenten des Data Warehouse Systems 3. Datenbeschaffung und Qualität 4. Analyse im Data Warehouse

3 Was ist unter Architektur zu verstehen? Referenzarchitektur Folie 3 von 24 Beschreibt den Aufbau von Gebäuden oder Gegenständen Kann als eine in sich funktionierende Einheit gesehen werden Besteht aus Komponenten die Zusammenwirken Data-Warehouse als monolithisches Informationssystem. Statische Komponenten Dynamische Informationsflüsse

4 Notwendigkeit einer Referenzarchitektur Referenzarchitektur Folie 4 von 24 als objektiver Ausgangspunkt Um bestehende System zu vergleichen Um Empfehlungen für geplante Data Warehouse Systeme zu geben als ein Mittel zur Beschreibung und Komplexitätsverringerung Zerlegung in definierte Komponenten Anforderung Idealtypisch Funktionsorientiert Darstellung von Daten- und Kontrollflüssen

5 Analyse Analyse Extraktion Extraktion Monitor Monitor Transfor mation Transfor mation Metadaten -manager Metadaten -manager Data Warehouse Manager Data Warehouse Manager Repositorium Repositorium Arbeits bereich Arbeits bereich Basis DB Basis DB Data Warehouse Data Warehouse Datenquellen Datenquellen Auswertungsbereich Datenbeschaffungsbereich Data-Warehouse-System Folie 5 von 24 Referenzarchitektur Komponenten der Referenzarchitektur

6 Agenda Folie 6 von Die Referenzarchitektur 2. Komponenten des Data Warehouse Systems 3. Datenbeschaffung und Qualität 4. Analyse im Data Warehouse

7 Der Data Warehouse Manager Komponenten Folie 7 von 24 zentrale Komponente des Data-Warehouse-Systems Initiierung, Steuerung Analyse und Überwachung der einzelnen Prozesse Korrekte Ausführung Richtige Reihenfolge (meist) sequentielle Ausführung Zentrale Dokumentation von Fehlern Rückmeldung an Administrator Data Warehouse Manager Metadaten -manager Schnittstelle zum Repositorium Steuerung der Datenbeschaffungsund Analyseschritte Kommunikation über Metadatenmanager Extraktion Transfor mation Monitor

8 Datenquellen Komponenten Folie 8 von 24 Ausgangspunkt des Datenflusses Datenquelle = beliebiger Datenbestand Beschaffenheit von zentraler Bedeutung Faktoren für Quellenauswahl: Zweck des Data Warehouse Systems Qualität Verfügbarkeit Preis Interne und externe Datenquellen unterschiedlicher Struktur und Granularität. Datenquelle Datenquelle Datenquelle Datenquelle

9 Der Datenbeschaffungsbereich Monitor und Arbeitsbereich Komponenten Folie 9 von 24 Monitor Entdeckung von Datenmanipulation in Datenquellen Aktuell halten von Basisdatenbank und Data Warehouse Inkrementelle Aktualisierung Monitoring Strategien Trigger-basiert, Replikationsbasiert, Zeitstempelbasiert, Log-basiert, Snapshot-basiert Arbeitsbereich Zentrale Datenhaltungskomponente des Datenbeschaffungsbereichs Integration von Daten heterogener Quellen Temporärer Zwischenspeicher Datentransformation Arbeits bereich Datenbeschaffungsbereich Transfor mation Extraktion Monitor 9

10 Der Datenbeschaffungsbereich ETL-Komponenten Komponenten Folie 10 von 24 Extraktionskomponente Übertragung von Daten aus Datenquellen in Arbeitsbereich Art der Extraktion richtet sich nach Monitoring-Strategie Technische Realisierung über standard DB-Schnittstellen (ODBC) Extraktion Strategien sofort, periodisch, Ereignisgesteuert, auf Anfrage Transformationskomponente Daten in einen geeigneten Zustand bringen Strukturelle Aspekte Datenmigration Inhaltliche Aspekte Datenintegration und Datenbereinigung Ladekomponente Übertragung analyseunabhängiger Detaildaten in Basis-DB Übertragung analysespezifischer Daten aus Basis-DB Arbeits bereich Extraktion Datenbeschaffungsbereich Transfor mation Monitor 10

11 Der Auswertungsbereich Basisdatenbank Komponenten Folie 11 von 24 Basisdatenbank Integrierte Datenbasis zentrale Verteilungsfunktion Zentrales Datenlager Distributionsfunktion auch Auswertungsfunktion Wird auch als the single point of truth bezeichnet. Nabe-Speiche-Architektur Data- Warehouses Datenquellen Basis DB Analyse Data Warehouse Basis DB Auswertungsbereich

12 Der Auswertungsbereich Data Warehouse Komponenten Folie 12 von 24 Data Warehouse Eigenschaften/Anforderungen Zugrunde liegende Datenbank für Analysezwecke Dauerhafte Verwaltung von Daten für Analyseprozess großer Datenmengen Zur Realisierung Einsatz mehrerer DBMS Strukturierung der Daten Analysebedürfnissen der Anwender Data Marts? Zentrales Data Warehouse schwer durchsetzbar konzeptuell und technisch Idee: Teilsicht eines Datawarehouses Hauptproblematik Design des logischen Schemas Analyse Data Warehouse Basis DB Auswertungsbereich

13 Der Auswertungsbereich Lade- und Analysekomponente Komponenten Folie 13 von 24 Ladekomponente aus Basisdatenbank Aktualisierung der Daten im Datawarehouse Realisierung von bulk loads Analysekomponente Analyseprogramme denen Daten bereitgestellt werden In Praxis eindeutige Trennung schwer möglich Wichtige Architekturfrage: Welchen Teil der Berechnung übernimmt das Datenbanksystem und welchen der Analyseprozess. Analyse Data Warehouse Basis DB Auswertungsbereich

14 Repositorium Komponenten Folie 14 von 24 Repositorium Ablage der Metadaten Metadaten umfassen: Beschreibende Informationen Prozessbezogene Informationen Nachvollziehbarkeit woher Daten stammen und wann sie geladen wurden Fachliche vs. Technische Metadaten Fachliche für den Endanwender Technische für Administratoren und Softwarewerkzeuge bestimmt Reposit orium Metadaten -manager

15 Metadatenmanager Komponenten Folie 15 von 24 Metadatenmanager Steuert Metadatenverwaltung Als Datenbankanwendung Analyse definiert eng verbunden mit Repositorium Bietet ausgereifte Schnittstelle Data Setzt ein spezielles Repositoriums Warehouse Schema voraus. Data Warehouse Manager Kontrollfluss für Metadatengesteuerte Prozesse Metadaten Basis DB Reposit orium -manager Datenquelle Arbeits bereich Extraktion Transfor mation Monitor

16 Agenda Folie 16 von Die Referenzarchitektur 2. Komponenten des Data Warehouse Systems 3. Datenbeschaffung und Qualität 4. Analyse im Data Warehouse

17 Beschaffung der Daten - Verfügbarkeit Datenbeschaffung und Qualität Folie 17 von 24 Organisatorische Voraussetzungen Rechtlich zulässig Erhebung personenbezogener Daten Betriebsrat Erlaubnis des Besitzers Vertraulichkeit von Daten Zeitliche Verfügbarkeit Aktualität Technische Voraussetzungen Datenzugriff Rechner- Netzverfügbarkeit Schutz vor unberechtigtem Zugriff Übertragungsgeschwindigkeit der Daten

18 Beschaffung der Daten - Klassifikation Datenbeschaffung und Qualität Folie 18 von 24 Klassifikation als Mittel zur Beschreibung Strukturierung der Daten Sensibilisierung für bestimmte Probleme Klassifikation nach: Herkunft intern, extern Zeit Nutzungsebene Inhalt/Datentyp Darstellung/Datentyp Zeichensatz Sprache, Technisch Schreiborientierung Schutzwürdigkeit

19 Datenqualität - Bedeutung Datenbeschaffung und Qualität Folie 19 von 24 Von der Qualität der Daten hängt im Zweifelsfall das bestehen oder scheitern eines Data Warehouse Projektes ab. Typische Qualitätsmängel Inkorrekte Daten Duplikate Veraltete Daten Logisch widersprüchliche Daten Ungenaue Daten Kostenfaktoren bei Qualitätsmängeln Aufwand nachträglicher Beseitigung Taktische und strategische Fehlentscheidungen Unzufriedenheit der Anwender

20 Datenqualität - Merkmale Datenbeschaffung und Qualität Folie 20 von 24 Glaubwürdigkeit Nützlichkeit Interpretierbarkeit Schlüsselintegrität Korrektheit Vollständigkeit Einheitlichkeit Schlüsseleindeutigkeit Konsistenz Genauigkeit Eindeutigkeit Referenzielle Integrität Zuverlässigkeit Zeitnähe Verständlichkeit Redundanzfreiheit Relevanz

21 Agenda Folie 21 von Die Referenzarchitektur 2. Komponenten des Data Warehouse Systems 3. Datenbeschaffung und Qualität 4. Analyse im Data Warehouse

22 Was versteht man unter Analyse Bedeutung und Darstellungsformen Analyse im Date Warehouse Folie 22 von 24 Die Analyse im Data Warehouse umfasst als Oberbegriff alle Operationen, die mit den Daten des Data Warehouses durchgeführt werden. Bedeutung Anwendung von Analysefunktionen auf ausgewählte Daten Generierung neuer Informationen Zurückführen von Informationen ins Datawarehouse Einsatz von Analysewerkzeugen (BIT) Darstellungsformen Tabellen Grafiken Text und multimediale Elemente

23 Analyse Funktionalität und Realisierung Analyse im Date Warehouse Folie 23 von 24 Funktionalität Data Acces Berichtswerkzeuge Online Analytical Processing Klassifikationsnavigation Data Mining ungerichtete Analysen Realisierung Standard Reporting Berichtshefte Ad-hoc Query Reporting Analyse-Clients Spreadsheet Add-ins Entwicklungsumgebungen Anwenderzahl Komplexität

24 The End Folie 24 von 24 Vielen Dank für die Aufmerksamkeit! Fragen? Fragen!