Star-Schema-Modellierung mit ERwin - eine kritische Reflexion der Leistungspotentiale und Anwendungsmöglichkeiten

Transkript

1 Star-Schema-Modellierung mit ERwin - eine kritische Reflexion der Leistungspotentiale und Anwendungsmöglichkeiten Michael Hahne T&I GmbH Workshop MSS-2000 Bochum, 24. März 2000 Folie 1

2 Worum es geht... Data Warehouse-Modellierung Modellierung auf logischer und physischer Ebene Fragestellung: Modellierung für relationale Zielsysteme Star-Schema-Modellierung Wie kann durch das Modellierungswerkzeug ERwin die Modellierung des Data Warehouse-Modells, die Dokumentation des Data Warehouse, die Implementierung des Data Warehouse-Modells und die spätere Wartung des Data Warehouse unterstützt und erleichtert werden? Folie 2

3 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 3

4 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 4

5 Modellierungsmethodik in ERwin IDEF1X IE DM logical physical Folie 5

6 Dimensionale Modelle in ERwin Erwin modelliert im Prinzip ein Star Schema. Dafür werden erweiterte Funktionen zur Verfügung gestellt. Es werden drei Rollen unterschieden, die eine Tabelle in einem dimensionalen Modell in ERwin wahrnehmen kann: Folie 6

7 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 7

8 Rollen von Tabellen in dimensionalen Modellen Die Rolle, die eine Tabelle in einem dimensionalen Modell einnimmt, kann manuell vergeben werden oder nach den folgenden Regeln automatisch ermittelt werden: Faktentabelle (fact table): keine Vaterbeziehung Dimensionstabelle (dimension table): keine Beziehungen zu irgendeiner Tabelle oder eine Vaterbeziehung zu einer Faktentabelle oder eine Vater- und eine Kindbeziehung snow-flaked Dimensionstabelle (outrigger table) eine Vaterbeziehung zu einer Dimensionstabelle Folie 8

9 Beispielmodell Folie 9

10 Hierarchien in Dimensionen Die Dimensionselemente haben Beziehungen untereinander. Die resultierenden Strukturen: Flache Strukturen Bäume Wälder Parallele Hierarchien (multiple Verdichtungswege) Im Star-Schema gibt es zwei grundsätzliche Möglichkeiten der Abbildung von Hierarchien: Implizit über Attribute in der Dimensionstabelle Explizit über modellierte Beziehungen Folie 10

11 Produktdimension Warenhauptgruppe Warengruppe Produkt Folie 11

12 Hierarchien über Attribute Eine Differenzierung zwischen Hierarchie-Attributen und normalen Attributen ist nicht erkennbar Folie 12

13 Hierarchien durch modellierte Beziehungen Folie 13

14 Snow Flaking Folie 14

15 Minidimension Folie 15

16 Kennzahlen: Faktentabelle vs. Dimension Folie 16

17 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 17

18 m:n-beziehungen Erwin kann m:n-beziehungen automatisch auflösen und generiert eine assoziierte Tabelle. In einem dimensionalen Modell ist diese assoziierte Tabelle eine Faktentabelle Anwendungsbeispiel: factless fact table Folie 18

19 Überlagerungstabelle Folie 19

20 slowly changing dimensions Dimensionstabellen im Star Schema sind zunächst statisch. Im Zeitablauf ändern sich jedoch z. B. Kundendaten etc. Es gibt drei Arten der Historienverfolgung : Typ I: Der neue Datensatz überschreibt den alten (-> keine Historienverfolgung) Typ II: Ein zusätzlicher Datensatz wird angelegt (komplette Historienverfolgung, erfordert generalisierten Schlüssel) Typ III: Neue Felder werden angelegt: originale und aktuelle (keine Zwischenwerte mehr vorhanden) Diese Eigenschaft einer Dimensionstabelle wird in ERwin gepflegt und dient der Dokumentation über den Berichts- Generator. Folie 20

21 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 21

22 Wartung des Modells Data Warehouse complete compare Modell Folie 22

23 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 23

24 Parallelisiserung Zur Steigerung der Performance von Data Warehouse- Systemen werden vielfach Mechanismen der parallelen Verarbeitung herangezogen. Bei Datenbanken ist Platten-I/O der ausschlaggebende Faktor und damit gewinnt das physikalische Design an Bedeutung. Die Unterstützung parallelen Platten-I/Os wird von Datenbanken z. B. in Form von Partitionierung von Tabellen angeboten. Diese Features sind über ERwin im physikalischen Modell einstellbar. Folie 24

25 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 25

26 Größenberechnung (Volumetrics) Durch Volumetrics wird die Größe von Tabellen, Indizes und physikalischen Datenbank-Speicherobjekten berechnet und über eine Zeitachse vorhergesagt. #Zeilen in Tabelle Wachstum pro Monat Maximale Größe Datentypen Größe bei var. DT Volumetrics/ Berechnung Berichts- Generator/ Report- Browser %NULL bei opt. Folie 26

27 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 27

28 Datenpumpe innerhalb der Referenzarchitektur Endbenutzer Data Marts MDB ROLAP Externe Daten Zentrales Data Warehouse Operative Vorsysteme Folie 28

29 Dokumentation von Data Warehouse-Datenquellen Quelldatenbanken zur Dokumentation des Uploads. Struktur der Quelldaten kann manuell erfaßt werden Über Reverse-Engineering Funktionalität kann die Quelldatenstruktur direkt importiert werden Keine Programmfunktionalität zum Datentransfer Nur Dokumentationscharakter Folie 29

30 Dokumentation von Data Warehouse-Regeln Es können Regeln definiert werden, denen die Tabellen eines dimensionalen Modells genügen sollen: Refresh-Regeln Update-Regeln Backup-Regeln Recovery-Regeln Archiving-Regeln Purge-Regeln Diese Regeln dienen nur der Dokumentation der hinter den Strukturen liegenden Funktionalität zur Wartung eines Data Warehouse. Folie 30

31 Dokumentation mit Report-Generator html Modell Berichtsschablone Bericht RPTwin csv dde Generate Reports export Folie 31

32 Gliederung I Sicht des Data Warehouse-Modellierers bzw. Designers (logische/physikalische Modellierungsebene) Abbildung der Strukturen Unterstützung durch das Werkzeug II Sicht des Data Warehouse-Administrators bzw. Implementierers (physikalische Modellierungsebene) Optimierungspotentiale der Zieldatenbanken Größenberechnung und -vorhersage III Dokumentation und Metadaten IV Fazit Folie 32

33 Fazit Durch das Modellierungswerkzeug ERwin kann die Modellierung des Data Warehouse-Modells, die Dokumentation des Data Warehouse, die Implementierung des Data Warehouse-Modells und die spätere Wartung des Data Warehouse unterstützt und erleichtert werden! Folie 33