Data Warehousing. Multidimensionale Modellierung. Modellierung im DWH. Wissensmanagement in der. Bioinformatik. Ulf Leser

Transkript

1 Data Warehousing Modellierung im DWH Multidimensionale Modellierung Ulf Leser Wissensmanagement in der Bioinformatik

2 Zusammenfassung: Hubs and Spokes Mart 1 Mart 2 Mart 3 Mart 4 DWH Quelle 1 RDBMS Quelle 2 IMS Quelle 3 Textfile Jahresumsatz: Pro Monat Januar: Februar Ulf Leser: Data Warehousing, Vorlesung, SoSe

3 Quelle 1 RDBMS Quelle 2 IMS DWH Architektur Metadaten Staging Area Staging Area Mart 2 Cube Mart 1 Flüchtig Persistent Ulf Leser: Data Warehousing, Vorlesung, SoSe

4 DWH Komponenten 1. Datenquellen Technisch Heterogen Push oder Pull Snapshot oder LOG File 2. Staging Area Komplexere Transformationen Datenqualität Datenabgleich 3. Basisdatenbank Analyseorientiertes-DWH: Cube, Multidimensionale Modellierung Integrations-DWH: Enterprise Modell, Schemaintegration Ulf Leser: Data Warehousing, Vorlesung, SoSe

5 DWH Komponenten 4. Abgeleitete Sichten Datenauswahl und aggregation Materialisierte Sichten 5. Analysewerkzeuge Graphische Clients 6. Metadatenrepository Was, was, wann, wie 7. Data Warehouse Manager Scheduling & Monitoring Managementkonsole Ulf Leser: Data Warehousing, Vorlesung, SoSe

6 DWH Prozesse O t W e E xtraction T ransformation L oad Aggregation View Maintenance Ulf Leser: Data Warehousing, Vorlesung, SoSe

7 Inhalt dieser Vorlesung Multidimensionale Datenmodellierung (MDDM) Elemente, Begriffe, Konzepte Aggregierbarkeit und Anomalien OLAP Operationen Graphische multidimensionale Modellierung Ulf Leser: Data Warehousing, Vorlesung, SoSe

8 Modellierung der Basisdatenbank Anforderungen Aufnahme von Detail-Daten Speicherung historischer Daten (Zeit) Integrierte Sicht: Anreicherung der Quelldaten Kasse -> Filiale, Region, Land,... Produkt -> Lieferant, Marge, Produktgruppe,... Ausgerichtet auf betriebswirtschaftliche Analysen Summen, Durchschnitte, Maxima, etc. Kennzahlenableitung von Organisationseinheiten, Bereichen. Zeiträumen, etc. Multidimensionale Modellierung Ulf Leser: Data Warehousing, Vorlesung, SoSe

9 Teil 1: Das multidimensionale Datenmodell Das Multidimensionale Datenmodell Motivierung Elemente: Informell Elemente: Formal Aggregatsfunktionen und Aggregierbarkeit Ulf Leser: Data Warehousing, Vorlesung, SoSe

10 MDDM Grundidee Unterscheidung von Fakten (Measures) Gemessene Werte Dimensionen Beschreibung der Messwerte in Raum, Zeit, Organisation,... Dimensionshierarchien Dimensionen haben hierarchische Struktur Metapher: Würfel (Quader) bzw. Hypercube Fakten: Punkte im multidimensionalen Raum Ziel: Erfassung und Analyse von Kennzahlen Verkaufszahlen, Herstellungskosten,... Kennzahlen durch Operationen auf dem Cube Dimensionen erhöhen/verringern Sichten entlang der Dimensionsachsen verschieben Ulf Leser: Data Warehousing, Vorlesung, SoSe

11 Beispiel Verkäufe von Autos pro Marke, Kontinent und Jahr gemessen in Euro Measures: Verkäufe in Euro Dimensionen Automarke (Produkt) Kontinente Jahre Operationen Verfeinerung: Verkäufe pro Quartal Dimensionsreduktion: Summierte Verkäufe pro Marke und Jahr Auswahl: Verkäufe von Marke XYZ pro Jahr in USA Ulf Leser: Data Warehousing, Vorlesung, SoSe

12 Beispielcube Jahr Kontinent Asien Südamerika 1999 Automarke Ford VW Peugot BMW Ulf Leser: Data Warehousing, Vorlesung, SoSe

13 Auswahl - Slicing Verkäufe in Asien pro Jahr und Marke Verkäufe von Peugot pro Jahr und Kontinent Jahr Kontinent Asien Südamerika Automarke Ford VW Peugot BMW Ulf Leser: Data Warehousing, Vorlesung, SoSe

14 Dimensionen Orthogonale und eindeutige Strukturierung des Datenraums Dimension - Schema Tag, Woche, Jahr Landkreis, Land, Staat Produktgruppe, Produktklasse, Produktfamilie Dimension - Werte (1, 2, 3,..., 31), (1,... 52), (1900,..., 2003) (...), (Berlin, NRW, Department-1,...), (BRD, F,...) Ulf Leser: Data Warehousing, Vorlesung, SoSe

15 Dimension Dimension Top Jahr Quartal I II III IV I II III IV Klassifikationsstufen Monat Jan Feb Mar Okt Nov Dez Tag Klassifikationsknoten Ulf Leser: Data Warehousing, Vorlesung, SoSe

16 Produkthierarchien Aus: Geppert, ETZ Zürich, Vorlesung Data Warehouse Geordnete Klassifikationsstufen: Zeit,... Ungeordnete Klassifikationsstufen : Produkte,... Ulf Leser: Data Warehousing, Vorlesung, SoSe

17 Quartal Monat Klassifikationspfade Parallele Klassifikationen Jahr Konzern Sparte Region Woche Saison Bereich Unternehmen Tag Abteilung Ulf Leser: Data Warehousing, Vorlesung, SoSe

18 Klassifikationsschema Definition: Klassifikationsschema K Menge von Klassifikationsstufen {K 0, K 1,... K n } Halbordnung auf K Kleinstes Element K 0 : K i, 1 i n: K 0 K i Schreibweise: K = ({K 0, K 1,... K n }, ) Interpretation von Funktionale Abhängigkeit der Klassifikationsstufen Tag Monat Jahr Produkt Produktfamilie Produktgruppe Beachte: Halbordnung ist zyklusfrei Ulf Leser: Data Warehousing, Vorlesung, SoSe

19 Beispiel Ordnung Tag Monat Monat Quartal Quartal Jahr Tag Woche Woche Jahr Quartal Alle Top Keine Ordnung Quartal? Woche Monat? Woche Transitivität Tag Jahr Monat Top Jahr Tag Tatsächlich? Woche Ulf Leser: Data Warehousing, Vorlesung, SoSe

20 Pfad Sei K= ({K 0, K 1,... K n }, ) ein Klassif.schema Def.: Klassifikationspfad P = {P 0,P 1,... P n } in K P 0 = K 0 P i, 0 i n: K j K: P i = K j P i, 1 i n: K i-1 K i Bedeutung der Pfade Voll geordnete Teilemenge von K Beginnt auf feinster und endet auf gröbster Stufe Ziel: Definition von sinnvollen Verdichtungswegen Ulf Leser: Data Warehousing, Vorlesung, SoSe

21 Beispielpfade Klassifikationsschema Pfad 1 Pfad 2 Top Top Top Jahr Jahr Jahr Quartal Monat Quartal Woche Woche Monat Tag Tag Tag Ulf Leser: Data Warehousing, Vorlesung, SoSe

22 Klassifikationsknoten Sei K= ({K 0, K 1,... K n }, ) ein Klassif.schema Def. Die Ausprägungen einer Klassifikationsstufe K i heißen Klassifikationsknoten Die Funktion knoten(k i ) liefert alle Klassifikationsknoten zur Stufe K i Sei M die Menge aller Klassifikationsknoten zu Klassifikationsstufen in K Erläuterung Jeder Klassifikationsknoten gehört zu genau einer Klassifikationsstufe Klassifikationsstufe: Schema Klassifikationsknoten: Werte Ulf Leser: Data Warehousing, Vorlesung, SoSe

23 Klassifikationsknoten und Verdichtung Top Jahr Quartal Monat Tag Top I II III IV I II III IV Jan Feb Mar Okt Nov Dez Ulf Leser: Data Warehousing, Vorlesung, SoSe

24 Klassifikationslevel Geg. Klas.schema K; Pfad P= {P 0,P 1,... P n } in K Def. Klassifikationslevel Der Klassifikationslevel von P i in P ist i Folgerung? Jede Klassifikationsstufe in K hat einen eindeutigen Klassifikationslevel Ulf Leser: Data Warehousing, Vorlesung, SoSe

25 Nein Level 0 Top Level 0 Top Level 1 Jahr Level 1 Jahr Level 2 Level 3 Quartal Level 2 Woche Monat Level 4 Tag Level 3 Tag Ulf Leser: Data Warehousing, Vorlesung, SoSe

26 Name... Name Depot Manager Logistics Knotenattribute Continent Country Region Name... Name Def. Jede Klassifikationsstufe K i hat eine Menge von Attributen, die Knotenattribute Address Shop Supplier Facilities Ulf Leser: Data Warehousing, Vorlesung, SoSe

27 Klassifikationshierarchie Geg.: Klassifikationsschema K, Pfad P, knoten() Def. Die Klassifikationshierarchie zu (K,P,M,knoten) ist ein Baum (N,E) mit E = ( n, n ) 1 2 n 1 N, n 2 = U knoten ( K ) K i P N n j : n 1 1 n 2 knoten ( P i = M ) n knoten j 2 P j ( ) + 1 Beachte: Jede Klassifikationshierarchie ist balanciert Alle Pfade Wurzel-Blatt haben die selbe Länge Ulf Leser: Data Warehousing, Vorlesung, SoSe

28 Dimension und Granularität Def. Eine Dimension D=(K, {P 1,...P n }, M, k) besteht aus Einem Klassifikationsschema K Einer Menge von Pfaden P i aus K Einer Menge von Klassifikationsknoten M Einer Funktion k zur Knotenzuordnung Schreibweise: D.K = Klassifikationsstufe K aus Dim. D Def. Eine Granularität G über einer Menge {D 1,...D n } ist die Menge {D 1.K 1,...D n.k n } mit K i beliebige Klassifikationsstufe in D i Ulf Leser: Data Warehousing, Vorlesung, SoSe

29 Würfelschema Def. Ein Würfelschema WS=(G,M) besteht aus Einer Granularität G Einer Menge M von Fakten Es gibt keine funkt. Abhängigkeiten zwischen Klassifikationsstufen in G Def. Ein Würfel W zu einem Würfelschema WS W = dom ( G ) dom ( M ) Anders ausgedrückt ) W = dom ( D. K )... dom ( D n. K ) dom ( M 1 ) dom ( M 1 1 n m Ulf Leser: Data Warehousing, Vorlesung, SoSe

30 Kein Würfelschema Autoverkäufe pro Zeit (Monat, Jahr), Händler und Region (Land, Kontinent) Drei Dimensionen Monat -> Jahr Händler Land -> Kontinent Aber: EU Recht! Händler -> Land Kontinent Land Kontinent Modellierung Land ist anwendungsabhängig Händer Händer Ulf Leser: Data Warehousing, Vorlesung, SoSe

31 Semantik von Kanten in Klas.Hierarchien Die Hierarchie von Klassifikationsstufen wird durch funktionale Abhängigkeiten bestimmt Das beinhaltet zunächst keine Bestimmung der Semantik der Kanten Bereich Komm.Eletronik Land Brandenburg Top Güter Hauptabt. Mobilfunk Kreis Potsdam P.gruppe Kleidung Abteilung Dualband Stadt Golm Produkt Hose Part-Of Topologisch IS-A Ulf Leser: Data Warehousing, Vorlesung, SoSe

32 Beispiel 1 Ein längeres Beispiel Bestand und Delta pro Monat in Lagerhäusern pro Monat/Quartal/Woche/Jahr Region/Land Artikel/Artikelgruppe/Bereich Fakten: Bestand, Delta pro Monat Dimensionen: Zeit, Ort, Produkt Ulf Leser: Data Warehousing, Vorlesung, SoSe

33 Beispiel 2 Klassifikationsschema = {Monat, Quartal, Woche, Jahr, Region, Land, Artikel, Artikelgruppe, Bereich, TOP} Top Jahr Jahr Quartal Quartal Monat Jahr Woche Top Land Land Region Top Bereich Bereich Artikelgruppe Artikelgruppe Artikel Sammlung und Struktur aller gewünschten Klassifikationsstufen Ulf Leser: Data Warehousing, Vorlesung, SoSe

34 Beispiel 3 Pfade = {Monat, Quartal, Woche, Jahr, Region, Land, Artikel, Artikelgruppe, Bereich, TOP} P 1 : Top Jahr Quartal Monat P 2 : Top Jahr Woche P 3 : Top Land Region P 4 : Top Bereich Artikelgruppe Artikel Entlang der Pfade sind Verdichtungen im Modell sinnvoll Ulf Leser: Data Warehousing, Vorlesung, SoSe

35 Beispiel 4 Klassifikationsknoten TOP: Jahr: 1997, 1998, 1999 Quartal: I, II, III, IV (pro Jahr) Woche: 1-52 (pro Woche) Monat: 1-3 (pro Quartal I), 4-6 (pro Quartal II),... Land: BRD, F, GB Region: Bayern, Berlin, BadenWürtenberg, Dep1, Dep2,... Bereich: Kleidung, Nahrung, Elektro Artikelgruppe: Oberbekleidung, Unterbekleidung, Spirituosen, Kindernahrung, Kleingeräte, TV/Video,... Artikel:... Alle möglichen Ausprägungen der Klassifikationsstufen Ulf Leser: Data Warehousing, Vorlesung, SoSe

36 Beispiel 5 Klassifikationshierarchie P 1 Top I II III IV Klassifikationshierarchie P 2 Jan Feb Mar Okt Nov Dez Top Ulf Leser: Data Warehousing, Vorlesung, SoSe

37 Beispiel 6 Klassifikationshierarchie P 3 Top BRD F GB Bayern... Bremen... Wales... N-Irland Klassifikationshierarchie P 4 Top Nahrung Kleidung Elektro Milchwaren... Spiritousen... Kleingeräte... TV/Video Ulf Leser: Data Warehousing, Vorlesung, SoSe

38 Beispiel 7 Dimension ZEIT = {K, {P 1, P 2 }, {Top, 1997,... Dez}, k} ORT = {K, {P 3 }, {Top, BRD, F, GB, Berlin,...}, k} PRODUKT = {K, {P 4 }, {Nahrung, Kleidung, Kleingeräte,...}, k} Dimensionen fassen Hierarchien und Pfade in sinnvolle Strukturen zusammen Keine Würfel mit Dimension P 1 und P 2... Ulf Leser: Data Warehousing, Vorlesung, SoSe

39 Beispiel 8 Granularität G 1 = (Zeit.Woche, Ort.Land, Produkt.Artikel) G 2 = (Zeit.Jahr, Ort.Gebiet) Halbordnung: (Zeit.Woche, Ort.Gebiet, Produkt.Artikel) < (Zeit.Jahr, Ort.Gebiet, Produkt.Bereich) < (Zeit.Top, Ort.Top, Produkt.Top) Würfelschema und Würfel Granularität plus Fakten (M 1 =Bestand, M 2 =Delta) Würfel haben eine Granularität Operationen auf Würfeln verändern die Granularität Nur sinnvolle Operationen zulassen Ulf Leser: Data Warehousing, Vorlesung, SoSe

40 Fakten und Verdichtung Ziel des MDDM: Verdichtung von Daten entlang der Konsolidierungspfade Numerische versus kategorische Fakten Numerisch: Umsatz, Verkäufe, Messwerte,... Kategorisch: Geschlecht, Kundensegment,... Nicht alle Funktionen vertragen die Hierarchie Summe des Umsatz aller Tage Umsatz Monat Summe des Umsatz aller Monate Umsatz Jahr Durchschnitt des Umsatz aller Tage Durchschnitt des Umsatz im Monat Durchschnitt des Umsatz aller Monate Durchschnitt? des Umsatz im Jahr Summierbarkeit! OK Ulf Leser: Data Warehousing, Vorlesung, SoSe

41 Aggregatfunktionen Level 0 Level 1 Level 2 1 Summe: 2 1 Avg: 1 Summe: 12 Summe: 10 Avg: 11/2 12/3 10 Avg: 10 Hierarch. Berechnung: SUM, CNT, MAX,... Benötigt SUM und CNT: AVG Benötigt Basisdaten: MEDIAN, QUARTILE,... Ulf Leser: Data Warehousing, Vorlesung, SoSe

42 Charakterisierung von Agg.funktionen [GCB+97] Geg.: Set X, Partitionierung (X 1,X 2,..., X n ) Def. Aggregatfunktion f ist distributiv gdw g: f(x) = f( g(x 1 ), g(x 2 ),... g(x n )) Def. Aggregatfunktion f ist algebraisch gdw f(x) berechenbar aus fester Menge von g s Def. Aggregatfunktion f ist holistisch gdw f(x) kann nur aus den Grundelementen von X berechnet werden Bemerkung: d.h. dass die Menge von g s nicht begrenzt ist Ulf Leser: Data Warehousing, Vorlesung, SoSe

43 Beispiele Distributiv Summe, Count, Max, Min,... Algebraisch AVG (mit G 1 =SUM und G 2 =CNT) STDDEV, MaxN,... Holistisch MEDIAN, RANK, PERCENTILE Highest Frequency,... Highest Frequency Merke Werte und jeweilige Frequenz: ( (v 1,f 1 ), (v 2,f 2 ),...) Merge zweier Sets möglich Aber: Keine feste Grenze für Platzbedarf, da Anzahl unterschiedlicher Werte nicht fest Ulf Leser: Data Warehousing, Vorlesung, SoSe

44 Summierbarkeit / Aggregierbarkeit [LS97] Bisher: Wann darf man Werte summieren? Numerische Fakten Bei Verdichtungshierarchie Art der Aggregatfunktion beachten Aber Summe der Lagerbestände pro Produkt über Jahre? Gesamtsumme Studenten als Summe über Studenten pro Studiengang? Weitere notwendige Kriterien für Aggregierbarkeit entlang einer Klassifikationshierarchie Überlappungsfreiheit der Zuordnung von Klassifikationsknoten Vollständigkeit der Zerlegung pro Klassifikationslevel Typverträglich von Fakt und Aggregatfunktion Ulf Leser: Data Warehousing, Vorlesung, SoSe

45 Beispiel Studenten pro Jahr und Studiengang Gesamt Informatik BWL Gesamt Kann das stimmen? Wie lange dauern Studiengänge? Studenten nur in einem Studiengang eingeschrieben? Ulf Leser: Data Warehousing, Vorlesung, SoSe

46 Überlappungsfreiheit Def: Eine Klassifikationshierarchie ist überlappungsfrei (disjoint) gdw Jeder Klassifikationsknoten mit Level i ist höchstens einem Klassifikationsknoten in Level i+1 zugeordnet Jedes Fakt ist höchstens einem Klassifikationsknoten mit Level 0 zugeordnet P.familie Bekleidung P.gruppe Damen Herren Rock Anzug Produkt Jeans Ulf Leser: Data Warehousing, Vorlesung, SoSe

47 Vollständigkeit Def: Eine Klassifikationshierarchie ist vollständig (complete) gdw Jeder Klassifikationsknoten mit Level i ist mindestens einem Klassifikationsknoten in Level i+1 zugeordnet Jedes Fakt ist mindestens einem Klassifikationsknoten mit Level 0 zugeordnet P.familie Bekleidung P.gruppe Damen Herren Walkman Produkt Rock Anzug Jeans Ulf Leser: Data Warehousing, Vorlesung, SoSe

48 Was tun? Änderung der Modellierung Artifizielle Klassifikationsknoten: Others, Rest, Nicht zugewiesen Knotenaufspaltung: Herrenjeans, Damenjeans Gewichtete Zuordnung Türkei ist 10% Europa, 90% Asien Nicht-Testbar: Haben wir auch alle Fakten? Ulf Leser: Data Warehousing, Vorlesung, SoSe

49 Typen von Fakten Flow (Ereignis zu Zeitpunkt T) Verkäufe, Umsatz, Lieferungen, diplomierte Studenten,... Stock (Zustand zu Zeitpunkt T) Lagerbestand, eingeschriebene Studenten, Einwohnerzahlen,... Value-per-Unit (Eigenschaft zu Zeitpunkt T) Preis, Herstellungskurs, Währungskurs,... Ulf Leser: Data Warehousing, Vorlesung, SoSe

50 Typverträglichkeit MIN/MAX SUM AVG Stock Zeit: nein Sonst: Flow Value-per- Unit Nie Erkennen von Problemen Nicht automatisch möglich Metadaten Beschreibung der Fakten Ulf Leser: Data Warehousing, Vorlesung, SoSe

51 Studentenbeispiel Erklärung Gesamt Informatik BWL Gesamt Studiengangdauer: 2 Jahre Fakten sind Typ Stock Doppelt eingeschriebene Studenten Überlappungsfreiheit verletzt Studenten haben Studium abgebrochen Vollständigkeit verletzt Ulf Leser: Data Warehousing, Vorlesung, SoSe

52 Zusammenfassung MDDM Wesentliche Elemente Klassifikationsstufen, -knoten und hierarchien Würfel Fakten Ziel: Verdichtung entlang definierter Pfade Denn nur dort ist es sinnvoll Vorsicht vor Modellierungsfallen Summierung über kategorische Fakten Rekursive Durchschnittsbildung Typunverträgliche Summierung Löchrige Klassifikationshierarchien Ulf Leser: Data Warehousing, Vorlesung, SoSe

53 Teil 2: OLAP Operatoren Operationen auf multidimensionalen Daten Rotation (Pivoting) Aggregation / Verfeinerung (Roll-Up, Drill-Down) Selektion von Werten oder Wertebereichen (Slice, Dice) Zur Verdeutlichung nur 3-dimensionaler Fall Ulf Leser: Data Warehousing, Vorlesung, SoSe

54 Zweck von OLAP Operationen Ziel: Unterstützung des Analysten Flexible Datenanalyse kreativer Analyseprozess Unterschiedliche Sichtweisen OLAP Schnelle und intuitive Manipulation der Daten Notwendig Unterstützung durch graphischen Werkzeugen Umsetzung in physikalische Operationen Ulf Leser: Data Warehousing, Vorlesung, SoSe

55 Rotation Unterschiedliche Sichtweisen auf einen Datenbestand Jahr Marke Automarke Ulf Leser: Data Warehousing, Vorlesung, SoSe Jahr Asien Südamerika Kontinent BMW Ford 1999 Kontinent Australien S-Amerika Europa Asien Ford VW Peugot BMW

56 Aggregation / Konsolidierung Aggregation entlang eines Klassifikationspfades Jahr Jahr Kontinent Kontinent Asien Südamerika Asien 1999 Südamerika 1999 Automarke Rest BRD Automarke Ford Peugot VW BMW Rest BRD Ulf Leser: Data Warehousing, Vorlesung, SoSe

57 Verfeinerung Verfeinerung entlang eines Klassifikationspfades Jahr Jahr Kontinent Kontinent Asien Südamerika Asien 1999 Südamerika 1999 Automarke Rest BRD Automarke Ford Peugot VW BMW Rest BRD Ulf Leser: Data Warehousing, Vorlesung, SoSe

58 Selektion eines Wertes Verkäufe in Asien pro Jahr und Marke Verkäufe von Peugot pro Jahr und Kontinent Jahr Kontinent Asien Südamerika Automarke Ford VW Peugot BMW Ulf Leser: Data Warehousing, Vorlesung, SoSe

59 Auswahl von Unterwürfeln Verkäufe von Peugot,VW in 2000,2001 pro Kontinent Jahr Kontinent Asien Südamerika Automarke Ford VW Peugot BMW Ulf Leser: Data Warehousing, Vorlesung, SoSe

60 Formale Beschreibung Rotation Keine Auswirkung auf Cube; reine Darstellungsangelegenheit Aggregation Veränderung der Granularität durch Ersetzen einer Klassifikationsstufe D.K i durch D.K i+1 Aggregation von Fakten Selektion Veränderung der Granularität durch Festlegung eines Wertes / Wertebereiches in einer/mehreren Dimensionen Slicing: Optische Reduktion der Dimensionalität Keine Änderung der Fakten Häufige Kombination: Slicing + Aggregation Aggregation bis zum TOP-Element Echte Reduktion der Dimensionalität Ulf Leser: Data Warehousing, Vorlesung, SoSe

61 Slicing plus Roll-Up Summe Verkäufe pro Jahr und Marke Summe Verkäufe pro Jahr und Kontinent Jahr Kontinent Asien Südamerika Automarke Ford VW Peugot BMW Ulf Leser: Data Warehousing, Vorlesung, SoSe

62 Teil 3: Konzeptionelle MD Modellierung Konzeptionelle Modellierung multidimensionaler Daten Grundlagen ME/R Andere Ulf Leser: Data Warehousing, Vorlesung, SoSe

63 Datenbankentwurf Konzeptionelles Modell Abbild der Anwendungswirklichkeit im Kopf des Designers Semiformale, graphische Notation Logisches Modell Formalisierung des konzeptionellen Modells Algebras, Logik, Programmiersprachen Physisches (internes Modell) Implementierung der Elemente des formalen Modells Optimierung, Algorithmen, Speicherverfahren, Indexe, Hardwarekonfiguration, etc. Vorteil: Unabhängigkeit der Ebenen Unterschiedliche Verfahren und Notationen Unabhängige Evolution Definierte Schnittstellen: Produkt- und Herstellerunabhängigkeit Ulf Leser: Data Warehousing, Vorlesung, SoSe

64 Ablauf Konzeptionelles Modell Logisches Modell Implementierung Designer, Requirements Engineering Entwickler, Administrator Administrator Produktsupport E/R, UML: Klassen, Attribute, Assoziationen Relationen, Attribute, Keys, SQL (Halb)Automatisch Vollautomatisch Join-Order, Memory- Hierarchie, Indexe, Buffer / Blocks / Segments, Sort,... Ulf Leser: Data Warehousing, Vorlesung, SoSe

65 ME/R [SBHD98] E/R nicht ausreichend für MDDM Keine Unterscheidung Fakten Dimension Keine Repräsentation von Klassifikationsstufen und - hierarchien Keine Repräsentation der Eigenschaften von Fakten Numerisch / kategorisch, Stock/Flow/Value-per-Unit, Einheiten,... Keine Repräsentation der Eigenschaften von Klassifikationen Vollständigkeit, Überlappungen, Ordnung, etc. ME/R: Erweitertes E/R Modell Ulf Leser: Data Warehousing, Vorlesung, SoSe

66 Elemente und Notation Neue Elemente Entity Set: Dimension Level, Klassifikationsstufe Relationship Set: Fact, Würfel Relationship Set: Roll-Ups, Beziehung zwischen Klassifikationsstufen IC: Keine Zyklen in den ROLL-UP Beziehungen Klassifikationsstufe Fakt Roll-Up Ulf Leser: Data Warehousing, Vorlesung, SoSe

67 Beispiel Doppelte Verwendung von Geogr. Region? Zwei Dimensionen: Kunde und Werkstatt Wiederverwendung einer Klassifikationshierarchie Muss doppelt abgebildet werden (funkt. Abhängigkeit!) Ulf Leser: Data Warehousing, Vorlesung, SoSe

68 ME/R Metamodell (Extended E/R) Klassifikations stufe Würfel Beziehung zwischen Klassifikationsstufen Ulf Leser: Data Warehousing, Vorlesung, SoSe

69 ME/R Metamodell Dazu ist zu sagen Beziehungen werden auch geerbt (Roll-Up hat drei Connects sets) Polymorphie in Assoziationen Warum sind die Vererbungsbeziehungen eigentlich notwendig? Für die Attribute Warum ist das Metamodell in extended ER? Warum keine Repräsentation von Dimension? Würde formale keine Auswirkung haben, aber die Lesbarkeit/Verständlichkeit erhöhen Ulf Leser: Data Warehousing, Vorlesung, SoSe

70 Fazit Minimale, konservative Erweiterung Flexible Zuordnung Dimensionen Würfel Greift kurz Keine Eigenschaften von Fakten/Dimensionen Keine explizite Granularität (immer feinste) Keine Verankerung in umfassendem DWH- Metamodell Keine Übersetzungsmethode definiert aber nicht schwierig Toolunterstützung? Ulf Leser: Data Warehousing, Vorlesung, SoSe

71 Weitere Ansätze muml UML-Erweiterung basierend auf UML Metamodell (Constraints, Stereotypen) -> Werkzeugunterstützung vorhanden Klassifikationsstufe: <<Dimensional class>> Fakten: <<Fakt class>> Würfel: <<Dimension>> (Assoziationstyp) Hierarchie: <<Roll-Up>> (Assoziationstyp)... ADEPT Multi-dimensional Modelling Language (MML)... Keine der Methoden hat sich (bisher) durchgesetzt Ulf Leser: Data Warehousing, Vorlesung, SoSe

72 Literatur [Oeh00] Oehler: OLAP: Grundlagen, Modellierung und betriebswirtschaftliche Grundlagen, Hanser Verlag, 2000 [BG01]: Bauer, Günzel: Data Warehouse Systeme: Architektur, Entwicklung, Anwendung, dpunkt.verlag, 2001 [Vas98] Vassiliadis: Modeling Multidimensional Databases, Cubes, and Cube Operations, SSDBM, 1998 [SBHD98] Sapia at al. Extending the E/R Model for the Multidimensional Paradigm, Workshop DWDM, 1998 [SL97] Lenz, Shoshani: Summarizability in OLAP and Statistical Databases, SSDBM, 1997 Ulf Leser: Data Warehousing, Vorlesung, SoSe