Multidimensionales Datenmodell

Transkript

1 Multidimensionales Datenmodell Grundbegriffe fi Fakten, Dimensionen, Würfel Analyseoperationen fi Drill-Down, Roll-Up, Slice und Dice Notationen zur konzeptuellen Modellierung fi ME/R, ADAPT Relationale Speicherung fi Star-Schema, Snowflake-Schema Multidimensionale Speicherung VL Data Warehouses, WS 2000/ Motivation Datenmodell ausgerichtet auf Unterstützung der Analyse Datenanalyse im Entscheidungsprozeß fi Betriebswirtschaftliche Kennzahlen (Erlöse, Gewinne, Verluste, etc.) stehen im Mittelpunkt fi Betrachtung der Kennzahlen aus unterschiedlichen Perspektiven (zeitlich, regional, produktbezogen) Dimensionen fi Unterteilung der Auswertedimensionen möglich (Jahr, Quartal, Monat) Hierarchien oder Konsolidierungsebenen VL Data Warehouses, WS 2000/

2 Kennzahlen/Fakten Kennzahlen/Fakten (engl. facts): fi (verdichtete) numerische Meßgrößen fi beschreiben betriebswirtschaftliche Sachverhalte Beispiele: Umsatz, Gewinn, Verlust, Deckungsbeitrag Typen: fi Additive Fakten: (additive) Berechnung zwischen sämtlichen Konsolidierungsebenen der Dimensionen möglich, z.b. Einkaufswert fi Semi-additive Fakten: (additive) Berechnung nur für ausgewählte Menge von Hierarchieebenen, z.b. Lagerbestand fi Nicht-additive Fakten: keine additive Berechnung möglich, z.b. Durchschnitts- oder prozentuale Werte VL Data Warehouses, WS 2000/ Dimensionen Dimension: fi beschreibt mögliche Sicht auf die assoziierte Kennzahl fi endliche Menge von n (n 2) Dimensionselementen (Hierarchieobjekten), die eine semantische Beziehung aufweisen fi dienen der orthogonalen Strukturierung des Datenraums Beispiele: Produkt, Geographie, Zeit VL Data Warehouses, WS 2000/

3 Hierarchien in Dimensionen Dimensionselemente: fi Knoten einer Klassifikationshierarchie fi Klassifikationsstufe beschreibt Verdichtungsgrad Darstellung von Dimensionen über Klassifikationsschema (Schema von Klassifikationshierarchien) Formen: fi einfache Hierarchien fi parallele Hierarchien VL Data Warehouses, WS 2000/ Einfache Hierarchien Höhere Hierarchieebene enthält die aggregierten Werte genau einer niedrigeren Hierachiestufe Oberster Knoten: Top enthält Verdichtung auf einen einzelnen Wert der Dimension Top Produktkategorie Produktfamilie Produktgruppe Top Land Stadt Filiale Artikel VL Data Warehouses, WS 2000/

4 Parallele Hierarchien Innerhalb einer Dimension sind zwei (oder auch mehrere) verschiedene Arten der Gruppierung möglich Keine hierarchische Beziehung in den parallelen Zweigen Parallelhierachie Pfad im Klassifikationsschema (Konsolidierungspfad) Top Jahr Quartal Woche Monat Tag VL Data Warehouses, WS 2000/ Würfel Würfel (engl. cube, eigentlich Quader): Grundlage der multidimensionalen Analyse Kanten Dimensionen Zellen ein oder mehrere Kennzahlen (als Funktion der Dimensionen) Anzahl der Dimensionen Dimensionalität Visualisierung fi 2 Dimensionen: Tabelle fi 3 Dimensionen: Würfel fi >3 Dimensionen: Multidimensionale Domänenstruktur VL Data Warehouses, WS 2000/

5 Multidimensionaler Datenwürfel Zeitraum Jahr Halbjahr Quartal Produkt Kategorie Artikel Region Stadt Bundesland Filiale Kennzahl Umsatz VL Data Warehouses, WS 2000/ Operationen zur Datenanalyse OLAP-Operationen auf multidimensionalen Datenstrukturen Standardoperationen fi Pivotierung fi Roll-Up, Drill-Down fi Drill-Across fi Slice, Dice VL Data Warehouses, WS 2000/

6 Pivotierung/Rotation Drehen des Würfels durch Vertauschen der Dimensionen Analyse der Daten aus verschiedenen Perspektiven Produkt Haushalt Elektro Kosmetik Zeitraum Produkt Haushalt Elektro Zeitraum Thüringen Region Kosmetik Sachsen- Anhalt Sachsen- Anhalt Thüringen Region VL Data Warehouses, WS 2000/ Roll-Up, Drill-Down, Drill-Across Roll-Up: fi Erzeugen neuer Informationen durch Aggregierung der Daten entlang des Konsolidierungspfades fi Dimensionalität bleibt erhalten fi Beispiel: Tag Monat Quartal Jahr Drill-Down: fi komplementär zu Roll-Up fi Navigation von aggregierten Daten zu Detail-Daten entlang der Klassifikationshierarchie Drill-Across: fi Wechsel von einem Würfel zu einem anderen VL Data Warehouses, WS 2000/

7 Roll-Up, Drill-Down Produkt Haushalt Elektro Kosmetik Zeitraum Region Drill-Down Roll-Up Produkt Haushalt Elektro Kosmetik.Quartal 2.Quartal 3.Quartal 4.Quartal Zeitraum Sachsen- Anhalt Thüringen Sachsen- Anhalt Thüringen Region VL Data Warehouses, WS 2000/ Slice und Dice Erzeugen individueller Sichten Slice: fi Herausschneiden von Scheiben aus dem Würfel fi Verringerung der Dimensionalität fi Beispiel: alle Werte des aktuellen Jahres Dice: fi Herausschneiden einen Teilwürfels fi Erhaltung der Dimensionalität, Veränderung der Hierarchieobjekte fi Beispiel: die Werte bestimmter Produkte oder Regionen VL Data Warehouses, WS 2000/

8 Slice Produkt Produkt Haushalt Haushalt Elektro Kosmetik Elektro Kosmetik Zeitraum Thüringen Region Zeitraum Sachsen- Anhalt Sachsen- Anhalt Thüringen Region VL Data Warehouses, WS 2000/ Konzeptuelle Modellierung Konzeptuelle Modellierung: fi formale Beschreibung des Fachproblems und der im Anwendungsbereich benötigten Informationsstrukturen Probleme konventioneller Entwurfstechniken (ER, UML): fi Unzureichende Semantik für multidimensionales Datenmodell fi hier: Verzicht auf universelle Anwendbarkeit, statt dessen Konzentration auf Analyse fi Beispiel: Klassifikationsstufe, Fakt Entity? VL Data Warehouses, WS 2000/

9 ME/R-Modell Multidimensional Entity/Relationship [Sapia et. al. (LNCS 552)] Erweiterung des klassischen ER-Modells fi Entity-Menge Dimension Level (Klassifikationsstufe) keine explizite Modellierung von Dimensionen fi n-äre Beziehungsmenge Fact Kennzahlen als Attribute der Beziehung fi Binäre Beziehungsmenge Classification bzw. Roll-Up (Verbindung von Klassifikationsstufen) definiert gerichteten, azyklischen Graphen VL Data Warehouses, WS 2000/ ME/R-Modell: Notation Faktenname Ebene Faktenbeziehung Klassifikationsstufe Klassifikationsbeziehung VL Data Warehouses, WS 2000/

10 ME/R-Modell: Beispiel Verkäufe Umsatz Produktgruppe Artikel Verkauf Fililale Stadt Produktkategorie Tag Bundesland Woche Monat Quartal Jahr VL Data Warehouses, WS 2000/ ADAPT Application Design for Analytical Processing Technologies (Bulos) neue Entwicklung für multidimensionale Datenmodellierung Beschreibung sämtlicher Metadaten-Objekte Unterstützung von Berechnungsvorschriften teilweise Werkzeugunterstützung (CASE, Visio, etc.) keine formale Grundlage VL Data Warehouses, WS 2000/

11 ADAPT: Elemente Hypercube: fi multidimensionale Datenstruktur fi enthält nur eine Kennzahl fi Assoziationen zu beliebig vielen Dimensionen Dimension: fi beschreibt Dimension fi bestehend aus Hierarchiestufen, Dimensionselementen, Attributen Hierarchie: fi Eindeutiger Konsolidierungspfad VL Data Warehouses, WS 2000/ ADAPT: Notation Hypercube ƒ() Berechnungsformel Dimension Dimension 2 Hierarchie Dimension { } Hierarchiestufe VL Data Warehouses, WS 2000/

12 ADAPT: Beispiel Verkäufe Zeit Geographie Produkt Zeit Geographie Produkt Standardhierarchie Wochenhierarchie Standardhierarchie Standardhierarchie { } Jahr { } Jahr { } Bundesland { } Produktkategorie { } Quartal { } Woche { } Stadt { } Produktgruppe { } Monat { } Filiale { } Artikel { } Tag VL Data Warehouses, WS 2000/ Zusammenfassung Weitere Notationen: fi Erweiterungen von ER: Dimensional Fact Modeling fi Erweiterungen von UML: muml (multidimensional UML) Zur Zeit keine Standard verfügbar VL Data Warehouses, WS 2000/

13 Umsetzung des multidim. Datenmodells Multidimensionale Sicht fi Modellierung der Daten fi Anfrageformulierung Interne Verwaltung der Daten erfordert Umsetzung auf fi relationale Strukturen (Tabellen) ROLAP (relationales OLAP) Verfügbarkeit, Reife der Systeme fi multidimensionale Strukturen (direkte Speicherung) MOLAP (multidimensionales OLAP) Wegfall der Transformation Aspekte fi Speicherung fi Anfrageformulierung bzw. -ausführung VL Data Warehouses, WS 2000/ Relationale Speicherung: Anforderungen Vermeidung des Verlustes anwendungsbezogener Semantik (aus dem multidimensionalen Modell, z.b. Klassifikationshierarchien) effiziente Übersetzung multidimensionaler Anfragen effiziente Verarbeitung der übersetzten Anfragen Einfache Pflege der entstandenen Relationen (z.b. Laden neuer Daten) Berücksichtigung der Anfragecharakteristik und des Datenvolumens von Analyseanwendungen VL Data Warehouses, WS 2000/

14 Relationale Speicherung: Faktentabelle Ausgangspunkt: Umsetzung des Datenwürfels ohne Klassifikationshierarchien fi Dimensionen, Kennzahlen Spalten der Relation fi Zelle Tupel Produkt Artikel Filiale Tag Verkäufe Immer Ultra Immer Ultra Halle Kukident Zeit Kukident Immer Ultra Halle Erfurt Halle Erfurt Geographie VL Data Warehouses, WS 2000/ Snowflake-Schema Abbildung von Klassifikationen: eigene Tabelle für jede Klassifikationsstufe (z.b. Artikel, Produktgruppe, etc.) Tabelle enthält fi ID für Klassifikationsknoten fi beschreibendes Attribut (z.b. Marke, Hersteller, Bezeichnung) fi Fremdschlüssel der direkt übergeordneten Klassifikationsstufe Faktentabelle enthält (neben Kenngrößen): fi Fremdschlüssel der jeweils niedrigsten Klassifikationsstufe fi Fremdschlüssel bilden zusammengesetzte Primärschlüssel für Faktentabelle VL Data Warehouses, WS 2000/

15 Snowflake-Schema: Beispiel Jahr Jahr_ID Jahr Monat Monat_ID Bezeichnung * Jahr_ID * * Tag Tag_ID Datum Monat_ID Woche_ID * Verkauf Artikel_ID Tag_ID Filial_ID Verkäufe Umsatz * * Artikel Artikel_ID Bezeichnung Gruppe_ID Filiale Produktgruppe * Gruppe_ID Bezeichnung Kategorie_ID * Produktkategorie Kategorie_ID Bezeichnung Filial_ID Bezeichnung Stadt_ID Woche Woche_ID Bezeichnung * Stadt Stadt_ID Bezeichnung Land_ID * Bundesland Land_ID Bezeichnung VL Data Warehouses, WS 2000/ Star-Schema Snowflake-Schema ist normalisiert: Vermeidung von Update-Anomalien aber: erfordert Join über mehrere Tabellen! Star-Schema: fi Denormalisierung der zu einer Dimension gehörenden Tabellen fi für jede Dimension genau eine Dimensionstabelle fi Redundanzen in der Dimensionstabelle für schnellere Anfragebearbeitung fi Beispiel: Artikel, Produkt, Produktgruppe etc. als Spalten in einer Tabelle Produkt VL Data Warehouses, WS 2000/

16 Star-Schema. Dimensionstabelle Dim_Schlüssel Dim_Attribut 2. Dimensionstabelle Dim2_Schlüssel Dim2_Attribut Faktentabelle Dim_Schlüssel Dim2_Schlüssel Dim3_Schlüssel Dim4_Schlüssel Fakt Fakt2 Fakt3 3. Dimensionstabelle Dim3_Schlüssel Dim3_Attribut 4. Dimensionstabelle Dim4_Schlüssel Dim4_Attribut VL Data Warehouses, WS 2000/ Star-Schema: Beispiel Zeit Zeit_ID Tag Woche Monat Quartal Jahr * * Verkauf Produkt_ID Zeit_ID Geographie_ID Verkäufe Umsatz * Produkt Produkt_ID Artikel Produktgruppe Produktkategorie Geographie Geographie_ID Filiale Stadt Bundesland VL Data Warehouses, WS 2000/

17 Star-Schema vs. Snowflake-Schema Charakteristika von DW-Anwendungen fi typischerweise Einschränkungen in Anfragen auf höherer Granularitätsstufe (Join-Operationen) fi geringes Datenvolumen der Dimensiontabellen im Vergleich zu Faktentabellen fi seltene Änderungen an Klassifikationen (Gefahr von Update-Anomalien) Vorteile des Star-Schemas fi einfache Struktur (vereinfachte Anfrageformulierung) fi einfache und flexible Darstellung von Klassifikationshierarchien (Spalten in Dimensionstabellen) fi effiziente Anfrageverarbeitung innerhalb einer Dimension (keine Join-Operation notwendig) VL Data Warehouses, WS 2000/ Mischformen Abbildung einzelner Dimensionen analog Snowflake- Schema oder Star-Schema Entscheidungskriterien: fi Änderungshäufigkeit der Dimensionen: Reduzierung des Pflegeaufwandes durch Normalisierung (Snowflake) fi Anzahl der Klassifikationsstufen einer Dimension: mehr Klassifikationsstufen größere Redundanz im Star-Schema VL Data Warehouses, WS 2000/

18 Mischformen Entscheidungskriterien (fortg.): fi Anzahl der Dimensionselemente: Einsparung durch Normalisierung bei vielen Elementen einer Dimension auf niedrigster Klassifikationsstufe fi Materialisierung von Aggregaten: Performance-Verbesserung durch Normalisierung bei materialisierten Aggregaten für eine Klassifikationsstufe VL Data Warehouses, WS 2000/ Galaxie Star-Schema fi eine Faktentabelle fi mehrere Kennzahlen nur möglich bei gleichen Dimensionen Galaxie fi mehrere Faktentabellen fi teilweise mit gleichen Dimensionstabellen verknüpft fi auch: Multi-Faktentabellen-Schema, Multi-Cube, Hyper-Cube VL Data Warehouses, WS 2000/

19 Fact Constellation Speicherung vorberechneter Aggregate in Faktentabelle fi Beispiel: Umsatz für Region fi Unterscheidung in Dimensionstabelle über spezielle Attribute (Bsp.: Stufe ) Alternative: Auslagerung in eigene Faktentabelle Fact-Constellation-Schema (Spezialfall eines Galaxie-Schemas) VL Data Warehouses, WS 2000/ Darstellung von Klassifikationshierarchien Horizontal: Modellierung der Stufen der Klassifikationshierarchie als Spalten der denormalisierten Dimensionstabelle Vorteil: fi Einschränkungen auf höherer Granularität ohne Join Nachteile: fi Duplikateliminierung beim Anfragen bestimmter Stufen (Bsp.: Produktgruppe innerhalb einer Kategorie) fi Schemaänderung beim Hinzufügen neuer Stufen Produkt_ID Artikel Produktgruppe Produktkategorie 234 Immer Ultra Hygiene Kosmetik 235 Putzi Hygiene Kosmetik 2345 Rohrfrei Reiniger Haushalt VL Data Warehouses, WS 2000/

20 Darstellung von Klassifikationshierarchien Vertikal (rekursiv): normalisierte Dimensionstabelle mit Attributen fi Dimensions_ID: Schlüssel für Faktentabelle fi Eltern_ID: Attributwert der Dimensions-ID der nächsthöheren Stufe Vorteile: fi Einfache Änderung am Klassifikationsschema fi Einfache Behandlung Dimensions_ID Eltern_ID vorberechneter Aggregate Immer Ultra Hygiene Nachteil: fi Self-Join für Anfragen Hygiene Kosmetik einzelner Stufen (Bsp.: Produktgruppe innerhalb einer Kategorie) Putzi Hygiene VL Data Warehouses, WS 2000/ Darstellung von Klassifikationshierarchien Kombiniert: Verbindung beider Strategien fi Repräsentation der Klassifikationsstufen als Spalten (jedoch generische Bezeichnung) fi Speicherung der Knoten aller höheren Stufen als Tupel fi Zusätzliches Attribut Stufe Angabe der bezeichneten Klassifikationsstufe Dimensions_ID Immer Ultra Putzi Hygiene Kosmetik Stufe_ID Hygiene Hygiene Kosmetik NULL Stufe2_ID Kosmetik Kosmetik NULL NULL Stufe VL Data Warehouses, WS 2000/

21 Vermeidung von Semantikverlusten Semantikverlust bei relationaler Abbildung: fi Unterscheidung zwischen Kennzahl und Dimension (Attribute der Faktentabelle) fi Attribute von Dimensionstabellen (beschreibend, Aufbau der Hierarchie) fi Aufbau der Dimensionen (Drill-Pfade) Ausweg: fi Erweiterung des Systemkatalogs um Metadaten für multidimensionale Anwendungen fi Beispiel:CREATE DIMENSION, HIERARCHY in Oracle VL Data Warehouses, WS 2000/ Probleme der relationalen Umsetzung Transformation multidimensionaler Anfragen in relationale Repräsentation notwendig komplexe Anfragen Einsatz komplexer Anfragewerkzeuge notwendig (OLAP-Werkzeuge) Semantikverlust daher: direkte multidimensionale Speicherung? VL Data Warehouses, WS 2000/

22 Multidimensionale Speicherung Verwendung unterschiedlicher Datenstrukturen für Datenwürfel und Dimension Speicherung des Würfels als Array Ordnung der Dimension für Adressierung der Würfelzellen notwendig häufig proprietäre Strukturen (und Systeme) VL Data Warehouses, WS 2000/ Datenstrukturen Dimension: fi endliche, geordnete Liste von Dimensionswerten fi Dimensionswerte: einfache unstrukturierte Datentypen (String, Integer, Date) fi Ordnung der Dimensionswerte (interne ganze Ordnungszahl 2 oder 4 Byte) Endlichkeit der Werteliste VL Data Warehouses, WS 2000/

23 Datenstrukturen Würfel: fi Für n Dimensionen: n-dimensionaler Raum fi m Dimensionswerte einer Dimension: Aufteilung des Würfels in m parallele Ebenen fi durch Endlichkeit der Dimensionswerteliste: endliche, gleichgroße Liste von Ebenen je Dimension fi Zelle eines n-dimensionalen Würfels wird eindeutig über n-tupel von Dimensionswerten identifiziert fi Zelle kann ein oder mehrere Kennzahlen eines zuvor definierten Datentyps aufnehmen fi Bei mehreren Kennzahlen: Alternative mehrere Datenwürfel VL Data Warehouses, WS 2000/ Klassifikationshierarchien Dimensionswerte umfassen alle Ausprägungen der Dimension: Elemente (Blätter) und Knoten der höheren Klassifikationsstufen Knoten der höheren Stufen bilden weitere Ebenen Magdeburg Halle Sachsen-Anhalt Erfurt Thüringen Januar Februar März.Quartal VL Data Warehouses, WS 2000/

24 Berechnung von Aggregationen Echtzeit: fi bei Anfrage von Zellen, die Werte einer höheren, aggregierten Klassifikationsstufe repräsentieren Berechnung aus Detaildaten fi hohe Aktualität, jedoch hoher Aufwand fi eventuell Caching Vorberechnung: fi nach Übernahme der Detaildaten Berechnung und Eintragen der Aggregationswerte in entsprechende Zellen fi Neuberechnung nach jeder Datenübernahme notwendig fi hohe Anfragegeschwindigkeit, jedoch Zunahme der Würfelgröße und Laufzeitaufwand Ausweg: inkrementelle Vorberechnung VL Data Warehouses, WS 2000/ Weitere Datenstrukturen Attribute fi klassifizierende Merkmale einer Dimension fi Identifizierung von Untermengen von Dimensionswerten (z.b. Produktfarbe ) fi nicht zur Vorberechnung vorgesehen Virtueller Würfel fi umfaßt abgeleitete Daten ( Gewinn, prozentualer Umsatz ) fi Ableitung aus anderen Würfeln durch Anwendung von Berechnungsfunktionen Sichten im relationalen Modell Teilwürfel fi Kombination mehrerer Ebenen eines Würfels virtueller Würfel VL Data Warehouses, WS 2000/

25 Array-Speicherung Speicherung des Würfels: n-dimensionales Array Linearisierung in eine eindimensionale Liste Indizes des Arrays Koordinaten der Würfelzellen (Dimensionen D i ) Indexberechnung für Zelle mit Koordinaten x...x n Index( z) = x + ( x 3 + ( x + ( x 2 ) D ) D ) D n D n D VL Data Warehouses, WS 2000/ Linearisierungsreihenfolge D 3 D 2 D VL Data Warehouses, WS 2000/

26 Array-Speicherung: Probleme Zahl der Plattenzugriffe bei ungünstigen Linearisierungsreihenfolgen fi Reihenfolge der Dimensionen ist bei Definition des Würfels zu beachten Caching zur Reduzierung notwendig Speicherung dünn besetzter Würfel VL Data Warehouses, WS 2000/ Grenzen der multidim. Speicherung Skalierbarkeitsprobleme aufgrund dünn besetzter Datenräume teilweise einseitige Optimierung bezüglich Leseoperationen Ordnung der Dimensionswerte notwendig (durch Array- Speicherung) erschwert Änderungen an den Dimensionen kein Standard für multidimensionale DBMS Spezialwissen notwendig VL Data Warehouses, WS 2000/

27 Hybride Speicherung HOLAP: Verbindung der Vorteile beider Welten fi Relational (Skalierbarkeit, Standard) fi Multidimensional (analytische Mächtigkeit, direkte OLAP- Unterstützung) Speicherung: fi Relationale Datenbank: Detaildaten fi Multidimensionale Datenbank: aggregierte Daten fi Multidim. Speicherstrukturen als intelligenter Cache für häufig angeforderte Datenwürfel transparenter Zugriff über multidimensionales Anfragesystem VL Data Warehouses, WS 2000/