Metadatenmodellierung und -verwaltung in Data-Warehouse-Systemen

Transkript

1 Metadatenmodellierung und -verwaltung in Data-Warehouse-Systemen Michael Seiferle Fachbereich Informatik Universität Konstanz 12. Februar 2008 Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 1

2 Inhaltsverzeichnis 1 Einleitung Motivation Metadaten im Data Warehouse 2 Common Warehouse Metamodel 3 CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 2

3 Warum Metadaten? Einleitung Motivation Metadaten im Data Warehouse Metadaten enthalten Informationen die nötig sind für die Analyse die Benutzung das Design die Interpretation den Austausch der Daten eines Datawarehouse-Systems. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 3

8 Anforderungen Einleitung Motivation Metadaten im Data Warehouse Entwicklerperspektive Anforderungen der Benutzer an das Produkt ändern sich stetig Neue Produkte in die bestehende Infrastruktur zu integrieren erfordert großen Aufwand Datenaustausch mit anderen Produkten ist nicht standardisiert und damit zeitaufwändig Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 8

9 Anforderungen Einleitung Motivation Metadaten im Data Warehouse Benutzerperspektive Was für Informationen habe ich überhaupt? Wie kann ich diese Informationen interpretieren? Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 9

10 Metadaten: Das Data Warehouse Motivation Metadaten im Data Warehouse Ein geeignetes Metadatenmodel ist notwendig um ein Data Warehouse effizient zu betreiben. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 10

11 Ziele der Metadatenverwaltung Motivation Metadaten im Data Warehouse Die Verwaltung und Generierung der Metadaten verfolgt zwei Ziele [ 5 ] Minimierung der Aufwands Verbesserung der Ergebnisse Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 11

12 Den Aufwand minimieren Motivation Metadaten im Data Warehouse Minimierung des Entwicklungs- und Verwaltungsaufwands Einfache Integration neuer Datenquellen / Tools Tools verlassen sich auf die Metadaten, nicht auf die physische Repräsentation Wiederkehrende Administrationsaufgaben (Refresh, Loading) Datensicherheit: Zugriffsregeln Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 12

16 Motivation Metadaten im Data Warehouse Verbesserung der Informationsextraktion Verbesserung und Vereinfachung der Informationsextraktion Qualitätskriterien definieren (Konsistenz, Vollständigkeit, Aktualität) Die Interaktion mit dem DWS verbessern Für den Benutzer: Was bedeuten diese Daten? Für die Applikation: Wie gehe ich mit den Daten um? Eine einheitliche, firmenweite Terminologie schafft zusätzliche Vorteile für alle Mitarbeiter des Unternehmens Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 16

19 Das Metadata Repository Motivation Metadaten im Data Warehouse Zur Verwaltung und Integration der Metadaten wird ein Metadata Repository eingeführt: es wird als zusätzliche Abstraktionsschicht zwischen die Daten des Data Warehouses und die Zugriffsschicht gelegt. Zusammen mit dem Metadata Manager bildet es eine API für alle Interaktionen mit den Daten. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 19

20 Schema Einleitung Motivation Metadaten im Data Warehouse Data Warehouse Architecture - Metadata Datenquellen Analyse, OLAP Data Warehouse Metadata Manager Benutzerzugriff (Browser, Query Interface) Administration Datenfluss Metadata Repository Reporting Abbildung: Metamodel Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 20

21 Metadaten: Abstraktion Motivation Metadaten im Data Warehouse Das Metadatenmodell bietet die folgenden abstrakten Sichten auf die Daten: Metdaten für Primärdaten Schema Beschreibung, Beschreibung der Beziehungen Metadaten für Datenverarbeitung Loading, Refreshment, Aggregationen, Transformationen Metadaten für die Benutzersicht Je nach Anwendungsgebiet und Zugriffsrechten unterschiedliche Sicht auf die Daten Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 21

22 Metadaten: Abstraktion cont. Motivation Metadaten im Data Warehouse Metadaten für Abstraktion umfassen folgende Modelle: Konzeptuelles natürlichsprachliche Beschreibung in Firmenterminologie Logisches Mapping der konzeptuellen Sicht relationales Schema Physisches Datenmodel Die Implementation des Datenbanksystems, wird in der Regel nicht zusätzlich beschrieben Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 22

23 Das Common Warehouse Metamodel Common Warehouse Metamodel Umfangreiches Framework, entwickelt von der Object Management Group [ 1 ]. Die Modellierung der Metadaten basiert auf: UML für die Modellierung MOF (Meta Object Facility) als Metadata Repository XML / XMI (XML Metadata Interchange 1 ) für den Metadatenaustausch 1 Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 23

24 Common Warehouse Metamodel Common Warehouse Metamodel Partner und Unterstützer des Modells sind unter anderem: Oracle DB/2 UBS Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 24

25 Das Common Warehouse Metamodel Common Warehouse Metamodel Definiert: [ 3, 4 ] Standardsprache für Semantik und Struktur der Metadaten Standardaustauschformat für Metadaten Gemeinsame Spezifikation über die Struktur und Semantik der Metadaten im Data Warehouse und der Businesslogik Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 25

26 Überblick CWM Einleitung June 7, :18 WSPC/111-IJCIS Common Warehouse Metamodel Das CWM definiert folgende Modelle Metadata Management for Data Warehousing 291 CWM Foundation Warehouse Deployment Relational Record Oriented MDDB XML Transformation OLAP Warehouse Process Warehouse Operation Fig. 4. Common warehouse metamodel. Abbildung: CWM: Überblick The XML package contains types and associations that describe XML data resources. It is based on XML 1.0. The Transformation package covers transformations among different types of data sources and targets: object-oriented, relational, record-oriented, multidimensional, XML, and OLAP. Transformations can be grouped into logical units. The OLAP package Michael defines Seiferle a metamodel of Metadatenmodellierung essential OLAP constructs thatund are -verwaltung in DWS :: 26

27 Übersicht CWM Klassen Common Warehouse Metamodel Umfassende Spezifikation CMW Foundation Basisklasse enthält Beschreibung für Datentypen, Indexstrukturen, Businesslogik Warehouse Deployment Informationen wie Hard- und Software eingesetzt / integriert werden müssen Relational / Record Beschreibt Relationen zwischen Records & einzelne Records Transformation Beschreibt Transformationen zwischen Datenquellen und -zielen, vor allem für ETL OLAP beschreibt essentielle Konstrukte für OLAP (Cubes, Dimensionen, Hierarchien, Kennzahlen) Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 27

32 Metadaten für OLAP CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Im Umfeld von OLAP sind von Bedeutung Transformation OLAP CMW Foundation Transformation OLAP Abbildung: CMW Olap Spezifikation Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 32

33 CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Anforderungen an Metadaten für OLAP Die Metadatenspezifikation des CMW sieht die folgenden Elemente vor: Schema enthält Dimensionen und Würfel Dimension enthält eine *Hierarchie als geordnete Liste von Werten mit gemeinsamer Semantik (z.b. Produktklasse Produkttyp Produkt) erlaubt außerdem die Modellierung von time-dimensionen Cube enthält eine Liste von Kennzahlen und eine Assoziation zu den *Dimensionen Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 33

34 Die OLAP Spezifikation des CWM CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer MemberSelection & MemberSelectionGroup ermöglicht die Partitionierung der Mitglieder einer Dimension, ({Altstadt, Niederburg, Paradies} Konstanz Deutsche Städte) Hierarchy Interface zur Modellierung von Parent-Child-Relationships, legt fest in welcher Reihenfolge Dimensionen durchlaufen werden Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 34

35 CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer OLAP Schema: UML Major Classes and Associations Schema / cube : Cube / dimension : Dimension 1 / deploymentgroup : DeploymentGroup 1 * Cube isvirtual : Boolean / cubedim ens ionassociation : CubeDim ensionassociation / cuberegion : CubeRegion / schem a : Schem a 1 1 * CubeDimensionAs sociation / dim ension : Dimension / cube : Cube / calchierarchy : Hierarchy * * 1 Dimension istim e : Boolean ismeasure : Boolean / hierarchy : Hierarchy / memberselection : MemberSelection / cubedim ensionass ociation : CubeDim ens ionassociation / displaydefault : Hierarchy / schem a : Schem a * 1 calchierarchy 0..1 displa ydefault 0..1 Hierarchy / dimens ion : D imen sion / cubedimensionassociation : CubeDim ensionassociation / defaulteddime nsio n : Dim ension * * CubeRegion is ReadOnly : Boolean is FullyR ealized : Bool ean / memberselectiongroup : MemberSelectionGroup / cube : Cube / cubedeployment : CubeDeploym ent 1 * MemberSelectionGroup / memberselection : MemberSelection / cuberegion : CubeRegion * 1..* MemberSelection / dimension : Dimension / memberselectiongroup : MemberSelectionGroup * 1 CubeDeployment * / cuberegion : CubeRegion / deploym entgroup : Deploym entgroup {ordered} / contentmap : ContentMap Figure 14-1 OLAP Metamodel: Major Classes and Associations Abbildung: CMW OLAP UML Schemea The major classes and associations of the OLAP metamodel are shown in Figure Schema is the logical container of all elements comprising an OLAP model. It is the root element of the model hierarchy and marks the entry point for navigating OLAP models. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 35 A Schema contains Dimensions and Cubes. A Dimension is an ordinate within a

36 CWM: Pentaho Metadata CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Pentaho Metadata 2 ist eine Adaption des CWM für die BI Suite Pentaho. Sie implementiert neben anderen CWM-Klassen die wichtigsten Elemente der CWM-Referenz im Kontext von OLAP: Cubes Dimensions Hierarchies Relations und verwaltet diese als XMI File. 2 metadata.php Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 36

37 Pentaho Metadata Editor CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Abbildung: Pentaho Metadata Editor Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 37

38 Pentaho Metadata Editor CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Abbildung: Pentaho Metadata Overview Leider erlaubt der Editor nicht direkt das erstellen von Cubes; hierfür ist weiterhin der Cube Designer verantwortlich. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 38

39 Pentaho Cube Designer CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 39

40 Pentaho Cube Designer cont. CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 40

41 Pentaho Cube Designer: XML CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Abbildung: Pentaho Cube Designer XML Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 41

42 Pentaho Cube Designer: XML Detail CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 42

43 Pentaho Cube Designer: Nachteile CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Keine Rechteverwaltung Im graphischen Editor angelegte Cubes lassen sich nach dem Modellierungsvorgang nicht mehr ändern Nicht unter OS X lauffähig, deshalb nur Screenshots Von Haus aus keine Mehrsprachigkeit für die Metadaten Trotzdem: Guter Ausgangspunkt als Metadatenmodell für den Univis Explorer. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 43

44 UniVis Explorer: Metadaten CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Die momentane Implementierung verlässt sich auf manuell modellierte Metadaten. Die Implementation übernehmen vier Klassen: VDataReference Parent-Child-Relation, Basisklasse für VCube VCube Cube Container, Wurzelobjekt für VDimension, Attribute: Farbe VDimension Referenz auf *VDataReference und Informationen für das Zeichnen der GUI, Attribute: i18n, foreign key, table name VHierarchy ordnet die VDimension über Attribute: *VDataReference, parent id, child order Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 44

45 UniVis Explorer: Metadaten CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Univis Explorer bietet momentan schon die Möglichkeit für einen XML Import von Metadaten: Allerdings wenig intuitiv und ohne graphische Unterstützung während der Modellierung. Labeling der Daten in der GUI über Java Properties File Measures und erlaubte Aggregatfunktionen werden unabhängig voneinander definiert Measures haben kein Label (z.b. Avg. Number of Units sold) Dimensionen und Hierarchien werden unabhängig definiert und nachträglich in der Cube Definition verbunden Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 45

46 CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Pentaho Cube Designer Schema integrieren Die Integration des Pentaho Schemas liefert viele Vorteile: Metadaten sind zentraler Dreh- und Angelpunkt der Applikation Alle Measures, Cubes und Hierarchien haben ein name-attribut Measures können außerdem mit einem formatstring-attribut versehen werden um Währungen o.ä. darzustellen Measures werden per cube definiert. Multiple Hierarchien: timebyweek Jahr Woche Tag timebyyear Jahr Quartal Monat Informationen Pentaho Schema [2] Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 46

47 Pentaho: Multicube Join CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Pentaho nennt dieses Konzept VirtualCube 3 und erlaubt das joinen der Cubes entlang ihrer gemeinsamen Dimensionen. VirtualCubeDimension importiert eine Dimension in den Multicube VirtualCubeMeasure importiert eine Kennzahl in den Multicube CalculatedMembers erlauben es Measures umzubenennen und neue Measures auf Basis einer Formel einzuführen 3 cubes Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 47

48 Metadata Manager & Repository CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Metadata Repository wird mit HSQLDB 4 integriert. Metadata Manager als zusätzliche Abstraktionsschicht für: den Aufbau der GUI Labels JTree for Cubes & Dimensions Multicube Verbindungen die Generierung der Queries 4 Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 48

49 Integration der Metadaten CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Wie bisher über XML: Import und Export Funktion Neues Konzept: Connection Manager der die Verbindung zur Datenbank speichert HSQLDB speichert sowohl Verbindungsdetails als auch die Metadaten für diese Verbindung Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 49

50 Metadata Manager: Generation CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Generiert als Informationscenter : Query, Datenobjekte und Informationen zur Visualisierung. 4 SQL Visualization Information 6 5 Data Objects 6 3 Data Warehouse Metadata Manager 2 2 Dimensions 1 2 User: Create Cube Metadata Repository Measure Abbildung: Metadaten in Univis Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 50

51 Connection Manager / Metadata CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Die eigentliche Implementierung muss noch abgestimmt werden Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 51

52 Noch fragen? Einleitung CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Gibt es Fragen oder Anmerkungen? Vielen Dank für Ihre Aufmerksamkeit. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 52

53 Noch fragen? Einleitung CMW OLAP Schema Pentaho: CWM & XML basiertes Schema Metadaten im Univis Explorer Gibt es Fragen oder Anmerkungen? Vielen Dank für Ihre Aufmerksamkeit. Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 53

54 Einleitung [1] The common warehouse metamodel: Feburary [2] Pentaho schema definition: Feburary [3] D.T. Chang. Common Warehouse Metamodel (CWM), UML and XML. Meta Data Conference (March 19-23, 2000). [4] A.R. Pais. Common Warehouse Metamodel. [5] A. Vaduva and T. Vetterli. Metadata Management for Data Warehousing: An Overview. International Journal of Cooperative Information Systems, 10(3): , Michael Seiferle Metadatenmodellierung und -verwaltung in DWS :: 54