Friedrich-Schiller-Universität Jena

Transkript

1 Friedrich-Schiller-Universität Jena Seminar WS2011 Data Warehouse Systeme Präsentationsthema Metadaten Präsentiert von: Julian Zausch, 96382

2 Inhaltsverzeichnis EINLEITUNG WELCHE ROLLE SPIELEN METADATEN IN EINEM DATA WAREHOUSE ART DER NUTZUNG VON METADATEN WEITERES ZUM METADATENMANAGEMENT MODELLIERUNGSEBENEN VERWENDUNG VON OLAP GRUNDLAGEN DES MULTIDIMENSIONALEN DATENMODELLS FORSCHUNG KOMMERZIELLE ANSÄTZE ZUSAMMENFASSUNG QUELLEN Data Warehouse Systeme Seite - 2 -

3 Einleitung Diese Ausarbeitung befasst sich mit der Verwendung von Metadaten in einem Data Warehouse. Dabei wird genau geklärt, welche Arten es von Metadaten gibt und wie man sie operativ einsetzt. Der Gebrauch von Metadaten spielt heutzutage eine große Rolle. Ein Beispiel sind Verpackungen, die eine Vielzahl von Texten, Bildern und Zahlen besitzen. Meist handelt es sich dabei um Daten, die angegeben werden um dem Käufer Informationen über das Produkt zu liefern und eine Kaufentscheidung zu beeinflussen. Dies wirft die Frage auf, inwieweit das mit Metadaten zu tun hat. Der Aufbau einer Nahrungsmittelverpackung ist durch eine Vielzahl von Metadaten vorgegeben. Sie bilden somit ein Gerüst für konkrete Daten. Diese geben an, welche Elemente auf so einer Verpackung vorhanden sein müssen, welche zu einem gewissen Grad vorhanden sein sollen oder welche nicht angeben werden müssen. Ein markantes Beispiel ist die Verwendung von Metadaten bei Büchern. Bücher haben alle einen Titel, einen Autor oder mehrere Autoren, eine Zusammenfassung, meist einen Bar-Code und eine ISBN-Nummer. Auf Grundlage der Metadaten wird ein Gerüst oder Schema definiert. Dies hat zur Folge, dass die verschiedensten Individuen mit diesem Gerüst arbeiten können. Ein Individuum kann in dem Falle ein Mensch oder ein Computer sein. Das Gerüst bietet die Möglichkeit, anhand der gespeicherten Informationen nach deren konkreten Daten zu suchen. Aufgrund der Metadaten können Bücher klassifiziert, verwaltet und wiederaufgefunden werden. Metadaten verwendet man heutzutage, um einen effizienten und kostengünstigen Nutzen aus den Quelldaten zu ziehen. Quelldaten sind diejenigen konkreten Daten, die von außerhalb in ein Data Warehouse eingefügt und durch Transformation so geändert wurden, dass man anhand von Metadaten auf ihnen arbeiten kann. Durch folgendes Zitat wird der Begriff Metadaten durch Bauer und Günzel konkret definiert. Unter dem Begriff Metadaten versteht man gemeinhin jede Art von Information, die für den Entwurf, die Konstruktion und die Benutzung eines Informationssystems benötigt wird. 1 Für den Entwurf und die Konstruktion eines Gebäudes muss im vor hinein geklärt werden, welche Maße das Gebäude haben soll. Ähnliches gilt auch für Softwaresysteme. Der Einsatz von Werkzeugen zur Entwicklung von Softwaresystemen hat dazu geführt, dass auch Informationen über Programme und über den Entwicklungsprozess an sich als Metadaten angesehen werden, laut [Bau2004]. Durch diese Informationen können diese Metadaten in verschiedenster Art genutzt werden. Die Nutzungsart von Metadaten ist von vielen Faktoren abhängig. Es gibt vier verschiedene Arten von Metadaten. Passive als konsistente Dokumentation von verschiedensten Aspekten eines Data Warehouse. Diese Art von Metadaten ist für jeden Akteur zugänglich. Semipassiven mit dieser Art bezeichnet man häufig ändernde Metadaten, die erst zum Ausführungszeitpunkt aus dem Data Warehouse extrahiert werden. Aktive diese Art wird sofort zum Ausführungszeitpunkt interpretiert und von einem entsprechenden Werkzeug ausgeführt. Dies sind meist Transformationsregeln von Prozessen. Semiaktive sind Metadaten zur Beschreibung von Tabellendefinitionen und Konfigurationsspezifiktionen. Diese verwendet man, um die Existenz eines Datenelements in der Tabelle zu überprüfen. Im Gegensatz zu den aktiven Metadaten werden diese nicht direkt beim Start des Prozesses ausgeführt. Jegliche Metadaten werden in einem Metadatenkatalog gespeichert. Data Warehouse Systeme Seite - 3 -

4 Welche Rolle spielen Metadaten in einem Data Warehouse Art der Nutzung von Metadaten In einem Data Warehouse gibt es ein zentrales Metadatenverwaltungssystem, den Metadatenmanager. Dieser und ein Metadatenkatalog dienen dazu, den Aufwand eines Data Warehouse Systems zu verringern und auf der anderen Seite den Informationsgewinn zu erhöhen. Um den Aufwand des Systems zu minimieren, werden vier Ziele verfolgt: effektive Systemintegration, diese ist nur möglich, wenn einheitliche und konsistente Metadaten vorhanden sind. In der Realität ist dies ein großes Problem, da es viele verschiedene Formen von Metadatenkatalogen gibt. Meist sind diese nicht in derselben Modellierungssprache geschrieben. Automatisierung der Administrationsprozesse, wird erreicht durch Metadaten, die Scheduling- und Konfigurationsdaten des jeweiligen Prozesses speichern und die diesen bei Ausführung steuern. Diese Metadaten sind meist Zugriffsprotokolle und die Anzahl der eingefügten Tupel in ein Data Warehouse. zu einem flexiblen Systementwurf gehören Metadaten über verschiedene Aspekte im Data Warehouse, die sich häufig ändern. Dadurch erreicht man eine höhere Mehrfachverwendung, Wartbarkeit und die allgemeine Erweiterbarkeit wird deutlich erhöht. das Ziel von Schutz- und Sicherheitsbedürfnissen ist, explizite Zugriffs- und Benutzerrechte anhand von Metadaten zu speichern. Dies wird genutzt, um den verschiedensten Werkzeugen, die auf einen Metadatenkatalog zugreifen möchten, gewisse Rechte zu gewährleisten. Man verhindert so, dass jedes Werkzeug selbst über eigene Zugriffsmechanismen auf dem Metadatenkatalog arbeitet. Beispielsweise sind die Löhne und Gehälter in einer Firma streng vertraulich und durch Zugriffsmechanismen anhand von Metadaten geschützt. Jedoch kann man durch Aggregation der Löhne von verschieden Personen bestimmen, wie viel Lohn an die gesamte Belegschaft innerhalb eines Zeitraums gezahlt worden ist. Das System lässt eine Zusammenfassung der Daten zu, ohne dass ein Sicherheitskriterium verletzt wird. Um einen erhöhten Informationsgewinn zu erreichen, verfolgt man vier Ziele: die Datenqualität spielt eine besondere Rolle im gesamten Data Warehouse. Es ist sehr wichtig, die eingefügten Daten nach deren Qualität zu beurteilen. Hierzu werden Metadaten genutzt, die verschiedenste Überprüfungsregeln festlegen, um die Datenqualität zu bestimmen. Dabei wird bei jeder Aktualisierung eines Datenpakets auf diese Überprüfungsregeln zurückgegriffen und eine Diagnose des neuen Pakets erstellt. Nachvollziehbarkeitsinformationen sind allerlei Daten, wie zum Beispiel Informationen über das Quellsystem, den Autor und die Bedeutung der Daten zum Erstellungszeitpunkt. Man kann daraus eine Rekonstruktion des Weges der Daten erstellen und auf die Genauigkeit derselben schließen. Die Terminologie bezieht sich auf einheitliche Metadaten aus einer Informationsquelle, dies ist Voraussetzung für die Interpretation der gelieferten Daten. Eine Vielzahl von Metadaten bringt keinen hohen Nutzen, wenn diese nicht vom System interpretiert werden können. Die Datenanalyse speichert Metadaten über die Bedeutung der Daten und ermöglicht dem Anwender, präzise Fragen an das Data Warehouse zu stellen. Außerdem kann man dadurch die Daten, die zurück geliefert werden, noch besser interpretieren. Data Warehouse Systeme Seite - 4 -

5 Weiteres zum Metadatenmanagement Wie schon im vorherigen Kapitel erwähnt, gibt es als oberste Metadatenverwaltungskomponente der Metadaten den Metadatenmanager. Dieser greift auf einen Metadatenkatalog zu, welcher auch als Repositorium bezeichnet wird. Das Repositorium wird in konsistenter Form gespeichert. Die Speicherung erfolgt in verschiedensten Modellierungssprachen. Typischerweise werden sie auf ein Datenbanksystem abgebildet. Die am häufigsten verwendeten Modellierungssprachen sind SQL, XML und die UML. Man kann dieses Repositorium auch indirekt über das Datenverwaltungssystems definieren und anhand des zugrunde liegenden Schemas der Systemkataloge modellieren. Meist werden die Systemkataloge unterschiedlich beschrieben, was ein Problem darstellt. Es sind dadurch drei verschieden Formen entstanden, die für die Verwaltung von Repositorien eine Rolle spielen. Zunächst gibt es die Form einer zentralisierten Metadatenverwaltung. Diese beinhaltet ein einziges Repositorium, welches die gesamten Metadaten eines Unternehmens speichert. Der Vorteil bei dieser Möglichkeit ist die zentrale Speicherung in konsistenter Form. Der Nachteil besteht darin, dass es in der Realität sehr schwer ist ein einziges, einheitliches Repositorium zu erschaffen. Zunächst gibt es viele verschiedene Werkzeuge, die mit einem Repositorium arbeiten können. Diese sind meist in unterschiedlichen Sprachen geschrieben und können nur mit denselben arbeiten. Auf der anderen Seite kommt es in der Realität dazu, dass zwei oder mehrere Unternehmen fusionieren und eigene Repositorien in das gemeinsame System einfügen, meist sind diese in unterschiedlichsten Modellierungssprachen verfasst. Dies erschwert eine Vereinigung der Repositorien. Eine weitere Form ist das Dezentralisierte Modell, dabei werden viele verschiedene Repositorien in das System eingefügt. Man versucht dabei einen gewissen Austausch von Metadaten durch Austauschstandards zu ermöglichen. Ein Mittelweg ist die föderierte Metadatenverwaltung. Es wird hierbei eine globale Sichtweise auf die Metadaten ermöglicht. Andererseits ist jedes Repositorium autonom und für die Pflege seiner Daten selbst zuständig. Ein großes Problem der heutigen Zeit ist, dass es keinerlei Austausch- oder Erstellungsstandards für Metadaten gibt. Jedes Unternehmen kann frei über das Modell seiner Metadaten verfügen. Demzufolge ist es schwer, eine zentrale oder föderierte Metadatenverwaltung zu ermöglichen. Aber ein kleiner Blick in die Zukunft erlaubt es zu sagen, dass es durch die Erfahrung im praktischen Bereich und den Fortschritt im Bereich der Forschung möglich sein wird, Metadaten anhand von Standards zu erstellen oder anhand von Austauschstandards miteinander zu verbinden. Deshalb wird die Verwaltung von Metadaten durch den zentralen oder föderierten Ansatz in Zukunft wichtiger werden. Data Warehouse Systeme Seite - 5 -

6 Abb. 2.1 Muster einer Repositoriumföderation [Baur2004] In Abbildung 2.1 sieht man ein Beispiel einer Repositoriumföderation. Man kann erkennen, dass der Metadatenmanager die zentrale Verwaltungskomponente über allen Repositorien ist. Die Werkzeuge können nur über einen Kontrollfluss auf den Repositorien arbeiten. Es findet allgemein kein direkter Zugriff auf die Repositorien durch die Werkzeuge statt, dies obliegt dem Metadatenmanager. Dadurch werden alle an das System gestellten Ziele verfolgt, insbesondere, dass die Schutz- und Sicherheitsbedürfnisse des Systems erfüllt bleiben. Zum Beispiel gestattet das Anwenderzugriffswerkzeug einem beliebigen Anwender verschiedene Funktionen auf einem Repositorium im Rahmen seiner Zugriffsrechte auszuführen. Weiterhin kann es ein Administrationswerkzeug, ein Analysewerkzeug und ein Entwicklungswerkzeug geben. Aber es existieren auch autonome Werkzeuge, die direkt auf den Repositorien arbeiten dürfen. Dies bringt Vor- und Nachteile mit sich. Der Vorteil eines autonomen Werkzeuges ist, dass jegliche Daten, die zum Beispiel fehlerhaft erstellt oder verändert wurden sind, durch dieses Werkzeug wiederhergestellt werden können, ohne das ein Zugriffsrecht benötigt wird. Dies benötigt man, wenn durch Angriffe auf das System Rechte so verändert wurden, dass niemand mehr einen Zugriff auf die Daten im Data Warehouse hat. Der Nachteil liegt darin, dass ein solcher Angriff durch autonome Werkzeuge stattfinden kann. Im Allgemeinen gilt allerdings, dass Metadaten nur anhand des Metadatenmanager erstellt, konsumiert und geändert werden können. Das Managementsystem dient dem Data Warehouse zur sicheren und flexiblen Arbeit anhand der Metadaten. Dabei werden drei Ziele genauer verfolgt. Die Interoperabilität, der Anwenderzugriff und das Change Management. Die Interoperabilität bezeichnet zunächst die Fähigkeit, dass verschiedene Systeme zusammen arbeiten können. Dies setzt natürlich eine Programmierschnittstelle für den lesenden und schreibenden Zugriff voraus. Außerdem muss es eine Schnittstelle geben, die den Import und Export von Repositorien ermöglicht. Weiterhin müssen Repositorien so angelegt werden, dass ein Hinzufügen oder Löschen von Metadaten möglich ist. Der Anwenderzugriff sollte anhand von Mechanismen der Repositorien eine Navigation, Filterung und manueller Aktualisierung ermöglichen, um auf den Daten zu arbeiten. Die Navigation wird meist durch ein Metadatenschema gesteuert. Darauf wird im nächsten Kapitel genauer eingegangen. Die Filterung ist nicht nur anhand der Struktur der Metadaten möglich, sondern auch anhand von Schlüsselbegriffen, die in einer textuellen Beschreibung hinterlegt sind. Die manuelle Aktualisierung ist schwer zu realisieren, da man eine ausgefeilte Technik benötigt um alle Daten konsistent zu halten. Data Warehouse Systeme Seite - 6 -

7 Das Change Management beschäftigt sich mit dem Fall einer Aktualisierung des Metadatenschemas. Dazu muss ein Repositorium in der Lage sein, seine Versions- und Konfigurationsverwaltung zur Verfügung zu stellen. Weiterhin muss es einen Notifikationshinweis zur Verbreitung von Änderungen geben, welcher abonniert werden kann. Dies wird für eine vorherige Evaluierung der Änderungen benötigt. Modellierungsebenen Abb. 2.2 Beispiel eines Architektur mit 4 Modellierungsebenen [Bau2004] Modellierungsebenen werden benötigt um ein Repositorium genauer zu beschreiben, dabei werden meist vier Ebenen verwendet. In Abbildung 2.2 erhält man einen Einblick in eine Architektur, die 4 Ebenen verwendet. In Ebene Null sind zunächst die rohen Daten gespeichert, wie zum Beispiel Name, Alter oder Straße. Die darunter liegende Ebene beschreibt anhand eines Schemas die darüber liegende Ebene genauer. Das heißt konkret, dass es Namenstabellen gibt, in die die Namen gespeichert werden. Für das Alter wird ein Attribut verwendet. In Ebene 3 wird Ebene 2 genauer beschrieben. Das bedeutet, dass es Tabellen und Attribute in Ebene 2 gibt. Jede Ebene benötigt man, um die Ebene über ihr genauer zu beschreiben und zu definieren. Dies kennt man auch von der UML, der Unified Modelling Language, die sich selbst als Schema darstellt. Es ist also ein Schema über Schemata. Verwendung von OLAP Das Online Analytical Processing benutzt man, um analytisch auf dem Datenbestand einer Datenbank oder eines Data Warehouse zu arbeiten. Durch OLAP wird verhindert, dass sich die Analysedaten mit den eigentlichen Daten vermischen. Um erfolgreich mit dem OLAP- System zu arbeiten, muss der Analyst wissen, welche Anfrage er an das OLAP-System stellen möchte. Dieses belegt oder widerlegt die Anfrage. Meist wird auf Grundlage eines Datenwürfels gearbeitet, da dieser komplexe Zugriffsmöglichkeiten bietet. Es gibt 12 Codd sche Regeln und 6 Erweiterungen, die OLAP definieren. Sie können jedoch allgemein auf die Zusammenfassung der FASMI, fast analysis of shared multidimensional information, zurückgeführt werden. Dazu zählt, dass die Geschwindigkeit des OLAP System eine Rolle spielt. Es soll bei normalen Anfragen innerhalb von 5 Sekunden und bei schwierigen Anfragen innerhalb von 20 Sekunden antworten, laut [Bau2004]. Bei häufig gestellten Fragen soll die Antwortzeit noch geringer ausfallen. Dabei wird nur von der Berechnung ausgegangen und nicht von der Präsentation der Daten. Es sollte außerdem anwenderfreundliche und intuitive Analysen der Daten durch Funktionen, die beliebige Berechnung und Präsentationsformen ermöglichen, unterstützen. Die Sicherung wird durch Mehrbenutzerkonten bereitgestellt. Es ist möglich, Data Warehouse Systeme Seite - 7 -

8 Zugriffsrechte bis auf Zellebene zu vergeben. Außerdem gibt es Sperrmöglichkeiten für den schreibenden Zugriff. Durch einen Datenwürfel erhält man die Möglichkeit, dem Anwender eine konzeptuelle Sicht auf die Ebene des Würfels zu ermöglichen, weiterhin wird ihm gestattet, beliebige Dimensionen miteinander zu kombinieren. Ein weiterer Vorteil ist, dass ein Datenwürfel mit seinen beliebigen Dimensionen meist unabhängig von der zugrunde liegenden Datenbank ist. Die verwendeten Werkzeuge werden anhand der Datenmenge, die sie bearbeiten können, bewertet. Dies trägt zur Kapazität des OLAP-Systems bei, da die Skalierbarkeit und damit die Antwortzeit stabil bleiben. Grundlagen des multidimensionalen Datenmodells Abb. 3.1 Beispiel eines dreidimensionalen Datenwürfels [Baur2004] Um einen Einblick in ein multidimensionales Datenmodell zu erhalten, sieht man in Abbildung 3.1 einen dreidimensionalen Datenwürfel. Dieser beinhaltet alle Verkäufe anhand deren Produkte, Geografie und innerhalb einer bestimmten Zeit. Im Allgemeinen kann ein multidimensionaler Würfel jedoch aus beliebig vielen Dimensionen bestehen. Eine Dimension ist eine halbgeordnete Menge von Attributen. In Abbildung 3.1 sieht man, dass das Primärattribut Produkt in verschiedene Klassifikationsattribute wie die Produktkategorie, die Produktfamilie und die Produktgruppe aufgeteilt ist. Der Artikel selbst ist ein dimensionales Attribut. Dimensionale Attribute sind meist die Blätter des Baumes, der durch eine solche Hierarchie aufgespannt wird. Diese Elemente spannen somit eine Kante auf, die die Größe der einzelnen Dimension darstellt. Den gesamten multidimensionalen Würfel erhält man durch das Zusammenfügen dieser Dimensionskanten. Der multidimensionale Datenwürfel ermöglicht in Rückblick auf OLAP, dass eine Pivotierung und Rotation des Würfels, sowie das Verfahren des Roll-Up, Drill-Down und Drill-Across durchgeführt werden kann. Das multidimensionale Datenmodell bietet eine Menge von Operationsarten, die es gestatten, eine Vielzahl von Schlüssen anhand der Daten zu machen. Data Warehouse Systeme Seite - 8 -

9 Forschung Da es noch keine Standards im Bereich der Metadatenschemata gibt ist ein Hauptziel der Forschung, einen Austausch der Metadaten zwischen verschiedene Repositorien zu ermöglichen. Dabei sollte es keine Rolle spielen, in welchen Modellierungssprachen die einzelnen Repositorien geschrieben worden sind. Außerdem spielt die Präsentation der Daten eine Rolle, die im Allgemeinen vereinheitlicht werden soll. Die Object Managment Group, kurz OMG, ist derzeit eine der dominierenden Gruppen in diesem Bereich. Sie hat bereits einen Standard zur Verwaltung und Präsentation von Metadaten vorgeschlagen. Dieser Vorschlag deckt ein breites Spektrum ab und konzentriert sich auch die technischen Aspektes eines Data Warehouse. Dabei wird die UML als Präsentationsschema und XML als Austauschformat genutzt. Kommerzielle Ansätze Da es keine Standards gibt, sind im kommerziellen Bereich alle Metadatenlösungen meist Insellösungen und decken nur einen gewissen Problembereich ab. Deshalb sind diese Lösungen zum größten Teil von Hand gemacht. Die Papa Lima GmbH bietet jedoch ein kommerzielles Tool zum Erstellen von Metamodellen an, genannt Meta Genius. Dieses bietet, auf einer einfachen Benutzeroberfläche, die Zusammenstellung der gewünschten Metadaten und gibt Tipps und Hilfen zur effizienten Nutzung der Daten. Data Warehouse Systeme Seite - 9 -

10 Zusammenfassung Mitte der Neunziger Jahre gab es ein Hoch durch die Einführung der Data Warehouse Systeme. Dieses Hoch war allerdings nur von kurzer Dauer, da die Repositorien meist nicht den gewünschten Nutzen gebracht haben. Aktuell setzen viele Unternehmen auf separate Insellösungen, da für ein Repositorium meist der Mehrgewinn fehlt. Zusammenfassend lässt sich jedoch sagen, dass man ohne Metadaten in der heutigen Zeit keine Data Warehouse Systeme betreiben kann. Sie sind ein Hauptbestandteil aller Systeme und ermöglichen den effizienten Nutzen von Daten. Außerdem ist es möglich, anhand von Metadaten verschiedenste Verknüpfungen und Auswertungen von Datenpaketen zu machen. In Zukunft wird die Bedeutung von Metadaten in den allgemeinen Informationssystemen und speziell im Data Warehouse eine größere Rolle spielen, da anhand von Standards eine Zusammenführung von verschiedensten Repositorien und eine effektivere Nutzung der Daten ermöglich wird. Data Warehouse Systeme Seite

11 Quellen Bau2004 Andreas Bauer; Holger Günzel: Data Warehouse Systeme. Heidelberg, 2004 PapaLima OmGroup Wikipedia Data Warehouse Systeme Seite