Metadaten und Datenqualität. Metadaten. Nutzung von Metadaten

Transkript

1 Metadaten und Datenqualität Rolle von Metadaten Metadatenmanagement Standards für Repositories und Metadatenaustausch Metadatenschemata für DW Datenqualität Vorlesung Data-Warehouse-Technologien 8-1 Metadaten Begriff: jede Art von Information, die für den Entwurf, die Konstruktion und die Benutzung eines Informationssystems benötigt wird für DW: notwendig zur Abdeckung der Informations- Schutz- und Sicherheitsbedürfnisse der Anwender und Softwarekomonenten werden in allen Phasen produziert und genutzt konsistente Bereitstellung der Metadaten aus unterschiedlichen Quellen notwendig Repository Vorlesung Data-Warehouse-Technologien 8-2 Nutzung von Metadaten Passiv: als Dokumentation der verschiedenen Aspekte eines DW-Systems Aktiv: Speicherung semantischer Aspekte (z.b. Transformationsregeln) sowie deren Interpretation zur Laufzeit Semiaktiv: Speicherung von Strukturinformationen (Tabellendefinitionen, Konfigurationsspezifikationen) und Nutzung zur Überprüfung (nicht direkt zur Ausführung) Vorlesung Data-Warehouse-Technologien 8-3 1

2 Metadaten-Objekte in DW Semantische Ebene (multidimensionales Schema) Logische Ebene (Star-/Snowflake-Schema) Physische Ebene (Tabellen, Attribute) Aggregationsgraph mit Hierarchieobjekten Betriebswirtschaftliche Kennzahlen Sichten für einzelne Anwendergruppen Transformation der Daten aus Quellsystemen in das DW Laderoutinen und Regeln Aufbau von Anfragen, Filter, Anzeigeschablonen,... Vorlesung Data-Warehouse-Technologien 8-4 Metadaten-Objekte in DW Administrationsinformationen: Zugriffsstatistiken, Backup/Recovery, Bildung von Aggregaten,... Datenbankparameter und -einstellungen: Server, Hardware-Umgebung, Tuning-Parameter Anfrage-Performance: vorberechnete Aggregate, Caching, Optimierungsstrategien Granularität der Daten allgemeine Attribute: Maßeinheiten etc. Sicherheitsstrategie: Anwenderprofile und -gruppen, Einschränkungen der Sichten Berichts- und Analyseobjekte, Reports Vorlesung Data-Warehouse-Technologien 8-5 Metadaten: Klassifikation (1) Typ: Metadaten zu Primärdaten (aus Quellsystemen, dem DW bzw. aus Applikationen) Strukturdefinitionen, Code-Tabellen) Prozeßmetadaten des Data Warehousing ETL-Regeln, Protokolldateien, Ausführungspläne Abstraktion: konzeptuell logisch physisch Vorlesung Data-Warehouse-Technologien 8-6 2

3 Metadaten: Klassifikation (2) Anwendersicht: Business-Metadaten (Terminologie, Anfragen, Reports) Technische Metadaten (Schemadefinitionen, Transformationsregeln) Herkunft: produzierendes Werkzeug Quellsystem Erstellungs-/Verwendungszeitpunkt: Entwurfsmetadaten (Schemadefinitionen, Transformationsregeln) Aufbaumetadaten (Log-Dateien) Benutzungsmetadaten (Verwendungshäufigkeit, Zugriffsmuster) Vorlesung Data-Warehouse-Technologien 8-7 Metadaten-Repository Ziel 1: Minimierung des Aufwandes für Aufbau und Betrieb eines DW Systemintegration: Integration auf Schema- und Datenebene erfordert Information über Struktur und Semantik der Quell- und Zielsysteme einheitliche Verwaltung von Metadaten für Integration der DW-Werkzeuge Automatisierung der Administration Steuerung der DW-Prozesse über Scheduling- /Konfigurationsmetadaten Daten über Ausführung der Prozesse (Protokolle etc.) Vorlesung Data-Warehouse-Technologien 8-8 Metadaten-Repository (2) Ziel 1 (fort.): Flexibler Softwareentwurf explizite Repräsentation sich häufig ändernder Aspekte (z.b. Transformationsregeln) verbesserte Wartbarkeit und Erweiterbarkeit Schutz- und Sicherheitsaspekte Behandlung von Zugriffs- und Benutzerrechten als Metadaten globale Zugriffsmechanismen Vorlesung Data-Warehouse-Technologien 8-9 3

4 Metadaten-Repository (3) Ziel 2: Gewährleistung eines optimalen Informationsgewinns für alle Anwendergruppen Datenqualität Sicherstellung der geforderten Qualität durch Überprüfungsregeln Nachvollziehbarkeitsinformationen (Quellsystem, Autor, Erstellungszeitpunkt usw.) Terminologie einheitliche Terminologie als Voraussetzung für einheitliche Interpretation zentrale Verwaltung im Metadaten-Repository Datenanalyse Metadaten über Bedeutung von Daten, Kennzahlensysteme,... Vorlesung Data-Warehouse-Technologien 8-10 Metadatenmanagement Modellierungsebenen Metametamodell Metamodelle Metadaten Daten Repository-Schema(Tabelle,Attribut) KUNDE_TABELLE,STRASSE_ATTRIB Kundendaten (Müller, Breiter Weg) Vorlesung Data-Warehouse-Technologien 8-11 Modellierungsebenen Ebene 0: effektive Daten (Objektdaten) Ebene 1: Metadaten als Modell des Informationssystems (z.b. Datenbankschema, Prozeßbeschreibung) Ebene 2: Sprachelemente der Ebene 1 (Metadatenschema) Ebene 3: Vereinigung der verschiedenen Sprachen der Ebene 2 (konzeptuelle Schema des Repositories) Vorlesung Data-Warehouse-Technologien

5 Metadatenmanagement: Repository (1) Anforderungen bzgl. Funktionalität Anwenderzugriff Mechanismen zur Navigation, Filterung und Selektion von Metadaten Unterstützung manueller Aktualisierung Interoperabilität und Werkzeugunterstützung Programmierschnittstelle für lesenden und schreibenden Zugriff Import- und Exportschnittstellen Erweiterbares Metamodell Change Management Versions- und Konfigurationsverwaltung Benachrichtigungsmechanismen Vorlesung Data-Warehouse-Technologien 8-13 Metadatenmanagement: Repository (2) Datenbeschaffungsbereich Extrakt ion Arbeit s- bereich Laden Datenquelle Basisdatenbank Laden Data Warehouse Analyse Transformation Data- Monitor Warehouse- Manager Metadaten- Manager Datenfluß Kontrollfluß Repository Data-Warehouse-System Vorlesung Data-Warehouse-Technologien 8-14 Metadatenmanagement: Repository (3) Architektur Metadatenmanager: DBMS für Metadaten, Zugriffsschnittstelle Anwenderzugriffswerkzeuge: Navigation, Filterung, Selektion, Aktualisierung Entwicklungswerkzeuge: Entwurf neuer DW- Anwendungen Vorlesung Data-Warehouse-Technologien

6 Repository: Varianten Zentralisiert: ein Repository für alle Metadaten problematisch aufgrund organisatorischer und technischer Schwierigkeiten Dezentralisiert: mehrere Repositories für einzelne Werkzeuge und/oder Organisationseinheiten Austausch nur über Austauschformate Föderiert: Globale, konzeptuelle Sicht auf alle Metadaten Virtuelle Integration autonomer Repositories Vorlesung Data-Warehouse-Technologien 8-16 Repository: Lösungen Zentralisierte, allgemein verwendbare Repositories CA/Platinum Viasoft Microsoft? Dezentrale Lösungen Jedes DW-Werkzeug verwaltet seine eigenen Metadaten Standardisierungsbestrebungen Speziell Austauschformate Vorlesung Data-Warehouse-Technologien 8-17 Repository: Standards Repository-Standards: Referenzarchitekturen für Repository-Systeme IRDS PCTE Austauschstandards: Standardisierung von Austauschformaten XML-basiert: OIM (MDC), CWM (OMG) CDIF Vorlesung Data-Warehouse-Technologien

7 Common Warehouse Metamodel (CWM) OMG-Standard (1999) Austausch von DW-Metadaten Teilmodelle CWM Foundation Model: allgemeine Konzepte und Strukturen für alle Teilmodelle Warehouse Deployment Model: Definition von Hard- und Software Relational Model: Beschreibung relationaler Datenbankstrukturen Record Oriented Model: Record-Konzept Multidimensional Database Model: Repräsentation einer multidimensionalen Datenbank Vorlesung Data-Warehouse-Technologien 8-19 Common Warehouse Metamodel Teilmodelle (fort.) XML Model: Beschreibung von XML-Datenstrukturen Transformation Model: Transformationen zwischen unterschiedlichen Formen von Quell- und Zieldaten OLAP Model: Metamodell grundlegender OLAP- Konstrukte Warehouse Process Model: Prozeßfluß zur Ausführung von DW-Transformationen: Warehouse Operation Model: Dokumentation regelmäßiger DW-Prozesse Vorlesung Data-Warehouse-Technologien 8-20 Open Information Model Standard der Meta Data Coalition (Microsoft, Ardent, Platinum, SAS,...) Interoperabilität zwischen Werkzeugen und Firmen Definition eines Informationsmodells Unterstützung aller Phasen der Entwicklung von Informationssystemen Spezialisierun der UML-Konzepte in domänenspezifische Teilmodelle, z.b. Data Warehousing Vorlesung Data-Warehouse-Technologien

8 OIM: Teilmodelle (1) Analysis & Design Model: objektorientierte Modellierung eines Softwaresystems (Kern: UML) Object & Component Model: Verschiedene Phasen der Implementierung von Softwarekomponenten (Spezifikation, Implementierung, Ausführung) Business Engineering Model: Metadatentypen zur Modellierung von Zielsetzungen, Organisations- und Infrastrukturen eines Unternehmens, Prozessen und Geschäftsregeln Vorlesung Data-Warehouse-Technologien 8-22 OIM: Teilmodelle (2) Knowledge Management Model Konzeptuelle Modellierung natürlichsprachlicher Datenbankanfragen (Semantic-Definition-Teilmodell) Unterstützung von Anfragen ohne SQL-Kenntnisse Database & Warehouse Model (technische) Metadaten im DB- und DW-Bereich Datenbankschemaelemente: Tabellen, Sichten, Anfragen OLAP-Schemaelemente: Würfel, Dimensionshierarchien, Aggregationen Transformationselemente: Spezifikation von Datenbeschaffungsprozessen Reportdefinitionen: Informationen für Report-Generatoren Vorlesung Data-Warehouse-Technologien 8-23 OIM: Austauschformat Basis: XML Abbildung von UML-Konzepten (Klasse, Attribute, Assoziation, Vererbung) auf XML Klasse1 Attribut1 Klasse2 <Klasse1 Attribut1="...">... </Klasse1> <Klasse2 Attribut1="..." Attribut2="...">... </Klasse2> Attribut2 Vorlesung Data-Warehouse-Technologien

9 OIM: Austauschformat (2) Klasse1 Attribut1 ZielAssoz QuellAssoz Klasse2 Attribut2 <Klasse1 id="_1" Attribut1="..."> <Klasse1QuellAssoz id="_3"> <Klasse2 id="_2" Seqno="1" /> <Klasse2 id="_2" Seqno="1" /> </Klasse1QuellAssoz> </Klasse1> Vorlesung Data-Warehouse-Technologien 8-25 OIM: Beschreibung eines DB-Schemas <?xml version="1.0"?> <oim:transfer...> <dbm:catalog id="sales" comments="..."> <dbm:catalogschema> <dbm:schema id="_2" name="dbo"> <dbm:schematables> <dbm:table id="_3" name="customer"> <dbm:columnsetcolumns> <dbm:column id="_6" name="customerid" IsNullable="0" /> <dbm:column id="_7" name="name" IsNullable="0" />... Vorlesung Data-Warehouse-Technologien 8-26 Elemente eines DW-Schemas Quelle: Bauer/Günzel: Data Warehouse, dpunkt.verlag 2000 Perspektiven Funktionale Aspekte: Transformationsprozesse, multidimensionale Datenbanken Personen, Organisation, Aufgaben Business-Metadaten Vorlesung Data-Warehouse-Technologien

10 Transformationsprozesse Transformation: amwenderdefinierte atomare Einheit TransformationGroup: geordnete Gruppe von Transformationen TransformationProcess: Zusammenfassung zu physisch auszuführenden Prozessen DataObjectSet: Gruppen von Datenobjekten, die als Ein-/Ausgabe einer Transformation dienen ActivationElement: Realisierung einer Transformation (DB-Prozeduren etc.) Vorlesung Data-Warehouse-Technologien 8-28 Transformationsprozesse DataObject target realizes source DataObjectSet ExecutionElement ActivationElement Process TransformationGroup Transformation ordered TransformationProcess Vorlesung Data-Warehouse-Technologien 8-29 Multidimensionales Schema Schema: Behälter für Modellelemente Cube: Datenwürfel Dimension: umfaßt unterschiedliche Hierarchien Hierarchy: geordnete Liste von Dimensionsobjekten Vorlesung Data-Warehouse-Technologien

11 Multidimensionales Schema ordered Schema Class Attribute Cube Dimension DimensionObject Measure ordered Hierarchy Vorlesung Data-Warehouse-Technologien 8-31 Personen, Organisation, Aufgaben Actor: handlungsfähige Akteure (Personen, Organisationseinheiten, Softwaresysteme und werkzeuge) Task: Aufgabe, für die Akteure zuständig sind Prozess: Ausführung von Aufgaben Role: Rolle von Akteuren AccessRight: Zugriffsrecht für Datenobjekte Vorlesung Data-Warehouse-Technologien 8-32 Personen, Organisation, Aufgaben AccessRight DataObject Role Actor Task Process Actor Actor Actor BusinessUnit Vorlesung Data-Warehouse-Technologien

12 Business-Metadaten BusinessTerm: Begriff, Ausdruck mit anwenderspezifischer Bedeutung Terminology: logische Einheit von BusinessTerms BusinessGoal: Ziel einer Geschäftseinheit BusinessFigure: Kennzahlen zur Messung der Effizienz eines Prozesses BusinessRule: Geschäftsregeln ActionRule: Bedingungen für Ausführung von Aktionen InferenceRule: Herleitung von nicht explizit gespeicherten Domänenwissen Report: Auswertungen Vorlesung Data-Warehouse-Technologien 8-34 Business-Metadaten BusinessObject BusinessFigure BusinessGoal BusinessTerm Terminology BusinessRule Report ActionRule InferenceRule Vorlesung Data-Warehouse-Technologien 8-35 Datenqualität Begriff: Gesamtheit aller Eigenschaften von Daten hinsichtlich der Fähigkeit, die Anforderungen des Anwenders zu erfüllen Eignung für einen Zweck (fitness for use) Datenqualität ist subjektiv und abhängig vom Zweck! Beispiel: Aktualität von Daten für Bilanzen vs. Analyse des Kundenverhaltens Notwendig Qualitätskriterien Beurteilung Maßnahmen zur Verbesserung Vorlesung Data-Warehouse-Technologien

13 Qualitätskriterien Konsistenz: Widerspruchsfreiheit Korrektheit: Übereinstimmung mit Realität Vollständigkeit: z.b. Abwesenheit von fehlenden Werten Genauigkeit und Granularität: z.b. Anzahl der Nachkommastellen; tagesgenaue Daten Zuverlässigkeit und Glaubwürdigkeit: Nachvollziehbarkeit der Entstehung, Vertrauenswürdigkeit des Lieferanten Verständlichkeit: inhaltlich und technisch / strukturell für jeweilige Zielgruppe Verwendbarkeit und Relevanz: geeignetes Format, Zweckdienlichkeit Vorlesung Data-Warehouse-Technologien 8-37 Beurteilung der Datenqualität (1) Ziel-Frage-Metrik-Ansatz (Qualitätsmanagement in der Softwareentwicklung) Idee: Verbindung von abstrakten Zielen der Anwender und den konkreten Qualitätsmessungen durch Fragen Schritte 1. Identifizierung einer Menge von Qualitäts-/ Produktivitätszielen (Kundenzufriedenheit, Performanceverbesserung, usw.) 2. Ableitung von Fragen, die diese Ziele definieren 3. Spezifikation der Messungen zur Beantwortung der Fragen 4. Entwicklung von Mechanismen zur Sammlung von Daten (Valdierung, Analyse) Vorlesung Data-Warehouse-Technologien 8-38 Beurteilung der Datenqualität (2) Fragetypen: Wie kann das zu betrachtende Objekt (Produkt, Prozeß) bzgl. des Gesamtziels charakterisiert werden? Wie können die für die Fragestellung relevanten Attribute des Objektes charakterisiert werden? Wie können die Eigenschaften des Objektes bewertet werden? Rahmenwerk zur Verknüpfung von Qualitätsforderungen und -messungen Erfassung von Abhängigkeiten zwischen Qualitätsmerkmalen Identifikation des Ursprungs von Qualitätsproblemen Vorlesung Data-Warehouse-Technologien