Metadaten und Datenqualität

Transkript

1 Metadaten und Datenqualität ƒ Rolle von Metadaten ƒ Metadatenmanagement ƒ Standards für Repositories und Metadatenaustausch ƒ Metadatenschemata für DW ƒ Datenqualität Vorlesung Data-Warehouse-Technologien 8-1 Metadaten ƒ Begriff: jede Art von Information, die für den Entwurf, die Konstruktion und die Benutzung eines Informationssystems benötigt wird ƒ für DW: notwendig zur Abdeckung der Informations- Schutz- und Sicherheitsbedürfnisse der Anwender und Softwarekomonenten werden in allen Phasen produziert und genutzt ƒ konsistente Bereitstellung der Metadaten aus unterschiedlichen Quellen notwendig Repository Vorlesung Data-Warehouse-Technologien 8-2 1

2 Nutzung von Metadaten ƒ Passiv: als Dokumentation der verschiedenen Aspekte eines DW-Systems ƒ Aktiv: Speicherung semantischer Aspekte (z.b. Transformationsregeln) sowie deren Interpretation zur Laufzeit ƒ Semiaktiv: Speicherung von Strukturinformationen (Tabellendefinitionen, Konfigurationsspezifikationen) und Nutzung zur Überprüfung (nicht direkt zur Ausführung) Vorlesung Data-Warehouse-Technologien 8-3 Metadaten-Objekte in DW ƒ Semantische Ebene (multidimensionales Schema) ƒ Logische Ebene (Star-/Snowflake-Schema) ƒ Physische Ebene (Tabellen, Attribute) ƒ Aggregationsgraph mit Hierarchieobjekten ƒ Betriebswirtschaftliche Kennzahlen ƒ Sichten für einzelne Anwendergruppen ƒ Transformation der Daten aus Quellsystemen in das DW ƒ Laderoutinen und Regeln ƒ Aufbau von Anfragen, Filter, Anzeigeschablonen,... Vorlesung Data-Warehouse-Technologien 8-4 2

3 Metadaten-Objekte in DW ƒ Administrationsinformationen: Zugriffsstatistiken, Backup/Recovery, Bildung von Aggregaten,... ƒ Datenbankparameter und -einstellungen: Server, Hardware-Umgebung, Tuning-Parameter ƒ Anfrage-Performance: vorberechnete Aggregate, Caching, Optimierungsstrategien ƒ Granularität der Daten ƒ allgemeine Attribute: Maßeinheiten etc. ƒ Sicherheitsstrategie: Anwenderprofile und -gruppen, Einschränkungen der Sichten ƒ Berichts- und Analyseobjekte, Reports Vorlesung Data-Warehouse-Technologien 8-5 Metadaten: Klassifikation (1) ƒ Typ: Metadaten zu Primärdaten (aus Quellsystemen, dem DW bzw. aus Applikationen) Strukturdefinitionen, Code-Tabellen) Prozeßmetadaten des Data Warehousing ETL-Regeln, Protokolldateien, Ausführungspläne ƒ Abstraktion: konzeptuell logisch physisch Vorlesung Data-Warehouse-Technologien 8-6 3

4 Metadaten: Klassifikation (2) ƒ Anwendersicht: Business-Metadaten (Terminologie, Anfragen, Reports) Technische Metadaten (Schemadefinitionen, Transformationsregeln) ƒ Herkunft: produzierendes Werkzeug Quellsystem ƒ Erstellungs-/Verwendungszeitpunkt: Entwurfsmetadaten (Schemadefinitionen, Transformationsregeln) Aufbaumetadaten (Log-Dateien) Benutzungsmetadaten (Verwendungshäufigkeit, Zugriffsmuster) Vorlesung Data-Warehouse-Technologien 8-7 Metadaten-Repository ƒ Ziel 1: Minimierung des Aufwandes für Aufbau und Betrieb eines DW Systemintegration: y Integration auf Schema- und Datenebene erfordert Information über Struktur und Semantik der Quell- und Zielsysteme y einheitliche Verwaltung von Metadaten für Integration der DW-Werkzeuge Automatisierung der Administration y Steuerung der DW-Prozesse über Scheduling- /Konfigurationsmetadaten y Daten über Ausführung der Prozesse (Protokolle etc.) Vorlesung Data-Warehouse-Technologien 8-8 4

5 Metadaten-Repository (2) ƒ Ziel 1 (fort.): Flexibler Softwareentwurf y explizite Repräsentation sich häufig ändernder Aspekte (z.b. Transformationsregeln) y verbesserte Wartbarkeit und Erweiterbarkeit Schutz- und Sicherheitsaspekte y Behandlung von Zugriffs- und Benutzerrechten als Metadaten y globale Zugriffsmechanismen Vorlesung Data-Warehouse-Technologien 8-9 Metadaten-Repository (3) ƒ Ziel 2: Gewährleistung eines optimalen Informationsgewinns für alle Anwendergruppen Datenqualität y Sicherstellung der geforderten Qualität durch Überprüfungsregeln y Nachvollziehbarkeitsinformationen (Quellsystem, Autor, Erstellungszeitpunkt usw.) Terminologie y einheitliche Terminologie als Voraussetzung für einheitliche Interpretation y zentrale Verwaltung im Metadaten-Repository Datenanalyse y Metadaten über Bedeutung von Daten, Kennzahlensysteme,... Vorlesung Data-Warehouse-Technologien

6 Metadatenmanagement ƒ Modellierungsebenen Metametamodell Metamodelle Metadaten Daten Repository-Schema(Tabelle,Attribut) KUNDE_TABELLE,STRASSE_ATTRIB Kundendaten (Müller, Breiter Weg) Vorlesung Data-Warehouse-Technologien 8-11 Modellierungsebenen ƒ Ebene 0: effektive Daten (Objektdaten) ƒ Ebene 1: Metadaten als Modell des Informationssystems (z.b. Datenbankschema, Prozeßbeschreibung) ƒ Ebene 2: Sprachelemente der Ebene 1 (Metadatenschema) ƒ Ebene 3: Vereiningung der verschiedenen Sprachen der Ebene 2 (konzeptuelle Schema des Repositories) Vorlesung Data-Warehouse-Technologien

7 Metadatenmanagement: Repository (1) ƒ Anforderungen bzgl. Funktionalität Anwenderzugriff y Mechanismen zur Navigation, Filterung und Selektion von Metadaten y Unterstützung manueller Aktualisierung Interoperabilität und Werkzeugunterstützung y Programmierschnittstelle für lesenden und schreibenden Zugriff y Import- und Exportschnittstellen y Erweiterbares Metamodell Change Management y Versions- und Konfigurationsverwaltung y Benachrichtigungsmechanismen Vorlesung Data-Warehouse-Technologien 8-13 Metadatenmanagement: Repository (2) Datenbeschaffungsbereich Extraktion Laden Datenquelle Arbeitsbereich Basisdatenbank Laden Data Warehouse Analyse Monitor Transformation Data- Warehouse- Manager Metadaten- Manager Datenfluß Kontrollfluß Repository Data-Warehouse-System Vorlesung Data-Warehouse-Technologien

8 Metadatenmanagement: Repository (3) ƒ Architektur Metadatenmanager: DBMS für Metadaten, Zugriffsschnittstelle Anwenderzugriffswerkzeuge: Navigation, Filterung, Selektion, Aktualisierung Entwicklungswerkzeuge: Entwurf neuer DW- Anwendungen Vorlesung Data-Warehouse-Technologien 8-15 Repository: Varianten ƒ Zentralisiert: ein Repository für alle Metadaten problematisch aufgrund organisatorischer und technischer Schwierigkeiten ƒ Dezentralisiert: mehrere Repositories für einzelne Werkzeuge und/oder Organisationseinheiten Austausch nur über Austauschformate ƒ Föderiert: Globale, konzeptuelle Sicht auf alle Metadaten Virtuelle Integration autonomer Repositories Vorlesung Data-Warehouse-Technologien

9 Repository: Lösungen ƒ Zentralisierte, allgemein verwendbare Repositories CA/Platinum Viasoft Microsoft? ƒ Dezentrale Lösungen Jedes DW-Werkzeug verwaltet seine eigenen Metadaten ƒ Standardisierungsbestrebungen Speziell Austauschformate Vorlesung Data-Warehouse-Technologien 8-17 Repository: Standards ƒ Repository-Standards: Referenzarchitekturen für Repository-Systeme IRDS PCTE ƒ Austauschstandards: Standardisierung von Austauschformaten XML-basiert: OIM (MDC), CWM (OMG) CDIF Vorlesung Data-Warehouse-Technologien

10 Common Warehouse Metamodel (CWM) ƒ OMG-Standard (1999) ƒ Austausch von DW-Metadaten ƒ Teilmodelle CWM Foundation Model: allgemeine Konzepte und Strukturen für alle Teilmodelle Warehouse Deployment Model: Definition von Hard- und Software Relational Model: Beschreibung relationaler Datenbankstrukturen Record Oriented Model: Record-Konzept Multidimensional Database Model: Repräsentation einer multidimensionalen Datenbank Vorlesung Data-Warehouse-Technologien 8-19 Common Warehouse Metamodel ƒ Teilmodelle (fort.) XML Model: Beschreibung von XML-Datenstrukturen Transformation Model: Transformationen zwischen unterschiedlichen Formen von Quell- und Zieldaten OLAP Model: Metamodell grundlegender OLAP- Konstrukte Warehouse Process Model: Prozeßfluß zur Ausführung von DW-Transformationen: Warehouse Operation Model: Dokumentation regelmäßiger DW-Prozesse Vorlesung Data-Warehouse-Technologien

11 Open Information Model ƒ Standard der Meta Data Coalition (Microsoft, Ardent, Platinum, SAS,...) ƒ Interoperabilität zwischen Werkzeugen und Firmen ƒ Definition eines Informationsmodells ƒ Unterstützung aller Phasen der Entwicklung von Informationssystemen ƒ Spezialisierun der UML-Konzepte in domänenspezifische Teilmodelle, z.b. Data Warehousing Vorlesung Data-Warehouse-Technologien 8-21 OIM: Teilmodelle (1) ƒ Analysis & Design Model: objektorientierte Modellierung eines Softwaresystems (Kern: UML) ƒ Object & Component Model: Verschiedene Phasen der Implementierung von Softwarekomponenten (Spezifikation, Implementierung, Ausführung) ƒ Business Engineering Model: Metadatentypen zur Modellierung von Zielsetzungen, Organisations- und Infrastrukturen eines Unternehmens, Prozessen und Geschäftsregeln Vorlesung Data-Warehouse-Technologien

12 OIM: Teilmodelle (2) ƒ Knowledge Management Model Konzeptuelle Modellierung natürlichsprachlicher Datenbankanfragen (Semantic-Definition-Teilmodell) Unterstützung von Anfragen ohne SQL-Kenntnisse ƒ Database & Warehouse Model (technische) Metadaten im DB- und DW-Bereich y Datenbankschemaelemente: Tabellen, Sichten, Anfragen y OLAP-Schemaelemente: Würfel, Dimensionshierarchien, Aggregationen y Transformationselemente: Spezifikation von Datenbeschaffungsprozessen y Reportdefinitionen: Informationen für Report-Generatoren Vorlesung Data-Warehouse-Technologien 8-23 OIM: Austauschformat ƒ Basis: XML ƒ Abbildung von UML-Konzepten (Klasse, Attribute, Assoziation, Vererbung) auf XML Klasse1 Attribut1 Klasse2 <Klasse1 Attribut1="...">... </Klasse1> <Klasse2 Attribut1="..." Attribut2="...">... </Klasse2> Attribut2 Vorlesung Data-Warehouse-Technologien

13 OIM: Austauschformat (2) Klasse1 Attribut1 ZielAssoz QuellAssoz Klasse2 <Klasse1 id="_1" Attribut1="..."> <Klasse1QuellAssoz id="_3"> <Klasse2 id="_2" Seqno="1" /> <Klasse2 id="_2" Seqno="1" /> </Klasse1QuellAssoz> </Klasse1> Attribut2 Vorlesung Data-Warehouse-Technologien 8-25 OIM: Beschreibung eines DB-Schemas <?xml version="1.0"?> <oim:transfer...> <dbm:catalog id="sales" comments="..."> <dbm:catalogschema> <dbm:schema id="_2" name="dbo"> <dbm:schematables> <dbm:table id="_3" name="customer"> <dbm:columnsetcolumns> <dbm:column id="_6" name="customerid" IsNullable="0" /> <dbm:column id="_7" name="name" IsNullable="0" />... Vorlesung Data-Warehouse-Technologien

14 Elemente eines DW-Schemas ƒ Quelle: Bauer/Günzel: Data Warehouse, dpunkt.verlag 2000 ƒ Perspektiven Funktionale Aspekte: Transformationsprozesse, multidimensionale Datenbanken Personen, Organisation, Aufgaben Business-Metadaten Vorlesung Data-Warehouse-Technologien 8-27 Transformationsprozesse ƒ Transformation: amwenderdefinierte atomare Einheit ƒ TransformationGroup: geordnete Gruppe von Transformationen ƒ TransformationProcess: Zusammenfassung zu physisch auszuführenden Prozessen ƒ DataObjectSet: Gruppen von Datenobjekten, die als Ein-/Ausgabe einer Transformation dienen ƒ ActivationElement: Realisierung einer Transformation (DB-Prozeduren etc.) Vorlesung Data-Warehouse-Technologien

15 Transformationsprozesse DataObject target source realizes DataObjectSet ExecutionElement ActivationElement Process TransformationGroup Transformation ordered TransformationProcess Vorlesung Data-Warehouse-Technologien 8-29 Multidimensionales Schema ƒ Schema: Behälter für Modellelemente ƒ Cube: Datenwürfel ƒ Dimension: umfaßt unterschiedliche Hierarchien ƒ Hierarchy: geordnete Liste von Dimensionsobjekten Vorlesung Data-Warehouse-Technologien

16 Multidimensionales Schema ordered Schema Class Attribute Cube Dimension DimensionObject Measure ordered Hierarchy Vorlesung Data-Warehouse-Technologien 8-31 Personen, Organisation, Aufgaben ƒ Actor: handlungsfähige Akteure (Personen, Organisationseinheiten, Softwaresysteme und werkzeuge) ƒ Task: Aufgabe, für die Akteure zuständig sind ƒ Prozess: Ausführung von Aufgaben ƒ Role: Rolle von Akteuren ƒ AccessRight: Zugriffsrecht für Datenobjekte Vorlesung Data-Warehouse-Technologien

17 Personen, Organisation, Aufgaben AccessRight DataObject Role Actor Task Process Actor Actor Actor BusinessUnit Vorlesung Data-Warehouse-Technologien 8-33 Business-Metadaten ƒ BusinessTerm: Begriff, Ausdruck mit anwenderspezifischer Bedeutung ƒ Terminology: logische Einheit von BusinessTerms ƒ BusinessGoal: Ziel einer Geschäftseinheit ƒ BusinessFigure: Kennzahlen zur Messung der Effizienz eines Prozesses ƒ BusinessRule: Geschäftsregeln ActionRule: Bedingungen für Ausführung von Aktionen InferenceRule: Herleitung von nicht explizit gespeicherten Domänenwissen ƒ Report: Auswertungen Vorlesung Data-Warehouse-Technologien

18 Business-Metadaten BusinessObject BusinessFigure BusinessGoal BusinessTerm Terminology BusinessRule Report ActionRule InferenceRule Vorlesung Data-Warehouse-Technologien 8-35 Datenqualität ƒ Begriff: Gesamtheit aller Eigenschaften von Daten hinsichtlich der Fähigkeit, die Anforderungen des Anwenders zu erfüllen Eignung für einen Zweck (fitness for use) Datenqualität ist subjektiv und abhängig vom Zweck! Beispiel: Aktualität von Daten für Bilanzen vs. Analyse des Kundenverhaltens ƒ Notwendig Qualitätskriterien Beurteilung Maßnahmen zur Verbesserung Vorlesung Data-Warehouse-Technologien

19 Qualitätskriterien ƒ Konsistenz: Widerspruchsfreiheit ƒ Korrektheit: Übereinstimmung mit Realität ƒ Vollständigkeit: z.b. Abwesenheit von fehlenden Werten ƒ Genauigkeit und Granularität: z.b. Anzahl der Nachkommastellen; tagesgenaue Daten ƒ Zuverlässigkeit und Glaubwürdigkeit: Nachvollziehbarkeit der Entstehung, Vertrauenswürdigkeit des Lieferanten ƒ Verständlichkeit: inhaltlich und technisch / strukturell für jeweilige Zielgruppe ƒ Verwendbarkeit und Relevanz: geeignetes Format, Zweckdienlichkeit Vorlesung Data-Warehouse-Technologien 8-37 Beurteilung der Datenqualität (1) ƒ ƒ ƒ Ziel-Frage-Metrik-Ansatz (Qualitätsmanagement in der Softwareentwicklung) Idee: Verbindung von abstrakten Zielen der Anwender und den konkreten Qualitätsmessungen durch Fragen Schritte 1. Identifizierung einer Menge von Qualitäts-/ Produktivitätszielen (Kundenzufriedenheit, Performanceverbesserung, usw.) 2. Ableitung von Fragen, die diese Ziele definieren 3. Spezifikation der Messungen zur Beantwortung der Fragen 4. Entwicklung von Mechanismen zur Sammlung von Daten (Valdierung, Analyse) Vorlesung Data-Warehouse-Technologien

20 Beurteilung der Datenqualität (2) ƒ Fragetypen: Wie kann das zu betrachtende Objekt (Produkt, Prozeß) bzgl. des Gesamtziels charakterisiert werden? Wie können die für die Fragestellung relevanten Attribute des Objektes charakterisiert werden? Wie können die Eigenschaften des Objektes bewertet werden? ƒ Rahmenwerk zur Verknüpfung von Qualitätsforderungen und -messungen Erfassung von Abhängigkeiten zwischen Qualitätsmerkmalen Identifikation des Ursprungs von Qualitätsproblemen Vorlesung Data-Warehouse-Technologien