Declarative Data Cleaning

Transkript

1 Declarative Data Cleaning Vortragsgrundlage: Helena Galhardas, Daniela Florescu, Dennis Shasha, Eric Simon, Cristian Augustin Saita: Declarative Data Cleaning: Language, Model, and Algorithms, in VLDB '01: Proceedings of the 27th International Conference on Very Large Data Bases, 2001 Original Version: Extended Version: ftp://ftp.inria.fr/inria/publication/publi pdf/rr/rr 4149.pdf

2 Declarative Data Cleaning: Language, Model, and Algorithms Seminar: Digital Information Curation Sebastian Rexhausen

3 Inhalt Einführung Problemstellung Declarative Data Cleaning Konzept Specification Language User Interaction

4 Data Cleaning Nur auf Grund von verlässlichen Daten können verlässliche Entscheidungen getroffen werden. Aufgabe Data Cleaning: Auch data cleansing, data scrubbing oder Datenbereinigung Erkennen von Inkonsistenzen und Fehlern in Datenbeständen und anschließendes Entfernen bzw. Korrigieren der Daten.

5 Data Cleaning Nachfrage nach Data Cleaning: Anomalien in einer Datensammlung Überführung von unstrukturierte/teilstrukturierten Daten in strukturierte Daten Kombination von Daten aus mehreren Quellen

6 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95

7 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID

8 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID 2. Syntax & Formatierung

9 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID 2. Syntax & Formatierung

10 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID 2. Syntax & Formatierung 3. Konsistenz der Daten

11 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID 2. Syntax & Formatierung 3. Konsistenz der Daten 4. Fehlerhaftigkeit der Daten

12 Probleme Referenz aus Paper1: [QGMW96]Dallan Quass, Ashish Gupta, Inderphal Singh Mumick, and Jennifer Widom. Making Views Self Maintainable for Data Warehousing. In Proceedings of the Conference on Parallel and Distributed Information Systems. Miami Beach, Florida, USA, Available via WWW at www db.stanford.edu as pub/papers/self maint.ps. Referenz aus Paper2: [12] D. Quass, A. Gupta, I. Mumick, and J. Widom: Making views selfmaintanable for data, PDIS'95 1. universelle ID 2. Syntax & Formatierung 3. Konsistenz der Daten 4. Fehlerhaftigkeit der Daten 5. Unterschiedliche Informationen

13 Declarative Data Cleaning Ergebnisse der existierenden Verfahren unzureichend Declarative Data Cleaning Hauptsächlich: klare Trennung von logischer Spezifikation und physischer Implementierung Framework (Projekt AJAX) Einbeziehung des Nutzers während des ganzen Analyseprozesses

14 Trennung logische/physische Ebene Logische Ebene: Datenflussdiagramm welches die zur Bereinigung der Daten benötigten Transformationen spezifiziert Physische Ebene: Implementierung und Optimierung der Daten Transformationen

15 Framework für bibliographische Daten

16 Logische Ebene erweitertes SQL eigene Datenquellen

17 Physische Ebene Optimierungsmöglichkeiten: Optimierung der gewählten Funktion Wahl einer optimalen Funktion (+ evtl. Implementierung)

18 Specification Language Operatoren Mapping Matching Clustering Merging (View)

19 Mapping Operator arbeitet die Daten für die weitere Verarbeitung auf falls kein Unique Key vorhanden ist hinzufügen, ansonsten übernehmen CREATE MAPPING <operation name> FROM <predicate name> [<alias variable>] [LET <let clause>] [WHERE <where clause>] <select into clause>

20 Mapping Operator CREATE MAPPING AddKeytoDirtyData FROM DirtyData LET Key = generatekey(dirtydata.paper) {SELECT Key.gernerateKey AS paperkey, DirtyData.paper AS paper INTO KeyDirtyData}

21 Matching Operator sucht nach Einträgen, die wahrscheinlich das gleiche Objekt beschreiben Übereinstimmungskriterium kann ein oder mehrere Einträge sein CREATE MATCHING <operation name> FROM (<predicate name> [<alias variable>])+ [LET <let clause>] [WHERE <where clause>] INTO <predicate name>

22 Matching Operator CREATE MATCHING MatchDirtyAuthors FROM DirtyAuthors a1, DirtyAuthors a2 LET distance = editdistanceauthors(a1.name, a2.name) WHERE distance < maxdist(a1.name, a2.name, 15) INTO MatchAuthors

23 Clustering Operator gruppiert Einträge, deren Ähnlichkeitswert einen vorgegebenen Schwellenwert übersteigt CREATE CLUSTERING <operation name> FROM <predicate name> [<alias variable>] BY METHOD <method name> WITH PARAMETERS <parameter name> [{<parameter name}] INTO <predicate name>

24 Clustering Operator CREATE CLUSTERING clusterauthorsbytransitiveclosure FROM MatchAuthors BY METHOD transitive closure WITH PARAMETERS authorkey1, authorkey2 INTO clusterauthors

25 Merging Operator fügt die durch den Clusteralgorithmus berechneten Gruppen zu jeweils einem Eintrag zusammen CREATE MERGING <operation name> USING <predicate name> [<alias variable>] LET <let clause> [WHERE <where clause>] <select into clause>

26 Merging Operator CREATE MERGING MergeAuthors USING clusterauthors(cluster_id) ca LET name = getlongestauthorname(dirtyauthors(ca).name) key = generatekey() {SELECT key AS authorkey, name AS name INTO Authors}

27 View Operator arbeitet die Inhalte aus verschiedenen Relationen zu einer neuen Relation so auf, dass sie einem gewünschten Ausgabeformat entsprechen CREATE VIEW <operation name> FROM (<predicate name> [<alias variable>])+ [WHERE <where clause>] {<select into clause>}

28 View Operator CREATE VIEW viewpublications FROM DirtyPubs p, Titles t WHERE p.pubkey AS pubkey {SELECT p.pubkey AS pubkey, t.title AS title, t.eventkey AS eventkey, p.volume AS volume, p.number AS number, p.country AS country, p.city AS city, p.pages AS pages,... INTO Publications CONSTRAINT NOT NULL title}

29 User Interaction Explizite Nutzer Interaktion während des ganzen Prozesses schrittweise Verfeinerung der Anfragen Zurückverfolgung der Anfragen Exceptions

30 Ende