Semantische Datenintegration: von der Theorie zur Anwendung

Transkript

1 Semantische Datenintegration: von der Theorie zur Anwendung Prof. Dr. Heiner Stuckenschmidt Institut für Enterprise Systems Name und Datum Seite 1

2 Teil I: Grundlagen Das Problem der Datenintegration Ontologie-basierte Datenintegration Ontologie-Alignment Diagnose und Reparatur von Aligments Interaktive Korrektur von Alignments Name und Datum Seite 2

3 Problem der Datenintegration Datenintegration: Herstellung einer konsistenten Sicht auf eine Menge von heterogenen Daten und Applikationssystemen. Benutzer Big Data! The Web ERP CRM Excel- Sheet Legacy Heterogene Applikationssysteme Name und Datum Seite 3

4 Ein Problem, viele Ausprägungen Name und Datum Seite 4

5 Ein Problem, viele Ausprägungen Name und Datum Seite 5

6 Ontologie-basierte Datenintegration Benutzerspezifische Sichten Integriertes Modell Abbildungsregeln Modelle verschiedener Datenquellen Heterogene Datenquellen Name und Datum Seite 6

7 Logische Konsistenzkriterien Abstract Abstract Physical O 1 A O 2 PaperAbstract Document O 1 O 2 A is incoherent [Meilicke, Stuckenschmidt, Tamilin: Repairing Ontology Mappings. AAAI 2007] Name und Datum Seite 7

8 Ein Beispiel Name und Datum Seite 8

9 Modellierung des Matching Problems Ähnlichkeit der Label: Semantische Relationen: Sub 1 (Reviewer, Person) Sub 1 (PaperReview, Document) Sub 1 (Submission, Document) Dis 1 (Person,Document) Sub 1 (Author, Agent) Sub 1 (Paper, Document) Sub 1 (Review, Document) Dis 1 (Paper,Review) [Niepert, Meilicke, Stuckenschmidt: A Probabilistic-Logical Framework for Ontology Matching. AAAI 2010] Name und Datum Seite 9

10 Coherence: Logische Constraints Cardinality: Name und Datum Seite 10

11 Probabilistische Inferenz [Niepert, Noessner, Stuckenschmidt: Log-Linear Description Logics. IJCAI 2011] Name und Datum Seite 11

12 Äquivalentes Optimierungsproblem ILP Name und Datum Seite 12

13 Ergebnisse Vergleich mit bestem System auf dem Conference Benchmark der OAEI 2010 Name und Datum Seite 13

14 Benutzerunterstützung [Meilicke, Stuckenschmidt, Tamilin: Supporting Manual Mapping Revision using Logical Reasoning. AAAI 2008] Name und Datum Seite 14

15 Teil II: Anwendung Datenintegration in der Praxis Benutzerzentrierte Datenintegration Das Mapping-Assistant Werkzeug Interaktive Diagnose Vorschlagskomponente Nutzerevaluation Name und Datum Seite 15

16 Praktische Relevanz Datenintegration ist Problem mit hohem Marktpotential IDC: US$ 3,8 Mrd. in 2012 (Schätzung) Gartner: US$ 3Mrd. In 2007 bei 24% Wachstum Hoher Aufwand durch zu komplexe Datenstrukturen und -zusammenführung, manuelle, auf codierten SQL-Anfragen basierenden Integrationsansätzen, und aufwendigen Konsolidierungen der Daten und Strukturen Name und Datum Seite 16

17 Interaktive Datenintegration Konzept auswählen und falsche Instanz identifizieren Aktualisierung der Integrationsregel Rückfragen durch das System an den Nutzer Auswahl eines Korrekturvorschlags Falsche Integrationsregel identifiziert Berechnung von Korrekturvorschlägen der Integrationsregel Integrationsregel auswählen und falsche Instanzen identifizieren Name und Datum Seite 17

18 Standard-Interface Manipulation von Filter-Ausdrücken Name und Datum Seite 18

19 MappingAssistant Überprüfung übersetzter Daten Anlehnung an EXCEL Datenblätter Name und Datum Seite 19

20 Diagnose von falschen Regeln Konzept auswählen und falsche Instanz identifizieren Aktualisierung der Integrationsregel Rückfragen durch das System an den Nutzer Auswahl eines Korrekturvorschlags Falsche Integrationsregel identifiziert Berechnung von Korrekturvorschlägen der Integrationsregel Integrationsregel auswählen und falsche Instanzen identifizieren Name und Datum Seite 20

21 Systemrückfragen Benutzer bewerten die mit Hilfe der Mappings übersetzen Daten Wenn mehr als ein Mapping dafür verantwortlich sein kann, werden Rückfragen an den Benutzer gestellt: Name und Datum Seite 21

22 Informationsreduktion Auswahl typischer Datensätze durch Clustering Name und Datum Seite 22

23 Vorschlagskomponente Konzept auswählen und falsche Instanz identifizieren Aktualisierung der Integrationsregel Rückfragen durch das System an den Nutzer Auswahl eines Korrekturvorschlags Falsche Integrationsregel identifiziert Berechnung von Korrekturvorschlägen der Integrationsregel Integrationsregel auswählen und falsche Instanzen identifizieren Name und Datum Seite 23

24 Änderungsvorschläge Einfaches Induktives Lernverfahren zu Generierung von Vorschlägen Name und Datum Seite 24

25 Aktualisierung der Regeln Ausgewählte Regel wird direkt übernommen und eingesetzt Name und Datum Seite 25

26 Nutzerstudie Aufgabe der Probanden: Identifikation von möglichst vielen falsche Mapping-Regeln innerhalb von 10 Minuten. Teit 1: Mapping-Regel-Basiert Informationsblatt 5 min zeitlich im Wechsel Teit 2: Instanz-Basiert Informationsblatt 5 min Erläuterungen 5 min Expertenwissen 5 min Durchführung mit Testdatensatz 1 oder 2 10 min Erläuterungen Durchführung Mit Testdatensatz 1 oder 2 5 min 10 min Fragebogen 5 min Auswertung der Ergebnisse (Testleiter) 5 min Erfasst wurde die jeweilige Performance der Probanden im Test 1 und Test 2 sowie die Fragen des Fragebogens von insgesamt 22 Probanden. Name und Datum Seite 26

27 Ergebnisse I 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,92 0,95 0,94 0,94 0,70 0,66 Precision Recall F-Measure Teil 1 Teil 2 Die Probanden erziehlten im Teil 2 ( instanzbasierter Ansatz ) einen signifikant höheren Recall ( fanden mehr falsche Mappings ). Name und Datum Seite 27

28 Ergebnisse II Mehr Fehler bei Teil 2 gefunden 91 Gleich viele Fehler gefunden 9 Mehr Fehler bei Teil 1 gefunden % der Probanden Fast alle Probanden (91 %) fanden bei Teil 2 (MappingAssistant) mehr fehlerhafte Regeln als bei Teil 1. Name und Datum Seite 28

29 Ergebnisse III 0,45 F-Measure Teil 2 - F-Measure Teil 1 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,05 Ontologien Ontology-Matching Kenntnisstand (1 = sehr niedrig, 5 = sehr hoch) Der Unterschied der erreichten Performance zwischen dem ersten und zweiten Teil war tendentiell größer, je weniger Kenntnissstand die Probanden im Bereich Ontologien oder Ontology-Matching hatten (Angabe auf Fragebogen). Name und Datum Seite 29

30 Fazit Semantische Datenintegration ist ein theoretisch interessantes und praxisrelevantes Thema Theoretische Ergebnisse sind die Grundlage für praktische Lösungen, können aber nicht 1:1 umgesetzt werden Forschungsziel vollautomatische Integration führt zu Ideen, die auch in der Praxis helfen Deutlich stärkere Nutzerorientierung führt in der Praxis zum Erfolg Beispielhaft für viele Bereiche: Grundlagenforschung und Anwendung gehen Hand in Hand Transferleistung ist wichtiger Beitrag Name und Datum Seite 30

31 Projekte und Kooperationen Methodenentwicklung / Theorie Projekt ProMap Entwicklung und Testen von Integrationswerkzeugen Projekt MappingAssistant Evaluation von Integrationstechnologien Projekt SEALS Technologie-Beratung Prolist International e.v. Name und Datum Seite 31 31