Informationsintegration Einführung Felix Naumann

Transkript

1 Informationsintegration Einführung Felix Naumann

2 Integrierte Informationssysteme 2 Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Integriertes t Form Info.-system

3 Überblick 3 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme t Informationsintegration am Beispiel Ausblick auf das Semester

4 Arbeitsgruppe Informationssysteme 4 project fusem project ViQTOR Patricia Hobro Prof. Felix Naumann Jens Bleiholder Paul Führing Data Fusion DQ Assessment Information Integration project HumMer Karsten Draba Data Cleaning Armin Roth project System P Peer Data Management Systems Matching Service-Oriented e ed Systems s Information Quality Ontologies Data Integration for Life Science Data Sources project Aladin Duplicate Detection Melanie Weis & Sascha Szott project XClean Personal Information Management Mohammed AbuJarour Frank Kaufer Felix Naumann März 2008 Jana Bauckmann Alexander Albrecht Data Profiling for Schema Management

5 Lehrveranstaltungen in diesem Semester 5 Vorlesungen DBS II Informationsintegration i t Seminare Bachelor: Beauty is our Business Bachelor: Master: Duplikaterkennung Forschungsseminar Felix Naumann VL Datenbanksysteme II SS 2008

6 Us ser In terface Data Visualization Tables XML Graphical Query Builder SQL XQuery Metadata Services Data Lineage 6 HumMer Humboldt Merger uery Execu ution Q Data Fusion RDB XML Duplicate Detection RDB XML Query Optimization i SQL XQuery Data Statistics Metadata Repository Schema Mapping Da ata Import Data transformation Schema conversion RDB2XML RDB2XML XML2RDB XML2RDB Schema Matching Samples DBMS... DBMS XML... XML

7 Überblick 7 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme t Informationsintegration am Beispiel Ausblick auf das Semester

8 Termine und Leistungserfassung 8 Vorlesung Montags 15:15 16:45 Donnerstags 13:30 15:00 Praktikum / Übung Ausgewählte Termine WWW beachten Erste Vorlesung Letzte Vorlesung Feiertage 1.5. Maifeiertag (Do) Pfingstmontag Sondertermine (Do): IBM Tag 214: 21.4.: Erste Übung 24.4.: fällt leider aus Prüfung Mündlich, 30 Minuten Erste Woche nach Vorlesungszeitraum 7 Übungstermine Leitung: Alexander Albrecht Theoretische et e und praktische Aufgaben 2er Teams Voraussetzungen Zur Teilnahme Datenbankkenntnisse (DBS I) Zur Prüfung Besuch der Vorlesung Aktive Teilnahme an den Praktikumsterminen Bestehen der Übungsblätter

9 Feedback 9 Evaluation am Ende des Semesters Fragen bitte jederzeit! In der VL Sprechstunde: Dienstags [email protected] Anregungen zur Verbesserung: Z.B. zu Gebrauch der Folien Infos im WWW Jeweils nach der VL oder in der Sprechstunde Oder per [email protected]

10 Lehrbuch 10 Informationsintegration Ulf Leser und Felix Naumann dpunkt Verlag 42 Euro X-mal in Bibliothek Fehler gefunden =>

11 Weitere Literatur 11 Themen u.a. aus Föderierte Datenbanksysteme. Konzepte der Datenintegration, Stefan Conrad, ISBN: Principles of Distributed Database Systems M. Tamer Özsu, Patrick Valduriez ISBN: Jeweils Literaturhinweise in den Vorlesungen Alle genannten Artikel können von mir per angefragt werden. Oder: Google Scholar: DBLP: CiteSeer: ist psu edu/ ACM Digital Library: Homepages der Autoren

12 Vorstellung Hörer 12 Welches Semester? HPI oder IfI? Erasmus o.ä.? Datenbankkenntnisse? Andere relevante Lehrveranstaltungen? Workshop/Seminar Duplikaterkennung? Ihre Motivation? Schon mal integriert? DWH? Felix Naumann VL Datenbanksysteme II SS 2008

13 Überblick 13 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme t Informationsintegration am Beispiel Ausblick auf das Semester

14 Integrierte Informationssysteme 14 Anfrage Integriertes Informations- system Datei- Oracle, Web HTML Integriertes system Anwendung DB2 Service Form Info.-system

15 Was ist Informationsintegration? 15 Informationsintegration ist die Zusammenführung von Daten und Inhalt verschiedener Quellen zu einer einheitlichen Informationsmenge. Informationsintegration ist die korrekte, vollständige und effiziente Zusammenführung von Daten und Inhalt verschiedener, heterogener Quellen zu einer einheitlichen und strukturierten Informationsmenge zur effektiven Interpretation durch Nutzer und Anwendungen.

16 Wo herrscht Informationsintegration? 16 Im weiteren Sinne Business-Integration Application-Integration t Prozess-Integration (Workflow-Integration) Im engeren Sinne Datenbanken und Informationssysteme Verteilt Autonom Heterogen

17 Beispiele für Informationssysteme 17 Dateisystem WWW (HTML Dateien) Desktop-Anwendungen (Textverarbeitung, etc.) Datei (Flat file) Zeile /Token Anfrage: Parser, File search, RegEx Strukturiert / semi-strukturiert / unstrukturiert Spezialfall: Markup-Datei XML, HTML mit Struktur Anfragespreache Beispiele Komma-delimited files Annotated files Einsatzgebiete SwissProt

18 18

19 Beispiele für Informationssysteme 19 Datenbank Anfragesprachen, z.b. SQL Relational, OO, Hierarchisch XML DBMS Data Warehouses OLTP HTML Formular Anfrage: Einfache Suche, komplexe Formulare Radiobutton, dropdown-list, etc. Struktur des Ergebnisses: wie Markup Datei: Flach, hierarchisch oder graph-basiert

20 Amazon Suchformular 20

21 Beispiele für Informationssysteme 21 Services Z.B. Web Services XML Dokument Anfrage als XML Dokument Einsatzgebiete Intra-organisatorische Workflows E-Marketplaces Datenaustausch Mashups

22 XMethods 22

23 StrikeIron 23 Folienmaster Max Mustermann 7. Oktober 2007

24 Programmable Web 24 Folienmaster Max Mustermann 7. Oktober 2007

25 Programmable Web Mashup Matrix 25 Folienmaster Max Mustermann 7. Oktober 2007

26 Programmable Web Mashup Matrix 26 Folienmaster Max Mustermann 7. Oktober 2007

27 Beispiele für Informationssysteme 27 Anwendung Anfrage via Anwendungsschnittstelle oder GUI Struktur: Objekt (Interface), Display (GUI) Einsatzgebiete Komplexe Analysen (Data Mining, Statistik) Integriertes Informationssystem Verhält sich in Anfrage, Struktur und Informationseinheit je nach Design: DBMS HTML Formular Web Service Einsatzgebiete: Meta Search, Life Sciences, Int. Unternehmen, Intranets

28 Integrierte Informationssysteme 28 Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Integriertes t Form Info.-system

29 Integrierte Suchmaschinen 29 Anfrage Meta-Suchmaschine Intranet Index Thesaurus Weitere Beispiele?

30 Integration = Abstraktion Logisches DB-Design abstrahiert von physischem DB-Design Datenunabhängigkeit Anfragen: Prozedural vs. deklarativ 2. Informationsintegration abstrahiert von logischen DB Design Quellenunabhängigkeit (Speicherort) Datenmodell- und Syntaxunabhängigkeit Unabhängigkeit von semantischen Unterschieden (hoffentlich!)

31 Anwendungsgebiet 1: Business [Halevy04] 31

32 Anwendungsgebiet 2: Wissenschaft [Halevy04] 32

33 Anwendungsgebiet 3: Das Web [Halevy04] 33

34 Informationsintegration: Ein altes Problem 34 Seit 50 Jahren auf der Forschungsagenda Frühe Systeme in den 70ern Integration ti per Hand natürlich noch früher Neue Probleme Viele, viele Quellen Heterogenität Neue Arten von Daten (XML, GIS, OO,...) Neue Arten von Anfragen (Search, UDFs,...) Neue Arten von Ergebnissen (Ranking, Visualisierung,...) Neue Arten von Nutzern (Laien, Manager, Admins,...) Alon Halevy: It s plain hard! [Halevy04]

35 Warum ist es so schwer? [Halevy04] 35 System-bedingte Gründe Verschiedene Plattformen Anfragebearbeitung b über mehrere Systeme Soziale Gründe Finden relevanter Daten in Unternehmen Beschaffen relevanter Daten in Unternehmen Menschen zur Zusammenarbeit überreden Logik-bedingte Gründe Schema- und Datenheterogenität Dies ist unabhängig von der jeweiligen Integrationsarchitektur.

36 Überblick 36 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme t Informationsintegration am Beispiel Ausblick auf das Semester

37 Informationsintegration 37 Web Service A Web Service B <pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren> </pub> <publication> <title> Federated Database Systems for Managing g Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year> </publication> Integration ti Identifikation Fusion Optimierung Visualisierung

38 Beispiel Web Service A 38 Standort: Trier Operation: getpubbyauthor(firstname, th tn lastname) getpubbytitle(title) Output-Struktur:

39 Beispiel Web Service A Output 39

40 Beispiel Web Service B 40 Standort: HPI Operation: mypubs(autor, Jahr) Struktur:

41 Beispiel Web Service B Output 41

42 Integration von Web Services A & B Nutzerschnittstelle 2. Schema Integration / Schema Mapping 3. Anfrage-Umwandlung 4. Zeit abschätzen (Optimierung) 5. Requests an beide Services abschicken 6. Antworten einholen 7. Objektidentifikation 8. Integrationsschritte 1. Konfliktlösung etc. 2. Entscheidung kleinster gemeinsamer Nenner? 3. Durchführung (deklarativ, prozedural) 9. Anzeige beim Nutzer

43 Nutzerschnittstellen 43

44 Informationsintegration 44 Web Service A Web Service B <pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren> </pub> <publication> <title> Federated Database Systems for Managing g Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year> </publication> <pub> <Titel> </Titel> <Autoren> <Autor> </Autor> <Autor> </Autor> </Autoren> <year> </year> </pub> Schema Mapping Schemaintegration Modellierung durch eine Menge von Anfragen (Views)

45 Anfrage Umwandlung 45 Integration der Anfrage durch Mediator: Integrierte Schnittstelle ZB Z.B. Concat(First Name, Last Name) = Autor

46 Anfrageoptimierung 46 Was ist besser: Eine schnelle Antwort oder vollständige Antwort? Web Service A in Trier (remote) Web Service B in Gi Griebnitzsee it (local) l) Web Service A hat mehr Attribute und mehr Objekte. Web Service B hat weniger Attribute. Außerdem: Eine Suche nach year kann nur durch Web Service B beantwortet werden. Transformationen können teuer sein.

47 Zwei Resultate 47 Web Service A Web Service B

48 Schema Matching 48?

49 Objektidentifikation 49

50 Objektidentifikation 50 Edit-distance: 5 Edit-distance: 6 Zusammen?

51 Stand der Dinge 51 Wir haben die heterogenen Informationen. Wir wissen, was wir integrieren wollen. Aber noch nicht wie: Integriertes Schema Integrierte Daten

52 Angestrebtes Integrationsergebnis 52 + = Integriertes Schema:

53 Angestrebtes Integrationsergebnis 53 Integrierte Daten:

54 Integrierte Daten was ist passiert? 54 Konflikt- lösung Neu- Strukturierung Vorher: Naumann Neu

55 Implementierung 55 Auf Folien ist alles klar, aber wie implementieren? Deklarativ? SQL, XQuery, XSLT Oft nicht alles möglich Langsam Prozedural? Java, C++ Schlecht wartbar Schnell

56 Anzeige beim Nutzer 56 Konflikt- lösung Visualisierung der Datenherkunft Qualität veränderten Daten Operationen Vorher: Naumann

57 Überblick 57 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme t Informationsintegration am Beispiel Ausblick auf das Semester

58 Integrierte Informationssysteme 58 Design time Architekturen Anfragesprache Schemamanagement Wrapper Anfrage Run time Datenfusion / ETL Anfrageplanung g Optimierung Anfrageausführung Integriertes Informationssystem Dateisystem Web Anwen- DB2 Service Oracle, dung HTML Form Integriertes Info.-system

59 Erste Hälfte 59 Einführung in die Informationsintegration Problemstellung Szenarien der Informationsintegration Verteilung und Autonomie Heterogenität Materialisierte Architekturen und virtuelle Integration Mediator/Wrapper-Architektur / PDMS kt 5-Schichten Architektur Schema Mapping Mapping Schema Matching SchemaSQL Global-as-View und Lokal-as-View Modellierung Global-as-View Anfragebearbeitung Modellierung

60 Zweite Hälfte 60 Containment & Local-as-View Anfragebearbeitung Bucket Algorithmus Anfragen Verteilte Anfragebearbeitung b Duplikaterkennung Datenintegration Datenfusion - Union & Co. DWH, ETL & Data Lineage Informationsqualität Hidden Web Semantic Web Anwendungen

61 Fragen, Wünsche und Vorstellungen 61 Jetzt, oder... Raum: A.1-13 Sprechstunden: Dienstags Uhr oder n.v. p Telefon: (0331)