Informationsintegration Einführung

Transkript

1 Informationsintegration Einführung Felix Naumann Integrierte Informationssysteme 2 Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 1

2 Überblick 3 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester Forschungsgruppe Informationssysteme 4 Leitung: Felix Naumann Wissenschaftliche Mitarbeiter / Doktoranden Alexander Albrecht: Jana Bauckmann: ALADIN Jens Bleiholder: Data Fusion Armin Roth: PDMS Melanie Weis: Duplicate Detection Studentische Hilfskräfte Karsten Draba (HumMer Projekt) Christoph Böhm: SPRINT NN (Aladin Projekt) Matthias Weidlich: System P 2

3 5 Data Import HumMer User Humboldt Merger Interface Query Execution Data Visualization Tables Schema conversion Data Fusion RDB XML Duplicate Detection RDB XML Data transformation XML RDB2XML RDB2XML Graphical Query Builder SQL XQuery Query Optimization SQL XQuery XML2RDB XML2RDB Metadata Services Data Lineage Data Statistics Metadata Repository Schema Mapping Schema Matching Samples DBMS... DBMS XML... XML 6 3

4 Freie Stellen / Offene Themen 7 Studentische Hilfskräfte Datenintegration bei excentos Projekt Aladin Praktika Bei IBM (Böblingen, San Jose) Daimler, Amazon, Masterarbeiten Automatische Generierung von Fusionsanfragen Partitionierung zur effizienten Duplikaterkennung in relationalen Daten Skalierbares Schema Matching mittels Tree-Edit Distance Überblick 8 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester 4

5 Termine 9 Vorlesung Dienstags 9:15 10:45 Donnerstags 13:30 15:00 Praktikum / Übung Ausgewählte Termine WWW beachten Erstes Praktikum: Letzte Vorlesung: Feiertage Maifeiertag Himmelfahrt Prüfung Mündlich, 30 Minuten 1 Woche nach Vorlesungszeitraum Feedback 10 Schon Evaluation angesehen? Evaluation am Ende des Semesters Fragen bitte jederzeit! In der VL Sprechstunde: Dienstags naumann@hpi.uni-potsdam.de Anregungen zur Verbesserung: Z.B. zu Gebrauch der Folien Infos im WWW Jeweils nach der VL oder in der Sprechstunde Oder per naumann@hpi.uni-potsdam.de 5

6 Lehrbuch 11 Informationsintegration Ulf Leser und Felix Naumann dpunkt Verlag 42 Euro 5x in Bibliothek 2x Präsenz Fehler gefunden => Weitere Literatur 12 Themen u.a. aus Föderierte Datenbanksysteme. Konzepte der Datenintegration, Stefan Conrad, ISBN: Principles of Distributed Database Systems M. Tamer Özsu, Patrick Valduriez ISBN: Jeweils Literaturhinweise in den Vorlesungen Alle genannten Artikel können von mir per angefragt werden. Oder: Google Scholar: DBLP: CiteSeer: ACM digital Library: Homepages der Autoren 6

7 Praktikum 13 Leitung: Alexander Albrecht Theoretische und praktische Aufgaben 6 Übungstermine 2er Teams Voraussetzungen 14 Zur Teilnahme Datenbankkenntnisse (DBS I) Zur Prüfung Besuch der Vorlesung Informationsintegration Aktive Teilnahme an den Praktikumsterminen Bestehen der Übungsblätter 7

8 Überblick 15 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester Integrierte Informationssysteme 16 Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 8

9 Was ist Informationsintegration? 17 Informationsintegration ist die Zusammenführung von Daten und Inhalt verschiedener Quellen zu einer einheitlichen Informationsmenge. Informationsintegration ist die korrekte, vollständige und effiziente Zusammenführung von Daten und Inhalt verschiedener, heterogener Quellen zu einer einheitlichen und strukturierten Informationsmenge zur effektiven Interpretation durch Nutzer und Anwendungen. Wo herrscht Informationsintegration? 18 Im weiteren Sinne Business-Integration Application-Integration Prozess-Integration (Workflow-Integration) Im engeren Sinne Datenbanken und Informationssysteme Verteilt Autonom Heterogen 9

10 Beispiele für Informationssysteme 19 Dateisystem Informationseinheit: Flat file Anfrage: File search, RegEx Struktur: Flach oder hierarchisch Beispiele NTFS NIS FTP Zugriff Einsatzgebiete WWW (HTML Dateien) Desktop-Anwendungen (Textverarbeitung, etc.) Beispiele für Informationssysteme 20 Datei Informationseinheit: Zeile /Token Anfrage: Parser Struktur: Flach Beispiele Komma-delimited files Annotated files Einsatzgebiete SwissProt 10

11 21 Beispiele für Informationssysteme 22 Markup Datei Informationseinheit: Tagged text Anfrage: Parser, Anfragesprache Struktur: Flach, hierarchisch oder graph-basiert Beispiele XML HTML Einsatzgebiete Web Services Messages Interoperationale Anwendungen 11

12 Beispiele für Informationssysteme 23 Datenbank Anfrage: Komplexe Sprache, z.b. SQL Informationseinheit: Tupel / Attribut, Objekt Struktur: Relational, OO, Hierarchisch Beispiele Relationale DBMS OO DBMS Auch: XML DBMS Einsatzgebiete Data Warehouses OLTP Banken/Versicherungen Beispiele für Informationssysteme 24 HTML Formular Informationseinheit: HTML Seite, Text Anfrage: Suchworte, Formular (inkl. Radiobutton, dropdown-list, etc.) Struktur: wie Markup Datei: Flach, hierarchisch oder graphbasiert I.d.R. flach Beispiele Einfache Suchformulare Komplexe Anfrageformulare Einsatzgebiete Suchmaschinen Reisedienste Kataloge 12

13 25 Beispiele für Informationssysteme 26 Web Service Informationseinheit: XML Dokument Anfrage XML Dokument Struktur: Wie XML: Flach, hierarchisch, graphbasiert Beispiele Einfach: Temperaturdienst, etc Komplex: Reservierungen (Schachtelung und Verknüpfung von Web Services) Einsatzgebiete Intra-organisatorische Workflows E-Marketplaces Datenaustausch 13

14 27 Beispiele für Informationssysteme 28 Anwendung Informationseinheit: Java Objekt, Text Anfrage: via Anwendungs- schnittstelle oder GUI Struktur: Objekt (Interface) Display (GUI) Beispiele Java, C++, etc Legacy Informationssysteme Einsatzgebiete Komplexe Analysen (Data Mining, Statistik) 14

15 Beispiele für Informationssysteme 29 Integriertes Informationssystem Verhält sich in Anfrage, Struktur und Informationseinheit je nach Design: DBMS HTML Formular Web Service... Beispiele Data Warehouses Föderierte Datenbanken Portale Einsatzgebiete: Meta Search Life Sciences Int. Unternehmen Intranets Integrierte Informationssysteme 30 Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 15

16 Integrierte Suchmaschinen 31 Anfrage Meta-Suchmaschine Intranet Index Thesaurus Weitere Beispiele? Integration = Abstraktion Logisches DB-Design abstrahiert von physischem DB-Design Datenunabhängigkeit Anfragen: Prozedural vs. deklarativ 2. Informationsintegration abstrahiert von logischen DB Design Quellenunabhängigkeit (Speicherort) Datenmodell- und Syntaxunabhängigkeit Unabhängigkeit von semantischen Unterschieden (hoffentlich!) 16

17 Anwendungsgebiet 1: Business [Halevy04] 33 Anwendungsgebiet 2: Wissenschaft [Halevy04] 34 17

18 Anwendungsgebiet 3: Das Web [Halevy04] 35 Informationsintegration: Ein altes Problem 36 Seit 50 Jahren auf der Forschungsagenda Frühe Systeme in den 70ern Integration per Hand natürlich noch früher Neue Probleme Viele, viele Quellen Heterogenität Neue Arten von Daten (XML, GIS, OO,...) Neue Arten von Anfragen (Search, UDFs,...) Neue Arten von Ergebnissen (Ranking, Visualisierung,...) Neue Arten von Nutzern (Laien, Manager, Admins,...) Alon Halevy: It s plain hard! [Halevy04] 18

19 Warum ist es so schwer? [Halevy04] 37 System-bedingte Gründe Verschiedene Plattformen Anfragebearbeitung über mehrere Systeme Soziale Gründe Finden relevanter Daten in Unternehmen Beschaffen relevanter Daten in Unternehmen Menschen zur Zusammenarbeit überreden Logik-bedingte Gründe Schema- und Datenheterogenität Dies ist unabhängig von der jeweiligen Integrationsarchitektur. Überblick 38 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester 19

20 Informationsintegration 39 Web Service A Web Service B <pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren> </pub> <publication> <title> Federated Database Systems for Managing Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year> </publication> Integration Identifikation Fusion Optimierung Visualisierung Beispiel Web Service A 40 Standort: Trier Operation: getpubbyauthor(firstname, lastname) getpubbytitle(title) Output-Struktur: 20

21 Beispiel Web Service A Output 41 Beispiel Web Service B 42 Standort: Humboldt-Universität Operation: mypubs(autor, Jahr) Struktur: 21

22 Beispiel Web Service B Output 43 Integration von Web Services A & B Nutzerschnittstelle 2. Schema Integration / Schema Mapping 3. Anfrage-Umwandlung 4. Zeit abschätzen (Optimierung) 5. Requests an beide Services abschicken 6. Antworten einholen 7. Objektidentifikation 8. Integrationsschritte 1. Konfliktlösung etc. 2. Entscheidung kleinster gemeinsamer Nenner? 3. Durchführung (deklarativ, prozedural) 9. Anzeige beim Nutzer 22

23 Nutzerschnittstellen 45 Informationsintegration 46 Web Service A Web Service B <pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren> </pub> <publication> <title> Federated Database Systems for Managing Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year> </publication> <pub> <Titel> </Titel> <Autoren> <Autor> </Autor> <Autor> </Autor> </Autoren> <year> </year> </pub> Schema Mapping Schemaintegration Modellierung durch eine Menge von Anfragen (Views) 23

24 Anfrage Umwandlung 47 Integration der Anfrage durch Mediator: Integrierte Schnittstelle Z.B. Concat(First Name, Last Name) = Autor Anfrageoptimierung 48 Was ist besser: Eine schnelle Antwort oder vollständige Antwort? Web Service A in Trier (remote) Web Service B in Adlershof (local) Web Service A hat mehr Attribute und mehr Objekte. Web Service B hat weniger Attribute. Außerdem: Eine Suche nach year kann nur durch Web Service B beantwortet werden. Transformationen können teuer sein. 24

25 Zwei Resultate 49 Web Service A Web Service B Schema Matching 50? 25

26 Objektidentifikation 51 Objektidentifikation 52 Edit-distance: 5 Edit-distance: 6 Zusammen? 26

27 Stand der Dinge 53 Wir haben die heterogenen Informationen. Wir wissen, was wir integrieren wollen. Aber noch nicht wie: Integriertes Schema Integrierte Daten Angestrebtes Integrationsergebnis 54 + = Integriertes Schema: 27

28 Angestrebtes Integrationsergebnis 55 Integrierte Daten: Integrierte Daten was ist passiert? 56 Konfliktlösung Neu- Strukturierung Vorher: Naumann Neu 28

29 Implementierung 57 Auf Folien ist alles klar, aber wie implementieren? Deklarativ? SQL, XQuery, XSLT Oft nicht alles möglich Langsam Prozedural? Java, C++ Schlecht wartbar Schnell Anzeige beim Nutzer 58 Konfliktlösung Visualisierung der Datenherkunft Qualität veränderten Daten Operationen Vorher: Naumann 29

30 Überblick 59 Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester Integrierte Informationssysteme 60 Anfrage Design time Run time Architekturen Anfragesprache Integriertes Informationssystem Datenfusion / ETL Anfrageplanung Schemamanagement Optimierung Wrapper Anfrageausführung Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 30

31 Erste Hälfte 61 Einführung in die Informationsintegration Szenarien Problemstellung der Informationsintegration Verteilung und Autonomie Heterogenität Materialisierte Architekturen und virtuelle Integration 5-Schichten Mediator/Wrapper-Architektur / PDMS Schema Mapping Mapping Schema Matching SchemaSQL Modellierung Global-as-View und Lokal-as-View Modellierung Global-as-View Anfragebearbeitung Zweite Hälfte 62 Containment & Local-as-View Anfragebearbeitung Bucket Algorithmus Verteilte Anfragebearbeitung Optimierung Dynamische Programmierung in verteilten Datenbanken Top-N Anfragen Duplikaterkennung Datenfusion - Union Konflikte & Co. DWH, ETL & Data Lineage Informationsqualität Hidden Web Semantic Web Anfragen Anwendungen 31

32 Fragen, Wünsche und Vorstellungen 63 Jetzt, oder... Raum: Sprechstunden: A.1-13 Dienstags Uhr oder n.v. Telefon: (0331)