Informationsintegration. Ulf Leser Sebastian Wandelt

Transkript

1 Informationsintegration Ulf Leser Sebastian Wandelt

2 Informationsintegration Anfrage Integriertes Informations- system Oracle, DB2 Dateisystem Web Service App HTML Form Integriertes Info.-system Ulf Leser: Informationsintegration 2

3 Was ist Informationsintegration? Kurz: Homogener Zugriff auf den Inhalt verschiedener Datenquellen Lang: Informationsintegration bezeichnet die korrekte, vollständige und effiziente Bereitstellung des Inhalts verschiedener, verteilter, autonomer und heterogener Quellen an einer Stelle in Form einer einheitlichen und strukturierten Informationsmenge mit dem Ziel, eine effektiven Nutzung durch Nutzer und Anwendungen zu ermöglichen Ulf Leser: Informationsintegration 3

4 Anwendungsgebiet 1: Business [Halevy04] Ulf Leser: Informationsintegration 4

5 Anwendungsgebiet 2: Wissenschaft Ulf Leser: Informationsintegration 5

6 Anwendungsgebiet 3: Das Web Ulf Leser: Informationsintegration 6

7 Ein uraltes Problem Seit 50 Jahren auf der Forschungsagenda Wird immer schwieriger und immer wichtiger Ulf Leser: Informationsintegration 7

8 Warum ist es schwer? Technische Gründe Verschiedene Plattformen, Anfragesprachen, Policies, Verteilung, Anfragebearbeitung über mehrere Systeme Semantische Gründe Heterogenität auf allen Ebenen (Daten, Schema, Sprachen) Semantik von Begriffen ist kontextabhängig Semantik ist schwer zu beschreiben Soziologische/psychologische Gründe Einblick in fremde Datenbanken muss gestattet werden Menschen zur Zusammenarbeit überreden Einhalten von Verabredungen und Standards Ulf Leser: Informationsintegration 8

9 Immer schwieriger und wichtiger Web, Internet, Vernetzung Viele, viele Quellen Neue Formate und Datenmodelle (EXCEL, XML, GIS, OO,...) Neue Arten von Anfragen (Ranking, Spatial, Text, Web, Mining...) Neue Arten von Nutzern (Laien (Web), Manager,...) Neue Anforderungen (24x7x365, schnell, Ad-Hoc, Online) Neue Anwendungen Marktplätze, ecommerce, eprocurement Virtual enterprise, Web services, SOA Data Markets, Mashups, Web Ulf Leser: Informationsintegration 9

10 Überblick Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester Ulf Leser: Informationsintegration 10

11 Modul Informationsintegration Modul 4+2, 8SP (Dipl), 10 SP (Master) Anrechenbar Diplom Informatik Master Wirtschaftsinformatik Master Informatik Sprechstunde: Nach Vereinbarung (Mail) Sebastian Wandelt, Raum IV.406, Tel: (030) Prüfung: Mündlich oder schriftlich Voraussetzung: Bestehen aller Übungsaufgaben Ulf Leser: Informationsintegration 11

12 Webseite Ulf Leser: Informationsintegration 12

13 Literatur Ulf Leser, Felix Naumann: Informationsintegration, dpunkt.verlag, Oktober 2006 Andere Bücher Conrad: Föderierte Datenbanken, 1997 Architekturen, Schemaintegration, keine Anfragebearbeitung Conrad et al.: Enterprise Application Integration, 2006 Fokus auf EAI und Middleware Yu, Meng: Principles of Database Query Processing, 1998 Optimierung verteilter Anfragen Özsu, Valduriez: Principles of Distributed Database Systems, 1999 Optimierung, verteilte und parallele Datenbanken Weitere Hinweise in den Vorlesungen Ulf Leser: Informationsintegration 13

14 Übung Es gibt praktische Aufgaben Praktische Aufgaben werden in Teams bearbeitet Zur Lösung der Aufgaben gibt es in der Regel 2 Wochen Zeit Wettbewerb: Lösen Sie die praktischen Aufgaben möglichst gut Alle Aufgaben müssen gelöst werden Gruppenfindung bis nächste Woche (über Goya) Teams á zwei Studenten Ulf Leser: Informationsintegration 14

15 Teaching guideline 听过的, 会忘记 ; 看过的, 可能会记得 ; 只有做过, 才能掌握 (Konfuzius, BC) Ulf Leser: Informationsintegration 15

16 Teaching guideline 听过的 Tell, me, 会忘记 I will forget. ; 看过的, 可能会记得 ; 只有做过, 才能掌握 Ulf Leser: Informationsintegration 16

17 Teaching guideline 听过的 Tell, me, 会忘记 I will forget. ; 看过的 Show me, and 可能会记得 I may remember. ; 只有做过, 才能掌握 Ulf Leser: Informationsintegration 17

18 Teaching guideline 听过的 Tell, me, 会忘记 I will forget. ; 看过的 Show me, and 可能会记得 I may remember. ; 只有做过, 才能掌握 Involve me and I will understand. Ulf Leser: Informationsintegration 18

19 Fragen Diplominformatiker? Wirtschaftsinformatiker? Master? Spezielle Erwartungen? Ulf Leser: Informationsintegration 19

20 Überblick Organisatorisches Informationssysteme Die Quellen Informationsintegration am Beispiel Ausblick auf das Semester Ulf Leser: Informationsintegration 20

22 Dateien Datei Informationseinheit: Zeile / Token Anfrage: Parser Struktur: Flach Organisation in Dateisystemen kann Bedeutung haben Beispiele Komma-delimited files (CSV) DB/EXCEL Export JAVA.property Dateien Tausende proprietäre Formate Ulf Leser: Informationsintegration 22

23 Ulf Leser: Informationsintegration 23

24 Markup-Dateien Markup Datei Informationseinheit: Tagged text Anfrage: Parser, Anfragesprache Struktur: Hierarchisch, geschachtelt XML, HTML, LaTex, JSON, Einsatzgebiete Webseiten Datendateien Web Services Allg. Nachrichtenaustausch <?xml version="1.0" encoding="utf-8"?> <Title> <LocalTitle>22 Bullets</LocalTitle> <OriginalTitle>L'immortel</OriginalTitle> <SortTitle>22 Bullets</SortTitle> <Added> :15:02</Added> <ProductionYear>2010</ProductionYear> <RunningTime>117</RunningTime> <IMDBrating>6,6</IMDBrating> <MPAARating>NR</MPAARating> <Description>Charly Matte has </Description> <Type>XviD</Type> <AspectRatio /> <LockData>False</LockData> <IMDB>tt </IMDB> <TMDbId>37645</TMDbId> <Genres> <Genre>Action</Genre> <Genre>Crime</Genre> <Genre>Thriller</Genre> </Genres> <Persons> <Person> <Name>Jean Reno</Name> <Type>Actor</Type> <Role>Charly Matteï</Role> </Person> <Person>. Ulf Leser: Informationsintegration 24

25 Datenbanken Datenbank Informationseinheit: Tupel / Attribut, Objekt Anfrage: (Komplexe) Anfragesprache, z.b. SQL, OQL Struktur: Relational, OO, Hierarchisch Beispiele: RDBMS, OODBMS, XML-DBMS Einsatzgebiete: Überall Ulf Leser: Informationsintegration 25

26 Webformulare HTML Formulare, Webseiten Informationseinheit: HTML Seite, Text Anfrage: Suchworte, Formulare (Freetext, dropdown-list ) Struktur des Ergebnisses: Markup Datei (HTML, XML) Deep Web Einsatzgebiete: Viele Ulf Leser: Informationsintegration 26

27 Legacy Anwendungen Anwendungen in veralteten Programmiersprachen Beispiel: COBOL Für kaufmännische Anwendungen Operiert auf formatierten Dateien Mischung aus DBMS und Programmiersprache Zugriff über spezielle Anwendungen (Reports) Schätzungen: ½ aller Anwendungen in Banken/ Versicherungen/ sind Legacy Anwendungen Ulf Leser: Informationsintegration 27

30 Beispiel Web Service A Web Service A Standort: Trier Operation: getpubbyauthor( firstname, lastname) getpubbytitle( title) Output-Format Ulf Leser: Informationsintegration 30

31 Beispiel Web Service B Web Service B Standort: Humboldt-Universität Operation: mypubs( author, year) Output-Format Ulf Leser: Informationsintegration 31

32 Eine Schnittstelle Integration durch Mediator Nimmt Anfrage und berechnet Ergebnis unter Zugriff auf Quellen Ulf Leser: Informationsintegration 32

33 Ablauf 1 Globale Anfrage Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 33

34 Ablauf 2 Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 34

35 Ablauf 3 Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Ergebnisintegration Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 35

36 Ablauf 4 Globale Anfrage Anfrageergebnis Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Ergebnisintegration Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 36

37 Quellenauswahl Geschwindigkeit Web Service A in Trier (remote) Web Service B in Adlershof (local) Welches System ist schneller (bei gleicher Ergebnisgröße?)? Vollständigkeit Web Service A hat weniger Attribute, aber mehr Objekte Web Service B hat mehr Attribute, aber weniger Objekte Eine Suche nach year kann nur durch Web Service B beantwortet werden, eine Suche nach Titel nur von A Web Service A hat alle Autoren, B nur einen getpubbyauthor(firstname, lastname) getpubbytitle(title) mypubs( author, year) Ulf Leser: Informationsintegration 37

38 Zwei Resultate Web Service A Web Service B Ulf Leser: Informationsintegration 38

39 Was ist was? - Schema Matching? Ulf Leser: Informationsintegration 39

40 Wer ist wer? - Objektidentifikation Ulf Leser: Informationsintegration 40

41 Angestrebtes Integrationsergebnis + Integriertes Schema: = Ulf Leser: Informationsintegration 41

43 Inhalt 1 Architekturen und Kriterien Anfrage Szenarien, Abgrenzung und Einsatzgebiete Integriertes Informations- system Verteilung, Autonomie, Heterogenität Oracle, DB2 Dateisystem Web Service App HTML Form Integriertes Info.-system Anfrageplanung Multidatenbanksprachen Local-as-View und Global-as- View Korrespondenzen Anfrageplanung mit LaV Logische Anfrageoptimierung Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 43

44 Inhalt 2 Verteilte Anfrageoptimierung Kostenbasierte verteilte Optimierung Semi-Joins Umgang mit beschränkten Quellen Schemamanagement Schemaintegration Schema Matching Schema Mapping Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration 44

45 Inhalt 3 Datenintegration Informationsqualität Duplikaterkennung Datenfusion ISBN Author Pages Herman Melville Daniel Defoe ISBN Autorname Year Daniel Defoe H Melville 1851 Semantische Integration Ontologien und Beschreibungslogiken Semantic Web kurzfilm laenge<11 laenge titel hat_laenge hat_titel film spielfilm laenge>79 hat_rolle fuehrt_regie_in rolle_in kritik hat_kritik regisseur rolle person gespielt_von hat_name name schauspieler hat_nationalitaet nationalitaet us_spielfilm us_rolle gespielt_von us_schauspieler us_buerger hat_nationalitaet Ulf Leser: Informationsintegration 45

46 Verwandte Vorlesungen partielle Überschneidungen Text Analytics Data Warehousing und Data Mining Semantic Web Implementierung von Datenbanken (DBS II) Ulf Leser: Informationsintegration 46

47 Fragen? Ulf Leser: Informationsintegration 47