Informationsintegration

Transkript

1 Informationsintegration Einführung Ulf Leser Wissensmanagement in der Bioinformatik

2 Informationsintegration Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Ulf Leser: Informationsintegration, Wintersemester 2006/2007 2

3 Einige Untertitel Content Merging Objekt Fusion Datenintegration Data Amalgamation Intelligent Information Integration: I³ Data Consolidation Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Ulf Leser: Informationsintegration, Wintersemester 2006/2007 3

4 Weitere Begriffe Integrierte Informationssysteme - Metasuchmaschinen - Data Warehouses - Schnäppchenjäger, Reiseportale, Google News - Verwandt, aber anders - Enterprise Application Integration - Middleware (CORBA, EJB,.Net, ) - Systemintegration Ulf Leser: Informationsintegration, Wintersemester 2006/2007 4

5 Überblick Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am Beispiel Ausblick auf das Semester Ulf Leser: Informationsintegration, Wintersemester 2006/2007 5

6 Wissensmanagement in der Bioinformatik Wissensmanagement - Skalierbarkeit, Modellierung, Analyse komplexer Informationssysteme Read-only, Text oder semi-strukturiert - Integration heterogener Informationsquellen - Management von Graphen in Datenbanken Biologische Netze, XML+XPointer, Social Networks,. Bioinformatik - Anwendung von Methoden der Informatik auf biomedizinische Probleme - Algorithmische Bioinformatik (Stringmatching, Indexierung, ) - Text Mining in den Lebenswissenschaften - Management und Analyse biologischer Netzwerke Ulf Leser: Informationsintegration, Wintersemester 2006/2007 6

7 Offene Themen Ulf Leser: Informationsintegration, Wintersemester 2006/2007 7

8 Halbkurs Informationsintegration Vorlesung Praktikum 4SWS 2SWS Sprechstunde: Nach Vereinbarung Ulf Leser Raum: IV.103 Tel: (030) Ulf Leser: Informationsintegration, Wintersemester 2006/2007 8

9 Termine und Prüfung Vorlesung - Dienstag, Uhr, RUD26, Raum 1'303 - Donnerstag, Uhr, RUD26, Raum 1'303 Praktikum (Bauckmann, Gläser, et al.) - Donnerstag, Uhr, RUD26, Raum 1'303 - Erstes Praktikum am Weihnachten - Letzte Vorlesung 2006: Donnerstag, Erste Vorlesung 2007: Dienstag, Voraussetzung für eine erfolgreiche Teilnahme - Anmeldung in GOYA für Vorlesung und Praktikum - Kenntnisse in relationalen Datenbanken Voraussetzung für Prüfung - Je nach Studienordnung: Vordiplom - Bestehen des Praktikums Ulf Leser: Informationsintegration, Wintersemester 2006/2007 9

10 Gäste Termine noch unklar - N.N. Ulf Leser: Informationsintegration, Wintersemester 2006/

11 Lehre zu Datenbanken am Institut HK Einführung in Datenbanken (DBS-1) - Voraussetzung für diesen Halbkurs - Kurze Wiederholung in der nächsten Stunde HK Implementation von Datenbanken (DBS-2) - Systemnahe Aspekte; eine monolithische Datenbank HK Data Warehousing - Spezifische Form einer integrierten Datenbank mit vielen speziellen Aspekten (Modellierung, Optimierung, OLAP ) Ulf Leser: Informationsintegration, Wintersemester 2006/

12 Literatur Ulf Leser, Felix Naumann: Informationsintegration, dpunkt.verlag, Oktober 2006 Weitere Hinweise in den Vorlesungen Andere Bücher - Conrad: Föderierte Datenbanken, 1997 Architekturen, Schemaintegration, keine Anfragebearbeitung - Conrad et al.: Enterprise Application Integration, 2006 Fokus auf EAI und Middleware - Yu, Meng: Principles of Database Query Processing, 1998 Optimierung verteilter Anfragen - Özus, Valduriez: Principles of Distributed Database Systems, 1999 Optimierung, verteilte und parallele Datenbanken Ulf Leser: Informationsintegration, Wintersemester 2006/

13 Webseite Ulf Leser: Informationsintegration, Wintersemester 2006/

14 Feedback Schon Evaluation angesehen? - Evaluation am Ende des Semesters Fragen bitte jederzeit! - In der Vorlesung - leser@informatik.hu-berlin.de Anregungen zur Verbesserung am besten per Mail - Insb. Fehler in Folien Ulf Leser: Informationsintegration, Wintersemester 2006/

15 Praktikum Desaster Management Ulf Leser: Informationsintegration, Wintersemester 2006/

16 Techniken Google API, Visualisierung Datenfusion, Schematransformation RDF, Semantic Web TEST HTML Wrapping, DOM, Wrapper-Toolkits Text Analyse, Schema Mapping Ulf Leser: Informationsintegration, Wintersemester 2006/

17 Aufbau Bilden von 5-7 Gruppen - Wrappen von Webquellen - Informationsextraktion - Management von RDF Daten - Datenfusion und transformation - Visualisierungs-API - Test Jede Gruppe hat einen Doktoranden als Teilprojektleiter - Dank METRIK Start: Ulf Leser: Informationsintegration, Wintersemester 2006/

18 Was soll man lernen? Techniken der Informationsintegration - Datentransformationen, Ontologien, Datenintegration, Architekturen, Informationsextraktion, Moderne Technologien - RDF, SparQL, XML, Jena, Visualisierung, Web-API s, Projektarbeit - 80% aller Projekte laufen außer Geld oder Zeit - Wir können beides nicht erweitern - Bug-Tracking, Zeitpläne, Testen, Spezifikationen, soziale Probleme, Ulf Leser: Informationsintegration, Wintersemester 2006/

19 Fragen? Ulf Leser: Informationsintegration, Wintersemester 2006/

20 Fragen meinerseits Diplominformatiker? Semester? Prüfung? Spezielle Erwartungen? Ulf Leser: Informationsintegration, Wintersemester 2006/

21 Was ist Informationsintegration? Ulf Leser: Informationsintegration, Wintersemester 2006/

22 Integrierte Informationssysteme Im weiteren Sinne - Business Integration - Enterpreise Application Integration - Prozessintegration - Informationsintegration Im engeren (unserem) Sinne - Informationsintegration Anfrage Integriertes Informationssystem Oracle, Dateisystem Web Anwendung HTML Integriertes DB2 Ulf Leser: Informationsintegration, Wintersemester 2006/2007 Service Form Info.-system 22

23 EAI versus Informationsintegration SCM ERP Message Broker CRM Anfrage E-Commerce E-Procurement Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Ulf Leser: Informationsintegration, Wintersemester 2006/

24 Was ist Informationsintegration? Informationsintegration bezeichnet die Zusammenführung des Inhalts verschiedener Datenquellen an einer Stelle? Informationsintegration bezeichnet die korrekte, vollständige und effiziente Zusammenführung des Inhalts verschiedener, verteilter, autonomer und heterogener Quellen an einer Stelle zu einer einheitlichen und strukturierten Informationsmenge mit dem Ziel, eine effektiven Nutzung durch Nutzer und Anwendungen zu ermöglichen Ulf Leser: Informationsintegration, Wintersemester 2006/

25 Informationssysteme: Dateien Datei - Informationseinheit: Zeile /Token - Anfrage: Parser - Struktur: Flach Kann in Dateisystemen organisiert sein - Hierarchisch (aber: Links in Unix) Beispiele - Komma-delimited files - Proprietäre Formate Einsatzgebiete - Konfigurationsdateien - JAVA.property Dateien - Einfache Datenbanken - SwissProt Ulf Leser: Informationsintegration, Wintersemester 2006/

26 Property-Datei, CARDFILE # PqlPlus properties file db_user = pql db_pwd =? db_host = pfeffer db_port = 1521 db_service_name = lapdb SHAPE_WIDTH = 10 SHAPE_HEIGH = 10 NODE_VARIABLE_IMAGE_FILE = node_variable.gif PATH_VARIABLE_IMAGE_FILE = path_variable.gif PANEL_HEIGH = 105 BUTTON_HEIGH = 20 Ulf Leser: Informationsintegration, Wintersemester 2006/

27 Ulf Leser: Informationsintegration, Wintersemester 2006/

28 Informationssysteme: Markup Markup Datei - Informationseinheit: Tagged text - Anfrage: Parser, Anfragesprache - Struktur: Hierarchisch Beispiele - XML - HTML - LaTex - SGML Einsatzgebiete - Webseiten - Dokumentenbeschreibung - Web Services - Nachrichtenaustausch - Konfigurationsdateien Ulf Leser: Informationsintegration, Wintersemester 2006/

29 Datenbanken Datenbank - Informationseinheit: Tupel / Attribut, Objekt - Anfrage: Komplexe Sprache, z.b. SQL, OQL - Struktur: Relational, OO, Hierarchisch Beispiele - Relationale DBMS - Objektorientierte DBMS - Auch: XML DBMS Einsatzgebiete - Sichere Datenhaltung Recovery, Transaktionen, Synchronization, etc. - Schneller Zugriff (?) - Anwendungsunabhängige Datenhaltung Daten und Metadaten Ulf Leser: Informationsintegration, Wintersemester 2006/

30 Webformulare / Funktionsaufrufe HTML Formular - Informationseinheit: HTML Seite, Text - Anfrage: Suchworte, Formulare (Freetext, dropdown-list ) - Struktur des Ergebnisses: Markup Datei Beispiele - Webseiten - Allgemein: Funktionsausrufe Einsatzgebiete - Suchmaschinen - ECommerce - RPC/ Middleware Ulf Leser: Informationsintegration, Wintersemester 2006/

31 Ulf Leser: Informationsintegration, Wintersemester 2006/

32 Web Services und SOA Web Service - Informationseinheit: XML Dokument - Anfrage Interpretiertes XML Dokument - Struktur: XML Beispiele - Temperaturdienst etc. - Reiseplanung (Verknüpfung von Web Services) Einsatzgebiete - Service-Oriented Architecture - Marktplätze - Workflow - Datenaustausch Ulf Leser: Informationsintegration, Wintersemester 2006/

33 Legacy Anwendungen Anwendungen in veralteten Programmiersprachen Beispiel: COBOL - Für kaufmännische Anwendungen - Operiert auf formatierten Dateien - Mischung aus DBMS und Programmiersprache - Zugriff über spezielle Anwendungen (Reports) Schätzungen: ½ aller Anwendungen in Banken/ Versicherungen/ sind Legacy Anwendungen Ulf Leser: Informationsintegration, Wintersemester 2006/

34 Integrierte Suchmaschinen Anfrage Meta-Suchmaschine Intranet Index Thesaurus Ulf Leser: Informationsintegration, Wintersemester 2006/

35 Integration = Abstraktion Logisches DB-Design abstrahiert von physischem DB-Design - Datenunabhängigkeit - Anfragen: Prozedural vs. deklarativ Informationsintegration abstrahiert vom logischen DB Design vieler Datenbanken - Quellenunabhängigkeit - Ortsunabhängigkeit - Datenmodellunabhängigkeit - Formatunabhängigkeit - Unabhängigkeit von semantischen Unterschieden - Erscheint wie ein einheitliches Informationssystem Ulf Leser: Informationsintegration, Wintersemester 2006/

36 Anwendungsgebiet 1: Business [Halevy04] Ulf Leser: Informationsintegration, Wintersemester 2006/

37 Anwendungsgebiet 2: Wissenschaft Ulf Leser: Informationsintegration, Wintersemester 2006/

38 Anwendungsgebiet 3: Das Web Ulf Leser: Informationsintegration, Wintersemester 2006/

39 Ein uraltes Problem Seit 50 Jahren auf der Forschungsagenda Frühe Systeme in den 70ern - Hartkodierte Transformationsregeln - Fehleranfällig, teuer, unflexibel Neue Probleme - Viele, viele Quellen - Neue Arten von Daten (EXCEL, XML, GIS, OO,...) - Neue Arten von Anfragen (Ranking, Spatial, Mining...) - Neue Arten von Nutzern (Laien, Manager,...) - Neue Anforderungen (24x7x365, schnell, Ad-Hoc, Online) - Neue Anwendungen Self-Service, ecommerce, eprocurement Integration über Unternehmensgrenzen hinweg; Supply chain management Strategische Unternehmensunterstützung Wissensmanagement Ulf Leser: Informationsintegration, Wintersemester 2006/

40 Warum ist es so schwer? System-bedingte Gründe - Verschiedene Plattformen - Anfragebearbeitung über mehrere Systeme - Quellen ändern sich dauernd Soziale Gründe - Finden relevanter Daten in Unternehmen - Menschen zur Zusammenarbeit überreden - Einhalten von Verabredungen und Standards Logik-bedingte Gründe - Heterogenität auf allen Ebenen - Semantik von Begriffen ist immer kontextabhängig - Semantik ist einfach schwer zu beschreiben Ulf Leser: Informationsintegration, Wintersemester 2006/

41 Probleme am Beispiel Ulf Leser: Informationsintegration, Wintersemester 2006/

42 Beispiel Web Service A Web Service A - Standort: Trier - Operation: getpubbyauthor(firstname, lastname) getpubbytitle(title) - Output-Format: Ulf Leser: Informationsintegration, Wintersemester 2006/

43 Beispiel Web Service B Web Service B - Standort: Humboldt-Universität - Operation: mypubs(autor, Jahr) - Output-Struktur: Ulf Leser: Informationsintegration, Wintersemester 2006/

44 Eine Schnittstelle Integration durch Mediator - Nimmt Anfrage und berechnet Ergebnis unter Zugriff auf Quellen Ulf Leser: Informationsintegration, Wintersemester 2006/

45 Ablauf 1 Globale Anfrage Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration, Wintersemester 2006/

46 Ablauf 2 Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration, Wintersemester 2006/

47 Ablauf 3 Globale Anfrage Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Ergebnisintegration Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration, Wintersemester 2006/

48 Ablauf 4 Globale Anfrage Anfrageergebnis Anfrageübersetzung, -optimierung und -ausführung Integrationssystem Ergebnisintegration Datenquelle 1 Datenquelle 2 Datenquelle 3 Ulf Leser: Informationsintegration, Wintersemester 2006/

49 Anfrageoptimierung Eine schnelle Antwort oder eine vollständige Antwort? Geschwindigkeit - Web Service A in Trier (remote) - Web Service B in Adlershof (local) - Welches System ist schneller? Selektivität? Vollständigkeit - Web Service A hat weniger Attribute, aber mehr Objekte - Web Service B hat mehr Attribute, weniger Objekte, aber ist schneller - Eine Suche nach year kann nur durch Web Service B beantwortet werden - Web Service A hat alle Autoren, B nur einen Ulf Leser: Informationsintegration, Wintersemester 2006/

50 Zwei Resultate Web Service A Web Service B Ulf Leser: Informationsintegration, Wintersemester 2006/

51 Was ist was? - Schema Matching? Ulf Leser: Informationsintegration, Wintersemester 2006/

52 Wer ist wer? - Objektidentifikation Ulf Leser: Informationsintegration, Wintersemester 2006/

53 Angestrebtes Integrationsergebnis + Integriertes Schema: = Ulf Leser: Informationsintegration, Wintersemester 2006/

54 Angestrebtes Integrationsergebnis Integrierte Daten: Ulf Leser: Informationsintegration, Wintersemester 2006/

55 Integrierte Daten was ist passiert? Konfliktlösung Neu- Strukturierung Vorher: Naumann Neu Ulf Leser: Informationsintegration, Wintersemester 2006/

56 Überblick über die Vorlesung Ulf Leser: Informationsintegration, Wintersemester 2006/

57 Inhalt 1 Szenarien, Abgrenzung und Einsatzgebiete Verteilung, Autonomie, Heterogenität, Transparenz Architekturen Multidatenbanksprachen - SchemaSQL Mediatorbasierte Systeme Local-as-View und Global-as-View Anfrageplanung - Query Containment und Answering Queries using Views Anfrageoptimierung Ulf Leser: Informationsintegration, Wintersemester 2006/

58 Inhalt 2 Umgang mit beschränkten Quellen Schema Matching Schema Mapping Informationsqualität Duplikaterkennung und Datenfusion Data Warehouses Semantische Integration - Ontologien und Beschreibungslogiken - Semantic Web Ulf Leser: Informationsintegration, Wintersemester 2006/