Servicebasierte Datenintegration

Transkript

1 Präsentation zur Seminararbeit Christoph Aßmann Aßmann, Christoph Leipzig, Folie 1

2 Inhalt Begriffe Motivation Abgrenzung Grid Cloud OGSA: Architektur servicebasierter Grids Standardisierung Evolution / Erweiterungen Informatica Cloud Data Integration Solutions Zusammenfassung Aßmann, Christoph Leipzig, Folie 2

3 Begriffsbestimmung: Datenintegration Ziel: einheitlicher Zugriff auf mehrere DBs Verteilte Datenbanken Dezentral verwaltete Datenbanken Problem: Heterogene Datenbanken ObjectStore exist MSSQL DB2 Aßmann, Christoph Leipzig, Folie 3

4 Begriffsbestimmung: Datenintegration Heterogenität: Ausprägungen ObjectStore MSSQL Zugriff exist Syntax Datenmodell DB2 Schema Data Cleaning Erstellung einheitlicher Sicht Aßmann, Christoph Leipzig, Folie 4

5 Begriffsbestimmung: Dienstbasierte Architekturen Ziel: technologieunabhängige Integration heterogener Systeme Transportprotokoll Programmiersprache Plattform? Aßmann, Christoph Leipzig, Folie 5

6 Begriffsbestimmung: Dienstbasierte Architekturen Beschreibung, Veröffentlichung, Suche, Nutzung von Diensten Dienstverzeichnis! WSDL WSDL Dienstkonsument SOAP XML HTTP TCP/IP Ethernet Dienstanbieter Aßmann, Christoph Leipzig, Folie 6

7 Motivation ISPIDER Project Erfassung biochemischer Daten Identifizierung von Proteomen an verschiedenen Standorten Zusammenführung der Informationen PEDRo PepSeeker gpmdb Aßmann, Christoph Leipzig, Folie 7

8 Abgrenzung Grid - Cloud Gemeinsamkeit: Dynamische Bereitstellung von Speicher und Rechenkapazität über Netzwerk Unterschiede: Cloud Zentraler Anbieter Ökonomischer Ansatz Grid Virtuelle Organisation (VO) / dezentrale Admin. Wissenschaftlicher Kontext Aßmann, Christoph Leipzig, Folie 8

9 Abgrenzung Grid - Cloud Grid O1 O2 O3 VO Cloud Aßmann, Christoph Leipzig, Folie 9

10 OGSA: Architektur servicebasierter Grids Hoher Grad an Heterogenität Autonome Datenquellen Dezentrale Administration Standardisierung O3 O1 O2 Aßmann, Christoph Leipzig, Folie 10

11 OGSA: Architektur servicebasierter Grids Standardisierungsgremium: Open Grid Forum (OGF) Diverse Arbeitsgruppen, u.a.: Database Access and Integration Services (DAIS WG) Architektur: Open Grid Services Architecture (OGSA) Aßmann, Christoph Leipzig, Folie 11

12 OGSA: Architektur servicebasierter Grids Repräsentation von Ressourcen durch Dienste Grid Services Standardisierung von Schnittstellen Auffinden von Grid Services Erzeugen / Beenden von Grid Dienstinstanzen Nachrichtenaustausch Aßmann, Christoph Leipzig, Folie 12

13 OGSA-DAI / OGSA-DQP: Übersicht OGSA DAI: dienstbasierter Zugriff auf Datenbanken OGSA DQP: Koordinierung des Zugriffs auf mehrere OGSA DAI Ressourcen Aßmann, Christoph Leipzig, Folie 13

14 OGSA-DAI Data Access and Integration (OGSA DAI) Java basierte Middleware zur Integration heterogener Datenquellen auf Basis der OGSA FS Rel. DB XML Aßmann, Christoph Leipzig, Folie 14

15 OGSA-DAI Ablauf einer Anfrage gegen das Grid (a) Container Start RegisterService Registry (GDSR) (1 je Container) Factory (GDSF) (1 je DBMS) Aßmann, Christoph Leipzig, Folie 15

16 OGSA-DAI Ablauf einer Anfrage gegen das Grid (b) Dienstlokalisierung Grid Service Handle (GSH) Registry (GDSR) Factory (GDSF) Service Instance (GDS) Rel. DB Aßmann, Christoph Leipzig, Folie 16

17 OGSA-DAI Ablauf einer Anfrage gegen das Grid (c) Durchführen einer Anfrage Grid Service Handle (GSH) Registry (GDSR) Factory (GDSF) Service Instance (GDS) Rel. DB Aßmann, Christoph Leipzig, Folie 17

18 OGSA-DQP Ablauf einer Anfrage gegen das Grid (c) Durchführen einer verteilten Anfrage via DQP Factory Factory (GDSF) (GDSF) Registry (GDSR) Grid Service Handle (GSH) Coordinator (GDQS) Evaluator (GQES) Service Instance (GDS) Rel. DB Evaluator (GQES) Service Instance (GDS) XML Aßmann, Christoph Leipzig, Folie 18

19 Einschub: Schemaintegration Dezentrale Administration Schemaevolution einmalige Schemaintegration unzureichend Grid Data Integration System (GDIS) Mapping Katalog Änderung / Hinzufügen einer Ressource: Update Ausführliche Beschreibung s. Ausarbeitung Aßmann, Christoph Leipzig, Folie 19

20 ISPIDER: virtuelle Datenintegration PepSeeker PEDRo gpmdb S PepSeeker S PEDRo S gpmdb S integr LSID src_id acc_nr col_xy URN:LSID:ispider.man.ac.uk:pepseeker.protein:1 1 ENSP URN:LSID:ispider.man.ac.uk:pepseeker.protein:2 2 ENSP URN:LSID:ispider.man.ac.uk:pedro.protein:1 1 ENSP URN:LSID:ispider.man.ac.uk:gpmdb.protein:1 1 ENSP Aßmann, Christoph Leipzig, Folie 20

21 ISPIDER Nutzung von OGSA DAI und OGSA DQP Manuelles Erstellen des globalen Schemas Basis: S PEDRo Beschreibung der Korrespondenzen S local S global IQL, Transformation Pathways Speicherung in Schemas & Transformations Repository Schemaevolution möglich Aßmann, Christoph Leipzig, Folie 21

22 Informatica Cloud Data Integration Solutions SaaS Anwendung: Salesforce CRM Cloud Plattform: Force.com Problematik: Migration lokaler Datenbestände aus Legacy Software nach Salesforce CRM Aßmann, Christoph Leipzig, Folie 22

23 Informatica Cloud Data Integration Solutions Informatica On Demand (IOD): Webbasierte Konfiguration von Verbindungen Source Connection, Target Connection Filter Definition Field Mappings, Transformation Schedule IOD Aßmann, Christoph Leipzig, Folie 23

24 Zusammenfassung Integrationsproblematik in Grids und Clouds vorhanden Lösung in Grids: Standardisierung Virtuelle Integration Dienstbasierte Ansätze OGF Lösung in Clouds: Eigenentwicklungen Physische Integration Migration in die Cloud Proprietäre Ansätze Aßmann, Christoph Leipzig, Folie 24

25 ISPIDER Architecture [ZFB+ 06] Aßmann, Christoph Leipzig, Folie 25

26 [ZFB+ 06] Lucas Zamboulis, Hao Fan, Khalid Belhajjame, Jennifer A. Siepen, Andrew Jones, Nigel J. Martin, Alexandra Poulovassilis, Simon J. Hubbard, Suzanne M. Embury und Norman W. Paton. Data Access and Integration in the ISPIDER Proteomics Grid. In Ulf Leser, Felix Naumann und Barbara A. Eckman, Hrsg., DILS, Jgg of Lecture Notes in Computer Science, Seiten Springer, Aßmann, Christoph Leipzig, Folie 26