Informationsintegration

Transkript

1 Informationsintegration Mediator-basierte Integration Ulf Leser Sebastian Wandelt

2 Inhalt dieser Vorlesung Wiederholung Mediator-Wrapper Architektur Übersicht Mediatoren Wrapper Beispiel Ulf Leser: Informationsintegration 2

3 Wdh: ANSI/SPARC 3-Schichten Architektur Externe (logische) Sicht Je nach Anwendung Nur relevante Daten Sichten (Views) Konzeptionelle (logische) Sicht Unabhängig von physischer Sicht Definiert durch Datenmodell Stabiler Bezugspunkt Interne (physische) Sicht Dateistruktur Speicherort (Zylinder, Block) Indexe, Partitionen, Externes Schema 1... Externes Schema N Konzeptionelles Schema Internes, physisches Schema Ulf Leser: Informationsintegration 3

4 Wdh: 4-Schichten Architektur Globales konzeptionelles Schema integriert die lokalen konzeptionellen Schemata Lokales und globales konzeptionelles Schema können gleich sein Aber Datenbestände unterschiedlich Externes Schema 1 Lokales konzept. Schema... Globales konzeptionelles Schema... Externes Schema N Lokales konzept. Schema Physisches Schema... Physisches Schema Ulf Leser: Informationsintegration 4

5 Wdh: 5-Schichten Architektur [SL90] Föderiertes Schema = globales konzeptionelles Schema Exportschema: Für die Föderation zugänglicher Ausschnitt des Komponentenschemas Komponentenschema = lokales konzeptionelles Schema im kanonischen Datenmodell Externes Schema 1 Exportschema Komponentenschema Lokales konzept. Schema Externes Schema N Föderiertes Schema Exportschema Komponentenschema Lokales konzept. Schema Ulf Leser: Informationsintegration 5

6 Wdh: Import-/Export-Schema-Architektur [HM85] Ulf Leser: Informationsintegration 6

7 Wdh: Import-/Export-Schema-Architektur [HM85] = lokales konzeptionelles Schema Teilmenge des lokalen konzeptionellen Schemas wird der Föderation zur Verfügung gestellt Ausgewählte Teilmengen der Exportschemata werden importiert Ulf Leser: Informationsintegration 7

8 Inhalt dieser Vorlesung Wiederholung Mediator-Wrapper Architektur Übersicht Mediatoren Wrapper Beispiel Ulf Leser: Informationsintegration 8

9 Wo sind wir? Verteilung Autonomie Hetero- genität Ulf Leser: Informationsintegration 9

10 Daten werden zu Informationen A mediator is a software module that exploits encoded knowledge about certain sets or subsets of data to create information for a higher layer of applications [Wie92] Ulf Leser: Informationsintegration 10

11 Architektur Anwendung 1 Anwendung 2 Mediator Wrapper 1 Wrapper 2 Wrapper 3 Quelle 1 Quelle 2 Quelle 3 Ulf Leser: Informationsintegration 11

12 Varianten Anwendung 2 Anwendung 1 Mediator 1 Mediator 2 Mediatoren als Quelle für andere Mediatoren Wrapper 1 Wrapper 2 Quelle 1 Quelle 2 Quelle 3 Quelle 1 und 2 unterscheiden sich z.b. nur im Content Ulf Leser: Informationsintegration 12

13 Vergleich zur 5-Schicht Architektur Anwendung 1 Anwendung 2 Mediator Wrapper 1 Wrapper 2 Wrapper 3 Quelle 1 Quelle 2 Quelle 3 Externe Schemata Föderiertes Schema Export Schemata Komponenten Schemata Lokale Schemata Ulf Leser: Informationsintegration 13

14 Überblick Mediator-Wrapper Architektur Übersicht Mediatoren Wrapper Beispiel Ulf Leser: Informationsintegration 14

15 Funktionen eines Mediators Bereitstellung integrierter Daten für ein Gebiet Überwindung semantischer und struktureller Heterogenität Suche und Auswahl relevanter Informationsquellen Auswahl und Ranking gemäß Anforderungen und Qualität Anreicherung mit Metadaten Autorenschaft, Qualität, Vollständigkeit, Konsistenz, Abstraktion (zum besseren Verständnis, als Auswahl) Aggregation, Zusammenfassungen Extensionale / intensionale Integration verschiedener Quellen In der Regel domänenspezifisch Von allgemeinen Daten zu spezifischen Informationen Ulf Leser: Informationsintegration 15

16 Schichten Nutzer Anwendung Mediation Wrapper Mensch-Maschine Interaktion -Art von Code? Anwendungsspezifischer Code Domänenspezifischer - Interface? Code Quellenspezifischer Code Datenquelle Ulf Leser: Informationsintegration 16

17 Schichten Nutzer Anwendung Mediation Wrapper Mensch-Maschine Interaktion Anwendungsspezifischer Code Domänenspezifischer Code Quellenspezifischer Code Datenquelle Ulf Leser: Informationsintegration 17

18 Ziel: Einfache Mediatoren [A mediator] should be small and simple, so that it can be maintained by one expert or, at most, a small and coherent group of experts. Einfaches föderiertes Schema, begrenzte Domäne, einfache Schnittstellen Separation of concerns Zerlege große Probleme in viele kleine Probleme Klare, begrenzte Aufgabenbereiche Können unabhängig von einander entwickelt und betrieben werden Kann auf extensionaler oder intensionaler Zerlegung beruhen Ulf Leser: Informationsintegration 18

19 Überblick Mediator-Wrapper Architektur Übersicht Mediatoren Wrapper Beispiel Ulf Leser: Informationsintegration 19

20 Wrapper Softwarekomponenten, die die Kommunikation und den Datenfluss zwischen Mediatoren und Datenquellen herstellen Spezialisiert auf eine (Ausprägung von) Quelle(n) Haben ein Export-Schema Übersetzen Anfragen und Ergebnisse zwischen Mediator (kanonisches Datenmodell, globale Anfragesprache) und Quelle (quellspezifisches Datenmodell und Anfragesprache) Grenze zw. Mediator und Wrapper ist nicht klar definiert Design-Entscheidung die beste Separation of Concerns Wartbarkeit, Verantwortlichkeit, klare Schnittstellen, Langlebigkeit Ulf Leser: Informationsintegration 20

21 Aufgaben Lösen Schnittstellen-, syntaktische und Datenmodellheterogenität Lösen vielleicht schematische Heterogenität Lösen meist nicht strukturelle und semantische Heterog. Reduzieren Komplexität im Mediator Puffern Push/Pull Mode Unterstützen Optimierung Ulf Leser: Informationsintegration 21

22 Definition eines Wrapper DDL zur Registrierung / Konfiguration von Wrappern Technische Deklarierung Definition des entfernten Servers und des zu verwendenden Codes Verschiedene Server können den gleichen Wrapper benutzen CREATE SERVER proteindb WRAPPER proteinwrapper OPTIONS(NODE PORT 1234,VERSION ); Inhaltliche Deklarierung Definition eines Schemas für einen Server NICKNAME kann wie eine lokale Tabellen angesprochen werden CREATE NICKNAME proteins ( att 1, att 2, ) SERVER proteindb; Orts- und Schnittstellentransparenz Ulf Leser: Informationsintegration 22

23 Aufgaben eines Wrapper Hilfe bei der Anfrageplanung Typische Queries kombinieren Daten aus der lokalen Datenbank und mehreren Quellen / Wrappern Mediator erzeugt alternative Pläne und sucht den schnellsten Dazu: Mediator verschickt Teilaufgaben an Wrapper Wrapper kann Pläne ablehnen (je nach Fähigkeiten der Quelle) Mediator führt alles aus, was der Wrapper ablehnt Wrapper liefert null oder mehr Teilpläne zurück Mit Angabe von: Kosten, Kardinalität, Sortierung, Mediator wählt auszuführenden Teilplan aus Ulf Leser: Informationsintegration 23

24 Beispiel - Selektion Quelle exportiert eine Tabelle hotels(name, stars, rate, town, street) Kann nur ein einziges Selektionsprädikat auswerten Globale Anfrage SELECT name, town FROM hotels WHERE stars>3 AND rate<150; Mediator kann nur entweder Selektion auf stars oder auf rate pushen Wrapper liefert seine Einschätzungen Export: name, town, rate Table: hotels Predicate: stars > 3 Rows: Rowsize: Est. time: Export: name, town, stars Table: hotels Predicate: rate<150 Rows: Rowsize: Est. time: Ulf Leser: Informationsintegration 24

25 Beispiel Joins 2 Quellen, drei Tabellen, 2 Joins SELECT FROM WHERE t1.name, t2.name, t3.name q1.hotels t1, q1.town t2, q2.airports t3 t1.stars>3 AND t1.zipcode = t2.zipcode AND t2.name = t3.town JOIN2 in MED JOIN2 in MED JOIN1 in Q1 JOIN1 in MED hotels town airports hotels town airports Ulf Leser: Informationsintegration 25

26 BindJoin MED JOIN1 in Q1 JOIN2 in Q2 hotels town airports Bei hoher Selektivität von JOIN1 und geringer Selektivität des Zugriffs auf AIRPORTS und kooperativer Quelle Q2 Ergebnis von Q1 wird (durch Garlic hindurch) an Q2 geschickt Join wird dort (pro Tupel) ausgeführt Kein Transport der vollständigen Tabelle airports notwendig Ulf Leser: Informationsintegration 26

27 Aufgaben eines Wrapper Anfrageausführung Mediator wählt optimalen Operatorbaum Wrapper-Teilpläne sind Teilbäume Teilpläne werden von Wrappern ausgeführt Ulf Leser: Informationsintegration 27

28 Beurteilung Vorteile Flexible Optimierung Schnelle Implementierung dummer Wrapper Sukzessive Verbesserung möglich Lastverschiebung erfolgt automatisch durch Anfrageplanung Berücksichtigung auch exotischer Fähigkeiten von Wrappern Dezentraler Aufbau Nachteile Mediatoren wissen wenig über Wrapper Weiterentwicklung von Wrappern erfolgt vollkommen autonom Erheblicher Kommunikationsaufwand bei der Anfrageplanung Wrapper müssen Anfragepläne verstehen und bewerten können Wichtig: Toolkits & SDK s bereitstellen Ulf Leser: Informationsintegration 28

29 Typischer Aufbau Ulf Leser: Informationsintegration 29

30 Beispiel: HTML-Tabellen <table> <tr> <th>name</th> <th>adresse</th> </tr> <tr> <td>müller</td> <td>pankow</td> </tr> <tr> <td>meier</td> <td>rudow</td> </tr> </table> S := getpage( ); S := region(s, tablestart, tableend); foreach R=region(S, trstart, trend); N := region(r, tdstart, tdend); clipp(r, N); A := region(r, tdstart, tdend); createrecord( N, A); clipp( S, R); Output Personen Name Müller Meier Adresse Pankow Rudow Ulf Leser: Informationsintegration 30

31 Zwei Herangehensweisen Navigation des DOM Baums Verwendung regulärer Ausdrücke Ulf Leser: Informationsintegration 31

32 Vor- und Nachteile DOM Baum Braucht den Baum: Speicherplatzintensiv, langsam Gut bei regulären Strukturen (datenbankerzeugte Webseiten) Schwierigkeiten mit irregulärem HTML Anfällig für Änderungen in Reihenfolge oder neue Elemente Kann Textfelder nicht weiter unterteilen (also doch RegExp) Regulärer Ausdrücke Schnelle Ausführung Unübersichtlich Kompliziert, wenn geschachtelte Elemente benötigt werden Benötigen stabile Ankerelemente (Überschriften etc.) Ulf Leser: Informationsintegration 32

33 Vor- und Nachteile DOM Baum Braucht den Baum: Speicherplatzintensiv, langsam Gut bei regulären Strukturen (datenbankerzeugte Webseiten)? Schwierigkeiten mit irregulärem HTML Anfällig für Änderungen in Reihenfolge oder neue Elemente Kann Textfelder nicht weiter unterteilen (also doch RegExp) Regulärer Ausdrücke Schnelle Ausführung Unübersichtlich? Kompliziert, wenn geschachtelte Elemente benötigt werden Benötigen stabile Ankerelemente (Überschriften etc.) Ulf Leser: Informationsintegration 33

34 Sprachen für Web Wrapper Site-Wrapping versus Side-Wrapping Tabellen über mehrere Seiten, Detailseiten, Verfolgen von Links Abbildung extrahierter Daten auf ein Exportschema Variablen, Funktionen, Schleifen, Fehlerbehandlung Einfache Anfragefunktionalität Erweiterte Wrapper-API Wrapper Induktion Schwierig: Bilder, Web2.0, Javascript, Ulf Leser: Informationsintegration 34

35 Überblick Mediator-Wrapper Architektur Übersicht Mediatoren Wrapper Beispiel: Houdini Ulf Leser: Informationsintegration 35

36 Interface Ulf Leser: Informationsintegration 36

37 Idea Collection and integration of relevant information after an earthquake Integrated access to various autonomous, distributed and heterogeneous data sources Focus on user-generated content: High resolution, high diversity Motivation Disaster management centers Rescue organization Planning of urgent infrastructure repair Ulf Leser: Informationsintegration 37

38 Sources: User-Created Content URGENT info for New Orleans residents: Hwy 90 East at the Pearl River Bridge is closed. You cannot take the Highway to Mississippi, Alabama or Florida. FlickR, 08/28/2005, 9:48am Water continues to rise around our building, as it is throughout the region. We want to evacuate our employees and families while we are still able to safely leave our building. Times-Picayune, 08/30/2005 During Hurricane Katrina. Keesler is a few hundred yards from the beach in Biloxi FlickR, 08/29/2005 We have received reports from NOLA.com readers that the French Quarter is flooding. One reader report came from the corner of Bourbon Street and Royal Street. nola.com, 08/30/2005 Text (unstructured) User at Memorial Medical reports that Uptown from Freret to the River seems to have remained dry, while areas from Freret to Claiborne have "much water"--about 5 feet reported at Claiborne and Magnolia. nola.com, 08/30/2005 Most current information available Varying reliability and quality Restricted queries (full text) Contains images, sound, video, This picture was taken by Calvin Sylvester in New Orleans of his family's home in the 9th Ward, one of the areas where the pumps failed FlickR, 08/30/2005 Ulf Leser: Informationsintegration 38

39 Sources: General Information Examples: earthquake data, weather, roads, buildings, hospitals, Usually highly structured Updated regularly Access through web page Requires web wrapping Restricted query facilities Ulf Leser: Informationsintegration 39

40 Architecture Mediator-Wrapper architecture One wrapper per source type Implements only very simple interface Highly extensible Information extraction Parses textual information Location/time/damage Flexible integration data model Event Wrapper Keyword Wrapper Geo Wrapper RDF: Resource description framework Ulf Leser: Informationsintegration 40

41 1. Event Detection Event Wrapper Keyword Wrapper Geo Wrapper Earthquakes are registered at GeoFon (Location & time) Event Wrapper regularly pulls GeoFon Event wrapper notices event and forwards it to mediator Mediator generates wrapper queries Ulf Leser: Informationsintegration 41

42 2. Information Collection Some sources allow SQL-like queries for location/time Some sources only accessible for full text queries Query generation Regions (from region ontology) Keywords (from feature ontology) Event Wrapper Keyword Wrapper Geo Wrapper Los Angeles, Golden Gate Bridge, San Francisco, Earthquake, destruction, shaking ground, electricity cut, Ulf Leser: Informationsintegration 42

43 3. Information Extraction IE module scans text for events, location, time Texts are converted into RDF flooding place_event has_event has_loc French Quarter Event Wrapper Keyword Wrapper Geo Wrapper Note X has_time source We have received reports from NOLA.com readers that the French Quarter is flooding. One reader report came from the corner of Bourbon Street and Royal Street. nola.com, 08/30/2005, 8:28am 08/30/2005 nola.com Ulf Leser: Informationsintegration 43

44 4. Information Integration Event Wrapper Keyword Wrapper has_event Geo Wrapper Note X flooding has_loc has_time source RDF events need to be associated to earthquakes put into relationship with other events and background knowledge Detection and pruning of duplicate information place_event French Quarter 08/30/2005 nola.com city ISA part_of New Orleans latitude N USA part_of longitude W Ulf Leser: Informationsintegration 44

45 5. Queries and Visualization Client based on Google Maps and Web2.0 techniques User chooses has_event flooding has_loc place_event French Quarter city ISA New Orleans USA part_of Location and range Types of events Note X source has_time 08/30/2005 nola.com part_of latitude longitude W Properties of events Time period Event Wrapper Keyword Wrapper N Geo Wrapper Detected events are shown and located on map Ulf Leser: Informationsintegration 45

46 Interface Ulf Leser: Informationsintegration 46

47 Approach Hybrid between materialization / virtual integration Queries are answered from local, integrated repository Repository is fed from online queries to external data sources External data sources are pulled after initial events Push / pull Users poll, sources are polled, event wrapper push Integrated sources don t push polling is mandatory Polling has to be repeated regularly Trade-off timeliness of information / workload Data integration Events are reported multiple times, at many sites, in various forms Information fusion and filtering (space, time, events, ) Ulf Leser: Informationsintegration 47

48 Summary Ulf Leser: Informationsintegration 48

49 Bitte morgen an der Implementation eurer Übungsabgabe arbeiten. Sowohl die Vorlesungs- als auch die Übungszeit steht euch zur Verfügung! => Morgen ist also keine Vorlesung. Ulf Leser: Informationsintegration 49