Präsentation RedForce DOAG. Martien Vos, 22 september 2017

Transkript

1 Präsentation RedForce DOAG Martien Vos, 22 september 2017

2 Vorstellung Martien Vos Redforce / DPA (NL) Themen Linked (Open) Data Daten Integration Geografische Daten Bigdata Datenmigration

3 Programm Agenda Was ist Linked Data bestehende Datenmodelle Was ist RDF RDF Modellierung SPARQL GeoSPARQL Anwendungen / Konzepte Zusammenfassung

4 Was ist Linked Data Verbindet verteilte Daten über das Web. Bei Linked Data geht es darum, verwandte Daten, die bisher nicht miteinander verbunden waren, über das Web zu verbinden oder das Web zu nutzen, um die Hindernisse für die Verknüpfung von Daten abzubauen, die derzeit mit anderen Methoden verknüpft sind. Genauer gesagt definiert Wikipedia "Linked Data" als einen Begriff, der verwendet wird, um eine empfohlene Best Practice für das Aufdecken, Austauschen und Verbinden von Daten, Informationen und Wissen im Semantic Web mit Hilfe von URIs und RDF zu beschreiben.

5 Linked Data nutzt Internet-Technologie Die Welt hat ein Netzwerk, das Menschen und Unternehmen verbindet: das Internet. Weltweite Kopplung. Auch zukünftige Kunden und Partner haben Internet. Billig und fast überall erhältlich Verwendet diese Technik für externe und interne Verbindungen (http- Adresse, Links etc.).

6 Linked data ist eine bewährte Technologie Hutchinson 3G Austria

8 DB Modellen Relationales DB Relationen mittels Primär Schlüssel Hierarchisches DB Master-knoten sind wesentlich Graph DB willkürliche Objektbeziehungen RDF-Modell

10 Was ist RDF RDF = Resource Description Framework Eine Struktur zur Beschreibung von identifizierbaren Dingen RDF wurde entwickelt, um Informationen für Maschinen verständlich zu machen URI s = Uniform Resource Identifier, einzigartige Weise zur Identifizierung von Dingen. ( sieht aus wie URL aber braucht nicht auf eine Webseite zu verweisen Digitale Objekte werden über sogenannte RDF-Triples mit anderen digitalen Objekten verknüpft

11 Was ist RDF Die Grundeinheit als Information ist ein Triple (Subjekt Prädikat Objekt) Knoten Kante Knoten Hiermit können Aussagen über Dinge in der realen Welt wie Menschen, Orte, Konzepte usw. aber auch über abstrakte Konzepte oder Themengebiete getroffen werden Zusammen bilden Triples einen "Graph" Beispiel Graph z.b. Subjekt - Prädikat - Objekt Golf - wirdhergestelltvon - VW

12 Was ist RDF Zur Suche in RDF-Daten wird SPARQL verwendet SPARQL = SPARQL Protocol And RDF Query Language RDF Graph definiert Kontext-Information (Semantik) Standards definiert durch W3C & OGC RDF, RDFS, OWL, SKOS SPARQL, RDFa, RDB2RDF, GeoSPARQL Implementierungen Oracle, IBM, Cray, Virtuoso, Ontotext, Openlink, Jena, Sesame,.

13 Relationale Tabelle als RDF Mittarbeiter MNO MNAME EXPERTE ABNO 1 John DB 100 Organisation ABNO AB_NAME ORT 100 IT Kassel X:Mittarbeiter X:Organisation Ma = Ab = X =

15 Aufbau eines RDF Modells Beispiel:Ort RDF:type RDF:Class Beispiel:Fluss RDF:type RDF:Class Beispiel:liegtAm RDF:type RDF:Property Beispiel:hatEinwohnerzahl RDF:type RDF:Property :hateinwohnerzahl RDFS:Domain :Ort :hateinwohnerzahl RDFS:Range XSD:int :liegtam RDFS:Domain :Ort :liegtam RDFS:Range :Fluss class Köln liegtam Rhein class Ort Fluss

16 Modellierung Vokabulare Beziehungen rdfs:subclassof rdfs:subpropertyof rdfs:domain rdfs:range Beziehungen rdf: type RDF / RDFS RDF = Resource description Framework RDFS = RDFS-Schema OWL = Onthology Web Language Gleichheit owl:sameas owl:differentfrom Beziehungen klassen owl:equivalentclass owl:equivalentproperty owl:disjointwith owl:complementof OWL Wertebereich owl:somevaluesfrom owl:allvaluesfrom owl:hasvalue Eigenschaften owl:functionalproperty owl:inversefunctionalproperty owl:symmetricproperty owl:transitiveproperty owl:inverseof

17 Inferencing (Schlussfolgerungen) Ermöglicht der Software, Schlussfolgerungen zu ziehen, die normalerweise im menschlichen Gehirn durchgeführt werden Schlussfolgerung entdeckt neue Beziehungen Fakten + Regeln = Schlussfolgerung Regeln: Ontologie & benutzerspezifische Regeln OWL-Regeln implementiert in Oracle Spatial & Graph :John owl:inverseof :hatmutter owl:inverseof :hatkind REGEL :John : hatmutter :Mary DATA => :Mary : hatkind :John INFERENCE :Mary :hatmutter :hatkind

19 Semantisch suchen in RDF mittels SPARQL SPARQL: Simple Protocol And RDF Query Language (W3C) select relationele ortsknote, attributen ortsname, messknote, messungid from table(sem_match( PREFIX lhws: namespace < PREFIX PREFlX lhwsloc namespace : < PREFIX lhwswnm: < select sparql? ortsknote variabelen? ortsname? messungid? messknote where { vector?ortsknote (3 sparql variabelen). a lhws:ort. vector? ortsknote (3 sparql variabelen). hwsloc:ortsname?ortsname.? messknote lhws:ingebiet? ortsknote.?messknote lhwswnm:messungid?messungid. filteren.. FILTER (? ortsname = "Herkingen" && (? messungid = 83)) Model: HWSLSTAD_MODEL }', sem_models( graph model Optimalisatie parameters )) order by 1; HWSLSTAD_MODEL '),

21 GeoSPARQL GeoSPARQL Support in RDF Semantic Graph

22 Was ist GeoSPARQL GeoSPARQL ist ein minimales RDF/OWL/SPARQL Vokabular zur Speicherung und Abfrage von Geoinformationen für das Semantic Web. kann leicht eingebunden werden in eine Ontologie mit Raumbezogen Anforderungen Repräsentiert das Konzept: ein Ding mit einer Geometrie und die räumlichen Beziehungen dazwischen Standard definiert durch Open Geospatial Consortium (OGC). GeoSPARQL Robust genug, um für "seriöse" Geodaten-Anwendungen verwendet zu werden Simpel genug für Linked (Open) Data

23 GeoSPARQL Vocabulary: Basic Classes and Relations ogc:spatialobject Same as ISO GM_Object ogc:feature ogc:hasgeometry 0.. * ogc:geometry ogc:hasdefaultgeometry metadata ogc:dimension : xsd:int ogc:coordinatedimension : xsd:int Same as ISO GFI_Feature ogc:spatialdimension : xsd:int ogc:isempty : xsd:boolean ogc:issimple : xsd:boolean Geometry encoded as a Literal serializations ogc:aswkt : ogc:wktliteral ogc:asgml : ogc:gmlliteral

24 Geo-Information als RDF :landhause :res1 :geom1 :res1 rdf:type :landhause. :res1 :bad "3"^^xsd:decimal. :res1 :schlafzimmer "6"^^xsd:decimal. :res1 ogc:hasgeometry :geom1. :geom1 ogc:aswkt "POINT( )"^^ogc:wktLiteral

25 Spatial SPARQL QUERY :res1 rdf:type :landhaus. Spatial RDF Data :res1 :bad "2"^^xsd:decimal. :res1 :schlafzimmer "4"^^xsd:decimal. :res1 ogc:hasgeometry :geom1. :geom1 ogc:aswkt "POINT( )"^ôgc:wktLiteral. GeoSPARQL Standard :res2 rdf:type :landhaus. :res2 :bad "3"^^xsd:decimal. Vokabular & :res2 :schlafzimmer "6"^^xsd:decimal. Datentypen :res2 ogc:hasgeometry :geom2. :geom2 ogc:aswkt "POINT( )"^ôgc:wktLiteral. Suche Landhäuser innerhalb Polygon SELECT?r?ba?sl GeoSPARQL Query WHERE {?r rdf:type :landhouse.?r :bad?ba.?r :schlafzimmer?sl.?r ogc:hasgeometry?g.?g ogc:aswkt?wkt FILTER(ogcf:sfWithin(?wkt, "POLYGON( )"^ôgc:wktliteral)) }

26 GeoSPARQL GeoSPARQL Support in Oracle Spatial and Graph

27 Oracle Spatial and Graph Unterstützt Geometrien kodiert als: ogc:wktliterals. :semtech2011 ogc:aswkt "POINT( )"^^ogc:wktLiteral. Enthält eine Bibliothek mit räumlicher Funktionen. SELECT?s WHERE {?s ogc:aswkt?geom FILTER(ogc:distance(?geom, "POINT( )"^^ogc:WKTLiteral, uom:km) <= 10)

28 Spatial Reference System Optional: führendes Spatial Reference System URI gefolgt von OGC WKT Geometrie-String. OGC wktliteral Datatype < WGS 84 Longitude, Latitude ist der Standardwert wenn SRS URI fehlt. SRS:WGS84 Longitude, Latitude "POINT( )"^^ogc:wktLiteral (Ohne SRS Angabe) SRS:NAD27 Longitude, Latitude "< (mit SRS Angabe) "POINT( )"^^ogc:wktLiteral

29 Räumlichen Index Räumliche Abfrage möglich, indem ein räumlicher Index für den Datentyp ogc:wktliteral erstellt wird. SQL> exec sem_apis.add_datatype_index( ' options=>'tolerance=1.0 SRID=8307 DIMENSIONS=((LONGITUDE,-180,180)(LATITUDE,-90,90))');

30 GeoSPARQL Abfrage Funktionen (Topologisch) A/B A B A B A B ogc:sfequals ogc:sftouches ogc:sfoverlaps ogc:sfcontains A A B A B A B B ogc:sfwithin ogc:sfdisjoint ogc:sfintersects ogc:sfcrosses

31 GeoSPARQL Abfrage Funktionen Standard OGC: Topologisch: ogcf:relate, ogcf:sfcontains, ogcf:sfcrosses, ogcf:sfdisjoint, ogcf:sfequals, ogcf:sfintersects, ogcf:sfoverlaps, ogcf:sftouches, ogcf:sfwithin Abstand: ogcf:distance, ogcf:buffer Geometrisch: ogcf:boundary, ogcf:convexhull, ogcf:envelope, ogcf:getsrid Geometrie - Geometrie: ogcf:difference, ogcf:intersection, ogcf:symdifference, ogcf:union

33 Oracle 12c Spatial und Graph Werkzeuge Datenquellen Unstrukturierte Daten RSS, Andere Daten Formate Transaktionssystem Transformationsund Modellierungswerk zeuge R2RML Protégé for Oracle Jena for Oracle Sesame for Oracle NLP Extraction (partners) Cytoscape Laden, Abfragen & Inference RDF/OWL Data Management SQL & SPARQL Query OWL Inferencing Semantic Rules Scalability & Security Semantic Indexing Oracle Database 12c Anwendungen & Analyse-Tools Java, HTTP access JSON, XML output Graph visualization (Cytoscape) Oracle Advanced Analytics (R, Mining) Oracle Business Intelligence (OBIEE) Map (GIS) Visualization

34 nahezu Echtzeit Konzept Objektattributen als RDF-Graph (R2RML) Abfrage System-A System-B System-C GEO-Server Geometrie Daten

35 virtualisierte Daten Zugriffs- & Präsentationsschicht Semantic Graph model Index Daten Servers Event Server Hadoop Appliance Content Mgmt BI Maximo Maximo, ArcGIS, SAP Datenquellen/ Types Machine Generated Data Social Media Human Sourced Information Subscription Services Transaction Systems

36 Daten bereitstellen (Lieferanten und Kunden ) SPARQL -ENDPOINT System-A Abfragen System-B System-C

38 Zusammenfassung Linked Data verwendet Internet-Technologie Daten gestalten in RDF Modellierung mittels RDF, RDFS, OWL, SKOS Bereichsbezogene Modelle sind reichlich vorhanden SPARQL: Abfragesprache für RDF GeoSPARQL: einbinden von GEO-Daten Offene Datenhaltung sowohl intern als extern Ausgezeichnet für Integration, Datenqualität, Unterstützung bei Migrationen usw.

39 The End. Martien Vos