Gigantisch Semantisch

Transkript

1 Gigantisch Semantisch März 2012 Lieber Marc Principal Consultant Basel Baden Bern Brugg Lausanne Zurich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg Munich Stuttgart Vienna

2 Agenda Semantic Web. Um was geht es eigentlich? Einsatz beispiel in einem Domain spezifisches Such-Werkzeug Oracle + Topbraid + Jena Demo Knowledge transfer is only the beginning. Knowledge application is what counts. Unsere erste Efahrung Kernaussagen Gigantisch Semantisch 2

3 Semantic Web. Um was geht es eigentlich? Es hat nichts mit Medizin zu tun sondern ist eine Sprache um Wissen zu präsentieren Erleichtert Kontextabhängige Abfragen für Endbenutzer Eine ganz neue Welt für ein Oracle Entwickler Jedes Datenmodell ist in einer einzelnen Tabelle gespeichert Die Daten sind als Triplets oder in RDF/XML Format abgebildet Oracle speichert die Daten und die Struktur gemischt als Triplets Statt SQL als Abfragesprache W3C SPARQL Gigantisch Semantisch 3

4 Wo wird Semantic Web benutzt? Social graph FOAF : Friend of a Friend Facebook, Linkedin Such-Werkzeuge, Text mining & Web mining, Knowledge Management Google, Yahoo Domain spezifisches Such-Werkzeug Austausch zwischen Digitale Bibliotheken Decision Support System im Pharma Research Bereich Immer mehr Data Quellen in RDF/XML Format : Gigantisch Semantisch 4

5 Semantic Web Begriffe Ontology : sprachlich gefasste und formal geordnete Darstellungen einer Menge von Begrifflichkeiten in einem spezifischen Gebiet Wine Ontology, Music Ontology, Gene Ontology, National Cancer Institute Thesaurus (NCI), etc.. bildet ein Netzwerk von Informationen mit logischen Relationen enthält Integritätsregeln enthält Inferenzregeln Zur Entdeckung neue Relationen Gigantisch Semantisch 5

6 Semantic Web Begriffe Taxonomy/Terminology : Klassifikation Wissenschaft hierarchische Klassifikation (Klassen, Unterklassen usw.) Thesaurus : Wissenschaftliche Wortschatz-Sammlungen Synonyms Gigantisch Semantisch 6

7 Die Haupt W3C RDF Definitionen RDF Syntax: Die Infrastruktur zur Codierung von Metadaten RDFS : die Daten Modellierung Sprache für RDF Class,subclass,property,subproperty, OWL : Beschreibung von komplexere Relationen equivalence, disjointness, symmetric, inverse, SKOS : für Klassifikation-Systemen wie thesauri, taxonomy : preferred term, broader term Gigantisch Semantisch 7

8 RDF Graph Eine Sammlung von Triplets bildet ein RDF Graph Informationen sind miteinander verknüpft Ein Informationsnetzwerk wird aufgebaut Gigantisch Semantisch 8

9 Agenda Semantic Web. Um was geht es eigentlich? Einsatzbeispiel in einem Domain spezifisches Such-Werkzeug Oracle + Topbraid + Jena Demo Knowledge transfer is only the beginning. Knowledge application is what counts. Unsere erste Efahrung Kernaussagen Gigantisch Semantisch 9

10 Metastore3 : ein Semantic Web Projekt Domain spezifisches Such-Werkzeug Eigene Software-Lösung im Pharmaceutical- Bereich für Wissensmanagement 2 Mio terms/concepts Die Arbeitseinheit ist ein Concept. Jedes Concept gehört zu einem ConceptType. Relationen zwischen Concepts könnten innerhalb einem ConceptType oder inter-concepttype definiert sein Jedes Concept hat drei Teile : Terminology, Pointers und URLs Die Pointers erlauben die Cross-Referenzierung von Informationen aus externen wissenschaftlichen Quellen und fremden Applikationen Gigantisch Semantisch 10

11 Beispiel Concept Types Company / Product Der Concept Oracle Corp. gehört zum Concept Type Company. Er hat unter anderem einen Property Synonym ( Oracle Corp., Oracle, Sun,.. ) und dabei muss es einer geben mit property preferred Term ( Oracle Corp. ). Der Concept DB 11gR2 gehört zum Concept Type Product er hat eine Property islicencedby von Typ inter-concepttype Relation mit Oracle Corp. Oracle Corp. DB 11GR2 islicencedby isoftype isoftype Company Product Gigantisch Semantisch 11

12 Beispiel Metatstore3 Eigenschaften und Zusammenhang zwischen den einzelnen Concepts von Typ Taxonomy, Gene und Protein Gigantisch Semantisch 12

13 Status 2011 : Metastore2 Die alte Applikation war in einem klassischen relationalen Modell gespeichert. monatlich komplett neu geladen und nach eingehender Prüfung mittels Switch produktiv gesetzt. Die komplexe Abhängigkeit zwischen Concepts wurde teilweise mittels SQL durch CONNECT BY abgefragt und aus Performance Gründen durch Materialized Views unterstützt. Hautprobleme : zu limitiert, geringe Flexibilität und schwer zu erweitern Gigantisch Semantisch 13

14 Release 2 : neue Anforderungen Flexibiltät, Erweiterbarkeit Gigantisch Semantisch 14

15 Neue Anforderungen alte Funktionalitäten müssen erhalten bleiben: Gute Performance, hierarchische Abfragen, Versionierung auf Concept Ebene Inkrementeller Ladeprozess: jeder Content-Owner soll nur neue Änderungen liefern RDF/XML als definiertes Input Format Neue Concept Typen, Properties, Relationen oder Regeln sollen vom Content Owner jederzeit erstellt werden können Gigantisch Semantisch 15

16 Neue Anforderungen Die Produktion soll noch häufiger aktualisiert werden können (ad hoc - nach Bedarf) Ein Loading Exercise beinhaltet Änderungen in mehreren Concept Typen und soll die Daten gegen das Daten Modell prüfen können, bevor mit der Produktion gemerged wird. Nach der Loading Exercise findet ein Merge mit der Produktionsumgebung statt oder im Fehlerfall ein komplettes Rollback Gigantisch Semantisch 16

17 Warum Oracle Web Semantic? Auf dem Papier passt die Oracle Semantic Web Technology perfekt zu den Bedürfnissen des Kunden Gute Performance bei großen Datenmengen Daten aus relationalen Tabellen können mit Daten aus dem Semantic Teil gemischt werden Versionierung wird unterstützt Notwendige Security Konzepte sind anwendbar Oracle Standard Funktionalitäten können weiter genutzt werden: Indexes, Backup/Recovery, usw.. Semantic Web ist in der Oracle DB ab Version 10g verfügbar, doch Oracle hat sehr grosse Fortschritte mit der Version 11gR2 gemacht. Gigantisch Semantisch 17

18 Oracle Web Semantic Architektur Gigantisch Semantisch 18

19 RDF Triple Beispiel Triple Store Tabelle kreieren SQL> CREATE TABLE emp_tpl (triple SDO_RDF_TRIPLE_S); SQL> EXEC SEM_APIS.CREATE_SEM_MODEL( 'emp1','emp_tpl','triple'); Triplets einfügen SQL> INSERT INTO emp_tpl VALUES (SDO_RDF_TRIPLE_S('emp1', '< '< ' Jones"^^< ); Gigantisch Semantisch 19

20 Zusätzliche Eigenschaften einfügen OWL Class, subclassof, property, subpropertyof, SQL> INSERT INTO emp_tpl VALUES (SDO_RDF_TRIPLE_S('emp1', '< '< '< Gigantisch Semantisch 20

21 SPARQL Query SQL SQL> SELECT ename from EMP where JOB= CLERK ; SPARQL in der SEM_MATCH Funktion {?s?p?o FILTER(sameTerm(?p,:ENAME)).?s :hasjob :Clerk} Gigantisch Semantisch 21

22 Inferencing Nachdem das OWL Modell und Daten in das Oracle Semantic Datenmodell geladen sind muss noch das Inferencing stattfinden ist eine Art intelligenten Softwareeinheit zur regelbasierten Auswertung und kontextspezifischen Aufbereitung großer Wissensbasen Bei Oracle werden die Inferred Daten vorgespeichert, statt on-the-fly reasoning Metastore3 Regeln: RDFS + OWLPrime, nicht SKOS Das Inferencing oder Entailment generiert neue Triples, physisch im Schema MDSYS gespeichert durch die PL/SQL Prozedur SEM_APIS.CREATE_ENTAILMENT Gigantisch Semantisch 22

23 Agenda Semantic Web. Um was geht es eigentlich? Einsatzbeispiel in einem Domain spezifisches Such-Werkzeug Oracle + Topbraid + Jena Demo Knowledge transfer is only the beginning. Knowledge application is what counts. Unsere erste Efahrung Gigantisch Semantisch 23

24 Beispiel Demo Topbraid : Kommerzielles Ontology Entwicklungs-Werkzeug Eclipse basiert Modelling Wekzeug, Inferencing, SPARQL Editor, Import/Export Benutzt Jena im Hintergrund + Oracle Web semantic Plug-in Jena : Java basiertes Open Source framework Oracle Semantic Web Graphs, export, Inferencing, SPARQL, RDF/OWL Gigantisch Semantisch 24

25 Agenda Semantic Web. Um was geht es eigentlich? Einsatzbeispiel in einem Domain spezifisches Such-Werkzeug Topbraid + Jena Demo Knowledge transfer is only the beginning. Knowledge application is what counts. Unsere erste Erfahrung Kernaussagen Gigantisch Semantisch 25

26 Metastore3 erste Phase : Datenmigration Die Metastore2 Daten werden mit PL/SQL Prozeduren importiert dauert 2 Stunden inklusiv den Inferencing Die Existierende Materialized Views werden neu aufgebaut mit SPARQL queries Dauert nochmals 2 Stunden Das Frontend wird nicht geändert Die existierende Java-basierte Applikation liest die Daten aus der Oracle DB via SQL Queries auf die vorher bereits erwähnten Materialized Views Gigantisch Semantisch 26

27 Migration : Zweite Phase Die existierenden Funktionalitäten werden erweitert und unterstützen auch das neue Datenmodell Jede Loading Exercise wird per APEX gesteuert Es wird eine Möglichkeit geboten mittels Joseki SPARQL Abfragen zu erstellen Joseki is ein HTTP Engine das den SPARQL Protokol unterstuzt Gigantisch Semantisch 27

28 Versionierung mit Oracle Workspace RDF Semantic Daten können versioniert werden dank dem Oracle Workspace Manager Versionen von Public und private Semantic Daten werden in den Datenbank Workspaces gemanaged Geänderte oder neue RDF Daten bleiben privat, solange der Merge nicht stattgefunden hat. Die Neuberechnung der Entailments funktioniert in seinem eigenen Workspace, doch das bewirkt, dass das Entailment im Live Workspace dann invalid ist! Gigantisch Semantisch 28

29 Versionierung mit Oracle Workspace Leider musste eine andere Lösung gefunden werden. Gründe hierfür: einerseits wegen Performance aber auch weil zu viele Restriktionen existierten. z.b. können Daten nicht mehr mittels Bulk-Load importiert werden. Lösung: es wurden 2 Semantic Tabellen genutzt 1 produktive- und 1 Arbeits-Tabelle. Am Ende jeder Loading Exercise werden diese beiden Tabellen ausgetauscht. Gigantisch Semantisch 29

30 Erste Erfahrungen, Herausforderungen Wie kann man die Triples, die zu einem alten Concept Version gehören, löschen? Versuch: Oracle bietet eine Möglichkeit mit SPARQL, die Triple IDs zu holen. Problem: es ist viel zu langsam. Lösung: Entsprechend musste eine effizientere Lösung gefunden werden, die direkt auf die relationale Semantic Tabellen zugreift. Wie kann ein Rollback zu einer alten Concept Version gemacht werden? Lösung: die Triples in der Staging Tabelle werden nicht gelöscht. Die Staging Tabelle wird pro Version partitioniert. Ein Rollback wird dann mit PL/SQL gelöst. Gigantisch Semantisch 30

31 Erste Erfahrungen, Herausforderungen Wie kann man Versionen vergleichen? Lösung: 1. Eine PL/SQL Prozedur generiert das RDF/XML aus der Datenbank Als Option kann mit oder ohne Inferencing das XML Dokument generieren. Ohne Inferencing werden die zu RDF/XML generierten Daten aus der Staging Tabelle gelesen. 2. Danach können mit XMLDIFF die zwei Versionen verglichen werden. Gigantisch Semantisch 31

32 Erste Erfahrungen, Herausforderungen Wie können wir sicherstellen, dass die neu geladenen Triples für unser Semantic Modell gültig sind? Lösung: 1. Das RDF/XML Dokument wird zuerst gegen ein XML Schema mit Hilfe eines Java Parsers validiert. 1 XML schema pro Concept Type Wichtig: So viel wie möglich wird schon dort validiert da die Java Validation leistungsfähiger ist als die DB Validation. 2. Nach dem Laden in der Staging Tabelle werden mit PL/SQL Checks durchgeführt Beispiel: Dangling Relationen suchen, also Relationen, die einen nicht existierenden oder abgelehnte Concept referenzieren. 3. Nach dem Inferencing werden noch zusätzliche Kontrolle gemacht, wie zum Beispiel Cycles (Kreisläufen) Gigantisch Semantisch 32

33 Agenda Semantic Web. Um was geht es eigentlich? Einsatzbeispiel in einem Domain spezifischen Such-Werkzeug Demo Oracle + Topbraid + Jena Knowledge transfer is only the beginning. Knowledge application is what counts. Unsere ersten Erfahrungen Kernaussagen Gigantisch Semantisch 33

34 Kernaussagen Unsere ersten Erfahrungen mit Oracle Semantic Web sind sehr positiv. Zukünftigen Applikations-Anforderungen sollten jetzt ohne zu großen Aufwand umsetzbar sein Data are always part of the game. Die Performance unserer SPARQL Abfragen sind meistens befriedigend Großes Potenzial zur Performance- Verbesserung liegt in den Oracle DB- Einstellungen und des Einsatzes eines dedizierten Linux Servers mit höherer Leistungsfähigkeit Gigantisch Semantisch 34