Transformation einer relationalen Datenbank nach RDF am Beispiel von Reef Check-Daten. Seminararbeit Konrad Johannes Reiche

Transkript

1 Transformation einer relationalen Datenbank nach RDF am Beispiel von Reef Check-Daten Seminararbeit Konrad Johannes Reiche

2 Semantic Web Stack RDF OWL Semantic Web RDFS SPARQL 2

3 3

4 Reef Check Gegründet von Gregor Hodgson 1996 Ziel: Öffentliches Bewusstsein über Wert und Gefährdung von Korallenriffen schaffen Durch den Einsatz von Wissenschaftlern und Freiwilligen Wissenschaftliche Methoden entwickeln Überwachung des Gesundheitszustands Nachhaltige Lösungen finden 4

5 Daten Datenerfassung entlang von Transekts Beschreibung des Korallenriffs (30+ Attribute) Meeresboden Zählung von Wirbellosen Zählung von Fischen 5

6 Daten 6

7 Daten Datenbank: Microsoft Access [223 MB] Korallenriffe Untersuchungen Schema besteht aus 8 Tabellen Entwurf: Pragmatisch aus Sicht von Biologen Daten oft nicht semantisch sinnvoll getrennt Wenig Hierarchie Redundante Spalten 7

8 Semantic Web GRUNDLAGEN 8

9 RDF Ressource Description Framework (RDF) ist ein W3C Standard um Informationen im Semantic Web auszudrücken Subjekt Prädikat Objekt Beispiel: Great Barrier Reef is located in country Australia RDF als beschrifteter, gerichteter Graph Mehrere Aussagen können so kombiniert werden 9

10 RDF Great Barrier Reef country Australia Australia globalwarming +1.5 C 10

11 RDF Great Barrier Reef country Australia globalwarming +1.5 C 11

12 RDF Great Barrier Reef country Australia danger? globalwarming +1.5 C 12

13 RDF RDF identifiziert Ressourcen (Subjekt oder Objekt) RDF verknüpft Ressourcen über Eigenschaften (Prädikate) mit: Ressourcen Literale (Zahl, String, Datum, etc.) Identifizierung durch Internationalized Resource Identifier (IRI) Missverständnis: IRI müssen nicht auf ein Dokument verweisen Aber: Sinnvoll auf Definitionen (Ontologien) verweisen 13

14 Vergleich Relationales Modell 14

15 Vergleich Relationales Modell Beziehungen zwischen relationalem Modell und RDF IRI: Schlüssel Ressource: Zeile Eigenschaft: Spalte Ressource/Literal: Zelle Beziehungen zwischen OO-Model und RDF Ressource: Objekt (Exemplar) Eigenschaft: Feld Ressource: Objekt (Exemplar) Literal: Einfacher Datentyp 15

16 OWL Was für die relationale Datenbank das Schema ist ist für RDF eine Ontologie Ontology Web Language (OWL) basiert auf RDF Definiert ein Vokabular Beschreibt Dinge und ihre Beziehungen RDF beschreibt Fakten (Wissen) OWL beschreibt Konzepte Konstrukte wie rdfs:class, rdfs:subclassof, rdfs:range, rdfs:domain 16

17 Wozu das Ganze? DEMO I 17

18 Wie kann das Problem gelöst werden? LÖSUNGSANSÄTZE 18

19 Lösungsansätze RDBMS nach RDF wurde bereits vielseitig untersucht Viele Lösungen, wobei zwischen 2 Ansätze unterschieden wird (1) Relationale Daten nach RDF überführen Vorteil: Persistenter RDF Datensatz Nachteil: Pflege bei Aktualisierungen der Datenbank 19

20 Lösungsansätze (2) Relationale Daten durch generierte Sichten verknüpfen Vorteil: Konsistent auch nach Aktualisierungen Nachteil: Übersetzung von SPARQL nach SQL, kann bei aufwendigen Anfragen zu Verzögerungen führen 20

21 Generierte Sichten Virtuoso Universal Server Triplestore: Datenbank für das Speichern und Abrufen von Tripeln (RDF) Spezifizierung von RDF Views (SQL Query Triplemenge) D2RQ Platform Eigene Sprache: Abbildungen in Form einer Konfigurationsdatei Liefert Linked Data Server nach Überführung der Daten Allerdings: Konfiguration in RDF aufwendig und umständlich 21

22 Generierte Sichten Probleme Ansätze gehen von einem durchdachten Datenbankschema aus Normierung: Viele Beobachtungsdaten in der Form Degree of { none, low, moderate, high } Abweichende Einträge (never, often, always) anpassen Was wenn statische Abbildungen nicht mehr ausreichen? Koordinaten gegeben in Degree/Minutes/Seconds (DMS) Basic Geo Standard verwendet aber Decimal Degrees (DM) Berechnung notwendig 22

23 Relationale Daten überführen Programmatische Lösungen ermöglichen dynamische Modifikation Objektorientiertes Modell ermöglicht identische Abbildung Apache Jena Java Framework für semantische Anwendungen API um RDF und OWL Daten zu lesen, verarbeiten und schreiben Query Engine um SPARQL Anfragen zu verarbeiten Resource reef = model.createresource(uri).addproperty(rdfs.label, "Great Barrier Reef").addProperty(country, australia); 23

24 JenaBean Verwendet Jena API und definiert Annotationen Mit Java Reflection werden Objekte zur Laufzeit übersetzt OntModel model = ModelFactory.createOntologyModel(); Jenabean.instance().bind(model); Reef reef = new Reef(); reef.setname("great Barrier Reef"); reef.setcountry(australia); RDFWriter writer = model.getrdfwriter(); writer.write(out); Vorteile: Domänenspezifische Sprache in Java, dynamische Modifikation der Daten, kein zusätzlicher Code notwendig 24

25 JenaBean Nachteile (1) JenaBean serialisiert die Objekte; höhere Priorität als die Konfiguration, z.b. Annotation (2) Klassenmodell wird als OWL serialisiert und mischt dabei OWL und RDF in einen Graphen (3) Nicht die gesamte Funktion ist notwendig, z.b. Serialisierung des Paketnamens, für Deserialisierung notwendig Fazit: Fehlende Flexibilität in der Konfiguration erlaubt es nicht den semantischen Anforderungen gerecht zu werden. Der Ansatz ist aber der richtige. 25

26 Java Objektmodellbindung für RDF JTRIPLE 26

27 JTriple Macht da weiter von JenaBean aufhört Was ist best practice bei generischen Serialisierungswerkzeugen? Von etablierten Werkzeugen lernen: XStream, Jackson, etc. Quellcode betrachten, Serialisierung debuggen Rekursives verarbeiten der Java Objekte Rekursionsschritt in den Feldern Konvertierung je nach Objekttyp unterschiedlich 27

28 Entwurf Jeder Typ hat seine eigenen Konvertierungsregel pro Typ ein Converter, z.b. NullConverter, CollectionConverter, etc. Statt großem if-then-else Konstrukt modularer, entkoppelter Code Frage: Wie wird der Converter ausgewählt? public boolean canconvert(class<?> type, Object instance); Für eine ArrayList<E> kann ObjectConverter angewendet werden, aber CollectionConverter wäre wohl sinnvoller 28

29 Zuständigkeitskette Entwurfsmuster, wird normalerweise für GUI Ereignisse verwendet Entkoppelt Sender und Empfänger in dem eine Anfrage entlang einer Kette von Empfänger gereicht wird, bis die Anfrage bearbeiten werden kann (1) Jeder Converter definiert einen Nachfolger Converter (2) Wenn der Converter nicht angewendet werden kann, leitet er das zu konvertierende Objekt weiter Vorteil: Durch Kette wird strikte Reihenfolge festgelegt 29

30 Entwurf 30

31 Wert zur Generierung der Ressourcen URI Wert für alternative Eigenschaft URI Wert um rdfs:type zu definieren Feld bei der Konvertierung überspringen Wert um owl:sameas zu public Double getlatitude() { //... { public Double getlongitude() { //... } 31

32 Implementierung Ein zentraler Aspekt ist die Modellierung von Entitäten Entitäten von realen Dingen, bestimmte Organismen, etc. Geographische Orte, wie Länder, Regionen, Meere, etc. Standardisierte Begriffe Diese Daten sind als Strings in der Datenbank abgelegt Können direkt in ein Literal umgewandelt und integriert werden Aus Linked Data Sicht: Verschwendung! Identifier wiederverwenden Anforderung: Bestimmte Entitäten definieren können und ggf. mit weiteren Informationen versehen, z.b. owl:sameas auf DBpedia 32

33 Aufzählungstypen einsetzen Aufzählungstypen in Java erlauben diese Freiheit Einzelne Konstanten können annotiert werden public enum Organism { " }) GROUPER("Grouper"), //... } RDF < a rc:organism ; rdfs:label "Grouper"^^xsd:string ; < < 33

34 Linked Data in der Praxis DEMO II 34

35 Fabrikmethode für Aufzählungstypen Java Objekte werden automatisch erzeugt, aber wie werden Felder mit Aufzählungstypen zugewiesen? "St Vincent & Grenadines" ST_VINCENT_AND_GRENADINES Enum.valueOf(string) Spezifische Konvertierung notwendig: Spezifische Fabrikmethode public interface EnumFactory<T extends EnumEntity> { } public T create(string value); EnumEntity ist nur eine Markierungsschnittstelle um Typsicherheit sicherzustellen 35

36 Fabrikmethode für Aufzählungstypen public static class OrganismFactory implements EnumFactory<Organism> { public Organism create(string value) { //... } Fabrik ist Teil der Deklaration des public enum Organism { //... } Kann für die Erzeugung generisch aufgerufen werden durch Verwendung einer Annotation die auf die Fabrik verweist 36

37 Was ist das Ergebnis? RDF DATENSATZ 37

38 Fazit Für eine gegebene Datenbank sollte eine Methode gefunden werden, um aus dieser einen RDF Datensatz zu bilden Aufgrund von schwachem Schema und inkonsistenten Daten haben sich bewährte Lösungen nicht durchgesetzt Wenig Wiederverwendung von erprobten Werkzeugen Meiste Zeit beanspruchte die RDF/OWL Modellierung Zentrale Frage sollte dabei immer sein: Was will ich mit den Daten anfangen? 38

39 Fazit Vorteil dieser Lösung: Java als domänenspezifische Sprache Bei Änderungen der Datenbanken muss nur das Java Klassenmodell angepasst werden Wartung des Projekts durch Dritte Wenn sich die Datenbank komplett ändert, kann das aber auch bedeutet, dass wieder ganz von vorne angefangen werden muss Ausblick Nicht nur RDF generieren, sondern auch OWL Linked Data Anreicherung automatisieren 39

40 Community Semantic Web Interest Group #swig auf irc.freenode.net 40

41 Vielen Dank! Das Werkzeug ist verfügbar unter 41

42 Fragen? Das Werkzeug ist verfügbar unter 42