Ich hab da mal ne Frage...

Transkript

1 Ich hab da mal ne Frage... Mit XQuery die richtigen Antworten finden und mit XUpdate neue Erkenntnisse verarbeiten Annette Bunz Fachhochschule Augsburg University of Applied Sciences Department of Computer Science Zusammenfassung: Die XML Query Language (XQuery) ist eine Abfragesprache für XML-Datenbanken und kann unter anderem zur Transformation abgefragter Daten eingesetzt werden. Sie weist einige Gemeinsamkeiten zu SQL auf, wie zum Beispiel den Aufbau der Statements oder einzelne Befehle. Was XQuery jedoch gegenüber SQL auszeichnet, ist die Möglichkeit zur Definition benutzerdefinierter Funktionen oder die Verwendung von Rekursion. Als funktionale Sprache bietet XQuery keine Möglichkeit zur Modifikation der Daten. Aus diesem Grund bietet XUpdate eine geeignete Ergänzung. Durch diese deklarative Sprache in XML-Syntax können Daten verändert und neue XML-Dokumente erstellt werden. Beide Sprachen sind für SQL- und XML-Programmierer leicht verständlich und bieten vor allem als Ergänzung von XForms beinahe unbeschränkte Möglichkeiten für die Arbeit mit XML-Daten. Einleitung Angenommen: man möchte aus einer Sammlung von XML-Dateien mit Adressdaten eine Liste aller Personen für eine Veranstaltung zusammenstellen. Wie geht man in diesem Fall vor? Lässt man die Möglichkeit außer Acht, die Daten manuell zusammenzustellen, so gibt es verschiedene Ansätze, die Aufgabe programmiertechnisch zu lösen. Beispielsweise könnte man die Dokumente mit Hilfe von XSLT (Extensible Stylesheet Language Transformation) transformieren. Dazu müsste allerdings in jedes Dokument eine Referenz auf

2 das Stylesheet eingefügt werden: zu umständlich. Oder man könnte eine Anwendung (zum Beispiel in Java) schreiben, welche die relevanten Daten aus den übergebenen Dateien ausliest: noch umständlicher. Besser: man verwendet die XML Query Language (XQuery). Diese Abfragesprache für XML-Datenbanken ermöglicht einen einfachen und einheitlichen Zugriff auf die Daten und die Transformation in andere Formate. XQuery wird von der XML Query Working Group [14], einer Untergruppe der XML Activity des W3C ( entwickelt. Derzeit im Status Working Draft, soll XQuery bald zum W3C-Standard werden. Mit einer Syntax, die stark an SQL (Structured Query Language) erinnert, stellt sie eine einfache und schnelle Art dar, Informationen aus XML-Dateien auszulesen. Was sie gegenüber SQL auszeichnet, ist die Möglichkeit zur Definition benutzerdefinierter Funktionen oder die Verwendung von Rekursion. Weiter angenommen, die benötigten Daten wurden abgefragt und sollen gespeichert werden. XQuery bietet als funktionale Sprache keinerlei Möglichkeit zur Modifikation der Daten oder zum Erstellen neuer Dokumente. Für diese Aufgaben wurde die Sprache XUpdate von der so genannten XML:DB Initiative entwickelt. XUpdate ermöglicht es dem Programmierer in XML-Syntax auf Daten zuzugreifen, diese zu ändern, zu löschen oder neue Knoten in ein XML-Dukument einzufügen. Was ist XQuery? Die XML Query Language ist eine Abfragesprache für XML-Datenbanken und wird von der XML Query Working Group, einer Untergruppe der XML Activity des W3C, entwickelt. Ähnlich wie SQL für Datenbanken wird XQuery eingesetzt, um Daten aus XML- Dateien, relationalen Datenbanken oder Web Services abzufragen. [1] Aus den ermittelten Daten kann neues XML generiert werden. Die Transformation in andere Formate ist ebenfalls möglich. Abbildung 1: Möglichkeiten von XQuery

3 Das W3C unterscheidet als Grundlage für die Abfragen zwischen den folgenden Dokumenttypen: [14] Reale Dokumente Virtuelle Dokumente Collections Reale Dokumente sind XML-Dokumente, welche, in einer XML-Datenbank hinterlegt, die Ausgangsdaten für Abfragen zur Verfügung stellen. Als virtuelle Dokumente werden Datenquellen bezeichnet, die ihren Ursprung nicht in XML-Dateien haben. Dazu gehören beispielsweise Tabellen und Views aus relationalen Datenbanken. Unter Collections versteht man Sammlungen von Dokumenten. Auf die genannten Datenquellen kann entweder lokal oder über das World Wide Web zugegriffen werden. Die Navigation innerhalb der Dokumente erfolgt mittels XPath (XML Path Language). Als funktionale Sprache arbeitet XQuery ohne Seiteneffekte. Das bedeutet, dass weder Daten dauerhaft oder auch nur temporär gespeichert, noch Inhalte modifiziert werden können. XQuery verwendet für die Abfragen kein XML, sondern erinnert in der Syntax an SQL. Diese Art der Notation ermöglicht vor allem Programmierern mit SQL-Kenntnissen eine leichte Lesbarkeit der Abfragen. Historie Derzeit im Status Working Draft soll XQuery bald zum W3C-Standard werden. Als solcher könnte XQuery weltweit zum Standard für Abfragen und Transformationen von XML-Daten werden und den einheitlichen Zugriff auf diese Datenquellen gewährleisten. Inzwischen bieten viele Hersteller relationaler Datenbanksysteme Implementierungen von XQuery an (s. rechts). Diese Reaktion auf XQuery als neue Technologie ist nicht nur Resultat des fortschreitenden Einsatzes der XML-Technologien, sondern unterstützt gleichzeitig die Verbreitung von XQuery. XQuery wird u. a. von folgenden Datenbanksystemen unterstützt: [14] Bluestream Database Software Corp. s exist Oracle Database 10g Release2 Berkeley DB XML 2.0 NeoCore XML Sprachelemente Mittels XQuery werden die Abfragen, ähnlich wie in SQL, als Ausdrücke formuliert. Die Navigation innerhalb der Dokumente erfolgt mit Hilfe von XPath. Durch XPath kann jeder Knoten des durch das XML-Dokument erstellten Baums erreicht werden. Die in

4 XPath vorhandenen Funktionen und elementaren Ausdrücke können ebenfalls verwendet werden. Man spricht deshalb von XPath als einer Untermenge von XQuery. Komplexere Ausdrücke werden nach dem FLWOR-Muster (for-let-whereorder-by-return-muster) aufgebaut (vgl. SELECT-FROM-WHERE-Muster in SQL): XQuery for $forvar1 at $posvar1 in <forexpr>,... let $letvar1 := <Expr>,... where <BoolExpr> order by <ordexpr> ascending/descending return <retexpr> SQL SELECT FROM <table> WHERE <BoolExpr> ORDER BY <ordexpr> asc/desc <selexpr> Definition 1: Aufbau eines XQuery-Ausdrucks [16] und Vergleich mit SQL Entsprechend der SELECT-Anweisung in SQL kann auch in XQuery zur Abfrage der Daten eine Schleife (for) durchlaufen werden. Das Element des jeweiligen Schleifenschritts wird dabei in einer Konstanten ($forvar1, s. o.) gespeichert, über die in den folgenden Anweisungen auf dessen Inhalt zugegriffen werden kann. In einer Konstanten ($posvar1) kann die Position des Elementes gespeichert und auf diese, beispielsweise in der where-bedingung, zugegriffen werden (z.b. where $posvar1 mod 2 = 0 bedeutet jeder 2te). Im let-abschnitt können Konstanten definiert, mit Werten belegt und Berechnungen durchgeführt werden. In jedem Schritt werden diese Konstanten neu definiert, ihr Inhalt wird also nicht über den Schleifenschritt hinaus gespeichert. Es ist zudem möglich mehrere weitere let-anweisungen vor dem Aufruf der for- Schleife(n) zu platzieren. Auf diese Daten kann während des gesamten Schleifendurchlaufs zugegriffen werden. Um Berechnungen mit Daten aus einer Abfrage auszuführen, müssen diese jedoch nach der Zuweisung für $forvar1 durchgeführt werden. In der where-bedingung wird jedes Element auf die angegebenen Kriterien geprüft. Hier können mehrere Bedingungen, die entweder mit and oder or verknüpft werden, angegeben werden. Im Gegensatz zu SQL können mit Xquery keine negativen Bedingungen (not) angegeben werden. Erfüllt dieses die Bedingungen, so wird es in der return-anweisung verarbeitet und alle gefundenen Daten nach dem order-by-kriterium geordnet zurück gegeben. Im nebenstehenden Beispiel werden aus einem XML-Dokument die Nachnamen und Vornamen aller Personen ausgewählt und als neues XML-Dokument ausgegeben. <person gender= f > <last>mayr</last> <first>ute</firste> </person> <anreden>{ for $person in document( personen.xml )//person let $l:=string($person/last), $f:= string($person/first) return <anrede>{$l}{ }{$f}</anrede> }</anreden> <anreden> <anrede>mayr Ute</anrede> </anreden> Bsp. 1: Transformation mit XQuery

5 Die unterschiedlichen Dokumenttypen, die als Quelldaten verwendet werden können, werden auf verschiedene Arten aufgerufen. Der Programmierer hat dabei die Möglichkeiten, seine Quelle entweder als XML-Dokument (document( <docname> )) oder als Collection (collection( <collpath> )) anzugeben. [22] Die Konstanten in XQuery-Ausdrücken werden jeweils mit einem vorangehenden $- Zeichen gekennzeichnet. Den Konstanten, aber auch den Inhalten der Knoten, können explizit bestimmte Datentypen zugewiesen werden. Diese können als Bezeichner, zur Typüberprüfung oder auch für explizite Typecasts verwendet werden (Bsp.: string($person/last)). Bei der Rückgabe der Elemente muss jeder neue Knotentyp (Attribute, Elemente, Text, etc.) in geschweifte Klammern eingefasst werden. Ausschließlich XML-Tags können ohne diesen Rahmen ausgegeben werden. (z.b.: <anrede>{ Frau }{$last}</anrede>) [22] Hierbei muss man darauf achten, wiederum wohlgeformtes XML zu produzieren. Beim Schreiben der where-klauseln muss eine Besonderheit beachtet werden. Da im XML-Umfeld stets zwischen dem kompletten Knoten und dessen Inhalt unterschieden wird, werden auch hier unterschiedliche Vergleichsoperatoren angeboten. Im nebenstehenden Beispiel werden der Wert eines Elementes und die Existenz eines Elementsgeprüft, sowie die Abfolge der E- lemente getestet. Operatoren für die Prüfung des Wertes eines Elements: eq (equal), ne (not equal), lt (less than), le (l. or equal), gt (greater than), ge(g. or equal) Operatoren für die Prüfung der Existenz eines Elements: =,!=, <, <=, >, >= Operatoren für die Prüfung der Abfolge von Elementen: is, <<, >> Prüfung auf Wert: let $a := <a>2</a>,$b := <b>2</b> return ($a eq $b) Gibt true zurück, da beide Elemente den selben Wert haben. Prüfung auf Existenz: let $a := (0, 1), $b := (1, 2) return ($a = $b) Gibt true zurück, da mindestens ein E- lement aus a und b übereinstimmt. Prüfung der Abfolge: let $a := <a><b/></a>,$b := $a/b return ($a/b is $b) Gibt true zurück, da beide Elemente den selben Knoten adressieren. Bsp. 2: Vergleichsoperatoren [13] Neben den bereits genannten FLWOR-Ausdrücken verfügt XQuery über weitere Elemente, die seine Funktionalität und Möglichkeiten erweitern. So können auch Listen (z.b.: (1, 2, 4)) oder Integerränge (z.b.: 1 to 3, d. h. die Zahlen 1, 2 und 3) definiert werden.

6 Um mehrere Knotenfolgen zu kombinieren, können, wie in SQL auch, die Operatoren union, intersect oder except verwendet werden. Die Auswertung der Knoten und ihres Inhalts anhand von Bedingungen ist in XQuery möglich. Hierzu kann das if-thenelse-konstrukt verwendet werden. Knotenmengen können auch anhand quantifizierender Ausdrücke überprüft werden (some-in-satisfies, every-in-satisfies). In XQuery gelten die bereits für XPath bekannten Funktionen. Um beispielsweise auf den Namen eines Knotens zuzugreifen, kann die Funktion name(<knoten>) verwendet werden. Der Inhalt des Knotens kann durch die Funktion string(<knoten>) ausgelesen werden. Die Funktion attribute(<name>,<wert>) wird eingesetzt, um aus diesen oder neuen Informationen wiederum Attributpaare zu erstellen. Ein Besonderheit, die XQuery bietet, ist die Möglichkeit zur Definition benutzerdefinierter Funktionen: declare function namespace:functionsname (parameter1 as datentyp1, parameter2 as datentyp2, ) as rückgabetyp { <XQuery-Ausdruck> } Definition 2: Benutzerdefinierte Funktionen [16] In diesen Funktionen können weitere Funktionen aufgerufen werden. Auch der rekursive Aufruf von Funktionen ist an dieser Stelle möglich. Gerade die Möglichkeit zur Verwendung von Rekursion in den benutzerdefinierten Funktionen unterscheidet XQuery grundlegend von SQL und bietet dem Programmierer somit mehr Möglichkeiten, die Daten zu verarbeiten. Das folgende Beispiel gibt aus einem XML-Dokument, in dem Familienmitglieder über eine ID verknüpft sind, den Stammbaum aller Ottos aus. Dazu wird zuerst eine lokale benutzerdefinierte Funktion erstellt, die sich rekursiv selbst aufruft, bis keine Vorfahren mehr gefunden werden können. Diese Funktion kann anschließend unter Angabe ihres Namespaces beispielsweise aus einer for-schleife aufgerufen werden. declare function local:getfamily($pid as xs:string) as node()* { <person> {document( personen.xml )//person[pid=$pid]/lastname} {document( personen.xml )//person[pid=$pid]/firstname} <mother> {let $mid as xs:string := //person[pid=$pid]/mother return if ($mid) then local:getfamily(string($mid)) else () }</mother> <father> {let $fid as xs:string := //person[pid=$pid]/father return if ($fid) then local:getfamily(string($fid)) else () }</father> </person> }; for $p in document( personen.xml )//person[firstname="otto"] return <family>{local:getfamily(string($p/pid))}</family> Bsp. 3: Benutzerdefinierte Funktionen [7]

7 In XQuery können Kommentare, auch geschachtelt, verwendet werden. Diese werden jeweils durch einen Smilie eingeleitet und abgeschlossen (z.b.: (: Kommentar :)). Auch Kommentare im XML-Format sind erlaubt (z.b.: <!-- Kommentar -->). Da XQuery einige Ähnlichkeit zu SQL aufweist, gibt es viele Gemeinsamkeiten, aber auch einige grundlegenden Unterschiede zwischen den beiden Abfragesprachen. Im folgenden werden die wichtigsten Übereinstimmungen und Differenzen zusammengefasst: Gemeinsamkeiten von XQuery und SQL: Abfragen als Ausdruck formuliert Schleifendurchlauf Bedingungen auf-/absteigende Sortierung anhand von Sortierkriterien Kombination der Elemente (union, intersect, except) Unterschiede von XQuery zu SQL: Case Sensivity keine negativen Bedingungen if-then-else-konstrukte Konstanten, Listen und Integerränge XPath-Navigation und Funktionen benutzerdefinierte Funktionen Rekursion erlaubt Überladen benutzerdefinierte Fkts. Gerade diese zusätzlichen Möglichkeiten (Listen, Integerränge, if-then-else, benutzerdefinierte Funktionen, Rekursion, ) machen XQuery zu einer mächtigeren Abfragesprache als SQL. Sie bieten dem Programmierer beinahe unbegrenzte Möglichkeiten in der Abfrage von Daten. Dennoch ist XQuery noch nicht am Ende der Möglichkeiten. Weitere Features wie beispielsweise eine Volltextsuche oder zusätzliche Funktionalitäten müssen bisher noch durch den Programmierer selbst oder durch spezifische Implementierungen der Datenbankhersteller zur Verfügung gestellt werden. Was ist XUpdate? Anders als XQuery ist XUpdate keine Entwicklung des W3C. Dennoch dient es vor allem als Erweiterung von XForms und XQuery. Im begrenzten Sprachumfang von XQuery ist es nicht möglich Daten oder Dateien zu modifizieren oder neue Datenquellen zu erstellen. XUpdate ermöglicht es dem Programmierer nun, auch ändernd auf Daten und Dateien zuzugreifen. XUpdate (Namespace: wurde von der Initiative XML:DB ( entwickelt, die ebenfalls eine API für XUpdate zur Verfügung stellt. Diese wurde in Apache Xindice ( implementiert.[11]

8 Sprachelemente XUpdate ist eine deklarative Sprache, deren Anweisungen im XML-Format geschrieben werden. Für die Navigation innerhalb der Dokumente werden ebenfalls XPath und dessen Funktionen verwendet. Die Anweisungen werden nach dem folgenden Muster aufgebaut: <xupdate:mod select= PATH > <xupdate:node> </xupdate:node> </xupdate:mod> Definition 3: Aufbau eines XQuery-Ausdrucks [11] Mit Beginn des Elements xupdate:mod wird die Art der Modifikation angegeben. Es stehen verschiedene XUpdate-Funktionen zum Einfügen eines neuen Knotens (insert-before, insert-after, append) und zum Ändern (update, rename) oder Löschen (remove) eines bereits bestehenden Knotens zur Verfügung. Zusätzlich können Knoten in einer Konstanten gespeichert (variable) oder ihr Wert ausgelesen (valueof) werden. Auch das Einfügen von Kommentaren (comment) ist möglich. [11] Im select-attribut wird für PATH ein XPath-Ausdruck angegeben. Hier kann im Dokument navigiert und Elemente ausgewählt werden. Hierbei können auch die von XPath zur Verfügung gestellten Funktionen und Bedingungsangaben benutzt werden. Mit xupdate:node wird ein Knoten definiert, NODE kann je nach gewünschtem Knotentyp die Ausprägungen element, attribute oder text annehmen. Im nebenstehenden Beispiel wird aus einem XML-Dokument der Nachname von Otto in der Konstanten $last gespeichert. Anschließend wird ein neuer Personen-Knoten für Susi Müller hinzugefügt. Danach werden alle Personen, die nicht Müller heißen, aus dem Dokument gelöscht.... <person gender= m > <last>müller</last><first>otto</first> </person>... <xupdate:variable name= last select= //person[first= Otto ]/last > <xupdate:append select= /personen > <xupdate:element name= person > <xupdate:attribute>f</xupdate:attribute> <xupdate:element name= last > <xupdate:value-of select="$last"/> </xupdate:element>... </xupdate:element> </xupdate:append> <xupdate:remove select= //person[last!='müller'] />... <person gender= f > <last>müller</last><first>susi</first> </person> <person gender= m > <last>müller</last><first>otto</first> </person>... Bsp. 4: Einsatz von XUpdate

9 Fazit Ganz besonders gefallen mir die Plattformunabhängigkeit von XML und dessen Technologien und vor allem die immer mehr in den Vordergrund tretende Unabhängigkeit von anderen Programmiersprachen. Durch XQuery und XUpdate ist es nicht mehr nötig, die XML-Daten beispielsweise mittels Java-Anwendungen zu bearbeiten, die Modifikation kann direkt durch diese Sprachen ausgeführt werden. Auch für die Kombination mit anderen XML-Technologien eignen sich XQuery und XUpdate hervorragend. In Zusammenarbeit mit XForms ergeben sich völlig neue Einsatzmöglichkeiten, welche die bisherigen XML-Leistungen übertreffen. Vor allem die leichte Verständlichkeit der beiden Sprachen überzeugt. Für Programmierer mit grundlegenden XML- und SQL-Kenntnissen stellt das Erlernen und die Anwendung dieser Sprachen keine Schwierigkeit dar. Noch ist XQuery kein Standard und selbst mit diesem Status werden noch weitere Änderungen stattfinden. Zusätzliche Features wie beispielsweise eine Volltext-Suche werden bisher nur durch datenbank-spezifische (z.b. von exist) XQuery-Funktionen angeboten. Sie werden aber mit der Zeit bestimmt ebenfalls in XQuery integriert werden. Die fehlenden Möglichkeiten zur Modifikation der Daten werden durch den Einsatz von XUpdate sehr gut kompensiert, was hoffen lässt, dass auch diese Technologie mit der Zeit weiter verbreitet wird. Da die Verbreitung der XML-Technologien immer weiter voranschreitet, werden XQuery und XUpdate bestimmt auch weiter Zuspruch finden. Gerade die Unterstützung der großen Datenbankhersteller als auch die Neuentwicklung von XML-Datenbanken trägt dazu bei diese Sprachen zu fördern.

10 Literaturverzeichnis [1] Gespräch mit Carsten Czarski (Oracle Deutschland GmbH) am [2] DOAG-Vortrag: XML-Abfragen der neuen Art: XQuery, Carsten Czarsky, Ulrike Schwinn [3] (Abgerufen: 29. Juni 2006, 11:38) [4] (Abgerufen: 29. Juni 2006, 11:36) [5] (Abgerufen: 29. Juni 2006, 11:36) [6] Gespräch mit Prof. Dr. Kowarschick (FH Augsburg) am [7] von Prof. Dr. Kowarschick (FH Augsburg) am [8] Gespräch mit Prof. Dr. Kowarschick (FH Augsburg) am [9] (Abgerufen: 29. Juni 2006, 12:17) [10] (Abgerufen: 29. Juni 2006, 12:17) [11] XML/SS04-SemiDB-XML/pdf/04-slides.pdf (Abgerufen: 29. Juni 2006, 12:19) [12] (Abgerufen: 29. Juni 2006, 12:23) [13] (Abgerufen: 29. Juni 2006, 12:25) [14] (Abgerufen: 29. Juni 2006, 12:25) [15] (Abgerufen: 29. Juni 2006, 12:25) [16] Artikel XQuery. In: Wikipedia, Die freie Enzyklopädie. Bearbeitungsstand: 18. Juni 2006, 14:09. URL: (Abgerufen: 29. Juni 2006, 11:36) [17] Sasaki, Felix. Milde, Jan-Torsten. Fragestunde. Neuerungen in XQuery und XSLT.XML & Web Services Magazin. Ausgabe Software und Support Verlag GmbH. [18] (Abgerufen: 29. Juni 2006, 12:26) [19] (Abgerufen: 29. Juni 2006, 12:27) [20] (Abgerufen: 29. Juni 2006, 12:27) [21] (Abgerufen: 29. Juni 2006, 12:27) [22] Lehner, Wolfgang. Schöning, Harald. XQuery Ein Überblick. Datenbank-Spektrum. Ausgabe 11/2004.