Crashkurs XML. Überblick - Nachmittag Felix Naumann RDBMS XML. Anfragebearbeitung Optimierung

Transkript

1 Crashkurs XML Felix Naumann Überblick - Nachmittag RDBMS Anfragebearbeitung Optimierung XML Grundkonzepte XML Schema XSLT & XQuery (Anfragesprache) 2 1

2 Integrierte Informationssysteme Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 3 Motivation - XML Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system 4 Transformation nach XML Input/Output XML Gute XML Werkzeuge (SAX/DOM) Einfache Kommunikation Interoperabilität 2

3 XML Ursprung WWW Consortium W3C Abgeleitet aus Standard Generalized Markup Language (SGML) Entworfen als Dokumenten Markup Nicht als Datenbankmodell Tags als Gliederungseinheiten Idee: Selbstbeschreibend 5 Quelle der folgenden Folien: XML Basics for Web Services, Prof. Norbert Ritter XML Beispiel Tags als Metadaten! <bank> <account> <account-number> A-101 </account-number> <branch-name> Downtown </branch-name> <balance> 500 </balance> </account> <depositor> <account-number> A-101 </account-number> <customer-name> Johnson </customer-name> </depositor> </bank> 6 3

4 XML Nutzung 7 Internet hat Austausch von Daten nützlich und notwendig gemacht. Datenaustausch Intra- und inter-organisation Z.B. Überweisungen, Bestellung Z.B. Wissenschaftliche Daten, Biologie, Astronomie XML ist mittlerweile die Basis für anwendungsspezifische Austauschformate. Formate mittels DTD und XML-Schema beschrieben Zusätzlich textuelle Beschreibung XML ist Schlüsseltechnologie zur Interoperabilität. Deshalb hat XML einen neuen Geschmack : Daten statt Dokumente Grundelemente Tag: Label für ein Datum (Datenstück) Element: Ein Datum eingeschlossen von Tags <balance> 500 </balance> <customer-name> Johnson </customer-name> Korrekte Schachtelung Jeder Anfangstag muss ein Endtag im Kontext des gleichen Elternelements haben. Dokument: Elemente werden in Dokumenten gesammelt Dokument hat eindeutiges Top-Element (Wurzel) 8 4

5 Grundelemente Attribute zur Beschreibung von Elementen Jedes Element kann beliebig viele Attribute haben <account acct-type = checking > <account-number> A-102 </account-number> <branch-name> Perryridge </branch-name> <balance> 400 </balance> </account> Name-Wert Paare im Starttag Attributnamen eindeutig <account acct-type = checking status = closed > 9 Attribute oder Subelemente? 10 Beispiel <account acct-type = checking > <account-number> A-102 </account-number> <branch-name> Perryridge </branch-name> <balance> 400 </balance> </account> <account> <acct-type> checking </acct-type> <account-number> A-102 </account-number> <branch-name> Perryridge </branch-name> <balance> 400 </balance> </account> In Dokumenten sind Attribute Teil des Markups Bei Daten unklar... 5

6 Grundelemente Mischung von Elementen und Text möglich <account> This account is seldom used any more. <account-number> A-102</account-number> <branch-name> Perryridge</branch-name> <balance>400 </balance> </account> Vorteil: Markup von Schriftstücken Nachteil: Im Datenmodell werden Typen und Daten vermischt (mixed-content) Abkürzung: <account number= A-101 branch= Perryridge balance= 200 /> 11 Namespaces Oft: Verwendung gemeinsamer Tags in mehreren Dokumenten und Anwendungen Verwendung mehrerer Dokumente in einer Anwendung Namenskonflikte sind möglich Namespaces definieren global eindeutigen Kontext eines Dokumentes. 12 6

7 Namespaces Namespace ist eine Sammlung von Namen Identifiziert durch URI Beispiel: Verwendung zweier Namespaces in einem Dokument <BookOrder xmlns:customer= xmlns:item= Zur Identifikation in einem Dokument Präfix: Customer:Title='Dr'... Item:Title='Introduction to XML' Überblick - Nachmittag RDBMS Anfragebearbeitung Optimierung XML Grundkonzepte XML Schema XSLT & XQuery (Anfragesprache) 14 7

8 XML Schemata Zur Beschreibung der Struktur von XML Dokumenten Zur Beschreibung der Datentypen Wichtig für Datenaustausch: Schemakonformität garantiert korrekte Weiterverarbeitung. XML Dokumente müssen kein Schema haben. Zwei Varianten DTD (Document Type Definition) weit verbreitet XML-Schema new & improved 15 DTDs Spezifiziert welche Elemente vorkommen können, welche Attribute sie haben (können) und welche Sub-Elemente sie wie oft haben können. Spezifiziert nicht Datentyp: Alles STRING Syntax <!ELEMENT element (subelements-specification) > <!ATTLIST element (attributes) > 16 8

9 DTDs Beispiel <! ELEMENT depositor (customer-name account-number)> <! ELEMENT customer-name(#pcdata)> <! ELEMENT account-number (#PCDATA)> Sub-Element Spezifikation als regulärer Ausdruck <!ELEMENT bank ( ( account customer depositor)+)> Notation: - Alternativen? - 0 oder oder mehr * - 0 oder mehr 17 DTDs Beispiel <!DOCTYPE bank [ <! ELEMENT bank ( ( account customer depositor)+)> <! ELEMENT account (account-num branch-name balance)> <! ELEMENT customer(cust-name cust-street cust-city)> <! ELEMENT depositor (cust-name account-number)> <! ELEMENT account-num (#PCDATA)> <! ELEMENT branch-name (#PCDATA)> <! ELEMENT balance(#pcdata)> <! ELEMENT cust-name(#pcdata)> <! ELEMENT cust-street(#pcdata)> <! ELEMENT cust-city(#pcdata)> ]> 18 9

10 DTDs Attribute Für jedes Attribut: Name Typ (CDATA, ID, IDREF oder IDREFS) Und: #REQUIRED / default value / #IMPLIED IDs / IDREFs nur auf ein Attribut eindeutig IDREF muss auf ein existierenden ID-Wert zeigen ohne Typen! 19 XML mit IDs und IDREFs 20 <bank-2> <account account-number= A-401 owners= C100 C102 > <branch-name> Downtown </branch-name> <balance>500 </balance> </account>... <customer customer-id= C100 accounts= A-401 > <customer-name>joe</customer-name> <customer-street>monroe</customer-street> <customer-city>madison</customer-city> </customer> <customer customer-id= C102 accounts= A-401 A-402 > <customer-name> Mary</customer-name> <customer-street> Erin</customer-street> <customer-city> Newark </customer-city> </customer> </bank-2> 10

11 XML Schema XML Schema behebt die Probleme der DTDs W3C recomendation Insbesondere Datentypen User defined (Benutzer-definiert) Auch für IDs und IDREFs Integer, String, Date usw. Komplexe Typen Nebenbedingungen (min, max) XML Schema ist selbst ein XML Dokument XML Schema 22 Elemente mit Typ <xs: element name= sponsor type= xsd: string /> <xs: element name= action type= Action /> Attribute mit Typ <xs: attribute name= date type= xsd: date /> Simple Typen: Integer, date, string,... Komplexe Typen <xs: complextype name= Action > <xs: sequence> <xs: elemref name = action-date /> <xs: elemref name = action-desc /> </xs: sequence> </xs: complextype> 11

12 XML Schema 23 Sequence <xs: sequence> <xs: element name= congress type=xsd: string /> <xs: element name= session type=xsd: string /> </xs: sequence> Choice <xs: choice> <xs: element name= author type= PersonName /> <xs: element name= editor type= PersonName /> </xs: choice> Repetition <xs: sequence minoccurs= 1 maxoccurs= unbounded > <xs : element name = section type= Section /> </xs : sequence> XML Schema - Beispiel 24 <xs:schema xmlns:xs= <xs:element name= bank type= BankType /> <xs:element name= account > <xsd:complextype> <xsd:sequence> <xs:element name= account-num type= xsd:string /> <xs:element name= branch-name type= xsd:string /> <xs:element name= balance type= xsd:decimal /> </xs:sequence> </xs:complextype> </xs:element>.. definitions of customer and depositor. <xs:complextype name= BankType > <xs:sequence> <xs:element ref= account minoccurs= 0 maxoccurs= unbounded /> <xs:element ref= customer minoccurs= 0 maxoccurs= unbounded /> <xs:element ref= depositor minoccurs= 0 maxoccurs= unbounded /> </xs:sequence> </xs:complextype> </xs:schema> 12

13 XML Dokumente und Schemata XML Dokumente sind wohlgeformt (well-formed) falls sie syntaktisch korrekt sind. bezgl. eines Schemas valide (valid) falls sie wohlgeformt sind und mit dem Schema konform sind. XML Dokumente können sich auf mehrere Schemata beziehen (namespaces). 25 Pause 13

14 Überblick - Nachmittag RDBMS Anfragebearbeitung Optimierung XML Grundkonzepte XML Schema XSLT & XQuery (Anfragesprache) 27 XML Anfragen 28 Je nach Geschmack: Dokumente: Dokumentmanagementsystem Suche mit Volltext-Index Daten XML DBMS Strukturierte Anfragen Transformationen XPATH XSLT XQuery 14

15 XML Daten als Baum XML Daten können als Baum dargestellt werden: Elemente und Attribute als Knoten Vater/Sohn Beziehungen als Kanten Daten als Blätter Anfragesprachen basieren auf diesem Modell. 29 XML Baum bank account depositor account-number branch-name balance account-number customer-name A-101 Downtown 500 A-101 Johnson 30 15

16 XPath Nutzt Baum Modell Pfadausdrücke zum Selektieren von Teilbäumen Ein XPath Ausdruck besteht aus einer Folge von Schritten, getrennt durch /. Ergebnis ist eine Menge von passenden Werten: XPath: /bank-2/customer/customer-name Ergibt: <customer-name> Joe </ customer-name>, <customername> Mary </ customer-name> XPath: /bank-2/customer/customer-name/text() Ergibt: Joe, Mary 31 XPath Details Initiales / steht für die Dokumentwurzel. Jeder Schritt bezieht sich auf einen Kontextknoten. Jeder Schritt hat drei Elemente: Eine von 13 Achsen: Die Richtung Ein Knotentest: Name und Art von qualifizierenden Knoten Eine Menge von Prädikaten: Genauere Selektion der qualifizierenden Knoten Beispiel: /bank/*account[balance>400]/@account_number 32 Wurzel Achse: Nachfolger Knotentest: account Prädikat Achse: Attribut 16

17 XPath Achsen Ähnlich wie Dateisystem / direktes Kind // Nachfolger. Selbst.. Direkter Vater * Attribut 33 XPath Beispiele Das erste item jeder list unter dem Kontextknoten.//list/item[1] Finde das lang Attribut des Vaters des Kontextknotens../@lang Finde das letzte para-kind des Kontextknotens para[last()] Finde alle warning Elemente, die in einem instruction Element liegen //instruction//warning Finde alle Elemente, die ein ID Attribut haben //*[@ID] Finde Kundennamen, die heute etwas bestellt haben 34 //customer [order/date = today ( ) ] / name 17

18 XPath Weitere Knotentests 35 name Das Normale. Sucht <name> Elemente * - Sucht beliebige Elemente namespace:name Sucht <name> Elemente im namespace namespace:* - Sucht beliebige Elemente im namespace comment() Sucht Kommentar Element text() Sucht Elementwerte processing-instruction() processing-instruction('target') node() Sucht beliebige Elemente oder Elementwerte XPath weitere Details Count() zählt Elemente in XPath Ergebnismenge: bank/account[customer/count() > 2] AND, OR, NOT als UNION /bank/account/id(@owners) /bank/loan/id(@borrower) XPath in URIs boat ] 36 18

19 XPath als Anfragesprache Kompakt und nützlich Eher navigierend Weit verbreitet Einschränkungen Arbeitet auf nur einem Dokument: Kein Join! Keine Gruppierung und Aggregation Keine Generierung von neuer Output Struktur 37 XSLT XSLT: Extensible Stylesheet Language Transformation Extensible: Benutzt XML Stylesheet: Ursprünglich um XML in HTML umzuwandeln Transformation: XSLT transformiert ein XML Dokument in ein anderes XML Dokument (HTML ist ein Spezialfall von XML) Transformation durch Regeln ( templates ) 38 19

20 XSLT Beispiel <xsl:template match="doc"> <html> <head> <title> <xsl:value-of select="title"/> </title> </head> <body> <xsl:apply-templates/> </body> </html> </xsl:template> 39 XSLT Beispiel 40 <xsl:template match="doc/title"> <h1> <xsl:apply-templates/> </h1> </xsl:template> <xsl:template match="para"> <p> <xsl:apply-templates/> </p> </xsl:template> <xsl:template match="note"> <p class="note"> <b>note: </b> <xsl:apply-templates/> </p> </xsl:template> 20

21 XSLT Beispiel 41 <!DOCTYPE doc SYSTEM "doc.dtd"> <doc> <title>document Title</title> <chapter> <title>chapter Title</title> <section> <title>section Title</title> <para>this is a test.</para> <note>this is a note.</note> </section> <section> <title>another Section Title</title> <para>this is <emph>another</emph> test.</para> <note>this is another note.</note> </section> </chapter> </doc> XSLT Beispiel 42 <?xml version="1.0" encoding="iso "?> <html xmlns=" <head> <title>document Title</title> </head> <body> <h1>document Title</h1> <h2>chapter Title</h2> <h3>section Title</h3> <p>this is a test.</p> <p class="note"> <b>note: </b>this is a note.</p> <h3>another Section Title</h3> <p>this is <em>another</em> test.</p> <p class="note"> <b>note: </b>this is another note.</p> </body> </html> 21

22 XSLT Joins <xsl:for-each select="/db/kurs"> <xsl:variable name="x0" select="."/> <xsl:for-each select="/db/student/besuchtkurs"> <xsl:variable name="x1" select="."/> <xsl:if test="$x0/kursid=$x1/kursid"> <xsl:element name= Note"> <xsl:value-of select="$x0/sid/note"/> </xsl:element> </xsl:element> 43 XSLT als Anfragesprache Vorteile Weit verbreitet Es existieren Engines Allerdings kaum optimiert Nachteile Ergebnis ist XML-Dokument ohne Typ-Garantien Komplexe Formulierungen 44 22

23 XQuery Neuester Standard als XML Anfragesprache (W3C) Deshalb wenige Implementierungen, und keine ist vollständig. Erbt von Quilt (IBM Almaden und andere) XPath (ist Teilmenge von XQuery) SQL (SELECT...FROM...WHERE...) Und andere 45 XQuery: Anforderungen XML Modell mit komplexen Typen, choice und mixed content Tiefe Schachtelung Heterogene Struktur Metadaten & Daten Ordnung erhalten und Umordnen Fehlende Daten Umstrukturierung für Output Referenzen zu unbekannten Typen Rekursion 46 23

24 XQuery FLWR Anfragen FOR-clause Iteration über Elemente LET-clause Bindet temporäre Variablen WHERE-clause Prädikate zur Filterung RETURN-clause Konstruktion des Outputs SQL: FROM SQL: SQL: WHERE SQL: SELECT 47 XQuery Jede Anfrage ist ein Ausdruck. Ausdrücke können beliebig geschachtelt werden. z.b. XPath Ausdrücke, FLWR Ausdrücke, Element- Konstruktoren, etc

25 XQuery FLWR Beispiel Suche die Kontonummern aller Konten, deren Kontostand > 400 ist: FOR $x in /bank-2/account LET $acctno := WHERE $x/balance > 400 RETURN<account-num> $acctno </account-num> Kürzer: FOR $x in /bank-2/account[balance>400] RETURN<account-num> </account-num> 49 XQuery Funktionen text() für Tag-lose Daten distinct() auf XPaths um Duplikate zu entfernen sum() und count() auf XPaths zur Aggregation document() für die Wurzel eines Dokuments document( bank.xml )/bank-2/account 50 25

26 XQuery Joins Joins ähnlich wie in SQL: for $a in /bank/account, $c in /bank/customer, where and return $d in /bank/depositor $a/account-number = $d/account-number $c/customer-name = $d/customer-name <cust-acct> $c $a </cust-acct> Aber auch andere Möglichkeiten: for $a in /bank/account, $c in /bank/customer, $d in /bank/depositor[ account-number =$a/account-number and return customer-name = $c/customer-name] <cust-acct> $c $a</cust-acct> 51 XQuery Umstrukturierung 52 <book> <title> <author> <author> </book> <book> <title> <author> <author> </book> FOR $a IN distinct(//author) RETURN <author> <name> { $a/text() } </name> { FOR $b IN //book[author = $a] RETURN $b/title SORTBY(.) } </author> SORTBY(name) <author> <name> <book> <title> </author> <author> <name> <book> <title> </author> 26

27 XQuery - Weiteres Variablen und Konstanten: $x, 5 Operatoren und Funktionen: x + y, -z, foo(x, y) Pfadausdrücke (XPath): /a//b[c = 5] FLWR Ausdrücke: FOR... LET... WHERE... RETURN Element Konstruktoren: <a>... </a> Bedingte Ausdrücke: IF... THEN... ELSE Quantoren: EVERY var IN expr SATISFIES expr Sortierte Ausdrucke: expr SORTBY (expr ASCENDING,... ) Typtest: expr INSTANCE OF type Cast Ausdrücke: CAST AS type (expr) 53 XQuery als Anfragesprache Nachteile Komplex Schachtelung Viele Ausdrücke XPath ist Teilmenge Vorteile Sehr flexibel und ausdrucksstark 54 27

28 XML Programmierung Java DOM: Document Object Model SAX: Simple API for XML (Parser) XSLT Processor JDOM: Java DOM Und viele andere Tools und Pakete XML Produkte XML-Spy: XML Editor TAMINO: Native XML Datenbank (Software AG) Quip: Query engine Microsoft: MSXSLT DB2, Oracle, SQL-server Erste Unterstützung XML-Speicherung XML Relational Wandelung In Zukunft: XQuery und XPath 56 28

29 Literatur 57 XML (Vergleich XSLT mit XQuery) Informationsintegration Principles of Distributed Database Systems M. Tamer Özsu, Patrick Valduriez ISBN: Mediators in the Architecture of Future Information Systems"; Gio Wiederhold IEEE Computer, March 1992, pages VL: Informationsintegration I Dienstags Raum: Rud 25, Erster Termin: Insgesamt 16 Vorlesungen 58 29

30 Seminar: Data Cleansing 59 Themen 1. Ähnlichkeitsmaße 2. Data Warehouse Duplicates 3. Merge/Purge Algorithmus 4. Domain-independent Dup. Detection 5. AJAX framework 6. IntelliClean 7. Potter's Wheel ABC 8. Data Cleansing in Genome Databases 9. Data Lineage 10. Object Fusion Mittwochs 15-17, RUD 25 Raum Forschungsgruppe Prof. Felix Naumann Raum: IV.105 Sprechstunden: jederzeit Telefon: Mitarbeiter Jens Bleiholder Melanie Weis 60 30