Datenbanktechnologie

Transkript

1 Sitzung 5 XML -Datenbanken 1

2 Datenbanken meist relationales Datenmodell (Tabellen) Schema beschreibt die Struktur der Tabellen Daten gespeichert in Tabellen(feldern) Beziehungen zwischen den Tabellen über Primärschlüssel/Fremdschlüssel Normalisierung PS_Name Vorname Nachname 1 2 2

3 XML extensible Markup Language ursprünglich zur Textauszeichnung eignet sich auch zum Beschreiben von (hierarchischen) Strukturen XML-Daten können sich auf ein Schema beziehen, müssen dies aber nicht mithilfe von Schemata können XML-Vokabularien definiert werden Ist XML eine Datenbank? <name> <vorname gender="m">daniel</vorname> <nachname>ebner</nachname> </name> 3

4 XML-Datenbanken XML Siegeszug Markup von Volltext Repräsentation von Daten und Austausch von Daten Datenbanken relationale Datenbanken führend sichere Speicherung große Datenmengen effiziente Anfragen Benötigt werden XML-Datenbanken (allgemein: Datenbanken, die mit XML umgehen können) Problem: Das eigentlich einfache Datenformat passt nicht ohne weiteres in die Modelle bestehender Datenbanksysteme. 4

5 XML vs. relationales Modell Warum passt semistrukturiertes XML nicht ohne weiteres in relationale Datenbanken? Unterschiede von XML und relationalen Datenbanken 5

6 Strukturiertes XML? datenorientiertes XML weist klare Struktur auf lässt sich einfach in relationale Datenbanken überführen <buch> <titel>nathan der Weise</titel> <autor>gotthold Ephraim Lessing</autor> <isbn> </isbn> </buch> Titel Autor ISBN Nathan der Weise Buch Gotthold Ephraim Lessing

7 Nicht strukturiertes XML dokumentenorientiertes XML keine Stukturierung lässt sich nicht ohne weiteres ins relationale Modell überführen <inhaltsangabe> <stadt>jerusalem</stadt>zur Zeit des Waffenstillstands nach dem 3. Kreuzzug. Der ebenso reiche wie weise und edelmütige jüdische Kaufmann <hauptperson>nathan</hauptperson> kommt von einer langen Geschäftsreise zurück. Während seiner Abwesenheit brannte es in seinem Haus, und seine Pflegetochter <person>recha</person> verdankt einem Christen ihr Leben. </inhaltsangabe>? Inhaltsangabe 7

8 XML semistrukturierte Daten <buch> <titel>nathan der Weise</titel> <autor> <name> <vorname geschlecht= m >Gotthold</vorname> <vorname>ephraim</vorname> <nachname>lessing</nachname> </name> </autor> <isbn> </isbn> <inhaltsangabe> <stadt>jerusalem</stadt>zur Zeit des Waffenstillstands nach dem 3. Kreuzzug. Der ebenso reiche wie weise und edelmütige jüdische Kaufmann <hauptperson>nathan</hauptperson> kommt von einer langen Geschäftsreise zurück. Während seiner Abwesenheit brannte es in seinem Haus, und seine Pflegetochter <person>recha</person> verdankt einem Christen ihr Leben. </inhaltsangabe> </buch> 8

9 XML semistrukturierte Daten Bei XML handelt es sich oft um semistrukturierte Daten, bestehend aus strukturierten und unstrukturierten Teilen. Eigenschaften von semistrukturierten Daten: Fehlen einer festen Struktur Unregelmäßige Struktur Flexibilität Elemente und Attribute können in unterschiedlichen Variationen auftreten oder ganz fehlen. Typisch kann ebenfalls sein, dass sich aus Dokumenten kein direktes Schema ableiten lässt. Ebenso kann es notwendig sein, in einem Schema bestimmte Bereiche einfach ohne feste Struktur zu belassen, um die Flexibilität des Schemas nicht einzuschränken. 9

10 Metadaten Die Metadaten - "welches Stück Text bedeutet was" - wird bei XML durch die Auszeichnung des Textes ausgedrückt. In Dokumenten treten sowohl Daten als auch Metadaten auf (selbstbeschreibend). Im relationalen Datenmodell werden die Metadaten durch das Schema beschrieben. Es gibt es eine klare Trennung von Daten und Metadaten. Das Schema legt die Struktur der Tabellen fest und definiert die Beziehungen, die zwischen den Daten bestehen. Daten werden in die Tabellen eingefügt, geändert oder gelöscht. <buch> <titel>nathan der Weise</titel> <autor>gotthold Ephraim Lessing</autor> <isbn> </isbn> </buch> Buch Titel Autor ISBN Nathan der Weise, Gotthold Ephraim Lessing,

11 Hierarchien XML Elemente bilden beliebige, variable Hierarchien. Relationale Datenbanktabellen bilden Informationen auf gleichartige Records ab. <buch> <kapitel> <absatz> <satz> Allein es kam zum Sterben und der gute Vater kommt in Verlegenheit. </satz> <satz> Es schmerzt ihn, zwei von seinen Söhnen, die sich auf sein Wort verlassen, so zu kränken. </satz> </absatz> </kapitel> </buch> 11

12 Inhalt <autor> Gotthold Ephraim Lessing </autor> <autor> <name> <vorname>friedrich</vorname> <nachname>hölderlin</nachname> </name> </autor> <autor> ETA Hoffmann <nummer>3</nummer> <img href=" </autor> XML Elemente können beliebig unterschiedliche Arten von Information enthalten (Texte, Zahlen, Bilder oder auch Knoten). Datenbankfelder enthalten jeweils Informationen für die grundsätzlich ähnliche Verarbeitungsmöglichkeiten gegeben sein müssen: Texte oder Zahlen oder Bilder. 12

13 Anzahl von Elementen/Feldern XML Elemente können eine beliebige Anzahl von Elementen enthalten. Datensätze enthalten stets die gleiche Anzahl von Feldern,fehlt eine Information, wird dies durch die Angabe eines speziellen Wertes festgehalten (NULL) 13

14 Anzahl von Elementen/Feldern <name> <vorname>gotthold</vorname> <vorname>ephraim</vorname> <nachname>lessing</nachname> </name> <name> <vorname>friedrich</vorname> <nachname>hölderlin</nachname> </name> <name> <vorname>ernst</vorname> <vorname>theodor</vorname> <vorname>wilhelm</vorname> <nachname>hoffmann</nachname> </name> Vorname1 Vorname2 Vorname3 Nachname Gotthold Ephraim NULL Lessing Friedrich NULL NULL Hölderlin Ernst Theodor Wilhelm Hoffmann 14

15 Ermitteln eines Schemas Aus einer relationalen Datenbank kann das Schema immer reproduziert werden. Aus XML-Dokumenten kann, je nach Struktur der Daten, nicht unbedingt automatisch ein Schema ermittelt werden. <autor> <name> <vorname geschlecht="m">gotthold</vorname> <vorname>ephraim</vorname> <nachname>lessing</nachname> </name> </autor> 15

16 XML - Datenbanken Nicht alle XML-Dokumente lassen sich (ohne weiteres) innerhalb einer relationalen Datenbank beschreiben. Jede relationale Datenbank kann auch durch XML-Dokumente beschrieben werden. Man erreicht durch die Speicherung von XML-Dokumenten innerhalb von Datenbanksystemen, dass Datenbanken um neue, irreguläre Anteile erweitert werden. 16

17 XML im relationalen Datenmodell Wie könnte man XML-Dokumente in relationalen Datenbanken speichern? Ansätze Ablegen der XML-Dokumente Abbildung der XML-Struktur Abbildung des XML-Schemas 17

18 Ablegen der XML-Dokumente XML-Dokumente als CLOB oder VACHAR ablegen Vorteile der relationalen Datenbanken nicht nutzbar Methoden zur Indizierung keine komplexen Suchanfragen möglich keine Sperrmechanismen Titel Nathan der Weise Inhaltsangabe <inhaltsangabe> <stadt>jerusalem</stadt>zur Zeit des Waffenstillstands nach dem 3. Kreuzzug. Der ebenso reiche wie weise und edelmütige jüdische Kaufmann <hauptperson>nathan</hauptperson> kommt von einer langen Geschäftsreise zurück. Während seiner Abwesenheit brannte es in seinem Haus, und seine Pflegetochter <person>recha</person> verdankt einem Christen ihr Leben. </inhaltsangabe> 18

19 Abbildung der XML-Struktur Die Baumstruktur eines XML-Dokuments wird in die flache Struktur der Tabelle gebracht, indem Vater-Kind-Beziehungen über Attributverweise abgebildet werden. <buch> <kapitel> <absatz>als es... </absatz> <absatz>sie ging... </absatz> </kapitel> </buch> oid name value parent 1 buch NULL NULL 2 kapitel NULL 1 3 absatz 1 Als es 2 4 absatz 2 Sie ging 2 19

20 Abbildung der XML-Struktur Eine Variation besteht darin, drei Tabellen zu verwenden: Tabelle für den Einstiegspunkt Tabelle für Elemente Tabelle für Attribute Viel Anpassung bei Änderung der Knotenstruktur nötig Typische XPath-Anfragen umgesetzt durch SQL-Anfragen sind zeitaufwendig 20

21 Abbildung der XML-Schemas Voraussetzung: Schema muss bekannt sein Für jedes auftretende Element wird eine Relation angelegt. bessere Durchsuchbarkeit (Anfragen besser in SQL übersetzbar) Update Operationen sind performanter Der große Nachteil liegt im enormen Anwachsen der Zahl der Relationen bei entsprechend großen Schemata und im massiven Auftreten von NULL-Werten, wenn Elemente oder Attribute optional sind. <buch> <kapitel> <absatz>als es... </absatz> <absatz>sie ging... </absatz> </kapitel> </buch> kapitel oid 1 0 parent absatz buch docid oid parent value 2 1 Als es 3 1 Sie ging 0 21

22 Native XML-Datenbanken sind Datenbanken speziell dafür entworfen XML- Dokumente zu speichern Unterstützen Dokumentperspektive auf XML- Dokumente Synonym: XML-Repository Müssen 3 Kriterien erfüllen 22

23 Kriterien einer nativen XML-Datenbank Native XML-Datenbanken basieren auf einem wohldefinierten logischen Modell für ein XML-Dokument (nicht bzw. nicht nur für die Daten in diesem Dokument) und verwenden dieses Modell für Speicherung und Datenzugriff. Minimal muss dieses Modell Elemente, Attribute, textuelle Daten und die Dokumentordnung umfassen. Beispiele sind das Datenmodell von Xpath. Eine native XML-Datenbank benutzt ein XML-Dokument als fundamentale logische Speicherungseinheit, so wie eine relationale Datenbank eine Tabellenzeile als grundlegende logische Speicherungseinheit benutzt. Eine native XML-Datenbank erfordert kein bestimmtes physisches Speicherungsmodell. Sie kann also z. B. auf einer relationalen, hierarchischen oder objektorientierten Datenbank aufbauen. 23

24 Datenmodell Native XML-Datenbanken speichern XML-Dokumente als Einheiten und erzeugen ein Modell des Dokuments, das eng mit XML oder einer zu XML gehörenden Technik (DOM) verbunden ist. Dieses Modell muss beliebig viele Niveaus der Verschachtelung zulassen sowie gemischte Inhalte und semistrukturierte Daten erlauben. Bei einer nativen XML-Datenbank wird dieses Modell automatisch auf den zugrunde liegenden Speichermechanismus abgebildet. Zur Arbeit mit den gespeicherten Daten eignen sich am besten XMLspezifische Werkzeuge. Deshalb empfiehlt sich die Verwendung nativer XML-Datenbanken für Entwickler, die mit XML-Werkzeugen (z. B. DOM, SAX, XPath, XSLT) arbeiten möchten. 24

25 Datenbankarchitektur Textbasierte XML-Datenbanken Ein XML-Dokument wird ohne Modifikation gespeichert und zusätzlich indiziert. Der Text ist jeweils als Ganzes gespeichert - als eigenständige Datei, in einem proprietären Textformat, als BLOB (Binary Large Object) oder als CLOB (Character Large Object). kann daher leicht als Ganzes wieder ausgegeben werden, wenn es über eine Indexabfrage gefunden wird. Modellbasierte XML-Datenbanken Mehrere Schritte erforderlich, um ein Dokument oder ein Dokumentfragment ausgeben zu können. Ein internes Objektmodell des Dokuments wird aufgebaut und dieses Modell gespeichert. 25

26 Kollektionen Viele native XML-Datenbanken unterstützen Kollektionen (Sammlungen) von Dokumenten. Kollektionen spielen eine ähnliche Rolle wie eine Tabelle in einer relationalen Datenbank oder ein Ordner in einem Dateisystem. Im Gegensatz zu den Tabellen einer relationalen Datenbank ist für die Dokumente, die zu einer Kollektion gehören, kein gemeinsames Schema erforderlich. Es ist auch möglich, Kollektionen von Kollektionen zu bilden. Bei Schema-unabhängigen nativen XML-Datenbanken können die Dokumente, die zu einer Kollektion gehören, trotzdem gemeinsam untersucht werden. Schema-unabhängige Datenbanken sind sehr flexibel und erleichtern die Entwicklung von Anwendungen. Sie erschweren es aber, die Integrität der Daten zu wahren. 26

27 Datenintegrität Einige native XML-Datenbanken unterstützen die Validierung durch XML-Schema um die Datenintegrität zu sichern. Die meisten XML-Datenbanken unterstützen Transaktionen. Das Sperren von Daten bezieht sich im Augenblick vielfach noch auf ganze Dokumente, nicht auf Fragmente von Dokumenten, was die gleichzeitige Arbeit mehrerer Benutzer an einem Dokument erschwert. Viele XML-Datenbanken unterstützen Rollback, die Rücknahme von Veränderungen 27

28 Abfragesprachen Fast alle nativen XML-Datenbanken unterstützen XPath und die XQuery. zusätzlich proprietäre Abfragesprachen Viele XML-Datenbanken bieten die Möglichkeit zur Volltextsuche. 28

29 Manipulation und Löschen Es gibt eine Vielzahl entstandener Strategien für Updates und Deletes in den verschiedenen nativen XML-Datenbanken. Mehrere XML-Datenbanken unterstützen die von der XML:DB-Initiative entwickelte Sprache Xupdate. XUpdate benutzt XPath um eine Menge von Knoten zu identifizieren, und um dann zu spezifizieren,ob diese Knoten eingefügt oder gelöscht werden sollen, oder ob neue Knoten vor oder nach ihnen eingefügt werden sollen. Eventuell wird die Manipulationskomponente in neuere Versionen von XQuery einfließen. 29

30 Referenzierung Normalisierung sorgt bei relationalen Datenbanken dafür, dass Daten nur an einer Stelle gehalten werden. Normalisierung vermeidet Redundanz und gewährleistet Konsistenz. Sie ist einer der Hauptvorteile relationaler Datenbanken. Für die Normalisierung in XML-Datenbanken müssen die Dokumente so entworfen werden, dass Daten nicht wiederholt werden. Dazu kann je nach Datenbank XLink oder XInclude eingesetzt werden. 30

31 Schnittstellen Fast alle XML-Datenbanken unterstützen auch Programmierschnittstellen (APIs). Meist erlaubt es eine allgemeine Schnittstelle mit der Datenbank zu kommunizieren, Abfragen auszuführen und weiterverarbeitbare Ergebnisse von Abfragen zu erhalten. Die Ergebnisse können aus einer Zeichenkette, einem DOM-Baum oder einem SAX-Strom bestehen. Die XML:DB-Initiative hat ein produktneutrales API für XML-Datenbanken spezifiziert, mit dem XML-Datenbanken (native und nicht-native) angesprochen werden können. Bei den meisten XML-Datenbanken kann die Kommunikation mit dem Datenbank-Server auch über HTTP erfolgen. 31

32 Datenbank-Entwurf Relationale Datenbanken XML-DAtenbanken Konzeptuelles Schema meist ERM Kann von ERM ausgehen. Dokumentenstruktur kann aber auch gleich im logischen Schema erstellt werden Logische Schema Tabellen in Normalform Bei stark semistrukturierten Elementen besteht keine Möglichkeit zum exakten logischen Entwurf XSL-Schema oder DTD Physisches Schema Dateiorganisation und Zugriffspfade XML-Datenbank soll von sich aus effiziente Methoden für die Speicherung von XML- Dokumenten zur Verfügung stellen 32

33 Wann ist eine XML-Datenbank nötig? 33

34 Charakter der Daten Eindeutig durchgehend strukturierte Daten? (objekt)relationales Datenmodell unschlagbar Sind die Daten wirkliche Dokumente? Native XML-Datenbank kann in Erwägung gezogen werden Es existiert kein Schema / nur grob strukturiertes Schema nicht möglich, die Daten performant in relationaler Datenbank zu verwalten Ausnahme: Auf die Daten soll nur als unstrukturierter Text zugegriffen werden 34

35 Art der Anfragen Können die Anfragen gut in SQL formuliert werden? Können Update-Operationen gut in SQL formuliert werden? relationale Datenbank Werden semistrukturierte Daten verarbeitet? Werden rekursive Strukturen verarbeitet? native XML-Datenbank 35

36 Einsatzzweck XML lässt sich gut zum Datenaustausch einsetzten Strukturierte Daten werden in XML-Repräsentation gebracht, übertragen und wieder in strukturierte Form (relationale Datenbank) abgelegt. Native XML-Datenbank nicht erforderlich Sollen Dokumente elektronisch signiert und (Dokumentteile) verschlüsselt werden und im Originalformat erhalten bleiben? Native XML-Datenbank 36

37 Datenintegrität Muss referenzielle Integrität sichergestellt werden? In keiner XML-Datenbank voll unterstützt 37

38 Mehrbenutzerbetrieb auf Dokumentenebene Werden Dokumente im Mehrbenutzerbetrieb bearbeitet? Nicht jede Datenbank ist in der Lage, Sperren zu etablieren, die feiner strukturiert werden können als auf Dokumentenebene. 38

39 Schema-Evolution Kann eine Schema-Evolution nötig werden und bestehende Daten müssen neu angepasst werden? XML-Datenbank, die ohne Schema auskommt 39

40 Verfügbares System/Know-how Einführung eines neuen Datenbanksystem ist kostenintensiv Bieten bereits existierende Systeme die nötige Funktionalität, müssen sehr gute Gründe bestehen, sich auf eine neue Technologie zu konzentrieren und bestehendes Know-How über Bord zu werfen. 40

41 Entscheidungskriterien Kriterium (objekt-)relational Native XML-Datenbank Datenstruktur strukturiert semistrukturiert Anfrage/Updates gut in SQL formulierbar nur sehr aufwendig oder gar nicht in SQL darstellbar Einsatzzweck Datenaustausch, XML ausschließlich als Zwischenstufe für Präsentation elektronische Signatur und Verschlüsselung, Dokumentenablage Datenintegrität komplexe Bedienungen einfache Bedienungen Mehrbenutzerbetrieb unterhalb der Dokumentenebene häufig erfoderlich selten erfoderlich Schema Evolution kaum häufig Vorhandenes System-Know- How unbedingt noch einmal darüber nachdenken 41

42 X-Base BaseX is a very light-weight and high-performance XML database system and XPath/XQuery processor, including full support for the W3C Update and Full Text extensions. An interactive and user-friendly GUI frontend gives you great insight into large XML data instances. 42

43 Documentum-xDB Kommerzielle XML-Datenbank EMC Documentum xdb is a high-performance and scalable native XML database that is ideal for data-intensive uses such as archiving data from retired applications. Unlike relational databases, Documentum xdb allows database structures to be easily modified to adapt to changing information requirements. It also handles complex data relationships that are not easily modeled in relational rows and columns. Data will be safe with xdb s high-availability and disaster-recovery options. xdb also provides a powerful, extensible development and runtime toolset based on XML standards as well as full support for the XQuery language for data and full-text searches. 43

44 MarkLogic Server MarkLogic Server is a special-purpose, document-centric database management system that uses the XML data model, the XQuery query language, and is optimized for large collections of semi-structured unstructured information. It includes full-text and structured search, and supports RESTFul and HTTP requests for web, XML or JSON content, giving it some Application Server capabilities as well. 44

45 Tamino webmethods Tamino XML Server the industry s first native XML server is the ideal platform for efficiently managing both structured and unstructured data. You can natively store, export and change documents as needed for archiving or other processing. no/default.asp 45

46 Xindice Apache Xindice is a database designed from the ground up to store XML data or what is more commonly referred to as a native XML database. The name is pronounced zeen-deechay in your best faux Italian accent. Don't worry if you get it wrong though, we won't mind. We just care that you spell it correctly. 46

47 Inhalt der Veranstaltung exist exist-db is an open source database management system built using XML technology Native XML-Datenbank Unterstützt viele Webstandards (XPath, XQuery, XSLT) Web-Anwendung kann mit XQuery, XSLT, XHTML, CSS and Javascript geschrieben werden XQuery Serverpages können in der Datenbank gespeichert werden Application Server (Integrierter Web- Server) Historisch - 47

48 Literatur Native XML-Datenbanken im Praxiseinsatz Michael Semann XML & Datenbanken Meike Klettke, Holger Meyer Ronald Rourret 48