Transportdateien und die XML

Transkript

1 Transportdateien und die XML Marc Monecke Praktische Informatik Fachbereich Elektrotechnik und Informatik Universität Siegen, D Siegen 21. Mai 2003 Inhaltsverzeichnis 1 Einordnung 3 2 Transportdateien Formatkonversion Generische Parser Exkurs: Compilerbau Realisierung der (Un-) Parser Meta-Sprachen Transportdatei vs. Datenbank Gemeinsame Merkmale Unterschiede SGML Markup Entitäten Tags Elemente Visualisierung API vs. Seitenbeschreibung Abstrakte Ausgabeplattform Inhalt aus HTML extrahieren Trennung von Inhalt und Layout Zusammenfassung Teil

2 6 Grundlegende Konzepte der XML Beispiel Dokumenttyp-Definition Zugehörige XML-Datei Bereiche einer XML-Datei Korrektheitsstufen Wohlgeformtheit Gültigkeit Grundlegende syntaktische Merkmale Logische Struktur von XML-Dateien Vorspann Dokumenttyp-Deklaration Spezifikation der Element-Struktur Spezifikation der Attribute Zusammenfassung Teil

3 1 Einordnung Daten werden (neben Datenbanken) auch in Dateien verwaltet Austausch von Daten zwischen Anwendungen Transportdateien Dateiformat definieren Dateien verarbeiten Markup-Sprachen: Informationen über Struktur und Layout zu Texten hinzufügen SGML XML XML weit verbreitet; auch als Format für Transportdateien 2 Transportdateien Ziel: Austausch von Daten zwischen verschiedenen Anwendungen Software-Dokumente zwischen Software-Entwicklungswerkzeugen baumartige Struktur Geschäftsdaten im ecommerce tabellarische Daten Austausch möglich mit Binärdateien lesbarem Text-Dateien Probleme beim Austausch von Binärdateien: unterschiedliche Plattformen (Hardware, Betriebssystem) unterschiedliche Anwendungen mit unterschiedlichen internen Datenstrukturen, verschiedener Semantik unterschiedliche Programmiersprachen mit verschiedenen Modellierungskonzepten beim Austausch von lesbaren Dateien: unterschiedliche Zeichensätzen, Sonderzeichen, Kodierungsmethoden (unterschiedliche Anzahl Bytes pro Zeichen) unterschiedliche Semantik der Daten Einigung auf Transportformat dazu zahllose Spezifikationen und Standards für verschiedene Anwendungsbereiche 3

4 2.1 Formatkonversion Möglichst lesbares Textformat verwenden hier Probleme mit bei n Programmen n (n 1) Konvertierer nötig Konvertiere 1 > 2 Anwendung 1 Anwendung 2 Anwendung 3 Anwendung 4 Alternative: gemeinsames Austauschformat für Transportdatei jedes Programm muß Import und Export anbieten Anwendung 1 Export Anwendung 2 Austausch format Import Anwendung 3 Anwendung 4 aber Abweichungen im Umfang der Daten möglich Datenverlust 2.2 Generische Parser verschiedene Dokumenttypen austauschen Anwendungen müssen verschiedene Dateien lesen können Exkurs: Compilerbau Beim Übersetzen eines Quelltextes werden zunächst folgende Schritte ausgeführt: 1. Scanner: lexikalische Analyse eingelesenen Text in Folge von Tokens überführen 2. Parser: syntaktische Analyse erzeugt Syntaxbaum auf Grundlage der gegebenen Grammatik Vorgang wird abgebrochen, wenn Fehler auftreten. Unparser erzeugt textuelle Darstellung aus Syntaxbaum 4

5 2.2.2 Realisierung der (Un-) Parser 1. Grammatik hart verdrahtet im Parser 2. generischer Parser, der durch Grammatik parametrisiert wird Grammatik Generischer Parser Dokument Syntax baum Grammatik muß beschrie- Bereitstellung der Grammatik (Dokumenttyp-Definition) ben und dem Parser zur Verfügung gestellt werden Grammatik fest im Parser eincompiliert Parser muß also nach Änderung neu übersetzt werden; Änderung aber lokal lokale Ressourcen-Datei wird beim Programmstart eingelesen und in interne Darstellung übertragen; nach Änderung Neustart nötig Grammatik in Transportdatei enthalten Transportdatei enthält Verweis auf Grammatik (bei vielen Dateien mit gleicher Grammatik sinnvoll) 2.3 Meta-Sprachen Sprache zur Notation von Grammatiken = Meta-Sprache Beispiele: Backus-Naur-Form, XML, SGML Meta-Sprache und resultierende Sprachen können ähnlich sein (Reduzierung des Implementierungsaufwands); liegen aber trotzdem auf unterschiedlichen Ebenen Sprach beschreibung Meta Sprache Daten beschreibung Sprache 1 Sprache 2 Sprache 3 Daten Transportdatei A Transportdatei B Transportdatei C 5

6 2.4 Transportdatei vs. Datenbank Gemeinsame Merkmale Grammatik konzeptionelles Schema einer Datenbank Inhalt der Transportdatei Daten in Datenbank (physische Ebene) kontextfreie Grammatik ER- oder OO-Modell Austausch von Daten über Transportdateien gemeinsamer Zugriff auf Datenbank Sichtenintegration; Konsistenz Filterung von eingelesenen Daten Anwendung des Sichtenmechanismus von DB Transportdateien meist von Anwendungen verarbeitet Zugriff auf Datenbankinhalt über Werkzeuge Unterschiede Transportdateien für eher kleine Datenmengen (vollständig lesen/schreiben) Transportdateien können nur sequentiell zugegriffen werden (komplett neu schreiben ineffizient bei kleinen Änderungen) Transportdatei komplett von einer Anwendung verarbeitet DB kann von mehreren Anwendungen parallel zugegriffen werden feingranulare Zugriffsrechte bei Transportdateien nicht möglich Datenbanken für Datenaustausch schlecht geeignet (nur Import/Export) unterschiedliche Anwendungsbereiche für Datenbanken und Transportdateien 3 SGML Standard Generalized Markup Language seit Anfang 80er ISO-standardisiert sehr komplexe Meta-Sprache (500 Seiten Spezifikation) (deshalb) geringe Verbreitung Anwendungsbereich: Textuelle Dokumente in Büro-Informationssystemen Ziel: geräte- und systemunabhängige Text-Repräsentation Hinzufügen von Annotationen zu Texten (Layout-Vorgaben u.ä.) vereinfachte Version: XML (Extensible Markup Language), 50 Seiten Spezifikation 3.1 Markup markup = Textauszeichnung handschriftliche Eintragungen auf einem Manuskript als Anweisungen für den Setzer 6

7 Strukturmerkmale Fett-, Kursivschrift Fußnoten Literaturverweise Kapitel, Absätze Bilder, Tabellen SGML vs. Datenbank Text auch ohne Markup lesbar aber Datenbank ohne Schema nicht zu gebrauchen unterschiedliche Strukturierung von Texten möglich (Kapitel vs. Seite) aber nur ein konzeptionelles Schema für Datenbank möglich Unterschiedliche Bedeutungen von Markup 1. Layout: fett, kursiv, eingerückt 2. Struktur: Überschrift, Absatz, Fußnote Strukturierung oft durch Layout ausgedrückt 14-Punkt-Schrift, fett Kapitel-Überschrift Absatz innerhalb Rechnung Rechnungsposition Probleme Struktur kann nicht immer aus Formatierung abgeleitet werden oft Trennung zwischen Inhalt und Format sinnvoll (z.b. unterschiedliche Formatierungen des gleichen Textes) Plattform-spezifische Anpassungen nötig (Zeichensätze) 3.2 Entitäten Ermöglichen Definition von Makro entityname, das im Text durch zeichenkette ersetzt wird: <!ENTITY entityname "zeichenkette"> Ersetzen von entityname durch Inhalt der Datei dateiname: <!ENTITY entityname SYSTEM "dateiname"> Aufruf durch &entityname; 7

8 Nutzung von Entitäten 1. Ersatzdarstellung für nicht direkt darstellbare Zeichen (ß in HTML) 2. wiederholt auftretende Textteile nur einmal definieren (Makros) 3. Zusammensetzen einer Datei aus verschiedenen Teilen 4. Entität Token (lexikalische Analyse) 3.3 Tags repräsentieren Markup innerhalb eines Textes: <tagname attributliste>.. </tagname> öffnende/schließende Klammer Beispiele <adresse id="4711"> <name>meier</name> <vorname>sepp</vorname> <strasse>...</strasse>... </adresse> <absatz>weitere Informationen zu SGML finden Sie in <litverweis url=" Gentle Introduction to SGML</litverweis>. Wir empfehlen, dort mal nachzulesen.</absatz> Weglassen von tags In SGML können tags weggelassen werden, sofern Struktur trotzdem klar Beispiel HTML: Schließende </p> können entfallen <p>in SGML können <em>tags</em> weggelassen werden. <p>wie dieses Beispiel verdeutlicht. Gilt nicht für XML und XHTML! Hier Abkürzung <tagname attributliste /> bei leerem Inhalt möglich 8

9 3.4 Elemente Strukturelle Komponenten innerhalb eines Textes Text besteht aus Folge/Schachtelung von Elementen gebildet durch Paar von tags und Inhalt dazwischen definiert in Dokumenttyp-Definition Dokumenttyp-Definition Menge von Attributen (notiert im öffnenden tag) zulässige innere Elemente, Anordnung, Anzahl tags dienen nur zur Strukturierung; haben keine Bedeutung für das Layout! Mit Meta-Sprachen SGML, XML können beliebige tags definiert werden In resultierender Sprache steht diese Menge von tags zu Verfügung tags können Bedeutung besitzen (z.b. Steuerung des Layouts) Dateien müssen gemäß Dokumenttyp-Definition aufgebaut werden wohlgeformte Texte 4 Visualisierung Ziel: Zuordnung von Darstellung(en) zu strukturierten Daten 4.1 API vs. Seitenbeschreibung es müssen Ausgabefunktionen zur Anzeige von Seiten zur Verfügung stehen außerdem Möglichkeiten zur Interaktion bereitgestellt von Betriebssystem oder Grafikpaket Anwendung nutzt dieses Basissystem Anzeige des Seiteninhalts 1. Darstellung schrittweise über API erzeugen (Zeichnen von Rahmen, Text usw.) 2. Erzeugen von Seitenbeschreibung, die an Basissystem übergeben wird Beispiel: HTML Interpreter für Seitenbeschreibungssprache nötig nur eine Kommunikation zwischen Anwendung und Ausgabeeinheit 4.2 Abstrakte Ausgabeplattform Anwendung muß Darstellung erzeugen (API-Aufrufe oder Seitenbeschreibung) dies möglichst Plattform-unabhängig abstrakte Ausgabeplattform, die selbst die Abbildung auf konkrete Hard-/Software vornimmt 9

10 Beispiel: HTML + Web-Browser Layout durch tags gesteuert <h1>vorlesung Datenbanksysteme II</h1> <h2>sommersemester 2003</h2> <br /> <ul> <li> Transaktionen, Concurrency Control, Recovery </li> <li> Transaktionsmonitore, Applikationsserver, <em>enterprise JavaBeans</em> </li> Inhalt aus HTML extrahieren Anhand Layout-Informationen Struktur des Inhalts ermitteln z.b. <h2>..</h2> enthält Semester unsicher, da Layout auch woanders verwendet sein kann! Ziel also: Inhalt und Layout trennen Informationen im (strukturierten) Inhalt suchen Layout der Dokumentstruktur zuordnen Im Beispiel: <semester>sommersemester 2003</semester> und <semester> <h2> ergibt passende Darstellung 10

11 4.4 Trennung von Inhalt und Layout (DTD) Grammatik (XSL Stylesheet) Darstellungs regeln Dokument (XML Datei) Generischer Parser Syntax baum Generischer Unparser (XSLT Prozessor) Dokument mit Layout Informationen (HTML Seite) 5 Zusammenfassung Teil 1 Transportdateien dienen zum Austausch von Daten zwischen Anwendungen Zur Verarbeitung Parser nötig: Dateiinhalt Syntaxbaum Transportdatei vs. Datenbank SGML: Markup-Sprache Strukturinformationen zum Text hinzufügen komplexer Vorgänger von XML Struktur/Information vs. Layout 6 Grundlegende Konzepte der XML 6.1 Beispiel Dokumenttyp-Definition Grammatik einer Sprache für Adressen <!ELEMENT adressen (adresse)*> <!ELEMENT adresse (anrede?, name, (postfach wohnanschrift), plzort)> <!ELEMENT anrede (#PCDATA)> 11

12 <!ELEMENT name (#PCDATA)> <!ELEMENT postfach (#PCDATA)> <!ELEMENT wohnanschrift (#PCDATA)> <!ELEMENT plzort (#PCDATA)> Zugehörige XML-Datei <?xml version="1.0" encoding="iso "?> <!DOCTYPE adressen SYSTEM "adressen.dtd"> <adressen> <adresse> <name>universität Siegen</name> <postfach>4711</postfach> <plzort>57068 Siegen</plzort> </adresse> <!-- VIP-Adressen: --> <adresse> <anrede>herr</anrede> <name>sepp Meier</name> <wohnanschrift>ahornweg 42</wohnanschrift> <plzort>80123 München</plzort> </adresse> </adressen> 6.2 Bereiche einer XML-Datei 1. Kopf: XML-Versionsnummer, Zeichenkodierung, weitere Angaben 2. Dokumenttyp-Definition (DTD): zugrundeliegende Grammatik direkt eintragen oder als Verweis angeben 3. Inhalt 6.3 Korrektheitsstufen Wohlgeformtheit Grundlegende syntaktische Merkmale durch XML-Standard festgeschrieben gelten für XML als Metasprache Beschreibung der Grammatik alle mit XML definierte Sprachen Beschreibung der Dokumente Text ist wohlgeformt 12

13 6.3.2 Gültigkeit Vorgaben der Dokumenttyp-Definition berücksichtigen Text ist gültig bezüglich DTD 6.4 Grundlegende syntaktische Merkmale Einige Sonderzeichen dürfen nicht innerhalb von Elementen verwendet werden: < > & " Zeichenreferenzen (< für <) eingebaute Entitäten (< für <) Abschalten der Interpretation durch CDATA-Abschnitt <![CDATA[ hier darf man <, > und & verwenden]]> Regeln für Namen beachten 6.5 Logische Struktur von XML-Dateien Dokument = Inhalt einer Transportdatei Vorspann <?xml version="1.0" encoding="iso " standalone="yes"?> 1. Versionsinformation 2. Zeichenkodierung 3. DTD enthalten oder in externer, anzugebender Quelle Dokumenttyp-Deklaration innerhalb Datei (standalone="yes") <?xml version="1.0" encoding="iso " standalone="yes"?> <!DOCTYPE liste [ <!ELEMENT liste (eintrag)*> <!ELEMENT eintrag (#PCDATA)> <!ATTLIST eintrag name ID #REQUIRED elterneintrag IDREF #IMPLIED > ]>... oder mit Verweis auf externe Datei 13

14 <?xml version="1.0" encoding="iso "?> <!DOCTYPE liste SYSTEM "liste.dtd"> Spezifikation der Element-Struktur baumartige Dokumentstruktur <!ELEMENT adressen (adresse)*> <!ELEMENT adresse (anrede?, name, (postfach wohnanschrift), plzort)> Sequenz (anrede?, name) Auswahl (postfach wohnanschrift) Anzahl des Auftretens?: 0..1 *: 0..n +: 1..n beliebig schachtelbar: <!ELEMENT person (titel?, name, vorname+, (strasse, hausnr, plz, ort)+, telefonnr* )> Spezifikation des Inhalts von Elementen kein Inhalt (EMPTY) <!ELEMENT ware EMPTY> <!ATTLIST ware bezeichnung CDATA #REQUIRED > nur Text <!ELEMENT beschreibung (#PCDATA)> beliebiger Inhalt (ANY): Text und tags möglich 14

15 <!ELEMENT inhalt ANY> gemischt: Zeichendaten und 0..n tags in beliebiger Reihenfolge <!ELEMENT body (#PCDATA h1 h2)*> <!ELEMENT h1 (#PCDATA)> <!ELEMENT h2 (#PCDATA)> nur Elemente: <!ELEMENT buchung (zeitraum, zimmernr+, garagennr*, verpflegung)> Spezifikation der Attribute Attribute an jedem Knoten im Dokument möglich notiert im öffnenden tag <klasse name="jcomponent" paket="javax.swing"> <attribut name="listenerlist" type="eventlistenerlist"/> <operation name="setbackground" returntype="void"> <parameter name="bg" type="color"/> </operation> </klasse> Deklaration der Attributliste jeweils für Elementtyp: <!ELEMENT klasse (attribut operation)*> <!ATTLIST klasse name ID #REQUIRED paket NMTOKEN #IMPLIED > <!ELEMENT attribut EMPTY> <!ATTLIST attribut name ID #REQUIRED type NMTOKEN #REQUIRED > <!ELEMENT operation (parameter*)> <!ATTLIST operation name ID #REQUIRED returntype NMTOKEN #REQUIRED > 15

16 Datentypen für Attribute (hier nur die wichtigsten) unstrukturiert: CDATA, Zeichendaten atomar NMTOKEN: Name ID: eindeutiger Bezeichner (Schlüssel) IDREF: Referenz auf eindeutigen Bezeichner Listen NMTOKENS: durch Leerzeichen getrennte Liste von NMTOKEN IDREFS: durch Leerzeichen getrennte Liste von IDREF Aufzählungen <!ELEMENT hotel (#PCDATA)> <!ATTLIST hotel name CDATA #REQUIRED klasse (I II III IV V) #REQUIRED einzelzimmer (ja nein) #IMPLIED doppelzimmer (ja nein) "ja" > Notwendige und optionale Attribute notwendige Attribute müssen angegeben werden (#REQUIRED) optionale Attribute können angegeben werden (#IMPLIED) mit Vorgabewert (automatisch notwendig, wird ggf. automatisch eingesetzt) 7 Zusammenfassung Teil 2 XML-Dokumente sind baumartig Struktur durch Dokumenttyp-Definition (DTD) festgelegt wohlgeformt gültig Elementstruktur durch regulären Ausdruck angeben Attributliste mit verschiedenen Attribut-Datentypen (nur Zeichenketten; echte Datentypen erst mit XML Schemas möglich) 16