Projektseminar "Texttechnologische Informationsmodellierung"

Transkript

1 Projektseminar "Texttechnologische Informationsmodellierung" Speicherung von Korpora

2 Ziele dieser Sitzung Nach dieser Sitzung sollten Sie: einen Überblick über die Alternativen zur Speicherung von Korpusdaten haben die Vor- und Nachteile der Möglichkeiten abschätzen können

3 Speicherung von Korpora Korpusdaten können sehr groß werden: LEAP-Korpus: 336 annotierte Aufnahmen 176 Deutsch-Lernende 10 Deutsch-Muttersprachler 142 Englisch-Lernende 8 Englisch-Muttersprachler Sekimo-Korpus: 47 annotierte Text drei Annotationsebenen pro Text Metadaten pro Annotation DeReKo: 2,08 Milliarden Textwörter (Stand 2005) Grimm-Korpus: 585 Sagen, 201 Kinder- und Hausmärchen Goethe-Korpus: 29 Texte Bank of English: 525 Millionen Wortformen

4 Speicherung von Korpora Zwei Arten von XML-strukturierten Daten können unterschieden werden: datenzentriert in der Regel für den maschinellen Datenaustausch bestimmt festgelegte, exakt definierte, fein granulare und sich wiederholende Struktur wenig oder kein MixedContent dokumentenzentriert in der Regel für die Verarbeitung/Auswertung durch den Menschen bestimmt unregelmäßige, wenig vorhersehbare Struktur relativ geringe Schachteltiefe MixedContent

5 Datenzentrierte Dokumente <Auftragsverwaltung> <Auftrag> <Nummer>1234</Nummer> <Bearbeiter>Meier</Bearbeiter> <Kategorie>2</Kategorie> <Datum> </Datum> </Auftrag> <Auftrag> <Nummer>1235</Nummer> <Bearbeiter>Müller</Bearbeiter> <Kategorie>1</Kategorie> <Datum> </Datum> </Auftrag> </Auftragsverwaltung>

6 Dokumentzentrierte Daten <Para>Dieser Satz ist <i>absolut</i> ohne jeden <b>sinn</b>. Dafür macht er sich aber gut als Demonstration.</Para> <Para>Man kann:</para> <List> <Item>sich überlegen, ob man das wirklich lesen will,</item> <Item>sich beschweren, dass dieses Item auch nicht viel besser ist oder</item> <Item>langsam aufhören zu lesen.</item> </List>

7 Speicherung von Korpora Daten können auf verschiedene Arten gespeichert werden: in proprietären Formaten und Anwendungen (Korpusdatenbank) in offenen Formaten (XML-kodiert): im Dateisystem jede Korpusdatei als eigene Datei mit jeweiliger Metadatendatei in relationalen Datenbanken (RDBMS) als Blob (Binary Large Object) oder Clob (Character Large Object) Umwandlung der XML-Strukturen in Tabellen (Im-/Export) in nativen XML-Datenbanken evtl. minimale Anpassungen an Daten erforderlich

8 Speicherung von Korpora in proprietären Formaten Beispiel: SARA/BNC Vorteile: Anwendung maßgeschneidert für die Korpusdaten Abfrage und Datenhaltung sehr einfach Nachteile: Im-/Export schwer bis unmöglich Beschränkung auf bestimmte Betriebssysteme Verlust der Daten bei Beendigung der Unterstützung durch Hersteller möglich

9 Speicherung von Korpora im Dateisystem Vorteile: Daten sind einfach zugänglich Replizierung der Daten sehr einfach Nachteile: Dateigröße Analyse der/abfragen auf den Korpusdaten schwer möglich Kollaboratives Arbeiten schwer möglich Versionsmanagement erfordert Zusatzsoftware Datensicherheit

10 Speicherung von Korpora in RDBMS Speicherung als BLOB oder CLOB: keine Datenzugriffsoperationen wie select, insert, update, delete innerhalb erlaubt damit untauglich für die Speicherung von Korporadaten

11 Relationale Datenbanken mit XML-Unterstützung Mapping-Tools speichern XML-Dokumente in SQL-Datenbanken Aufsatz erlaubt die Wandlung von XML in Tabellen (und umgekehrt) Mapping-Informationen legen die Abbildung zur Transformation von hierarchisch gestalteten XML-Dokumenten in flache Tabellenstrukturen fest

12 Relationale Datenbanken mit XML-Unterstützung Beispiel für ein tabellenbasiertes Mapping <Auftragsverwaltung> <Auftrag> <Nummer>1234</Nummer> <Bearbeiter>Meier</Bearbeiter> <Kategorie>2</Kategorie> <Datum> </Datum> </Auftrag> <Auftrag> <Nummer>1235</Nummer> <Bearbeiter>Müller</Bearbeiter> <Kategorie>1</Kategorie> <Datum> </Datum> </Auftrag> </Auftragsverwaltung>

13 Relationale Datenbanken mit XML-Unterstützung Beispiel für ein tabellenbasiertes Mapping Tabelle Auftrag Auftragsnummer Bearbeiter Kategorie Datum 1234 Meier Müller es wird angenommen, dass die Auftragsnummer einmalig ist (Primärschlüssel)

14 Relationale Datenbanken mit XML-Unterstützung Grundregeln zum Mapping: komplexe Elemente (DTD: Container-Elementen, XML Schema: ComplexType) mit Kindelementen, Attributen, MixedContent Tabelle einfache Elemente (DTD: Zeichenkettenelemente, XML Schema: SimpleType) Tabellenspalte

15 Relationale Datenbanken mit XML-Unterstützung Vorteile: Speicherung effizient und strukturiert Indexierung Mischung von XML und relationalen Daten möglich stabile APIs verfügbar Transaktionsunterstützung, Benutzerverwaltung und Sicherstellung von referentieller Integrität

16 Relationale Datenbanken mit XML-Unterstützung Nachteile: Round Tripping : exportiertes XML-Dokument ist nicht immer 1:1 zum importierten XML-Dokument (u. a. Reihenfolge) keine eindeutige Abbildung möglich XML benötigt nicht zwingend Primärschlüssel ProcessingInstructions gehen beim Export verloren Besondere Regeln für MixedContent erforderlich SQL-Datenzugriffsoperationen müssen als Ergebnis wieder XML zurückliefern begrenzt auf klar strukturierte Daten mit bekannten Strukturen Eignung eher für datenzentriertes XML

17 Relationale Datenbanken mit XML-Unterstützung Aktuelle und zukünftige Entwicklungen: IBM DB2 9 Viper mit SQL-, XPath- und XQuery-Unterstützung Oracle 10g Release 2 XML-Daten als XMLTYPE (Datentyp) in Tabellen, Collections als XMLTYPE-Tabelle XMLQUERY als SQL-Funktion zur Abfrage von XML-Dokumenten

18 Übungsaufgabe Erstellen Sie eine Datenbankstruktur (Tabellen und Relationen) zur Speicherung TEI-konformer Korpusdaten (am Beispiel der Datei test-tei-p5.xml)

19 Native XML Datenbanken Merkmale: grundlegende Speichereinheit: XML-Dokument interne Logik zum Speichern und Auslesen XML-basierend kein zu Grunde liegendes physisches Speichermodell nötig Speicherung in optimierter Form, daher performant Datenzugriffsoperationen per XPath, XUpdate und XQuery Speicherung von Dokumenten in Collections, die hierarchisch strukturiert werden können

20 Native XML Datenbanken Vorteile: erhalten die Strukturinformationen erlauben den Im-/Export von XML-Daten ohne vorherige Wandlung ermöglichen den Aufbau einer Verarbeitungspipeline Ergebnis einer Abfrage kann mit Hilfe eines nachgeschalteten XSLT-Prozessors weiter bearbeitet werden (z.b. XHTML-Ausgabe) Validierung beim Import möglich oft Zugriff über HTTP, FTP und WebDAV möglich (neben APIs)

21 Native XML Datenbanken Nachteile: im Gegensatz zu RDBMS relativ jung keine bewährten und stabilen (bzw. standardisierten) APIs aus Sicht der Performance RDBMS unterlegen

22 Native XML Datenbanken Beispiele: Tamino (Transaction Architecture for the Management of Internet Objects; Software AG) XML-Datenbank-Server XPath- und XQuery-Unterstützung vollständig über das Web administrierbar Xindice (Open-Source, ehemals dbxml Core) exist (Open-Source) Java-Anwendung XPath- und XQuery-Unterstützung lokal und im Netz

23 Native XML Datenbanken exist

24 Native XML Datenbanken exist

25 Native XML Datenbanken Beispiele: Berkeley DB XML (kommerziell und Open-Source) eingebettete (embedded) XML Datenbank kein vollständiger DB-Server, sondern DB-Bibliothek basiert auf der stabilen Berkeley DB speichert sowohl XML als auch nicht-xml XQuery 1.0 und XPath 2.0

26 Abschluss Je nach Art der Daten kann eine unterschiedliche Datenhaltung erforderlich/sinnvoll sein die Auswahl sollte nach Berücksichtigung verschiedener Kriterien erfolgen verwendetes Datenformat (proprietär/standardisiert) Einsatzzweck Performance

27 Ausblick In der nächsten Woche werden wir uns mit Abfragemöglichkeiten auf XML-kodierten Daten beschäftigen (XPath/XQuery) ab der nächsten Woche beginnt die Projektarbeit!