Einsatz der open-source XML-Datenbank exist zur Verarbeitung von grossen XML Datenmengen , Siemens, Braunschweig

Transkript

1 Einsatz der open-source XML-Datenbank exist zur Verarbeitung von grossen XML Datenmengen , Siemens, Braunschweig Peter K. Brandt Senior Software Engineer Ergon Informatik AG

2 Inhalt Hintergrund und Motivation Typische Fragestellungen Lösungsvarianten Umsetzung mit Hilfe der XML-Datenbank exist Live-Demonstration Einsatz von exist Fragen und Antworten 2

3 Hintergrund und Motivation (1) Zürcher Verkehrsverbund ZVV bestellt bei den SBB eine grosse Menge Daten zu vorberechneten Fernverkehrs-Tickets zum Verkauf ( ein Subset von SP125 für die Relationen vom Artikel 125 ) Datenlieferung als mehrere Gigabyte XML-Dateien im DaX-Format Sind alle benötigten Relationen wirklich drin? (Auch Sonderfälle: Forchbahn, SZU) Was muss eventuell manuell nachbestellt werden? Relationen in der Lieferung müssen lesbar gemacht werden. 3

4 Hintergrund und Motivation (2) DaX-Datenlieferungen: typisch 1.5GB XML mit normalen Mitteln fast undurchschaubar Korrektheit schwer nachprüfbar Widersprüchliche Aussagen nicht beurteilbar In-House Verständnis über Dateninhalte und technische Formate war wenig vorhanden Vergleich IST (Ticket-Automat) SOLL (DaX) nur schwer möglich 4

5 DaX XML-Lieferungen sind umfangreich und kaum einsehbar DaX (XML) DaX DaX (XML) (XML) DaX DaX (XML) DaX (XML) (XML) SBB! Lieferant DaX (XML) DaX DaX (XML) (XML) DaX DaX (XML) DaX (XML) (XML) 1.5GB DaX (XML) DaX DaX (XML) (XML) DaX DaX (XML) DaX (XML) (XML) ZVV/ VBZ??? 5

6 Abhilfe DaX-Datenlieferungen in geeigneter Form auswertbar machen Varianten: Standard XML Tools Massgeschneiderte Software XML Datenbank Konventionelle Datenbank 6

7 Typische Fragestellungen (erste Checks) Erfüllt die Lieferung das DaX-Schema formal? Wurden alle nötigen Datenpakete geliefert? Sind alle Haltestellen mit (Didok-) Haltestellen-Code geliefert? Sind alle Haltestellen vorhanden, die in Relationen vorkommen? Gibt es zu jeder Relation die 8 benötigten Ausprägungen? Vergleich von Haltestellennamen aus verschiedenen Verbundcodes (Z-Pass). 7

8 Typische Fragestellungen (ad hoc) Welche Artikel gibt es in der Lieferung? Zeige die Definition eines Artikels (MWSt...). Wie viele Produkte zu einem Artikel gibt es? Wie viele Ausprägungen gibt es für eine Relation? Zeige alle Produkte zu einer Relation. Wie viele Haltestellen, Relationen, Zonen gibt es? Zeige die Daten zu einer oder mehreren Haltestellen. 8

9 Typische Fragestellungen (während der Systemtests gestellt) Zeige alle gelieferten Destinationen ab einer vorgegebenen Abfahrtshaltestelle. Wie viele Relationen gibt es, die via Bus, via Schiff oder via Bus und Schiff gehen? Zeige die längsten gelieferten Via-Texte. Bei welchen Haltestellen unterscheiden sich stopname und stopnamereceipt?...und viele mehr... ( schau doch mal, ob... ) 9

10 Ausserdem... Auch die Verkaufsdaten-Nachrichten sind im XML-Format nach DaX-Schema Plausibilitäts-Prüfungen Auswertungen Vergleiche mit DB-Reports... 10

11 Lösungsvariante 1 Auswerten mit Standard-Tools (XML Spy...): (+) unmittelbar verfügbar (-) Problem der enormen Grösse (-) Einschränkungen bei den möglichen Auswertungen über alle 187 Dateien 11

12 Lösungsvariante 2 Einsatz von massgeschneiderter Software: DaX DaX (XML) (XML) DaX Software (XML) einlesen ausgeben Ergebnis [Anfangs erste Tests so durchgeführt] (+) beliebige Freiheit bei den Auswertungen (-) starke Abhängigkeit vom DaX-Schema (bei jeder Änderung braucht es Anpassungen im Code) (-) für jede Auswertung werden alle Daten komplett gelesen (-) erweiterte Fragestellungen erfordern jedes Mal spezielle Programmierung 12

13 Lösungsvariante 3 DaX-Daten in herkömmliche relationale DB einlesen und darauf Auswertungen machen DaX DaX (XML) (XML) DaX (XML) Importer RDBMS Report-Def. Ergebnis einlesen ausgeben (+) bekannte Technologie, Performance (-) Import muss bei jeder Schema-Änderung angepasst werden (-) Unklares relationales Datenbank-Schema? Sub-Variante: Auswertungen auf Backend-System (+) Import ist gratis vorhanden, DB-Schema gegeben (-) Abhängigkeit vom Lieferanten/Verzögerung 13

14 Lösungsvariante 4 DaX-Daten in echte XML-Datenbank einlesen DaX DaX (XML) (XML) DaX (XML) Importer einlesen XML-DB DaX (XML) DaX (XML) DaX (XML) XQuery abfragen Ergebnis (+) Ansatz passt genau zum Datenformat der Lieferung (+) Auswertungen erfolgen direkt auf der XML Struktur Lerneffekt (-) neue, unbekannte Technologie Risk (-) Bei Schema-Änderung müssen Auswertungen eventuell geringfügig angepasst werden 14

15 Unsere Lösung: exist Native XML-Datenbank (=Variante 4) Mächtige Abfragesprache (XQuery) Gute Performance (Indexes sind dein Freund...) Produktionstauglich Open-Source (LGPL) 15

16 XML-Datenbank <> herkömmliche DB XML-DB hierarchische Collections hierarchische Dokumente XML XML XML XML XML XML relationale DB Tabelle a1 a2 a3 T b2 b2 b3 Tabelle a1 V b2 Tabelle a1 a2 a3 S b2 b2 b3 a2 a3 b2 b3 Tabellenstruktur 16

17 Umsetzung auf Basis von exist (1) Desktop-Client XML-DB Desktop Client lokal / Netzwerk Server Web Client zur Abfrage-Eingabe ( Sandbox ) Sandbox Client lokal / Netzwerk XML-DB Server 17

18 Umsetzung auf Basis von exist (2) HTML-Reports im Web-Browser XML-DB Web- Browser lokal / Netzwerk Server [Massgeschneiderte Anwendung] Rich client Anwendung API XML-DB Server 18

19 Live-Demonstration Abfrage-Client (Desktop-Applikation) Web-Client zur Abfrage-Eingabe HTML-Reports im Browser 19

20 Desktop Client Hauptbildschirm

21 Desktop Client Abfrage eingeben

22 Desktop Client Stops zeigen

23 Desktop Client Stops zählen

24 Desktop Client Didok suchen

25 Desktop Client Stopname suchen

26 Desktop Client Stopdetails zeigen

27 Desktop Client Hilfestellung Abfrage

28 Desktop Client Artikel zählen

29 Desktop Client Artikel listen

30 Desktop Client Artikel mit Anzahl Pr.

31 Desktop Client Anzahl Tageskarten

32 Web Sandbox Integrierte Homepage

33 Web Sandbox Zähle Artikel

34 Web Sandbox Zeige Artikel

35 Web Sandbox Artikel Details

36 Web Sandbox Zielhaltestellen ab Egg

37 Web Sandbox Relation ZH Kölliken O

38 HTML Reports Startseite Auswahl

39 HTML Reports Statistik

40 HTML Reports Statistik alte Lieferung

41 HTML Reports Suche Haltestelle 1

42 HTML Reports Suche Haltestelle 2

43 HTML Reports Haltestellen-Details

44 Einsatz von exist Installation (nur-lokal vs. Client-Server) Systemvoraussetzungen Java reichlich RAM ist von Vorteil (Caches) Administratoren-Rechte nur für Java-Installation Indizes definieren, Hilfs-Index-File zur Performance Verbesserung 44

45 Fragen? 45

46 Ergon Informatik AG Peter K. Brandt Kleinstrasse Zurich Switzerland tel