Peter K. Brandt Ergon Informatik AG, Zürich. Kompakte Speicherung von RailML Daten mit WBXML

Transkript

1 Peter K. Brandt Ergon Informatik AG, Zürich Kompakte Speicherung von RailML Daten mit WBXML

2 Das Problem XML Daten können wegen der vielen sprechenden Tags sehr umfangreich werden Schwierigkeiten bei Verarbeitung Transport Speicherung

3 Lösungsansätze proprietäre Formate NEIN! kurze Tag-Identifier wird unlesbar; ausserdem bereits definiert Komprimierung der Daten Speicher- und Zeitaufwand, Implementierung WBXML für diesen Zweck vorgesehen

4 WBXML WAP Binary XML Content Format W3C Memo ( Einsatz unabhängig von WAP/WML kompakte binäre Repräsentation der Daten hierarchische Struktur bleibt erhalten Parser/Serializer existieren, auch open-source (kxml2, libwbxml,...)

5 Testszenario Daten ÖV Schweiz 2005 (SBB Export) Züge (<train>) Stops (<entry>) Haltestellen (posid)

6 RailML timetable Darstellung RailML Schema timetable (vereinfacht): Tags train & timetableentries Tags entry 11.3 MB nur diese 3 Tags + spacing total 107 MB ohne jede Optimierung zum Vergleich: Rohdaten: 67 MB proprietär-binär: 10.7 MB (Zugnummern, Bahnhofsnummern, Zeiten binär)

7 Beispiel <?xml version="1.0" encoding="utf-8"?> <railml> <timetable version="1.00"> <train trainid=" "> <timetableentries> <entry posid=" " type="begin" publisheddeparture="20:04:00.0"> <composition compid=" "> <service serviceid="42"/> </composition> </entry> <entry posid=" " type="stop" publishedarrival="20:33:00.0" publisheddeparture="20:35:00.0"/> <entry posid=" " type="end" publishedarrival="20:59:00.0"/> </timetableentries> </train> </timetable> </railml>

8 WBRailML Darstellung plain : Alle Tags sind unbekannt müssen 1x in der Stringtable gespeichert werden optimiert : Vergabe von well-known Tag-IDs Vergabe von well-known Attribute-Prefixes und well-knowns Attribute-Values (Value-Parts) Alle Beteiligten müssen die well-known IDs kennen

9 WBRailML Beispiel c 6d 6c d 65...railml.time c f 6e table.version.tr e e d 65 ain.trainid.time c e e 74 tableentries.ent f ry.posid.type.pu c blisheddeparture f 6d 70 6f f 6e f 6d.composition.com pid.service.serv c iceid.publisheda c c e rrival.d a c f c b c c e D'.8.> c D.begi d0 6e a a e n..i.20:04: e0 01 c4 5c c \.h f c f o.w e > f a D.stop...20: a e a a 30 :00.0..I.20:35: e e >

10 WBRailML Beispiel (2) <?xml version="1.0" encoding="utf-8"?> <railml> <timetable version="1.00"> <train trainid=" "> <timetableentries> <entry posid=" " type="begin" publisheddeparture="20:04:00.0"/> <composition > <service /> </composition> </entry> <entry posid=" " type="stop" publishedarrival="20:33:00.0" publisheddeparture="20:35:00.0"/> <entry posid=" " type="end" publishedarrival="20:59:00.0"/> </timetableentries> </train> 10

11 Ergebnisse Vergleich von: RailML ohne Whitespace [A] WBRailML plain [B] WBRailML optimiert [C] Jeweils unkomprimiert [1] gzip -9 [2] bzip2-9 [3] 11

12 Ergebnisse (2) (Grösse in kb) unkomprimiert [1] gzip -9 [2] bzip2-9 [3] RailML [A] WBRailML plain [B] WBRailML optimiert [C]

13 Ergebnisse (3) (Grösse in kb) unkomprimiert [1] gzip -9 [2] bzip2-9 [3] RailML [A] WBRailML plain [B] WBRailML optimiert [C]

14 Ergebnisse (4) kb unkomprimiert gzip -9 bzip2-9 RailML W BRailML plain W BRailML opt 14

15 Fazit Ohne Kompression lohnt sich der Einsatz von WBXML sehr Optimierung bei Einsatz von WBXML bringt weitere Einsparung (Faktor 2.7) Falls sowieso Komprimierung vorgesehen ist, kann durchaus auch mit textuellem RailML gearbeitet werden 15

16 Hintergrund Erste Schritte zur Erstellung eines neuen Fahrplan-Auskunfts-Systems basierend auf aktuellen Forschungsergebnissen der Informatik [Sch05]: exakte Berechnung der optimalen Verbindungen ist heute machbar ohne Einsatz von unscharfen Heuristiken spezialisierte Graphen-Suche (optimierter Dijkstra-Algorithmus) Perspektive: open-source Projekt

17 Demo

18 Alternativen? (bisher nicht weiter untersucht) Analyse der Situation (W3C): XML Binary Characterization XML to ASN.1 mapping andere 18

19 Referenzen [WBXML] WAP Binary XML Content Format [INFO1993] Projet INFO, Format des données, Chapitre M2. ELCA SA, [Sch05] Frank Schulz. Timetable information and shortest paths. PhD thesis, Universität Karlsruhe (TH), Fakultät Informatik, 2005.

20 Besten Dank für die Aufmerksamkeit Peter K. Brandt 20