Das verflixte 7. Jahr (?) Zwischenbilanz eines XML-Datenbanksystems

Transkript

1 Das verflixte 7. Jahr (?) Zwischenbilanz eines XML-Datenbanksystems Harald Schöning Tamino seit 7 Jahren Entwicklungsbeginn 1997 Was ist XML? am wird XML Recommendation des W3C Harald Schöning / / 2 (c) Harald Schöning

2 Juli 1999 Version 1 XQL-basierte Abfragesprache (XPath-ähnlich) XPath wird erst am zur Recommendation) XPath bezieht sich auf ein einziges Dokument kein Erweiterungskonzept kein Join "Map to Object" als statisch definierter Join Erweiterung um Text Retrieval //Kapitel[Text ~= "XML"] http-schnittstelle GET, PUT, HEAD, DELETE per POST und GET: Kommandos Zugriff auf relationale Datenbanken (X-Node) eigene Schemasprache Harald Schöning / / 3 Positionierung XML market segmentation by GiGa group Formatting and Presentation Legacy access and transformation Business Logic execution Storage and Chaching Harald Schöning / / 4 (c) Harald Schöning

3 Positionierung was ist das Ziel von XML? in welchem Markt wird XML sich etablieren? und wo braucht man da eine Datenbank? Dokumente (wie SGML) oder "echte" Daten? Text Retrieval Abfragesprache zum "Rechnen" Schema unscharf eindeutiges Schema logische Gruppierung Gruppierung nach Typ HTTP, WebDAV API non-xml Brücke zur relationalen Welt Harald Schöning / / 5 Weiterentwicklung Version 2 Erweiterbarkeit (X-Tension) Inhouse-Anwendungen mit Tamino Verwaltung von Produktanforderungen mit Tamino APIs Werkzeuge Schema Editor X-Plorer Harald Schöning / / 6 (c) Harald Schöning

4 Weiterentwicklung Seit Version 3 Schemasprache XML Schema Bis zu dieser Version enthielt Tamino eine zusätzliche SQL-Engine! Seit Version 4 XQuery Replikation heute Version 4.4 integrierter WebDAV Server Harald Schöning / / 7 Tamino im Überblick X-Application Framework OCX Browser WebDAV client SOAP client Java Tamino Java API JScript HTTP Client API.Net API HTTP SOAP SOAP API API X-Node X-Node X-Tension X-Tension Server Server Extension Extension Server Server Extension Extension Tamino Store XML non-xml SQL Store relational ADABAS Store Adabas Harald Schöning / / 8 (c) Harald Schöning

5 http as primary access mechanism application Inter-/Intranet Web server Tamino plugin Access rights for web servers can be configured this allows first security check already in the web server due to hierarchical URL structure Tamino server Harald Schöning / / 9 HTTP als Zugangsprotokoll Abhängigkeit von Web Servers Apache IIS iplanet / sunone Performanceverlust unterstellt Hauptgrund für direkten Zugang Harald Schöning / / 10 (c) Harald Schöning

6 Plattformen Windows Solaris Linux Red Hat Suse zos HP-UX AIX Mainframe OS 390 Harald Schöning / / 11 Hierarchische Struktur der Datenbank Collections nicht geschachtelt Dokumente nach Typen gruppiert Datenbank Collection Collection Schema Schema Doctype Doctype Harald Schöning / / 12 (c) Harald Schöning

7 Schema Schema ist optional in früheren Versionen spezielle Collection ino:etc inzwischen Eigenschaft der Collection Schema gefordert Schema erlaubt Schema verboten Harald Schöning / / 13 Das Verhältnis zu Standards: XML und Namespaces XML 1.0 DTD mit Entities DTD als Schemasprache für Datenbanken nicht geeignet keine Datentypen kein Erweiterungskonzept dokumentspezifisch Entities auflösen oder nicht? Namespaces Recommendation seit zu spät für Tamino Version 1! reale Dokumente waren oft nicht namespace-clean Harald Schöning / / 14 (c) Harald Schöning

8 Das Verhältnis zu Standards: XML Schema Recommendation Konversion nach XML Schema? Koexistenz der früheren Schemasprache mit XML Schema Vielzahl von Datentypen Frage an die Indizierung +0 = -0? Errata Schema bleibt optional offener Inhalt Schema ist immer noch auf ein einzelnes Dokument bezogen Eindeutigkeit innerhalb des Dokumenttyps Primärschlüssel / Fremdschlüssel Schemaevolution define with validate Harald Schöning / / 15 Das Verhältnis zu Standards: Unicode seit Version 1 unterstützt aber: Dokumente oft in anderem Encoding nicht immer stimmt die Information im Prolog http gibt ebenfalls encoding-information oder eben auch nicht.. für Text Retrieval reicht das nicht Äquivalenzen auf Basis der Unicode-Database tf:containstext(.,"käse") Das ist Kaese tf:containstext(.,"cafe") Wir treffen uns im Café Regeln für die Behandlung von Unicode-Zeichen sind definierbar Vergleich mit/ohne Groß-Klein-Schreibung Basis-Zeichen é e Großschreibung ß SS Ersatzzeichen ä ae Draengeln? Zeichenklasse number, delimiter, character, single, punctuation R&D Harald Schöning / / 16 (c) Harald Schöning

9 Das Verhältnis zu Standards: XQuery/XPath XQuery ist immer noch im Fluss trotzdem geht kein Weg daran vorbei Zwickmühle: wieviel Unterstützung eines sich wandelnden Standards? zunächst Konzentration auf Datenbankaspekte einige knifflige Probleme verschiedene lexikalische Darstellung z.b. time + timezone besonders bei indexbasierter Queryauswertung Spezielle Indexstrukturen Harald Schöning / / 17 XQuery als Anfragesprache es fehlen Update XQuery-Erweiterung update for $a in input()/employee[name= smith ]/salary do replace $a/text() with $a*1.029 Text Retrieval XQuery-Funktionsbibliothek Harald Schöning / / 18 (c) Harald Schöning

10 Serialisierung von Ergebnissen Wie serialisiert man das Ergebnis von selbst folgendes ist schwierig collection("xxx")/* denn Das Ergebnis einer Anfrage ist well-formed XML Weitere Information über die Anfrageausführung wird Bestandteil des Ergebnisdokuments Harald Schöning / / 19 Beispielergebnis einer XQuery-Anfrage <?xml version="1.0" encoding="windows-1252"?> <ino:response xmlns:ino=" <xq:query xmlns:xq=" <![CDATA[ collection( Beispiel )/*/@Name ]]> </xq:query> <ino:message ino:returnvalue="0"> <ino:messageline>xquery Request processing</ino:messageline> </ino:message> <xq:result xmlns:xq=" <xq:attribute Name= Beispiel /> </xq:result> <ino:message ino:returnvalue="0"> <ino:messageline>xquery Request processed</ino:messageline> </ino:message> </ino:response> Harald Schöning / / 20 (c) Harald Schöning

11 Serialisierung von Ergebnissen Serialisierungs-Recommendation von XQuery hilft bedingt u.a. Serialisierung nicht als XML XSLT-Transformation HTML non-xml content type (MIME) Harald Schöning / / 21 Das Verhältnis zu Standards: WebDAV einfacher Zugang zur Datenbank über WebDAV-Client aber andere Organisation Folder vs. Collection Versionierungsmodell eigene Abfragesprache DASL Locking anders als Datenbank-Locking XML vs. non-xml ist für WebDAV kein Thema Aufgabe der externen Lösung zugunsten eines integrierten WebDAV Versionierung nun auch ohne WebDAV Harald Schöning / / 22 (c) Harald Schöning

12 Das Verhältnis zu Standards: JDBC der am häufigsten gefragte Standard leider zu relational XQJ kommt, aber spät Harald Schöning / / 23 andere Standards XSL / XLink / XPointer 1998: XML + XSL + XLL -. XSLT XML:DB XML 1.1 LDAP Integration zur Authentisierung XML Signature X-Tension Package Harald Schöning / / 24 (c) Harald Schöning

13 Beitrag zu Standards XQJ XSLT XQuery incl. Update Harald Schöning / / 25 Security was ist die angemessene Granularität? WebDAV: Folder und einzelne Dokumente XML-Datenbank? Collection Doctype Knoten Tamino unterstützt RBAC auf Collections, doctypes, Knoten (d.h. Teilbäumen) kein XML-View keine instanzbasierte Sicherheit Harald Schöning / / 26 (c) Harald Schöning

14 Text Retrieval boolesche Textsuche vs. Retrieval (Ranking) Abgrenzung zur Suchmaschine? wieviel Funktionalität? Volltextsuche nach Wörtern, Phrasen, mit Wildcards, Nachbarschaftssuche tf:containsadjacenttext($text, 3, "XML", "Datenbanken") tf:containstext($text, "Daten*system") phonetische Ähnlichkeit tf:containstext($text, tf:phonetic("meier")) Stammformensuche tf:containstext($text, tf:stem("sicherheit")) semantische Suche tf:containstext($text, tf:broaderterm("goldfisch")) Harald Schöning / / 27 Text Retrieval - Adaptierbarkeit Was ist ein Wort? White space basiert R&D 08/15 U2 Nicht-zeichenbasierte Schrift 心 臟 有 毛 病 Herzprobleme Zerlegung: 心 臟 + 有 + 毛 病 Herz + hat + Probleme 心 臟 病 發 作 Herzanfall Zerlegung: 心 臟 病 + 發 作 Herzkrankheit + tritt auf for $x in collection("patienten")/patient where tf:containstext($x//diagnosis, ' 心 臟 ') return $x Harald Schöning / / 28 (c) Harald Schöning

15 X-Node Brücke zur anderen Datenbanken Abbildung eines relationalen Schemas in ein XML Schema "pure" und hybrid hybrid als Integrationstechnologie RDBMS hybrid nur selten benutzt mit XQuery schwindet die Notwendigkeit für hybride Speicherung Harald Schöning / / 29 Erweiterbarkeit: X-Tension Abbildung von XML-Teilbäumen Integration mit Transaktionen Trigger XQuery-Funktionen in eigenem Namensraum dynamisch berechnete "Default"-Werte Schattendokumente erzeugt aus non-xml XML wird als eine Einheit behandelt Wichtigkeit der Funktionalität integriert in das Security-Konzept Harald Schöning / / 30 (c) Harald Schöning

16 Tamino - Cross Industry Success 600+ Customers Finance Government Pharma & Healthcare Media & Technology Manufacturing & Transport Retail Harald Schöning / / 31 typische Einsatzgebiete Apollo Optik: Intranet Information Center Content Management und Katalog-basiertes Online-Bestellsystem Deutsches Zentrum für Luft- und Raumfahrt Verwaltung technischer Dokumentation Integration technischer und wissenschaftlicher Daten Kombination mit WebDAV Sparkasse Gelsenkirchen Finanzportal WebDAV-Benutzung Heller Bank Multichannel publishing RTL Fernsehen Nachrichtenverwaltung Information an Sender, Teleprompter, web, Handies high available solution Verschiedene news feeds werden in einer Datenbank konsolidiert Harald Schöning / / 32 (c) Harald Schöning

17 RTL Television Tamino based Editorial News system Challenge Provide a high-performance, open standards-based newsroom system w/ instant access to accurate information Central system must be tailored to match existing tried-and-tested newsroom procedures and integrate with the company's video preview managemt. system Solution News editorial system providing information for TV news broadcasters, teleprompters, Web & cell phones High availability solution provides fail-safe operation Benefits Streamlined, cost-effective editorial processes with fast search capability and single point of storage - based on a single format. Simultaneous content playout into different media channels. Minimal learning curve: solution adapted to existing system With MPower and Tamino XML Server RTL has created the world's most technically advanced editorial system" Quote: H. Lutterbach, RTL, Head of IT Harald Schöning / / 33 Architecture Overview VPMS Video Playout Management System Teleprompter Other Internal Systems Messaging cell phones etc Media Outlets Cutter Workstations / Clients > 420x Authoring / Editing HTTP - TCP/IP - Ethernet Apache Web Server App Server MPower Newsroom System Apache Web Server App Server MPower Newsroom System Internet News-feeds Router / Firewall Update Service ~ 5 GB Solaris8-64 Shared Disks ~ 5 GB Solaris8-64 EMC Backup based on NewsML ~ stored news Veritas Cluster Harald Schöning / / 34 (c) Harald Schöning

18 typische Einsatzgebiete ANF AC Tradise e-billing: Dokumentintegrität ist wichtig, kein Shredding digital signierte Daten Order and Delivery Management System für Zulieferer von Migros web-service basiert Commerzbank Kreditrisikobewertung basierend auf Daten aus 18 verschiedenene Handelssysteme neue Bankproduke erfordern neuen Schemata Vodafone Multi-channel Präsentation elektronischer Rechnungen Daimler-Chrysler Diagnoseportal zur Verwaltung aller test- und Diagnoseinformation aufgezeichnet von elektronischen Steuereinheiten in Mercedes-Autos beinhaltet Dokumenten-Workflow auch die Workflow-Daten liegen in Tamino komplettes Dokumentmanagementsystem Harald Schöning / / 35 Architecture Overview Editor xportal eshop eprocure WCM ecatalog Multi- Device WebDav* Interfaces HTTP SOAP* Java API VB API* Intregration X M L XML-Driven Document Workflow and Storage System X M L Publication Application Server X M L Data Management * In planning Harald Schöning / / 36 (c) Harald Schöning

19 VODAFONE Multi-Channel Electronic Bills Presentation Mission Allow customer information from disparate systems to be combined together to form a service that is unique and provides a competitive advantage Solution A system that allows customers and internal users to see their invoices and the billing information through the Internet Using XML, Tamino Web-Logic and IXOS products Result Access invoices from the web in diverse formats (HTML, XML, PDF and Excel) Minimize paper and mail delivery Send billing information to clients through SMS Feed Vodafone s System Data Warehouse Harald Schöning / / 37 Architecture Overview Billing System 1 Billing System 2 CRM Others Kenan Versatility Clarify... Extract Extract Extract Extract Transform & Aggregation (J2EE Web-Logic) Analyze Publish... Customer self-service Call Center Harald Schöning / / 38 (c) Harald Schöning

20 typische Einsatzgebiete Schiphol (Amsterdam Airport) Informationsintegration von 50 beteiligten Gebieten, z.b. Gepäckmanagement, Flugzeugreinigung, Catering Via Bildverarbeitungsprogramm Objektverfolgung Szenenverwaltung Applikationsintegration Nachrichtenspeicherung (message log) z.b. Auftragseingang rechtliche Verpflichtungen Digital signierte Dokumente Bibliotheksansätze dublin core historische Fotografien Harald Schöning / / 39 Schiphol CISS Tamino based central information system Challenge Replace central information system Schiphol (CISS), handling information about all incoming/outgoing flights Exchange this information among 50 involved parties, e.g. luggage handling, airplane cleaning, teletext, catering Solution Architecture runs on AIX and is based on an integration broker, an application server and a XML Server (Tamino) to make the entire process around flights work. Re-use legacy schemas, but all internal files to be formatted in XML Benefits Increased performance on fast, complex queries and data exchange - no data conversion necessary. Greater flexibility in adapting to required changes on the fly System Integration of 38 XML and non-xml interfaces High Availability proven environment on IBM HACMP "Provide fastest access to all information relevant for airport/flight management" Details Harald Schöning / / 40 (c) Harald Schöning

21 CISS connects systems GatePhone BATOS BESBAS Airlines Havengeld Fsysb AG Wisselgate FIRDA HVS GMS INCRA BASS1 LPC BASS2 NRR Checkit VIP NOMOS CISS MNS GateView SIS Internet ASITO PAX Securop IHD CRS StaBalie Helloport GTS GIN FIDS Cargonaut PBA OGDEN Strp.printer BusCom ADIN LVNL CUTE RTL NOS FIN FIDEX Details Harald Schöning / / 41 Architecture IB Maint. Application CISS Validate Distr.rules Transform Messages IN Parse Queue Msg. IN Integration broker (IB) Format Queue Msg. OUT Message OUT Bus.rules User Interfaces Web server (WS) Table Maintenance Flight Maintenance XML Flight Database Harald Schöning / / 42 (c) Harald Schöning

22 Datenbank + System = verschickbare Einheit System rein auf CD Zusammen mit Datenbank kein "Footprint" US Navy zehntausende Seiten technischer Handbücher semi-strukturiert, mixed content, rekursives Schema Harald Schöning / / 43 Erfahrungen in den ersten sieben Jahren der Marktverfügbarkeit Mischung document centric und data centric geht nur mit XML telefonica, nextance(contract management) Standards dauern zu lange weil diese Aspekte ausbalanciert werden müssen Indiz: atomare Typen vs. Knotentypen in XQuery Allgemeine XML-Programmierung vs. Query vs. Java-Programme Daten sind "aufwändiger" gespeichert z.b. numerische Daten "native" XML-Datenbank erfolgreiches Marketing der Software AG Dokumentenverwaltung ist ein ideales Einsatzgebiet aber: XML kam zu spät jedoch SGML-Ablösung Harald Schöning / / 44 (c) Harald Schöning

23 Erfahrungen in den ersten sieben Jahren der Marktverfügbarkeit Datenbanken sind commodity Firmenstrategien Fehler werden nicht verziehen SQL ist Mainstream JDBC ist eine Schranke Performance cost reduction Kundenwünsche performance, performance, performance Text retrieval was kommt warum? große Dokumente Standardtools Harald Schöning / / 45 Erfahrungen in den ersten sieben Jahren der Marktverfügbarkeit Entwurf relational nach XML die Welt ist ein einziges XML-Dokument? Integration mit Tools XML Spy Reporting Standardtools ohne Standardschnittstelle Harald Schöning / / 46 (c) Harald Schöning

24 Erfahrungen in den ersten sieben Jahren der Marktverfügbarkeit http server vs. data base (support native http) Upgrade, Inkompatibilitäten ärgern Kunden Stärke: Schemaänderung ohne Datenmigration canonical round trip Speicherung von non-xml (u.a. Binärdaten) wichtig Konversion nach XML keine Option, wegen unhandlicher Darstellung Der Weg relationaler Datenbanksysteme SQL/XML SQL Server: XML on top Oracle: sehr agil DB2 goes native Harald Schöning / / 47 das verflixte 7. Jahr? was bringt die Zukunft? 100 native XML-Datenbanksysteme Das Schicksal der OODBMS? Trendwende im verflixten 7. Jahr? Harald Schöning / / 48 (c) Harald Schöning

25 Zukunft Tamino wird zum Kernstück "größerer" Lösungen Dokumentenverwaltung Vertragsverwaltung Videoverarbeitung Harald Schöning / / 49 Software AG Solutions Solutions using Tamino as Metadata Repository Persistent XML store Welland Partnership Portal Market Town Portals Portal infrastructure Business Logic XML Gateway XML/HTTP ISF - Integrated Solution Framework iservices SCV - Single Customer View xmam Patient File Repository Suite XML Mart XBRL DRP Digital Repository Platform One stop shops Contact Centres IESD Security CRM Reporting Existing Systems XML Gateway Integration Councils x 5 BPM CM Community/ Business Content Other content providers Harald Schöning / / 50 (c) Harald Schöning

26 Die XML Integration Suite der Software AG Integrationsplattform der Software AG als Integrationsrepository Workflowrepository ENTERPRISE PROCESS MANAGER ENTERPRISE SERVICE INTEGRATOR INTEGRATION METADATA REPOSITORY ENTERPRISE INFORMATION INTEGRATOR ENTERPRISE LEGACY INTEGRATOR Harald Schöning / / 51 (c) Harald Schöning