XML-Datenaustausch in der Praxis Projekt TOMIS bei der ThyssenKrupp Stahl AG

Transkript

1 Mittwoch, 9. November h00, Bruno-Schmitz-Saal 18. Deutsche ORACLE-Anwenderkonferenz XML-Datenaustausch in der Praxis Projekt TOMIS bei der ThyssenKrupp Stahl AG Volker Husemann Thyssen Krupp Stahl AG, Duisburg Carsten Czarski ORACLE Deutschland GmbH, München Schlüsselworte: DWH, MIS, ETL, XML, Relationale Sichten, XML DB Zusammenfassung Der Datenaustausch per XML ist in den IT-Landschaften mittlerweile zu einer Standardanforderung geworden. Werden Daten zum Zwecke der Auswertung in Informations-Systemen verdichtet und aggregiert, so stehen XML-Dokumente häufig am Anfang des Bearbeitungsprozesses. Diese XML-Dokumente kommen dabei aus den verschiedensten Systemen und Datenquellen. Den Prozessen zur Aggregation bzw. Verdichtung und den Auswertungswerkzeugen ist mit reinem XML jedoch nicht geholfen sie erwarten relationale Daten in Tabellenform. Dieser Artikel beschreibt, wie die XML-Technologie der Oracle-Datenbank für das Data Warehouse TOMIS (ThyssenKrupp Stahl Order and Material Information System) bei der ThyssenKrupp Stahl AG genutzt wurde, um die Inhalte von XML-Dokumenten aus operativen Systemen der Auftragsabwicklung relational aufzubereiten. Ausgangslage Mit dem Data Warehouse TOMIS wird bei der ThyssenKrupp Stahl AG eine einheitliche Informationsplattform für die Bereitstellung von Daten zum gesamten Auftragsabwicklungs- und Planungsprozess realisiert. Abb. 1: Ziel TOMIS-DW Dabei werden verschiedenste Datenquellen einer heterogenen Systemlandschaft integriert. Das System stellt eine ganzheitliche Sicht auf kaufmännische und technische Daten zur Verfügung, wobei die Daten und Berichte durch eine einheitliche Begriffswelt der operativen Systeme harmonisiert sind.

2 Architektur Das Front-End von TOMIS wurde in einer Web-Architektur realisiert der Schwerpunkt dieses Artikels liegt jedoch in der Integration des Back-Ends. Die Datenanlieferung erfolgt u.a. ereignisorientiert über Nachrichten im XML-Format. Abb. 2: Architektur des TOMIS-DW Die Transformationen und Aggregationen hin zum für die Geschäftsberichte nötigen Datenmodell erfolgen mit dem Oracle Warehouse Builder (OWB). Zu Beginn ist die Transformation der XML-Dokumente in relationale Strukturen erforderlich. Im Folgenden wird beschrieben, wie die Oracle XML DB eingesetzt wurde, um dieses Mapping zwischen XML und relationalen Tabellen zu realisieren. Einsatz der XML DB Ab Oracle 9i Release 2 können XML-Dokumente nativ in der Datenbank gespeichert werden. Die XML- Dokumente werden zusammen mit den relationalen Daten in der gleichen Datenbank gespeichert. Ein eigener Tablespace oder separate XML-Bereiche sind nicht erforderlich. Aufgrund dieser Nähe zu den relationalen Tabellen ist eine besonders enge Integration möglich. So können die Inhalte der XML-Dokumente mit Hilfe von Sichten (Views) wie eine relationale Tabelle dargestellt und auch als solche abgefragt werden. Auch der umgekehrte Weg, also relationale Daten als XML-Dokument darzustellen, ist möglich, wird jedoch vom TOMIS-Projekt nicht genutzt. Abb. 3: XML and SQL Duality Die XML-Dokumente werden im TOMIS-Projekt über ein Queuing-System (MQSeries) angeliefert und in die Oracle XML DB in eine Tabelle vom Typ XMLTYPE gespeichert. Die Oracle XML DB bietet dabei zwei Speicherungsformen für die XML-Dokumente an. Die Variante Nativ als Dokument speichert das XML-Dokument, so wie es ist, als Textstrom ab. Der Datentyp ist zwar XMLTYPE, darunter wird jedoch ein CLOB verwendet. Diese Variante ist besonders schnell beim Speichern und beim Abrufen des gesamten Dokumentes. Das Extrahieren einzelner Dokumentknoten ist sehr ineffizient, da die Datenbank keine Kenntnis von den Strukturen der XML-Dokumente hat. Sie muss die XML-Dokumente daher bei jeder Abfrage parsen. Die andere Variante, die objektrelationale Speicherung, legt das XML-Dokument nicht als Textstrom, sondern als Objekt in der Datenbank ab. Dieses Objekt repräsentiert die XML-Struktur exakt, so dass das ursprüngliche XML-Dokument daraus 1:1 wiederhergestellt werden kann. Neben den eigentlichen Daten enthält es auch Informationen über die Struktur der XML-Dokumente. Insofern ist die objektrelationale Speicherungsform vorteilhaft, wenn beim Abfragen auf einzelne Dokumentknoten zugegriffen wird. Da

3 18. Deutsche ORACLE-Anwenderkonferenz die XML-Strukturen bekannt sind, kann die Datenbank diese Informationen bei der Navigation durch die Objekte nutzen. Im TOMIS-Projekt kommt es darauf an, die Inhalte der XML-Dokumente als relationale View darzustellen; es finden also massiv Zugriffe auf einzelne Dokumentknoten statt. Daher wurde die objektrelationale Speicherungsform gewählt. Für die objektrelationale Speicherung benötigt die Datenbank vorab Informationen über deren Struktur. Diese werden durch Registrierung des XML Schemas in der Datenbank bekannt gemacht. Abb. 4: Registrierung eines XML Schemas mit dem Oracle 10g R2 Enterprise Manager Mit XML Schema ist ein W3C-Standard zur Beschreibung von XML-Strukturen. Nach der Registrierung desselben ist die Datenbank in der Lage, die zugehörigen XML-Dokumente objektrelational zu speichern. Der nächste Schritt ist das Erstellen einer Tabelle für die XML-Dokumente. Dies geschieht mit dem bekannten CREATE TABLE-Kommando: CREATE TABLE XML_TAB ( ID NUMBER(10), DOKUMENT XMLTYPE ) XMLTYPE COLUMN dokument STORE AS OBJECT RELATIONAL XMLSCHEMA " ELEMENT "material" Der wichtigste Schritt ist schließlich die Erstellung der relationalen View auf die XML-Dokumente. Zum Extrahieren der einzelnen Dokumentknoten wird die SQL-Funktion EXTRACTVALUE() verwendet. CREATE OR REPLACE VIEW xml_relational AS SELECT extractvalue(dokument, '/xpath/ausdruck') as spalte_1, extractvalue(dokument, '/anderer/xpath/ausdruck') as spalte_2, extractvalue(dokument, '/xpath) as spalte_3 FROM XML_TAB

4 Das Ergebnis dieser View sieht dann wie folgt aus: SELECT * FROM xml_relational SPALTE_1 SPALTE_2 SPALTE_ TEST DATEN 128 PROD DATEN : : : Auch komplexere XML-Strukturen wie hierarchische 1:n-Beziehungen können auf diese Weise in relationaler Form dargestellt werden. Zum Umsetzen der hierarchischen 1:n-Beziehung in flache Tabellen wird eine spezielle SQL-Funktion (XMLSEQUENCE) verwendet. Die erzeugte View kann nun wie eine gewöhnliche relationale Tabelle verwendet werden. Sie bildet den Anfang für den nachfolgenden ETL-Prozess, bei dem die Ursprungsdaten nochmals transformiert und aggregiert werden, bis schließlich die für den Endanwender vorgesehenen Data Marts zur Verfügung stehen. Abb. 5 XML-Dokumente im ETL-Prozess Auf diese Weise verarbeitet das TOMIS Projekt 2 bis 5 Telegramme (XML-Dokumente) pro Sekunde. Ein XML-Dokument ist zwischen 5 Kilobyte und mehrere 100 Kilobyte groß. Es ist einleuchtend, dass es hier in besonderem Maße auf die Performance beim Selektieren der relationalen Views ankommt. Dabei tritt das Query Rewrite, welches die Oracle-Datenbank bei Abfragen auf objektrelational gespeicherte XML-Dokumente anwendet, in den Vordergrund. Abb. 6: Query Rewrite

5 18. Deutsche ORACLE-Anwenderkonferenz Abbildung 6 zeigt, wie Query Rewrite arbeitet. Ist das XML-Dokument objektrelational gespeichert, so werden die XPath-Ausdrücke in der Definition der relationalen View direkt auf die Objekte angewendet (oberer Teil). Die Performance eines solchen Zugriffs ähnelt der einer rein relationalen Abfrage. Kann die Datenbank kein Query Rewrite durchführen (unterer Teil), so muss jedes XML-Dokument zur Laufzeit der Abfrage geparst werden, wodurch massiv Ressourcen gebunden werden. Ohne Query Rewrite wären die Anforderungen, die TOMIS an die XML-Verarbeitung stellt (2-5 Nachrichten pro Sekunde) nicht zu erfüllen. Fazit Die Oracle XML DB bietet einen integrierten Ansatz zwischen der relationalen Welt und XML. Die Möglichkeit der objektrelationalen Speicherung erhöht die Performance und bietet eine komfortable Sicht, sowie einen einfachen Zugriff auf die XML Strukturen. Durch die Nutzung der XML DB ist es beim Aufbau des Data Warehouses gelungen, die Daten der operativen Systeme ohne Transformation ins Data Warehouse zu übertragen. Mit Hilfe der XML Schema erfolgt eine Validierung der XML-Dokumente, bevor diese in der XML DB abgelegt werden. Außerdem können durch den Einsatz verschiedener Schemata mit einer XML-Struktur mehrere Zielsysteme bedient werden. Weitere Informationen ThyssenKrupp Stahl AG im Internet Oracle XML DB im Oracle Technet Umgang mit der XML DB: Oracle XML DB Developer s Guide XML-Standards: World-Wide-Web Consortium (W3C) Kontaktadressen: Volker Husemann ThyssenKrupp Stahl AG Friedrich-Ebert-Straße 12 D Duisburg Telefon: +49(0) Fax: +49(0) volker.husemann@thyssenkrupp.com Internet: Carsten Czarski ORACLE Deutschland GmbH Riesstr. 25 D München Telefon: +49(0) Fax: +49(0) carsten.czarski@oracle.com Internet: