XML-Schnittstellen zum Import und Export von Daten für eine Oracle DB Ein Erfahrungsbericht DOAG 2006

Transkript

1 XML-Schnittstellen zum Import und Export von Daten für eine Oracle DB Ein Erfahrungsbericht DOAG 2006 Dr. Wolfgang Braunisch Opitz Consulting GmbH Seite 1

2 Gliederung Anforderungsszenario Lösungsalternativen Realisierte Lösung Technische Hürden, Lösungen und Workarounds Alternative Lösungen Fazit Fragen und Antworten Seite 2

3 Anforderungsszenario: Übersicht DB-Server SFTP SCP Filesystem xsd xml csv Import-Jobs ORACLE-DB xml csv Export-Jobs Seite 3

4 Anforderungsszenario: Schnittstellenformate Importdateien können sowohl im xml-format als auch im csv-format vorliegen Exportdateien müssen im xml-format und im csv-format erzeugt werden Verschiedene Typen von Import- und Exportdateien Unterscheidung nach Speicherort und Namenskonventionen Für xml-dateitypen sind externe Schemata definiert Bestimmte Dateien können recht groß werden (mehrere 100 MB) Seite 4

5 Anforderungsszenario : Schnittstellen xml-dokumente haben i. A. eine hierarchische Struktur: <dokument_knoten> <masterelement_knoten> <masterattribut>wert</masterattribut> <detailelement_knoten> <detailattribut>wert</detailattribut> </detailelement_knoten> <detailelement_knoten> </detailelement_knoten> </masterelement_knoten> <masterelement_knoten> </masterelement_knoten> <\dokument_knoten> Mastertabelle Detailtabelle Seite 5

6 Anforderungsszenario : Schnittstellen xml-dokumente haben i. A. eine hierarchische Struktur: <dokument_knoten> <masterelement_knoten> <masterattribut>wert</masterattribut> <detailelement_knoten> <detailattribut>wert</detailattribut> </detailelement_knoten> <detailelement_knoten> </detailelement_knoten> </masterelement_knoten> <masterelement_knoten> </masterelement_knoten> <\dokument_knoten> Mastertabelle Detailtabelle Seite 6

7 Anforderungsszenario : Schnittstellen xml-dokumente haben i. A. eine hierarchische Struktur: <dokument_knoten> <masterelement_knoten> <masterattribut>wert</masterattribut> <detailelement_knoten> <detailattribut>wert</detailattribut> </detailelement_knoten> <detailelement_knoten> </detailelement_knoten> </masterelement_knoten> <masterelement_knoten> </masterelement_knoten> <\dokument_knoten> Mastertabelle Detailtabelle Seite 7

8 Anforderungsszenario : Schnittstellen veranschaulicht am bekannten EMP-DEPT Beispiel: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> DEPT EMP Seite 8

9 csv-dokumente haben eine flache Struktur: Anforderungsszenario : Schnittstellen <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Deptno,, Empno, 10,, 7782, 10,, 7839, 10,, 7934, 20,, 7369, 20,, 7566, 20,, 7788, 20,, 7876, 20,, 7902, 30,, 7499, 30,, 7521, Seite 9

10 csv-dokumente haben eine flache Struktur: Anforderungsszenario : Schnittstellen <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Deptno,, Empno, 10,, 7782, 10,, 7839, 10,, 7934, 20,, 7369, 20,, 7566, 20,, 7788, 20,, 7876, 20,, 7902, 30,, 7499, 30,, 7521, Seite 10

11 csv-dokumente haben eine flache Struktur: Anforderungsszenario : Schnittstellen <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Deptno,, Empno, 10,, 7782, 10,, 7839, 10,, 7934, 20,, 7369, 20,, 7566, 20,, 7788, 20,, 7876, 20,, 7902, 30,, 7499, 30,, 7521, Seite 11

12 csv-dokumente haben eine flache Struktur: Anforderungsszenario : Schnittstellen <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Deptno,, Empno, 10,, 7782, 10,, 7839, 10,, 7934, 20,, 7369, 20,, 7566, 20,, 7788, 20,, 7876, 20,, 7902, 30,, 7499, 30,, 7521, Seite 12

13 Anforderungsszenario: Technische Daten zu Server - OS, DB, Java Datenbankserver OS: LINUX sles9 ORACLE-Datenbank: 10g R1 ( ) Java: Java 1.4 von SUN Seite 13

14 Gliederung Anforderungsszenario Lösungsalternativen Realisierte Lösung Technische Hürden, Lösungen und Workarounds Alternative Lösungen Fazit Fragen und Antworten Seite 14

15 Lösungsalternativen XDK XML-DB SQL PL/SQL Eigenentw. PL/SQL (utl_file) Java Seite 15

16 Lösungsalternativen: XML-DB XML-DB + Sehr mächtig + Speicherung der xml-dokumente in der DB (als xml-dokumente) + Registrierung externer Schemata in der DB + Umfangreiche Funktionalität - Speicherung von xml-dokumenten in der DB war nicht erforderlich - reine Schnittstellenfunktion neben csv Für unser Projekt eher etwas überdimensioniert Seite 16

17 Lösungsalternativen: XDK XDK + Eher an einfachen Entwicklungsansprüchen orientiert + Utilities für Import und Export von xml-dokumenten dbms_xmlstore für Import dbms_xmlquery für Export Für unser Projekt geeignet Seite 17

18 Eigenentwicklung mit UTL_FILE u. ä. Lösungsalternativen: Eigenentwicklung mit UTL_FILE + Verarbeitung zeilenweise möglich Zumindest für Export Grosse Dokumente sind nicht komplett im Hauptspeicher - Komplette xml-logik muss manuell entwickelt werden Keine Nutzung der xml-logik in entspr. Bibliotheken Gefahr unvorhergesehener Probleme Gefahr eines hohen Wartungsaufwandes Keine echte Alternative Seite 18

19 Lösungsalternativen: Java Java - Prozesssteuerung ist überwiegend PL/SQL + Verwendung von Java-Bibliotheken mit einschlägiger xml- Logik möglich Kann in PL/SQL eingebunden werden Kann direkt auf dem Betriebssystem aufgerufen werden DB-Zugriff aus Java heraus möglich Als Ergänzung zu PL/SQL-Funktionalität hilfreich Seite 19

20 Gliederung Anforderungsszenario Lösungsalternativen Realisierte Lösung Technische Hürden, Lösungen und Workarounds Alternative Lösungen Fazit Fragen und Antworten Seite 20

21 Realisierte Lösung: Import CSV-Dateien werden über External Tables importiert Type sql_loader Keine Zwischentabelle => Select direkt auf die Datei Zeilenweise Verarbeitung über Cursor-Loops in PL/SQL Auch MERGE und Minus-Selects möglich XML-Dateien: Umwandlung in die entsprechenden csv-formate ist relativ einfach Seite 21

22 Realisierte Lösung : Übersicht Importdateien csv csv Stylesheet Transformation xml Validierung Importdateien ORACLE-DB External Tables External Tables Relationales Datenmodell ORACLE Scheduler dbms_xmlquery Exportdateien xml Stylesheet Transformation csv Exportdateien Seite 22

23 Realisierte Lösung : Jobsteuerung Prozesssteuerung Regelmäßiges Einpflegen der Importdateien in die Tabellen der ORACLE-DB Regelmäßige Erzeugung von Exportdateien aus Inhalten der Tabellen der ORACLE-DB Verwaltung der Im- und Export-Dateien von außen (scp, sftp, ssh-webserver) Steuerung aus der DB heraus Verwendung von dbms_scheduler Aufruf von PL/SQL-Programmen Java-API für Filesystemzugriffe und OS-Aufrufe (eingebettet in PL/SQL-Wrapper) Seite 23

24 Realisierte Lösung : Import Validierung gegen externe Schemata Validierung der Datei außerhalb der DB => Java XML-Schemata (*.xsd) liegen auf dem Filesystem Aufruf aus PL/SQL heraus (Wrapper) Stylesheet-Transformationen Umwandlung xml - csv vor Import in die DB => Java Stylesheets (*.xsl) liegen auf dem Filesystem Aufruf aus PL/SQL heraus (Wrapper) Seite 24

25 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 25

26 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 26

27 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 27

28 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 28

29 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 29

30 Schematischer Aufbau der xml-stylesheets: <Departments-Employees> <Dept> <DeptNo>10</DeptNo> <Emp> <EmpNo>7782</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> Realisierte Lösung : Import <xsl:stylesheet version="1.0 xmlns:xsl=" <xsl:output method="text"/> <xsl:template match= Departments-Employees"> <xsl:text> DeptNo,,EmpNo,,</xsl:text> <xsl:text> </xsl:text> <xsl:for-each select= Dept/Emp"> <xsl:text>""" </xsl:text> <xsl:value-of select="../deptno"/> <xsl:text>""","""</xsl:text> <xsl:value-of select= EmpNo"/> <xsl:text>""" </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> DeptNo,, EmpNo, 10,, 7782, 10,, 7839, Seite 30

31 Realisierte Lösung : Import Performance-Probleme bei Stylesheet-Transformationen Validierung gegen externe Schemata Validerung und Transformation erfolgen aus PL/SQL heraus Mit Hilfe von Java-Utilities Erster Ansatz Erstellung von Java-Programmen für Validierung und Transformation Laden dieser Programme in die DB und erstellen von PL/SQL- Wrappern In den DB-Jobs Aufruf der PL/SQL-Wrapper Seite 31

32 Performance-Probleme: Realisierte Lösung : Import Validierungen und Transformationen dauern mindestens einen Faktor 10 länger als der direkte Aufruf auf dem OS Änderungen an DB-Parametern wie java_pool_size halfen nicht Workaround: Indirekter Aufruf der Java-Programme DB OS PL/SQL- Programm In PL/SQL eingebundenes Java-Programm OS-Befehl (LINUX) Java- Programm begin pr_os_aufruf ('java_programm name_qellxml name_xsl name_zielxml'); end; Seite 32

33 XML-Dokumente erzeugen mit dbms_xmlquery Realisierte Lösung : Export declare v_query_ctx dbms_xmlquery.ctxtype; v_ergebnis_xml clob; begin -- XML-Dokument als CLOB erstellen v_query_ctx := dbms_xmlquery.newcontext ('select deptno, dname, from dept'); dbms_xmlquery.setrowsettag (v_query_ctx, 'Departments-Employees'); dbms_xmlquery.setencodingtag(v_query_ctx, 'iso '); -- v_ergebnis_xml := dbms_xmlquery.getxml(v_query_ctx); dbms_xmlquery.closecontext (v_query_ctx); -- end; CLOB mit UTL_FILE in eine Datei schreiben Seite 33

34 XML-Dokumente erzeugen mit dbms_xmlquery Realisierte Lösung : Export declare v_query_ctx dbms_xmlquery.ctxtype; v_ergebnis_xml clob; begin -- XML-Dokument als CLOB erstellen v_query_ctx := dbms_xmlquery.newcontext ('select deptno, dname, from dept'); dbms_xmlquery.setrowsettag (v_query_ctx, 'Departments-Employees'); dbms_xmlquery.setencodingtag(v_query_ctx, 'iso '); -- v_ergebnis_xml := dbms_xmlquery.getxml(v_query_ctx); dbms_xmlquery.closecontext (v_query_ctx); -- end; CLOB mit UTL_FILE in eine Datei schreiben Seite 34

35 XML-Dokumente erzeugen mit dbms_xmlquery Realisierte Lösung : Export declare v_query_ctx dbms_xmlquery.ctxtype; v_ergebnis_xml clob; begin -- XML-Dokument als CLOB erstellen v_query_ctx := dbms_xmlquery.newcontext ('select deptno, dname, from dept'); dbms_xmlquery.setrowsettag (v_query_ctx, 'Departments-Employees'); dbms_xmlquery.setencodingtag(v_query_ctx, 'iso '); -- v_ergebnis_xml := dbms_xmlquery.getxml(v_query_ctx); dbms_xmlquery.closecontext (v_query_ctx); -- end; CLOB mit UTL_FILE in eine Datei schreiben Seite 35

36 XML-Dokumente erzeugen mit dbms_xmlquery Realisierte Lösung : Export declare v_query_ctx dbms_xmlquery.ctxtype; v_ergebnis_xml clob; begin -- XML-Dokument als CLOB erstellen v_query_ctx := dbms_xmlquery.newcontext ('select deptno, dname, from dept'); dbms_xmlquery.setrowsettag (v_query_ctx, 'Departments-Employees'); dbms_xmlquery.setencodingtag(v_query_ctx, 'iso '); -- v_ergebnis_xml := dbms_xmlquery.getxml(v_query_ctx); dbms_xmlquery.closecontext (v_query_ctx); -- end; CLOB mit UTL_FILE in eine Datei schreiben Seite 36

37 XML-Dokumente erzeugen mit dbms_xmlquery Realisierte Lösung : Export declare v_query_ctx dbms_xmlquery.ctxtype; v_ergebnis_xml clob; begin -- XML-Dokument als CLOB erstellen v_query_ctx := dbms_xmlquery.newcontext ('select deptno, dname, from dept'); dbms_xmlquery.setrowsettag (v_query_ctx, 'Departments-Employees'); dbms_xmlquery.setencodingtag(v_query_ctx, 'iso '); -- v_ergebnis_xml := dbms_xmlquery.getxml(v_query_ctx); dbms_xmlquery.closecontext (v_query_ctx); -- end; CLOB mit UTL_FILE in eine Datei schreiben Seite 37

38 Realisierte Lösung : Hierarchische XML-Strukturen dbms_xmlquery greift nur auf eine Tabelle/View zu Einfache Join-View führt nicht zum gewünschten Ergebnis create view dept_emp_v as select dept.deptno, emp.empno, from dept, emp where emp.deptno = dept.deptno; / <Departments-Employees> <ROW num="1"> <DEPTNO>10</DEPTNO> <EMPNO>7782</EMPNO> </ROW> <ROW num="2"> <DEPTNO>10</DEPTNO> <EMPNO>7839</EMPNO> </ROW> </Departments-Employees> Seite 38

39 Realisierte Lösung : Hierarchische XML-Strukturen dbms_xmlquery greift nur auf eine Tabelle/View zu Einfache Join-View führt nicht zum gewünschten Ergebnis create view dept_emp_v as select dept.deptno, emp.empno, from dept, emp where emp.deptno = dept.deptno; / <Departments-Employees> <ROW num="1"> <DEPTNO>10</DEPTNO> <EMPNO>7782</EMPNO> </ROW> <ROW num="2"> <DEPTNO>10</DEPTNO> <EMPNO>7839</EMPNO> </ROW> </Departments-Employees> Seite 39

40 Realisierte Lösung : Hierarchische XML-Strukturen Master-Detail-Struktur wird aber abgebildet, wenn die Tabelle eine Spalte mit Objektrelationalem Typ enthält, welcher eine Liste mit (Detail)-Objekten enthält (Collection). create or replace type t_emp_obj as object ( empno number (4), ename varchar2 (10), ); / create or replace type t_emp_liste is table of t_emp_obj ; / Seite 40

41 Realisierte Lösung : Hierarchische XML-Strukturen Alternative: View, die den Objekttyp zur Laufzeit bildet: create view dept_emp_v as select deptno, cast (multiset (select empno, from emp where emp.deptno = dept.deptno order by empno ) as t_emp_liste ) as emp from dept; / Seite 41

42 Realisierte Lösung : Hierarchische XML-Strukturen Alternative: View, die den Objekttyp zur Laufzeit bildet: create view dept_emp_v as select deptno, cast (multiset (select empno, from emp where emp.deptno = dept.deptno order by empno ) as t_emp_liste ) as emp from dept; / Seite 42

43 Realisierte Lösung : Hierarchische XML-Strukturen Alternative: View, die den Objekttyp zur Laufzeit bildet: create view dept_emp_v as select deptno, cast (multiset (select empno, from emp where emp.deptno = dept.deptno order by empno ) as t_emp_liste ) as emp from dept; / Seite 43

44 Realisierte Lösung : Hierarchische XML-Strukturen Knotenstruktur kann nur bedingt konfiguriert werden <Departments-Employees> <Dept> <DeptNo>10</Deptno> <Emp> <EmpNo>7782t</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> <Departments-Employees> <ROW num="1"> <DEPTNO>10</DEPTNO> <EMP> <EMP_ITEM> <EMPNO>7782</EMPNO> </EMP_ITEM> <EMP_ITEM> </EMP_ITEM> </EMP> </ROW> <ROW num="2"> </ROW> </Departments-Employees> Seite 44

45 Realisierte Lösung : Hierarchische XML-Strukturen Knotenstruktur kann nur bedingt konfiguriert werden <Departments-Employees> <Dept> <DeptNo>10</Deptno> <Emp> <EmpNo>7782t</EmpNo> </Emp> <Emp> </Emp> </Dept> <Dept> </Dept> </Departments-Employees> <Departments-Employees> <ROW num="1"> <DEPTNO>10</DEPTNO> <EMP> <EMP_ITEM> <EMPNO>7782</EMPNO> </EMP_ITEM> <EMP_ITEM> </EMP_ITEM> </EMP> </ROW> <ROW num="2"> </ROW> </Departments-Employees> Seite 45

46 Realisierte Lösung : Hierarchische XML-Strukturen Knotenstruktur kann nur bedingt konfiguriert werden Lösung: Stylesheet-Transformation In unserem Fall auf dem Filesystem Anlog zur Umwandlung XML-CSV Alternative: direkt im CLOB Verwendung von XDK-Werkzeugen dbms_xmlgen dbms_xmlparser dbms_xslprocessor dbms_xmldom Seite 46

47 Realisierte Lösung : Große Dateien Erzeugte Dateien können einige 100 MB groß werden Speicherung im Hauptspeicher als ein CLOB ist für die vorhandene Systemkonfiguratíon problematisch Vergrößerung des Hauptspeichers, um solche CLOB-Größen zu verkraften, ist angesichts der Projektanforderungen nicht angemessen. Lösung: Erzeugung des XML-Dokuments in mehreren Schritten: Begrenzung der Datensätze pro Vorgang: dbms_xmlquery.setmaxrows(v_query_ctx, 100); Seite 47

48 Realisierte Lösung : Große Dateien Lösung: Erzeugung des xml-dokuments in mehreren Schritten: Schleife zur Erzeugung kleiner XMLDokumente: dbms_xmlquery.setraisenorowsexception(v_query_ctx, true); begin loop v_ergebnis_xml := dbms_xmlquery.getxml (v_query_ctx); end loop; exception when others then null; end; Achtung: Jedes Ergebnis-Clob ist ein wohlgeformtes XML-Dokument Der Dokumentheader wird jedes Mal eingefügt Auch der Dokumentknoten wird jedes Mal geöffnet und geschlossen Seite 48

49 Realisierte Lösung : Große Dateien Lösung: Erzeugung des xml-dokuments in mehreren Schritten: Schleife zur Erzeugung kleiner XMLDokumente: dbms_xmlquery.setraisenorowsexception(v_query_ctx, true); begin loop v_ergebnis_xml := dbms_xmlquery.getxml (v_query_ctx); end loop; exception when others then null; end; Achtung: Jedes Ergebnis-Clob ist ein wohlgeformtes XML-Dokument Der Dokumentheader wird jedes Mal eingefügt Auch der Dokumentknoten wird jedes Mal geöffnet und geschlossen Seite 49

50 Realisierte Lösung : Große Dateien Lösung: Erzeugung des xml-dokuments in mehreren Schritten: Zusammenführung der Einzeldokumente in einer Datei Entfernen der ersten beiden Zeilen ab dem 2. CLOB Entfernen der letzten Zeile in allen CLOBs bis auf das letzte Zeilen können in CLOB durch chr(10) identifiziert werden Alle Buffer an die XML-Datei anhängen Verwendung von utl_file.put Aufteilen CLOB in n Buffer mit maximal Zeichen Verwendung von dbms_lob.substr => varchar2-variable Buffergröße so wählen, dass die beiden ersten Zeilen komplett im ersten Buffer sind und die letzte Zeile komplett im letzten Buffer ist Seite 50

51 Gliederung Anforderungsszenario Lösungsalternativen Realisierte Lösung Technische Hürden, Lösungen und Workarounds Alternative Lösungen Fazit Fragen und Antworten Seite 51

52 Externe XML-Datei in clob laden: Alternative Lösung: Import mit dbms_xmlstore declaredeclare v_xml clob; v_xml_lobloc clob; v_datei bfile := bfilename ('XMLDIRECTORY', 'dept.xml'); begin dbms_lob.open (v_datei, dbms_lob.lob_readonly); dbms_lob.createtemporary (v_xml_lobloc, true); dbms_lob.loadfromfile(v_xml_lobloc, v_datei, dbms_lob.lobmaxsize); v_xml := v_xml_lobloc; dbms_lob.freetemporary (v_xml_lobloc); dbms_lob.close(v_datei); end; / Seite 52

53 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 53

54 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 54

55 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 55

56 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 56

57 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 57

58 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Seite 58

59 XML-Dokument einfacher Struktur (1 Tabelle): Alternative Lösung: Import mit dbms_xmlstore Kaum Konfigurationsmöglichkeiten im Vergleich mit dbms_xmlquery Konventionen ROW ROW NUM= <ROWSET> <ROW num="1"> <DEPTNO>10</DEPTNO> <DNAME>ACCOUNTING</DNAME> </ROW> <ROW num="2"> <DEPTNO>20</DEPTNO> <DNAME>RESEARCH</DNAME> </ROW> </ROWSET> Ggf. Stylesheettransformation Seite 59

60 Alternative Lösung: Import mit dbms_xmlstore XML-Dokument Hierarchischer Struktur (Master-Detail): Zieltabelle mit objektrelationaler Spalte (collection): create or replace type t_emp_obj as object ( empno number (4), ename varchar2 (10), ); / create or replace type t_emp_liste is table of t_emp_obj; / create table dept_emp (deptno number (2), dname varchar2 (14), emp t_emp_liste) nested table emp store as nt_emp; Seite 60

61 Alternative Lösung: Import mit dbms_xmlstore XML-Dokument Hierarchischer Struktur (Master-Detail): <ROWSET> <ROW num="1"> <DEPTNO>10</DEPTNO> <EMP> <T_EMP_OBJ> <EMPNO>7782</EMPNO> </T_EMP_OBJ> </EMP> </ROW> </ROWSET> Name der Collection-Spalte Name der Object Types Seite 61

62 XML-Dokument in Zieltabelle laden: Alternative Lösung: Import mit dbms_xmlstore declare v_xml clob; v_insctx dbms_xmlstore.ctxtype; v_rows number; begin v_insctx := dbms_xmlstore.newcontext('dept_emp'); dbms_xmlstore.clearupdatecolumnlist (v_insctx); dbms_xmlstore.setupdatecolumn (v_insctx, 'DEPTNO'); dbms_xmlstore.setupdatecolumn (v_insctx, 'DNAME'); dbms_xmlstore.setupdatecolumn (v_insctx, 'EMP'); v_rows := dbms_xmlstore.insertxml (v_insctx, v_xml); dbms_xmlstore.closecontext (v_insctx); -- commit; end; / Name der Collection- Spalte Seite 62

63 Für einfache Import-Export-Aufgaben (1 xml-file <=> 1 Tabelle) sind die XDK-Tools dbms_xmlquery und dbms_xmlstore hinreichend geeignet Fazit Bei hierarchischen Strukturen (Master-Detail) in einem XML-Dokument sind einige Tricks erforderlich Verwendung von Objekttypen bzw. Collections Ggf. Stylesheet-Transformationen Die Validierung und Transformation von XML-Dateien erfolgte über Java-Programme Aufruf aus PL/SQL: Performanceprobleme Indirekter Aufruf über OS-Befehl aus PL/SQL Seite 63

64 Fragen und Antworten F R A G E N A N T W O R T E N Seite 64