Die Datenbank als virtuelles Filesystem

Transkript

1 Die Datenbank als virtuelles Filesystem Annegret Warnecke Oracle Deutschland GmbH Berlin Schlüsselworte: Datenbank, virtuelles Filesystem, XML DB, graphisch unterstützter Zugriff auf die Datenbank, http(s) / WebDAV, ftp, live Demo Zusammenfassung Ziel des Vortrages ist es, einen Eindruck von den praktischen Möglichkeiten des virtuellen Filesystems der Oracle Datenbank (als Bestandteil des Oracle XML DB Repositories) zu vermitteln. Zu diesem Zweck werden zunächst die Funktionalitäten der Oracle XML DB skizziert, anschließend wird die Architektur des virtuellen Filesystems erläutert. Den größten Teil nehmen die dann folgenden Demonstrationen und Beispiele ein. Der Blick möglicher Endbenutzer auf das Filesystem wird über den Zugriff mittels HTTP /WebDAV dargestellt. Es wird gezeigt, wie das Filesystem programmtechnisch eingerichtet und wie der Oracle Enterprisemanager für die Administration herangezogen werden kann - letzteres geschieht am Beispiel der Steuerung von Benutzerberechtigungen (ACLs). Zum Abschluß werden die Möglichkeiten der Verbindung des Filesystems zu Tabellen in der Datenbank beleuchtet und eine HTML basierte Anwendung im virtuellen Filesystem der Oracle XML DB vorgestellt. 1. Einleitung Die Oracle Datenbank bietet als Bestandteil des Oracle XML DB Repositories ein virtuelles Filesystem an, auf das programmtechnisch und / oder graphisch unterstützt über das HTTP(s)- / WebDAV- und das FTP-Protokoll zugegriffen werden kann. XML Dokumente können mittels integriertem XSLT Prozessor in XHTML umgewandelt und so aufbereitet über einen Browser angezeigt werden. Über XML Type Views kann auf relationale Tabellen zugegriffen werden. HTML basierte Seiten und / oder Anwendungen können die Strukturen des virtuellen Filesystems nutzen. Viele weitere "Formate" lassen sich in das virtuelle Filesystem des XML DB Repositories einstellen. Metadaten werden automatisch erstellt und können bei Bedarf ergänzt werden. Der Zugriffsschutz kann LDAP basiert eingerichtet werden und lässt sich bis auf das einzelne File "herunter" steuern. 2. Die Oracle XML DB als Grundlage für ein virtuelles Filesastem Der Begriff Oracle XML DB ist eine logische Zusammenfassung aller XML bezogener Funktionalitäten innerhalb der Oracle Datenbank. Dazu zählen 1

2 - verschiedene Möglichkeiten zum Laden, Speichern, Abfragen, Umstrukturieren und Anzeigen von XML Dokumenten - die Durchlässigkeit von relationaler Welt und XML (Zugriffe, Umwandeln...) - die Nutzung vorhandener relationaler Funktionalitäten für XML Dokumente in der Datenbank (Indizieren, Partitionieren, Referenzieren, Text Suche...) - die Nutzung von DTDs und XML Schemata zur Definition von jeweils dazugehörigen XML Dokumenten - ein virtuelles Filesystem, über das mittels HTTP / WebDAV oder FTP zugegriffen werden kann. Diese Funktionalitäten werden (u.a.) ermöglicht durch einen in die Oracle Datenbank integrierten DOM Prozessor, XSLT Prozessor und einen HTTP bzw. FTP Server. Bei der Installation der Oracle Datenbank werden alle betreffenden Funktionalitäten eingerichtet. Eingesetzt werden müssen die Ports für HTTP/WebDAV und FTP (Standard: 8080 bzw. 2100). Dies - sowie alle anderen administrativen Maßnahmen - kann programmtechnisch oder über den Oracle Enterprise Manager erfolgen. 3. Die Architektur des virtuellen Filesystems Das virtuelle Filesystem bietet eine logische, Pfad orientierte Sicht auf Daten. Sowohl Folder als auch Files werden als Resourcen bezeichnet. Metadaten werden in XML Form abgebildet. Nicht XML Schema bezogene Daten jeder Art verbleiben im XML DB Repository und log. Sicht / Reposit. Oracle DB / XML Folder Files für jede Resource im virtuellen Filesystem gibt es eine Zeile in der Tabelle XDB$RESOURCE, die über respource-view / pathview abgefragt werden kann Name ACL Attr.1... Name ACL Attr.1... XML Schema basierte Strukturen werden im DB Schema des Eigentümers der betr. Tabelle / View abgespeichert XMLType XMLType Abb. 1: Architektur des Oracle XML DB Repositories werden in LOBs abgespeichert. Die Abfrageperformance wird durch die Speicherungsform beeinflusst und durch Indizes bescheunigt (hierarchischer Index des XML DB Repositories für Pfad basierte Abfragen, funktionsbasierte Indizes, Text orientierte Indizes). Die 2

3 Authentifizierung erfolgt über DB Benutzer, Rollen bzw. mittels LDAP. Rechte an Inhalten und an Metadaten von Ressourcen werden nach dem WebDAV Standard Access Control Lists (ACLs) vergeben. Schnittstellen zu dem XML DB Repository stehen für C, PL/SQL und Java zur Verfügung. Anwendungsentwicklungen auf der Grundlage des XML DB Repositories können den in die XML DB integrierten XSLT Prozessor nutzen. Da ein direkter Zugriff von Browsern auf das XML DB Repository möglich ist, bietet sich das Repository für HTML Anwendungen an (inkl. dynamischer Seiten). Servlets und Java Server Pages können für die Entwicklung eingesetzt werden. 4. Zugriffe auf das virtuelle Filesystem mittels HTTP / WebDAV Um mittels WebDAV auf das virtuelle Filesystem zugreifen zu können, muß ein entsprechender WebDAV Folder eingerichtet werden. Die betr. Netzwerkadresse für die Einrichtung des WebDAV Folders besteht aus dem Rechnernamen und dem Port. Abb. 3. Einrichtung eines WebDAV Folders - Zugriffsadresse Abb. 4: Anmeldung zu dem virtuellen Filesystem der Oracle XML DB 3

4 Die Anmeldung für den Zugriff erfolgt mittels Benutzername / Paßwort. Nach der Anmeldung kann auf das Foldersystem auf bekannte Weise zugegriffen werden. Es können aus der WebDAV Oberfläche heraus neue Folder eingerichtet, bestehende gelöscht oder umbenannt werden. Es können einzelne Dateien oder ganze Folderbereiche aus einem Filesystem heraus kopiert und in das Repository eingestellt werden. Bestehende Dateien werden nach einem Doppelklick angezeigt. Sie können mit verändertem Inhalt zurückgespeichert bzw. überschrieben werden, sofern für den jeweiligen Benutzer die betreffenden Rechte bestehen. Abb. 5: exemplarische Sicht auf das virtuelle Filesystem Abb. 6: mit einem Stylesheet verbundenes XML Dokument 4

5 XML Dokumente können mit Stylesheets verbunden und auf diese Weise graphisch aufbereitet im Browser angezeigt werden. Dabei können entweder der Stylesheet-Prozessor des jeweiligen Browsers oder der Stylesheet-Prozessor der Datenbank genutzt werden. Nachfolgend ein Beispiel für die erste Variante (s. Abb. 6). 5. programmtechnischer Zugriff auf das virtuelle Filesystem Es können Pfad basierte, Inhalts bezogene sowie Metadaten bezogene Abfragen und Änderungen durchgeführt werden. Alle Informationen bezüglich des XML DB Repositories sind in der Tabelle xdb$resource in XML Form gespeichert und sind über die beiden Views "path_view" und "resource_view" zugänglich. SQL> desc path_view; Name PATH RES LINK RESID SQL> desc resource_view; Name RES ANY_PATH RESID Null? Null? Typ VARCHAR2(1024) SYS.XMLTYPE(XMLSchema "http: //xmlns.oracle.com/xdb/xdbresource.xsd " Element "Resource") SYS.XMLTYPE RAW(16) Typ SYS.XMLTYPE(XMLSchema "http: //xmlns.oracle.com/xdb/xdbresource.xsd " Element "Resource") VARCHAR2(4000) RAW(16) a) Beispiele für Pfad bezogene Informationen select path as Repository_Struktur from path_view where under_path (res,1,'/doag') =1; call dbms_xdb.deleteresource('/doag/xxx'); DECLARE res boolean; BEGIN res :=DBMS_XDB.createfolder('/doag/neu'); END; / update path_view set path = '/doag/beispiel' where path = '/doag/neu'; commit; Pfad bezogene Informationen abfragen Folder... löschen... einrichten Bezeichnung eines Folders ändern 5

6 b) Beispiele für Inhalts bezogene Informationen select XDBUriType('/doag/Demo_1/Mitarb100_2.xml').getXML() as Mitarbeiter from dual; call dbms_xdb.deleteresource('/doag/demo_1/mitarb100_2.xml'); DECLARE res boolean; BEGIN res := DBMS_XDB.createResource('/doag/Demo_1/README.txt', 'Es ist möglich, auch andere Dokumenttypen in dem Oracle XML DB Repository zu hinterlegen'); END; Inhalt einer XML Datei abfragen Datei... löschen... einrichten c) Beispiele für Metadaten bezogene Informationen select r.res.getclobval() from resource_view r where equals_path(r.res,'/doag/demo_1/mitarb_100.xml')=1; update resource_view set res = updatexml(res,'/resource/owner/text()', 'OE') where any_path = '/doag/demo_1/mitarb_100.xml'; Metadaten bezogene Informationen abfragen Ändern der Metadaten d) Benutzer definierte Metadaten Die angezeigten Metadaten werden standardmäßig angelegt. Darüber hinaus ist es möglich, weitere Metadaten einzurichten. Diese weiteren Metadaten können für entsprechende Abfragen herangezogen werden. Nachfolgend soll ein Beispiel gezeigt werden, wie zusätzliche Metadaten angelegt und verwendet werden können. Zunächst werden die Strukturen für die zusätzlichen Metadaten mittels eines XML Schema definiert; für die Speicherung der Metadaten wird die Tabelle "IMGCATMETADATATABLE" angelegt. 6

7 BEGIN DBMS_XMLSCHEMA.registerSchema('imagecategories.xsd', '<xsd:schema targetnamespace="cnamespace" xmlns:xsd=" xmlns:xdb=" xmlns="cnamespace"> <xsd:element name="imgcatmetadata" xdb:defaulttable="imgcatmetadatatable"> <xsd:complextype> <xsd:sequence> <xsd:element name="categories" type="categoriestype"/> </xsd:sequence> </xsd:complextype> </xsd:element> <xsd:complextype name="categoriestype"> <xsd:sequence> <xsd:element name="organisation"/> <xsd:element name="event" minoccurs="0"/> <xsd:element name="land"/> <xsd:element name="jahr" minoccurs="0"/> <xsd:element name="kommentar" minoccurs="0"/> </xsd:sequence> </xsd:complextype> </xsd:schema>', enablehierarchy=>dbms_xmlschema.enable_hierarchy_resmetadata); END; / Im zweiten Schritt werden ein Folder und eine Datei angelegt, für die zusätzliche Metadaten definiert werden sollen. DECLARE res BOOLEAN; BEGIN res :=DBMS_XDB.createfolder('/public/Fotos'); res := DBMS_XDB.createResource('/public/Fotos/DOAG.gif', bfilename('xmldir', 'DOAG.gif')); END; / Nun folgen die ergänzenden Metadaten. 7

8 BEGIN DBMS_XDB.appendResourceMetadata('/public/Fotos/DOAG.gif', XMLType('<c:ImgCatMetadata xmlns:c="cnamespace" xmlns:xsi=" xsi:schemalocation="cnamespace imagecategories.xsd"> <Categories> <Organisation>DOAG</Organisation> <Event>19. Deutsche ORACLE Anwenderkonferenz</Event> <Land>Deutschland</Land> <Jahr>2006</Jahr> </Categories> </c:imgcatmetadata>')); END; / Auf die zusätzlichen Metadaten kann entweder über die dafür angelegte Tabelle oder über einen View auf die Tabelle xdb$resource zugegriffen werden. select * from IMGCATMETADATATABLE; select any_path, extract(res,'/r:resource/c:imgcatmetadata', 'xmlns:r=" xmlns:c="cnamespace"').extract('/*') as Kategorien from resource_view where any_path like '/public/fotos/%'; select count (*) from resource_view where existsnode (RES, '/r:resource/c:imgcatmetadata/categories/organisation[text()="doag"]', 'xmlns:r=" xmlns:c="cnamespace"') = 1; Bestandteil der Metadaten sind auch die sogenannten ACLs (Access Control Lists). ACLs sollen im nachfolgenden Kapitel "Benutzerberechtigungen" separat behandelt werden. 6. Benutzerberechtigungen Das Konzept der Benutzerberechtigungen besteht aus zwei Komponenten, zum einen aus der Authentifizierung und zum anderen aus den Rechten des betreffenden Benutzers auf Folder und Dateien innerhalb des virtuellen Filesystems. Die Authentifizierung erfolgt über Datenbankbenutzer, Datenbankrollen oder LDAP basiert. Die Rechte an Foldern und Dateien werden durch ACLs (Access Control Lists) definiert. ACLs bestehen ihrerseits aus ACEs (Access Control Entities). Es werden Schreib- und 8

9 Leserechte für die Inhalte und die Eigenschaften der betr. Resourcen unterschieden (dazu gehören auch die ACLs selber, die genau wie andere Resourcen in der Tabelle xdb$resource gespeichert sind und über das virtuelle Filesystem adressiert werden können). Die folgenden ACLs sind vordefiniert: - /sys/acls/bootstrap_acl.xml gewährt allen Benutzer Leserechte und darüber hinaus alle Rechte an die Rolle xdbadmin - /sys/acls/all_all_acl.xml gewährt alle Rechte an alle Benutzer - /sys/acls/all_owner_acl.xml gewährt dem Eigentümer der betr. Resource alle Rechte - /sys/acls/ro_all_acl.xml gewährt allen Benutzern Leserechte Bei der Definiton eigener ACLs können die nachfolgenden Rechte (sowohl elementare als auch zusammengefaßte Rechte) verwendet werden. elementare Rechte zusammengefaßte Rechte all dav:all dav:read dav:read-acl dav-write dav-write-acl read-properties Lesen von Resourcen- X X X Eigenschaften read-contents Lesen von Resourcen-Inhalten X X X update Ändern von Resourcen-Inhalten und -Eigenschaften X X X link Verlinken von Teilbäumen X X X unlink Löschen von Links auf Teilbäume X X X linkto Verlinken einzelner Resourcen X unlink-from Löschen von Links auf Resourcen X X X read-acl Lesen von Resourcen-ACLs X X X write-acl-ref Ändern von Resourcen-IDs X X X update-acl Ändern von Resourcen ACLs X X X resolve Navigieren durch Teilbäume X X X dav:lock dav:unlock Sperren einer Resource durch WebDAV-Sperren Entsperren einer Resource durch WebDAV-Sperren X X X X Rechte können gewährt und entzogen werden. Wenn ein "zusammengefaßtes Recht" gewährt worden ist, können eines oder mehrere enthaltenen Rechte explizit wieder entzogen werden. 9

10 Die Rechteverwaltung läßt sich programmtechnisch oder mit Unterstützung durch den Oracle Enterprisemanager durchführen. An dieser Stelle soll der Enterprisemanager zur Verdeutlichung eines Beispiels herangezogen werden. Für das Beispiel soll die ACL "acl_hr.xml" verwendet werden, die vorbereitend im sys Folder des Repositories unter ACLs eingestellt worden ist. Abb. 7: Verzeichnis der ACLs, über den Browser angezeigt Diese ACL beinhaltet zunächst ausschließlich Rechte für den Benutzer XDB. Diese Rechte sollen um Leserechte für den Benutzer HR erweitert werden. Die Rechte werden anschließend wieder eingeschränkt, um die Wirkung zu zeigen, die durch das Entziehen von Rechten eintritt. Abb. 8: anfänglicher Inhalt der ACL "acl_hr.xml" 10

11 Die ACL "acl_hr.xml" wird der Resource purchaseorder.xml zugeordnet. Dies geschieht nachfolgend über den Enterprisemanager. Abb. 9: die ACL "acl_hr.xml" wird der Datei "purchaseorder.xml" zugeordnet Der Benutzer XDB kann diese Datei nun ansehen, der Benutzer HR erhält die Meldung, daß er nicht authorisiert ist. Abb. 10: Fehlermeldung beim Zugriff auf die Datei "purchaseorder.xml" Nun werden dem Benutzer HR Leserechte gegeben. 11

12 Abb. 11: Rechtevergabe über den Enterprisemanager Der Benutzer HR kann auf die Datei purchaseorder.xml zugreifen. Das Recht dav:read setzt sich aus den Einzelrechten read-properties, read-contents und resolve zusammen. Mindestrechte zum Lesen einer Resource sind read-properties und resolve. Sobald dem Benutzer HR die read-properties entzogen werden, erhält er beim Versuch, die Datei purchaseorder.xml zu lesen, erneut die Nachricht, daß er nicht dazu berechtigt ist. 12

13 Abb. 12: Entziehen von Rechten über den Enterprisemanager 7. Zugriff auf Inhalte von Tabellen in der Datenbank über die Folderstruktur des Repositories Da das virtuelle Filesystem der Oracle XML DB einen integralen Bestandteil der Oracle DB darstellt, kann programmtechnisch vom Repository aus auf Tabellen in der Datenbank zugegriffen werden. Standardmäßig ist dies bei XML Schema basierten Tabellen der Fall (bitte Ausnahmen dazu beachten). Ein direkter Zugriff durch das virtuelle Filesystem kann für Objekttabellen und Objekt-Views auf Tabellen eingerichtet werden. Eine Alternative besteht darin, bestehende Datenbank-Objekte in XML Dokumente umzuwandeln und in das Repository zu kopieren. Nachfolgend möchte ich drei Beispiele zeigen. In allen Beispielen wird auf die Tabelle employees zugegriffen, die als Demotabelle bei der Installation der Oracle Datenbank mitgeliefert wird. Im ersten Beispiel soll ein einzelner Datensatz aus der Tabelle in das Repository eingestellt werden. Im zweiten Beispiel wird ein ganzer Bereich von Datensätzen als XML Dokumente in das virtulle Filesystem kopiert. Zum Abschluß werden Referenzen auf Datensätze in der Tabelle employees in das Filesystem eingestellt. Beispiel 1: ein Datensatz wird in ein XML-Dokument umgewandelt und in das Filesystem eingestellt 13

14 declare res boolean; xmldoc xmltype; begin select value(e) into xmldoc from table (XMLSequence(Cursor(SELECT * from hr.employees WHERE employee_id = 201))) e; res:= DBMS_XDB.createresource('/doag/Demo_1/emptest.xml', xmldoc); commit; end; / Beispiel 2: eine Reihe von Datensätzen wird in XML-Dokumente umgewandelt und in das Filesystem eingestellt declare res boolean; xmldoc xmltype; begin for i in ( select e.employee_id as Pers_No, XMLELEMENT ("Mitarb", XMLATTRIBUTES (e.employee_id as "Pers_Nr"), XMLELEMENT("Name", e.first_name ' ' e.last_name), XMLELEMENT("Gehalt", e.salary), XMLELEMENT ("Einst_Datum", e.hire_date), XMLELEMENT ("Abteilung", d.department_name)) as xmldoc from employees e, departments d where e.department_id= d.department_id and e.salary > ) loop res:= DBMS_XDB.createresource('/doag/fest/Mitarb_' i.pers_no '.xml', i.xmldoc); end loop; end; / Beispiel 3: für eine Reihe von Datensätzen wird ein XML Type View erzeugt; Referenzen auf diese View werden in das Filesystem eingestellt; zudem wird in die Referenzen ein Verweis auf ein Stylesheet eingebunden; die Anzeige der Dokumente erfolgt unter Berücksichtigung der Stylesheetinformation; die Ansicht entspricht auf diese Weise derjenigen aus Abb. 6 14

15 create or replace view Emp_view of XMLType with OBJECT ID as select XMLRoot( XMLCONCAT (XMLSEQUENCETYPE ( XMLPI(NAME "xml-stylesheet", 'type="text/xsl" href="mitarb.xsl" '), XMLELEMENT ("Mitarb", XMLATTRIBUTES (e.employee_id as "Pers_Nr"), XMLELEMENT("Name", e.first_name ' ' e.last_name), XMLELEMENT("Gehalt", e.salary), XMLELEMENT ("Einst_Datum", e.hire_date), XMLELEMENT ("Abteilung", d.department_name) ) ) ), version '1.0', standalone yes) as xmldoc from employees e, departments d where e.department_id= d.department_id and e.salary > 10000; declare result boolean; begin for i in ( select ref(e) as reference, extractvalue(value(e), '/Mitarb/@Pers_Nr') as Pers_Nr from emp_view e ) loop result := dbms_xdb.createresource( '/doag/referenz '/Mitarb_' i.pers_nr '.xml', i.reference ); end loop; end; / Zu diesen Beispielen sind eine Vielzahl von Varianten möglich. Insbesondere soll in diesem Zusammenhang darauf hingewiesen werden, daß XML Type Views auch gegen ein XML Schema definiert werden können. Ergänzend könnte z.b. eine Übersicht über alle ausgewählten Mitarbeiter erstellt und in das Repository eingestellt werden (s. Abb. 13). 8. Beispiel für eine HTML basierte Anwendung im virtuellen Filesystem der Oracle DB Die oben gezeigte Mitarbeiterliste hat einen statischen Charakter. Ein Beispiel für eine Anwendung, die ein dynamisches Element enthält, soll im Browser gezeigt werden. Es 15

16 handelt sich um eine HTML-Anwendung, die direkt auf die Tabelle employees in der Oracle Datenbank zugreift, und neben Stylesheets auch javascript verwendet. Abb. 13: Übersicht über alle ausgewählten Mitarbeiter Abb. 14: HTML basierte Anwendung mit Auswahlfunktion für die Abteilung 16

17 8. Zusammenfgassung Viele Möglichkeiten zur Gestaltung bietet das virtuelle Filesystem in der Oracle Datenbank. Die Einbindung in die Umgebung der Oracle XML DB und damit der Oracle Datenbank ermöglicht neben den Funktionalitäten des Filesystems auch programmtechnische Verarbeitungen und die Anbindung an bestehende, Datenbank basierte Lösungen. Die Oracle Datenbank verfügt über integrierte HTTP- und ftp-server, sodaß ohne weitere Installationen Web fähige Anwendungen erstellt werden können. Die betreffenden Standards für die Gestaltung von statischen und dynamischen Internet Seiten werden unterstützt. HTTPs, LDAP und Access Control Lists bilden Grundlagen für Sicherheit und Zugriffsschutz. Kontaktadresse: Annegret Warnecke Oracle Deutschland GmbH Schloßstr Berlin Telefon: +49(0) Fax: +49(0) annegret.warnecke@oracle.com Internet: 17