SQL und PL/SQL Erweiterungen in Oracle Database 10g

Transkript

1 SQL und PL/SQL Erweiterungen in Oracle Database 10g Ulrike Schwinn Oracle Deutschland GmbH Business Unit Datenbank München Schlüsselwörter Reguläre Ausdrücke, native Gleitkommazahlen, LOB-Erweiterungen, MODEL-Klausel, MERGE- Kommando, FLASHBACK TABLE-Kommando, Flashback Query, native PL/SQL-Kompilierung Zusammenfassung Die SQL- und PL/SQL-Features in Oracle Database 10g basieren nicht auf einem einzigen neuen Konzept, sondern bestehen aus einer Vielzahl von einzelnen Neuerungen in verschiedenen Bereichen. Diese Features wurden besonders im Hinblick auf Performance- und Größen- Anforderungen aus den Bereichen Content Management, Business Intelligence, E-Business und Biowissenschaften implementiert. In diesem Artikel wird besonders auf die regulären Ausdrücke, nativen Datentypen, den LOB- Erweiterungen, der neuen Model-Klausel und den PL/SQL-Performance-Features eingegangen. Reguläre Ausdrücke in Oracle Ein regulärer Ausdruck (engl: regular expression) ist eine Folge von normalen Textzeichen und/oder Spezialzeichen, mit deren Hilfe komplexe Textmuster beschrieben werden können. Mit regulären Ausdrücken lassen sich sehr komplexe Textmuster definieren, nach denen ein Text durchsucht werden kann. Mögliche Einsatzgebiete für regular expressions sind z.b.: - das Suchen bestimmter Muster in einer Zeichenkette (engl: matching) - das Extrahieren bestimmter Muster aus Zeichenketten - das Ersetzen von bestimmten Mustern bzw. Zeichen (engl: substitution) Ein Beispiel für ihre Anwendung wären Webapplikationen, bei denen die Daten aus der Datenbank gefiltert und zur Darstellung formatiert werden müssten. Ohne reguläre Ausdrücke in der Datenbank würde die Formatierung auf der Applikationsseite erfolgen. Mit regulären Ausdrücken kann eine zentrale View zur Verfügung gestellt werden, damit die Logik zentral im Datenbankserver zur Verfügung steht. Umgekehrt könnten sogar Datenbank Constraints dazu benutzt werden, um nur bestimmte, den regulären Ausdrücken entsprechende Daten in der Tabelle abzuspeichern.

2 Die meisten Implementierungen beruhen auf dem POSIX- basierenden regulären Ausdrücken und lassen Raum für verschiedene Interpretationen. Um Kompatibilität sicherzustellen, hat Oracle sich für den auf POSIX ERE (Extended Regular Expression) basierenden Standard entschieden. Nutzung regulärer Ausdrücke Oracles reguläre Ausdrücke sind in SQL und PL/SQL verfügbar und unterstützen die Datentypen CHAR, VARCHAR2, CLOB, NCHAR, NVARCHAR und NCLOB. Dazu wurden die existierenden SQL-Funktionen LIKE, SUBSTR, INSTR und REPLACE durch folgende neue Funktionen erweitert: REGEXP_LIKE stellt ähnlich wie der LIKE-Operator fest, ob Muster sich gleichen REGEXP_SUBSTR gibt Teilstrings aus, die dem Muster entsprechen REGEXP_INSTR stellt fest an welcher Stelle das Muster eine Entsprechung findet REGEXP_REPLACE sucht und ersetzt Muster Darüber hinaus können PL/SQL- Prozeduren geschrieben werden, um den bestehenden Funktionsumfang zu erweitern. Folgende Liste gibt einige Beispiele für Spezialzeichen, die zur Mustererstellung dienen können. Die vollständige Liste ist in Appendix C in der Oracle Database SQL-Referenz zu finden: Operatoren Beschreibung \ Bedeutungen sind möglich: \ * 0 oder mehr Vorkommen + 1 oder mehr Vorkommen? 0 oder 1 Vorkommen Definiert neuen Operator Definiert nachfolgenden Operator als normales Zeichen a b Alternierend, entweder a oder b ^ Zeichen am Anfang $ Zeichen am Ende. Beliebiges Zeichen [abc] Entweder a oder b oder c ( ) Gruppiert einen Ausdruck {m} Genau m Mal {m,} Mindestens m Mal {m,n} Mindestens m Mal und nicht mehr als n Mal [:cc:] Genügt der Klasse cc, cc steht z.b. für alpha (= alle alphabetische Zeichen) oder digit (=Zahlen) Abb. 1: Operatoren und Metasymbole Folgende Beispiele sollen die Verwendung der Funktionen illustrieren: 1) Beispiele für REGEXP_LIKE Es sollen alle Namen ausgegeben werden, die mit J beginnen und auf S enden, den Buchstaben N oder M enthalten und dazwischen genau ein beliebiges Zeichen erlauben:

3 SQL>SELECT ename FROM emp 2>WHERE REGEXP_LIKE (ename,'^j.[n M].S$'); ENAME JONES JAMES Folgendes Spaltenconstraint soll sicherstellen, dass ausschließlich alphabetische Zeichen eingegeben werden können. SQL> CREATE TABLE usertab (username Varchar2(20) 2 CHECK(REGEXP_LIKE(username, '^[[:alpha:]]+$'))); Table created. SQL>INSERT INTO usertab VALUES ('user_name'); * ERROR at line 1: ORA-02290: check constraint (SCOTT.SYS_C006783) violated SQL> INSERT INTO usertab VALUES ('username'); 1 row created. 2) Beispiel für REGEXP_REPLACE Die ersten 5 Ziffern der Telefonnummern des Angestellten SMITH sollten sein: SQL>SELECT phone_number, 2>REGEXP_REPLACE(phone_number, 3>'([[:digit:]]{3})\.([[:digit:]]{2})\.','01144-') telefon 4>FROM employees WHERE last_name='smith'; PHONE_NUMBER TELEFON Performanceaspekte regulärer Ausdrücke Der große Funktionsumfang und die Komplexität und damit der interne höhere Rechenaufwand machen deutlich, dass die Nutzung dieser Funktionen zu einer langsameren bzw. kostenintensiveren Ausführung führen könnten. Ausgenommen ist die REGEXP_LIKE- Funktion, da diese nur die Existenz eines Musters als Boolesches Resultat liefern muss. Die Nutzung von Indizes beschränkt sich auf function based- Indizes. Diese Indizes basieren auf Resultaten, die mithilfe von Ausdrücken angewendet auf eine Spalte errechnet wurden. Folgendes Statement zeigt ein Beispiel eines function based- Index, der einen regulären Ausdruck verwendet. SQL> create index emp_idx on 2> emp_tab (regexp_substr(last_name,'^s[[:alpha:]]+nn$')); Index created.

4 Reguläre Ausdrücke sind immer dann als eine Alternative zu bevorzugen, wenn sie als Ersatz von komplexem Programmcode bzw. einer großen Anzahl von SQL-Statements fungieren können. LOB-Erweiterungen Um den wachsenden Anforderungen im Content Management Bereich speziell im Medienbereich gerecht zu werden, wurde die maximale Größe des LOB-Datentyps, das sind BLOBs, CLOBs und NCLOBS, angehoben. Vor Oracle Database 10g war die Grenze des LOB-Datentyps bei 4 Gigabytes (oder 2^32-1). In Oracle Database 10g wird abhängig von der Datenbankblockgröße, die zwischen 2K und 32K liegt, eine maximale Größe zwischen 8 und 128 Terabytes unterstützt. Berechnet wird die maximale Größe durch folgende Formel: Max Lob Größe= (4GB-1)* DB_BLOCK_SIZE Diese LOB-Erweiterungen werden in folgenden Programmiersprachen unterstützt: SQL und PL/SQL durch das DBMS_LOB Paket Java durch JDBC-Klassen C durch erweiterte OCI Calls Konvertierungen von LOBs zwischen Datenbank- und dem National Datenbank-Zeichensatz ist seit Oracle 9i immer häufiger genutzt worden. Bisher gibt es eine Unterstützung durch explizite Konvertierung zwischen CLOB und NCLOB durch die Funktionen TO_CLOB und TO_NCLOB. Oracle Database 10g liefert zur Vereinfachung implizite Konvertierung für SQL IN- und OUT- Bind-Variablen, für PL/SQL Funktionen wie auch für PL/SQL Variablen-Zuweisung an. Neue Oracle Datentypen In früheren Oracle Releases war der Oracle Datentyp NUMBER der einzige numerische Datentyp, der in der Datenbank unterstützt wurde. Sprachen wie Java und XML sind allerdings in der Lage den IEEE (kurz für Institute of Electrical and Electronics Engineers) 754 Standard für binäre Fließkomma-Arithmetik zu nutzen. Darüber hinaus fordern Anwendungen im Bereich Bio- und Umwelt-Wissenschaften, OLAP und Data Mining die Einführung von Fließkommadatentypen. Oracle hat Oracle Database 10g zwei neue native Fließkommadatentypen eingeführt: BINARY_FLOAT nach dem 32 Bit IEEE 754 Format und BINARY_DOUBLE nach dem 64 Bit IEEE 754 Format. Gleitkommzahlensysteme sind ein übliches Verfahren um numerische Werte in Computersystemen darzustellen und zu manipulieren. Gleitkommazahlen sind durch die drei Komponenten Vorzeichenstelle, Exponent und Mantisse definiert: Gleitkommazahl= Mantisse * Basis^ Exponent Im Unterschied zum Datentyp NUMBER, der die Basis 10 verwendet, nutzen die neuen binären Gleitkommazahlen die Basis 2 und liefern damit eine höhere Präzision. Darüber hinaus benötigen BINARY_FLOAT und BINARY_DOUBLE weniger Speicherplatz nämlich zwischen 5 und 9 Bytes im Gegensatz zum Oracle Datentyp NUMBER, der zwischen 1 Byte und 22 Bytes benötigt. IEEE bietet zudem eine größere Funktionenvielfalt um numerische Algorithmen zu schreiben.

5 Komplexe SQL-Berechnungen mit der Oracle SQL-MODEL-Klausel Viele Anwendungen benötigen Berechnungen, die nur schwierig in SQL abzubilden sind. Beispiele sind Berechnungen von Marktanteilen, Budgetberechnungen und Umsatzprognosen. Verschiedene Hierarchieebenen der Produkte oder der geographischen Gegebenheiten können nur mithilfe von komplexen JOIN und UNION-Operationen oder gar durch Berechnung außerhalb der Datenbank in Tabellenkalkulationsprogrammen durchgeführt werden. Um diesen Herausforderungen zu begegnen, ist die MODEL-Klausel in Oracle Database 10g als SQL-Erweiterung hinzugefügt worden. Diese Art der Berechnungen in der Datenbank durchzuführen, erleichtert die Administration und sichert die Integrität der Daten. Darüber hinaus können die Systemressourcen durch Einsatz von Parallelisierung effizient zur Berechnungen der MODEL-Klausel genutzt werden. Das Konzept lässt sich am besten durch ein einfaches Beispiel anhand unserer Beispiel- Schemadaten im Star-Schema SH erklären. Es wird angenommen, dass pro Land eine Tabellenkalkulation mit Einträgen über Produkte und den Verkauf in den Jahren 1998 bis 2001 existiert. Die Daten, die in folgendem Beispiel genutzt werden, werden über folgende View SALES_VIEW im SH Schema zur Verfügung gestellt: SQL> CREATE VIEW sales_view AS SELECT country_name country, prod_name prod, calendar_year year, SUM(amount_sold) sale, COUNT(amount_sold) cnt FROM sales, times, customers, countries, products WHERE sales.time_id = times.time_id AND sales.prod_id = products.prod_id AND sales.cust_id = customers.cust_id AND customers.country_id = countries.country_id GROUP BY country_name, prod_name, calendar_year; Zum leichteren Verständnis sind die relevanten Daten in folgender Abbildung als Excel-Tabelle dargestellt worden:

6 Abb 2: Tabellendaten für das Land Deutschland und die Produkte Bottle und Hair Dryer Um die Berechnungen durchzuführen, werden die Spalten einer Abfrage in folgende 3 Gruppen eingeteilt: 1) PARTITION definiert die logischen Bereiche der Resultatmenge. Da pro Land eine Tabellenkalkulationen durchgeführt werden soll, entspricht die Partition der COUNTRY- Spalte. 2) DIMENSION identifiziert die Zellen innerhalb einer Partition. In unserem Beispiel ist die Zelle durch die PROD- und YEAR- Spalte definiert. 3) MEASURE enthält die Werte, die neu berechnet oder modifiziert werden. In unserem Beispiel sind dies die Werte in der Excel- Tabelle und entsprechen der SALE Spalte in der SALES_VIEW. Die Umsätze für die Produkte Bottle und Hair Dryer sollen für das Jahr 2004 in den Ländern Deutschland und Japan prognostiziert werden. Die Prognose für das Produkt Bottle berechnet sich aus der Summe der Jahre 2001 und 2000; für Hair Dryer ergibt sich die Berechnung aus dem Verkauf im Jahre Folgendes Statement berechnet diese Anforderungen mithilfe der MODEL-Klausel: SQL> SELECT country, prod, year, sales 2 FROM sales_view 3 WHERE country IN ('Germany','Japan') 4 MODEL RETURN UPDATED ROWS 5 PARTITION BY (country) 6 DIMENSION BY (prod, year)

7 7 MEASURES (sale sales) 8 RULES UPSERT 9 (sales['bottle',2004]=sales[prod='bottle',year=2001]+ 10 sales[prod='bottle',year=2000], 11 sales['hair Dryer',2004]=sales[prod='Hair Dryer',year=2000]); COUNTRY PROD YEAR SALES Germany Hair Dryer Germany Bottle Japan Hair Dryer Japan Bottle Folgende Kennzeichen und Regeln wurden bei der Ausführung benutzt: Die Klausel RULES leitet die Tabellenberechnungen für die einzelnen Partitionen ein. Die Klausel RETURN UPDATED ROWS ist sinnvoll, falls, wie in unserem Fall nur Interesse an der Prognose und den veränderten Werten bestehen. Das Standardverhalten zeigt immer alle Zellen an. UPSERT wird immer dann verwendet, wenn die Zeile noch nicht existiert und hinzugefügt werden müsste. Wichtig ist hierbei, dass kein DML an den Original- Tabellen durchgeführt wird. Möchte man sich mit den Berechnungen auf mehrere Zellenwerte gleichzeitig beziehen, besteht die Möglichkeit dies in der Zellenreferenz durchzuführen, wie folgendes Beispiel demonstriert: sales['bottle',year between 1995 and 2002] =sales[prod='bottle',year=2002]+ sales[prod='bottle',year=2000] Die neue MODEL-Funktion CV() spielt bei der gleichzeitigen Berechnung mehrerer Zellen eine wichtige Rolle. Die Werte der linken Seite der Formel werden dann als Spezifikation für die rechte Seite festgelegt: sales['bottle',year between 1995 and 2002] = 10*sales[prod='Hair Dryer',CV(year)] In unserem Beispiel bedeutet dies für die Berechnung des Produkts Bottle im Jahr 1995, dass das Zehnfache des Verkaufs von Hair Dryer des Jahres also 1995 zugrunde gelegt wird: sales['bottle',year between 1995] =10*sales[prod='Hair Dryer',1995] Die angegebenen Beispiele sollen einen ersten Einblick über die Techniken und Möglichkeiten, die durch die MODEL-Klausel in der Datenbank zur Verfügung stehen. In Verbindung mit den analytischen Funktionen kann diese Technik besonders für den Data Warehousing- Bereich verfeinert werden. Die Handbücher Oracle Database SQL Reference und Data Warehousing Guide geben einen vollständigen Überblick über Syntax und den Funktionsumfang.

8 Kommando-Erweiterungen in Oracle Database 10g Vergleichbar mit früheren Release bietet auch Oracle Database 10g neue und erweiterte Kommandos um die Programmierung zu vereinfachen un deffizienter zu gestalten. Im folgenden Abschnitt wollen wir uns auf die beiden Beispiele MERGE und FLASHBACK konzentrieren. Das MERGE-Kommando Das MERGE-Kommando, das in Oracle9i eingeführt worden ist, bietet die Möglichkeit, mit einem einzigen Kommando Daten aus einer oder mehrerer Quellen zu selektieren und ein UPDATE oder INSERT in eine oder mehrere Quellen durchzuführen. Dabei können Bedingungen angegeben werden, wann ein UPDATE bzw. INSERT an den Zieltabellen ausgeführt werden soll. Neu in Oracle Database 10g ist, dass zusätzlich ein DELETE-Statement in der UPDATE-Klausel möglich geworden ist. Folgendes Beispiel erläutert die Anwendung: MERGE INTO bonuses D USING (SELECT employee_id, salary, department_id FROM employees WHERE department_id = 80) S ON (D.employee_id = S.employee_id) WHEN MATCHED THEN UPDATE SET D.bonus = D.bonus + S.salary*.01 DELETE WHERE (S.salary > 8000) NEU WHEN NOT MATCHED THEN INSERT (D.employee_id, D.bonus) VALUES (S.employee_id, S.salary*0.1) WHERE (S.salary <= 8000); Flashback-Erweiterungen Die mit Oracle9i Flashback Query eingeführten SQL-Erweiterungen ermöglichen es, Daten zu einem speziellen früheren Zeitpunkt zu selektieren. Dadurch ist es möglich geworden mit einfacher Programmlogik, Fehlerkorrekturen an Daten durchzuführen. Auf Sessions-ebene liefert Oracle das DBMS_FLASHBACK- Packet, auf Objektebene steht die SQL-Erweiterung AS OF zur Verfügung, um Daten zu einem früheren Zeitpunkt zu selektieren. In folgendem Beispiel wird der versehentlich gelöschte Eintrag des angestellten John wieder eingefügt: INSERT INTO employees (SELECT * FROM employees AS OF TIMESTAMP to_timestamp(' :00:00','dd-mm-yyyy hh24:mi:ss') WHERE first_name = 'JOHN') Vor Oracle Database 10g ist dies allerdings auf eine einzige Version der Daten pro Statement beschränkt. Die neuen SQL-Erweiterungen VERSIONS BETWEEN SCN und VERSIONS BETWEEN TIMESTAMP in Oracle Database 10g hingegen ermöglichen es, mehrere Versionen von Daten auf einmal abzufragen und zusätzlich Informationen über die korrespondierenden Transaktionen zu erhalten.

9 Das folgende Beispiel zeigt die verschiedenen Versionen der DEPTNO-Spalte und die zugehörige Transaktions-ID: SQL> SELECT deptno, dname, versions_operation o, 2> versions_starttime FROM dept 3> VERSIONS BETWEEN TIMESTAMP minvalue AND maxvalue DEPTNO DNAME O VERSIONS_STARTTIME BU U 21-OCT PM 1 BU I 21-OCT PM 10 ACCOUNTING 20 RESEARCH 30 SALES 40 OPERATIONS 6 rows selected. Neue Pseudospalten wie VERSIONS_OPERATION helfen, zusätzliche Informationen über die Transaktionen zu erhalten. Weitere Beispiele für nützliche Pseudospalten zeigt die folgende Liste: VERSIONS_STARTTIME: Startzeit bei Erzeugen der ersten Version VERSIONS_STARTSCN: Start-SCN der ersten Version VERSIONS_OPERATION: Operationskennziffer : U für UPDATE, D für DELETE und I für INSERT In Verbindung mit dem neuen FLASHBACK TABLE- Kommando besteht dann die Möglichkeit, eine Tabelle oder mehrere Tabellen zu dem entsprechenden Zeitpunkt zurückzusetzen: Folgendes Kommando zeigt die Verwendung: SQL> FLASHBACK TABLE dept TO TIMESTAMP 2> TO_TIMESTAMP('21-oct-2003, 10:52:52','dd-mon-yyyy, 3> hh24:mi:ss'); Flashback complete. Constraints und Indizes werden während der Operation berücksichtigt. Trigger sind standardmäßig ausgeschaltet, können aber mit der zusätzlichen Option ENABLE TRIGGERS während des Flashbacks aktiviert bleiben. Nur DML-Operationen können auf diese Weise zurückgesetzt werden. DDL-Kommandos wie ALTER TABLE...DROP COLUMN, ALTER TABLE...DROP PARTITION, ALTER TABLE MOVE, TRUNCATE TABLE usw. können damit nicht zurückgeführt werden. Da beim FLASHBACK TABLE- Operationen an Zeilen durchgeführt werden und unter Umständen ROWIDs verändert werden müssen, sollte zuvor row movement eingestellt sein. ALTER TABLE <table_name> ENABLE ROW MOVEMENT

10 Darüber hinaus muss der Nutzer von FLASHBACK TABLE entweder das Systemprivileg FLASHBACK ANY TABLE oder aber die Objektprivilegien FLASHBACK, INSERT, UPDATE und DELETE auf den Tabellen besitzen. Weitere Informationen zum Flashback sind im Artikel Die Zeitmaschine - Oracle Database 10g Flashback zu finden. PL/SQL- Erweiterungen Die Erweiterungen bzgl. PL/SQL lassen sich auf einen Nenner bringen : PL/SQL ist schneller geworden. Schon in Oracle9i mit der Einführung der nativen PL/SQL-Kompilierung ist ein großer Schritt zur Beschleunigung von PL/SQL-Programmen gemacht worden. In Oracle Database 10g ist der Code-Generator vollständig überarbeitet worden und liefert wesentlich effizienteren Code. Der neue Initialisierungsparameter PLSQL_OPTIMIZE_LEVEL mit den Werten 1 und 2 ermöglicht, die Codeoptimierung zu beeinflussen. Der Wert 2, der Standardwert, liefert die optimale Codegenerierung. Dieser ist allerdings mit etwas längerer Kompilierungszeit verbunden. Vor Oracle Database 10g wurden die DLLs, die durch native Kompilierung erzeugt wurden, als Datei auf dem Server zur Verfügung gestellt. Aus Sicherheitsgründen und zur Administrationserleichterung liegen diese nun in der Datenbank und werden auf Anforderung auf dem Server ge-cached. Die Konfigurationsschritte um native PL/SQL-Kompilierung aufzusetzen wurde auf ein Minimum reduziert. Nur noch der Initialisierungsparameter PLSQL_CODE_TYPE (ehemals PLSQL_COMPILER_FLAGS) ist notewendig um zwischen nativem und interpretiertem Modus zu wählen. Die Initialisierungsparameter PLSQL_NATIVE_MAKE_UTILITY, PLSQL_NATIVE_MAKE_FILE_NAME, PLSQL_NATIVE_C_COMPILER und PLSQL_NATIVE_LINKER sind überflüssig geworden, da diese Informationen direkt im Oracle Executable implementiert wurde. Fazit Die neuen SQL-Features, die auch in PL/SQL unterstützt werden, geben dem Anwendungsentwickler die Möglichkeit, komplexe Anwendungen speziell in Warehouse-, Biowissenschaften- und BI-Bereichen einfacher und effizienter zu programmieren. Aufwendiger Programmcode kann zum Beispiel durch Verwendung der regulären Ausdrücke oder der MODEL-Klausel überflüssig werden. Schnelle Verarbeitung von großen Datenmengen, wie üblicherweise von GRID-Anwendungen gefordert wird, spielt eine große Rolle in Oracle Database 10g und wird durch die neuen Techniken und Speichermöglichkeiten unterstützt.

11 Kontaktadresse: Ulrike Schwinn Oracle Deutschland GmbH Riesstr 25 D München Telefon: +49(0) Fax: +49(0) Internet: