Oracle Spatial für DBAs Was sollte man wissen?

Transkript

1 Oracle Spatial für DBAs Was sollte man wissen? Carsten Czarski Consulting Member of technical Staff Oracle Application Express Oracle Deutschland B.V. & Co KG

2 Oracle: Offene Geodaten-Plattform Native Datentypen in der Datenbank Vektordaten und Rasterdaten (Satellitenbilder) Offene Zugriffe mit SQL, Java,.NET,... Enge Integration zwischen Sachdaten und Geodaten Offen und Standardkonform Unterstützt von allen GIS-Systemen SQL SQL GIS 1 GIS 2 Spatial enabled Business Intelligence Eigene Abfragen

3 Oracle Locator und Oracle Spatial Punkte Linien Polygone Web Services (OGC) Geocoding Routing Spatial and Graph Rasterdaten Netzwerke e1 f1 e2 n2 n1 f2 e4 Topologien e3 3D

4 Oracle Geodaten-Plattform: Die Strategie Location-Enabling der Oracle-Produkte Basis: Locator, Spatial and Graph, FMW MapViewer Beispiele: Oracle BI Suite, ebusiness Suite, Primavera, OTM, Oracle Event Processing und mehr... Intensive Partnerschaften In Deutschland und weltweit ISV, SI, Datenlieferanten Commitment zu Standards OGC, SQL, ISO TC-211, TC-204

5 Oracle7 Keine Geodaten- Funktionalität Oracle Spatial: Entwicklung der Funktionalität Oracle11g Spatial Oracle12c Spatial NURBS Raster Algebra HTML5 Maps Oracle9i Spatial Oracle10g Spatial Network Data Model (Routing) Geocoding Raster Data Management 3D-Support Google Integration Oracle8i Spatial Coordinate Transformation Linear Referencing Data type: SDO_GEOMETRY R-Tree Indexing Topology/Distance Operators

6 Oracle Spatial-Technologie Lizensierung Oracle Locator Alle Editionen (XE, SE-1, SE-2, PE, SE, EE) Oracle Spatial Lizenzpflichtige Option (EE) Geocoding, Rasterdaten, Topology Data Model, Network Data Model, Linear Referencing Oracle MapViewer Oracle Fusion Middleware - Alle Editionen Welche Funktionen enthält der "Locator"? Oracle Spatial Developers' Guide, App. B

7 Oracle Spatial Schema MDSYS MDSYS ist das Systemschema für Oracle Spatial Hält Metadaten für Oracle Spatial und Logik für den Umgang mit Geodaten Im Schema MDSYS werden keine Geodaten abgelegt Account sollte immer LOCKED sein Sowohl Locator (alle Editionen) als auch Spatial & Graph nutzen MDSYS Vorhandensein von MDSYS kein Indiz für Spatial & Graph Option Spatial & Graph sowie Locator können manuell deinstalliert und installiert werden

8 Oracle Spatial - Datentyp SDO_GEOMETRY Tabelle Gemeinde ID NAME GRENZE NUMBER VARCHAR2 SDO_GEOMETRY SDO_GTYPE SDO_SRID SDO_POINT SDO_ELEM_INFO SDO_ORDINATES NUMBER NUMBER SDO_POINT_TYPE SDO_ELEM_INFO_ARRAY SDO_ORDINATE_ARRAY

9 Oracle Spatial: OGC Simple Features Geometrische Elemente Punkt Linenzug Kreisbogen Zus.ges. Linienzug Parametrisierte Kurve Polygon Polygon "mit Loch" Zus.Ges. Polygon Optimiertes Polygon

10 Wie werden Geodaten tatsächlich gespeichert...? SQL> select column_name, data_type from user_tab_columns where table_name='m_admin_area4' COLUMN_NAME DATA_TYPE FEATURE_ID NUMBER : : COUNTRY_CODE_3 GEOMETRY VARCHAR2 SDO_GEOMETRY SDO_GTYPE SDO_SRID SDO_POINT SDO_ELEM_INFO SDO_ORDINATES NUMBER NUMBER SDO_POINT_TYPE SDO_ELEM_INFO_ARRAY SDO_ORDINATE_ARRAY

11 Wie werden Geodaten tatsächlich gespeichert...? SQL> select column_name, data_type, hidden_column, qualified_col_name from user_tab_cols 2 where table_name='m_admin_area4 COLUMN_NAME DATA_TYPE HID QUALIFIED_COL_NAME AREA_ID NUMBER NO AREA_ID : COUNTRY_CODE_3 VARCHAR2 NO COUNTRY_CODE_3 GEOMETRY SDO_GEOMETRY NO GEOMETRY SYS_NC00008$ NUMBER YES "GEOMETRY"."SDO_GTYPE" SYS_NC00009$ NUMBER YES "GEOMETRY"."SDO_SRID" SYS_NC00010$ NUMBER YES "GEOMETRY"."SDO_POINT"."X" SYS_NC00011$ NUMBER YES "GEOMETRY"."SDO_POINT"."Y" SYS_NC00012$ NUMBER YES "GEOMETRY"."SDO_POINT"."Z" SYS_NC00013$ SDO_ELEM_INFO_ARRAY YES "GEOMETRY"."SDO_ELEM_INFO" SYS_NC00014$ SDO_ORDINATE_ARRAY YES "GEOMETRY"."SDO_ORDINATES"

12 Wie werden Geodaten tatsächlich gespeichert...? SQL> select column_name, data_type, hidden_column, qualified_col_name from user_tab_cols 2 where table_name='m_admin_area4 COLUMN_NAME DATA_TYPE HID QUALIFIED_COL_NAME AREA_ID NUMBER NO AREA_ID : COUNTRY_CODE_3 VARCHAR2 NO COUNTRY_CODE_3 GEOMETRY SDO_GEOMETRY NO GEOMETRY SYS_NC00008$ NUMBER YES "GEOMETRY"."SDO_GTYPE" SYS_NC00009$ SQL> select NUMBER column_name, segment_name YES "GEOMETRY"."SDO_SRID" from user_lobs SYS_NC00010$ 2 where NUMBER table_name='m_admin_area4' YES "GEOMETRY"."SDO_POINT"."X" SYS_NC00011$ NUMBER YES "GEOMETRY"."SDO_POINT"."Y" SYS_NC00012$ COLUMN_NAME NUMBER YES "GEOMETRY"."SDO_POINT"."Z" SEGMENT_NAME SYS_NC00013$ SDO_ELEM_INFO_ARRAY YES "GEOMETRY"."SDO_ELEM_INFO" SYS_NC00014$ "GEOMETRY"."SDO_ELEM_INFO" SDO_ORDINATE_ARRAY YES "GEOMETRY"."SDO_ORDINATES" SYS_LOB C00013$$ "GEOMETRY"."SDO_ORDINATES" SYS_LOB C00014$$

13 Wieviel Platz verbrauchen meine Geometry-Tabellen...?

14 Wieviel Platz verbrauchen meine Geometry-Tabellen...? SQL> select segment_name, segment_type, alloc_bytes 2 from table (get_space_info('m_admin_area4')) SEGMENT_NAME SEGMENT_TYPE ALLOC_BYTES M_ADMIN_AREA4 TABLE SYS_LOB C00013$$ LOBSEGMENT SYS_LOB C00014$$ LOBSEGMENT SYS_IL C00013$$ LOBINDEX SYS_IL C00014$$ LOBINDEX

15 Wichtig im Geodaten-Umfeld: Gültige Geometrien...? Geometrie-Objekte (vor allem Polygone) können ungültig sein Selbstkreuzende Polygone Richting der Stützpunkte ist falsch Doppelte Stützpunkte Ungültige Polygone können zu falschen Ergebnissen führen Algorithmen für räumliche Funktionen werden "aufs Kreuz gelegt" Gültigkeit der Geometrien regelmäßig prüfen bzw. sicherstellen SDO_GEOM.VALIDATE_GEOMETRY_WITH_CONTEXT Trigger, Scheduler-Jobs, etc.

16 Ungültige Geometrien in einer Tabelle Ungültige Geometrien SQL> select substr(sdo_geom.validate_geometry_with_context(geometry,1), 1, 6), count(*) from m_admin_area3 group by substr(sdo_geom.validate_geometry_with_context(geometry,1), 1, 6); SUBSTR(SDO_GEOM.VALIDATE COUNT(*) TRUE Zeilen ausgewählt. $ oerr ora , 00000, "adjacent points in a geometry are redundant" // *Cause: There are repeated points in the sequence of coordinates. // *Action: Remove the redundant point.

17 Räumliche Funktionen in SQL Topologische Operatoren Inside Contains Touch Disjoin Covers Covered By Equal Overlap Boundary Inside Distanz-Operatoren Within Distance Nearest Neighbor Within Distance

18 Räumliche SQL-Abfragen Welche Bundesländer grenzen an NRW? select l1.name from laender l1, laender l2 where l2.name='nrw' and sdo_relate( l1.grenze, l2.grenze, 'mask=touch' )='TRUE' Abfrageoptimierung durch räumlichen Index

19 Räumliche SQL-Abfragen Welche Kunden mit Umsatz sind in Brandenburg? select name, umsatz from customers c, geo_laender gl where sdo_anyinteract(c.geometry, gl.geometry) = 'TRUE' and gl.feature_name='brandenburg' and umsatz is not null and umsatz > 0 NAME UMSATZ Freie Tanke 4876 Marhoul 4798 Tankstelle Schönefeld 4598 Tankstelle Dreieck Havelland 7896 : :

20 Spatial Index: Aufbau des R-Tree-Index a root R b R S c S d a b c d root Zeiger auf Geometrien

21 Spatial-Index: Primär- und Sekundärfilter Optimizer-"Shortcut": SDO_FILTER Geodaten Primary Filter Spatial Index Reduced Data Set Secondary Filter Spatial Functions Exact Result Set Index-Lookup Berechnungen (CPU!)

22 Spatial-Operator: Die Reihenfolge der Spalten ist wichtig! Spatial-Operatoren nehmen zwei Geometry-Parameter 1. Parameter: Tabellenspalte, in der gesucht wird muss Spatial-Indiziert sein! 2. Parameter: Geometry-Objekt, anhand dessen gesucht wird. Selektivität beachten! select name, umsatz from customers c, geo_laender gl where sdo_anyinteract(c.geometry, gl.geometry) = 'TRUE' NAME UMSATZ Freie Tanke 4876 Marhoul 4798 : :

23 Der Spatial Index ist ein Domain Index Domain Indexes nutzen das Extensible Indexing Framework create index sx_geodaten on geodaten_tabelle (spalte) indextype is mdsys.spatial_index Mythen und Fakten zu Domain Indexes... Domain Indizes bringen Einschränkungen mit sich (bspw. Partitioning) Domain Indizes sind nicht zwingend asynchron (Oracle TEXT: Ja, Spatial: Nein) Domain Indizes bringen Domain-Spezifische Parameter mit Domain Indizes legen ihre Daten in Tabellen ab

24 Besonderheiten des Spatial Index Spatial Tabelle ohne Index sind möglich, meist aber sinnlos! Spatial-Operatoren (räumliche Suche) nicht möglich Voraussetzungen für einen Spatial Indix Spatial-Metadaten für die Tabelle in USER_SDO_GEOM_METADATA Alle Geometrien müssen das gleiche Koordinatensystem (SRID) haben Unterschiedliche Geometrietypen (Punkte, Linien, Polygone) aber möglich

25 Tuning des Spatial Index einige Hinweise... Wenn die Tabelle nur Punkte enthält: Index mit Parameter LAYER_GTYPE=POINT erzeugen Indexstrukturen kompakter, da bekannt ist, dass nur Punkte vorliegen Fehler beim Versuch, etwas anderes zu speichern Sehr große Indizes Index mit Parameter SDO_NON_LEAF_TBL= TRUE Leaf Tabellen können von Baum-Tabellen getrennt werden Baum-Tabellen in SGA pinnen; bessere Nutzung des Hauptspeichers Schnellerer Indexaufbau Index mit Parameter MEMORY=XXX erzeugen Achtung: nicht mehr als 20% des Hauptspeichers verwenden

26 Spatial Indizes: Was bedeuten diese MDRT-Tabellen? SQL> select * from tab where tname like 'MDRT%'; TNAME TABTYPE CLUSTERID MDRT_137CA8F$ TABLE MDRT_137CA9D$ TABLE MDRT_137E53A$ TABLE : :

27 Spatial Indizes: Was bedeuten diese MDRT-Tabellen? SQL> select * from tab where tname like 'MDRT%'; TNAME TABTYPE CLUSTERID SQL> select tname, index_name from tab, user_sdo_index_info MDRT_137CA8F$ 2 where sdo_index_table TABLE = tname; MDRT_137CA9D$ TABLE MDRT_137E53A$ TNAME TABLE INDEX_NAME : : MDRT_1E2FA2$ BAUBLOECKE_SIND MDRT_137E54E$ EBA_SPATIAL_ADDRESSES_SX MDRT_137E53A$ EBA_SPATIAL_AOI_SX MDRT_137E547$ EBA_SPATIAL_IMAGES_SX MDRT_1388BD0$ GEOMSX MDRT_B8760D$ IDX_BOX_HEALTH_POS_GEO MDRT_B875FF$ IDX_BOX_HEALTH_TRACK_GEO : :

28 Spatial in Aktion erleben mit APEX

29 DBMS_APPLICATION_INFO: Mehr Information für den DBA DBMS_APPLICATION_INFO SET_ACTION, SET_CLIENT_INFO, SET_MODULE, SET_SESSION_LONGOPS Öffentlich aufrufbar: PL/SQL, SQL, Java, Node.js,.NET, PHP,... begin dbms_application_info.set_module( module_name => 'REPORTING', action_name => 'MONTHLY_CUST_REPORT' ); end;

30 Mehr Information für den DBA DBMS_APPLICATION_INFO SET_ACTION, SET_CLIENT_INFO, SET_MODULE, SET_SESSION_LONGOPS Für alle Datenbank-Interfaces: PL/SQL, SQL, Java, Node.js,.NET, PHP,... var oracledb = require('oracledb'); oracledb.getconnection( { user : "scott", password : "tiger", connectstring : "sccloud033:1521/orcl" }, function(err, connection) { connection.module = 'REPORTING'; connection.action = 'MONTHLY_CUST_REPORT'; if (err) {console.error(err.message); return;} :

31 Wie waren die Antwortzeiten...? select application_id, trunc(view_date), min(elapsed_time), max(elapsed_time), avg(elapsed_time), count(elapsed_time) from apex_workspace_activity_log where application_id not between 4000 and 9000 and view_date > sysdate - 3 group by application_id, trunc(view_date) order by 2 desc, 1 APPLICATION_ID TRUNC(VIEW_DATE) MIN(ELAPSED_TIME) MAX(ELAPSED_TIME) AVG(ELAPSED_TIME) COUNT(ELAPSED_TIME) :00:00,12052,124283, :00:00,004959,387387, :00:00,011634,089108, :00:00,033442,10295, :00:00,106777,496537, :00:00,055692,154607, :00:00,004097,275007, :00:00,085705,103666, :00:00,00292,308159, :00:00,009952,161646, :00:00,217515,32039 "Gestern, abend lief die :00:00,01486,125769, Zeilen ausgewählt. Reporting-Seite langsam..." 02/09/2014 Oracle Confidential -

32 Match APEX-Antwortzeiten zu SQL-Executions select sql_text, last_active_time, module, action from v$sql where module like '%APEX:APP 4800%'; SQL LAST_ACT MODULE ACTION begin declare function render ( p_r :12 APEX:APP 4800:4000 Processes - point: BEFORE_BOX_BO select /* APEX50e56242 */ :12 APEX:APP 4800:4000 PAGE 4000 SELECT T.TEMPLATE_BODY1 I.PROMPT T.TEM :13 APEX:APP 4800:4000 PAGE 4000 declare function x return boolean is beg :13 APEX:APP 4800:4000 Processes - point: BEFORE_BOX_BO select /* APEX 4800P4000f */ substr(appl :12 APEX:APP 4800:4000 Processes - point: BEFORE_BOX_BO SELECT NULL FROM WWV_FLOW_COMPANIES WHER :13 APEX:APP 4800:4000 Processes - point: BEFORE_BOX_BO select "NEWS_TEXT", "CREA :13 APEX:APP 4800:7000 Processes - point: BEFORE_BOX_BO select /* APEXd1fbde */ tag, :12 APEX:APP 4800:4000 Processes - point: BEFORE_BOX_BO : : : : "Gestern abend lief die Reporting-Seite langsam..." 3

33 Spatial in Aktion erleben mit APEX

34 Spatial in Aktion erleben mit APEX

35