JSON Daten in Oracle Datenbank

Transkript

1 JSON Daten in Oracle Datenbank Ulrike BU Core & Cloud Technologies Oracle Deutschland B.V. & Co KG 1

2 All Your Data Speichern, Zugreifen, Verarbeiten Volltextrecherche, Klassifizierung und Clustering, Katalogabfragen, Sentiment Analyse, Abfragen von Geodaten, Reguläre Ausdrücke, XML Pfad, XML Generierung, Geocoding, Abfragen im RDF Modell, RSS Feeds, Auslesen mit Uritypes, XQuery-Anwendungen, Objekt-relationale Zugriffe, relationale Sichten auf XML Daten, und jetzt auch noch Abfragen über JSON

3 Warum überhaupt JSON in der Oracle Datenbank? JSON Verarbeitung gibt es doch in sogenannten NoSQL Umgebungen oder spezialisierten Datenbanken Warum soll man für JSON Daten die Oracle Datenbank verwenden? Ein einziges zentrales Repository => einheitliches Management Backup/Recovery Sicherheit Performance (Indizierung, Partitionierung, Parallelisierung etc.) Vorgefertigte Funktionen=> wenig Code erforderlich Immer verwenden wenn SQL Zugriff auf bestehende (relationale) Stammdaten und JSON Daten gefragt ist

4 Die Oracle Datenbank für all your data Alle Arten von Daten mit Advanced Analytics, OLAP, R, PHP,.NET, SQL... select p.id, p.name, sl.json_doc.quantity anzahl from product p, customer c, store s, sales sl where sl.json_value(json_doc,'$.product_id')=p.id and contains(p.notes,fuzzy('lieferkosten'), 1) > 0 and sl.json_value(json_doc,'$.custnumber' returning number) = c.cust_ids and s.store_id = 1234 and sdo_within_distance(c.location, s.location,'distance=20')='true'

5 JSON in der Datenbank ein Kurzprofil Bestandteil der Datenbank seit 12c Release 1 ( ) Ohne Installation/Konfiguration In allen Datenbank- und Cloud- Editionen Mit allen (Standard) Funktionen der Datenbank verwendbar Zugriff über SQL und PL/SQL Es gibt SQL/JSON Funktionen/Operatoren für relationale Sichtweisen oder für JSON Daten Generierung Indizes wie function based, linguistic

6 Funktionalität im Überblick Speicherung in Tabelle mit CREATE TABLE KEIN spezieller Datentyp Abfragen von JSON mit Dot Notation JSON_EXISTS JSON_VALUE JSON_QUERY JSON_TABLE JSON_TEXTCONTAINS Laden/Nutzen über External Tables DML

7 Anforderung an einem Beispiel 1. Bestellungen (JSON Dokumente) JSON Daten Export erzeugt von üblichen NoSQL Datenbanken 2. Suche nach einer bestimmten Bestellung Name des Auftraggebers ist nicht eindeutig Herausforderungen Einfache übersichtliche Codierung Größe des(der) Dokument(e) Große Anzahl an Dokumenten Ungenauigkeit der Anfrage Hohe Performance Anforderungen

8 JSON Dokument

9 JSON Daten und die Datenbank Ausgangssituation JSON Daten außerhalb der Datenbank Oracle Beispiel: Vorgehensweise Zugriff über logisches Directory create directory json_dir as '/home/oracle/db-sample-schemas /order_entry'; External Table mit Spalte für die JSON Daten in der Datenbank create table json_contents (json_document CLOB) organization external (type oracle_loader default directory json_dir access parameters (records delimited by 0x'0A' fields (json_document CHAR(5000))) location ('PurchaseOrders.dmp')) reject limit unlimited;

10 Zugriffe: Dokumente, skalare Werte, Fragmente... SQL> select * from json_contents where rownum = 1; JSON_EXISTS, JSON_VALUE, JSON_QUERY SQL> select min(json_value (json_document, '$.PONumber' Returning number)) min_po, max(json_value (json_document, '$.PONumber' Returning number)) max_po from json_contents; SQL> select json_query(json_document,'$.shippinginstructions') from json_contents where json_value(json_document,'$.ponumber' returning number) = 1000; SQL> select count(*) from json_contents where json_exists(json_document, '$.ShippingInstructions.Address.zipCode');

11 JSON Struktur mit JSON_DATAGUIDE on the fly SQL> select json_dataguide(json_document, dbms_json.format_hierarchical, dbms_json.pretty) from json_contents; JSON_DATAGUIDE(JSON_DOCUMENT,DBMS_JSON.FORMAT_HIERARCHICAL,DBMS_JSON.PRETTY) { "type" : "object", "properties" : { "User" : { "type" : "string", "o:length" : 8, "o:preferred_column_name" : "User select json_dataguide( httpuritype(' from dual;

12 Tabelle Laden und Indizieren IS JSON Bedingung prüft auf Gültigkeit create table json_tab (id number generated as identity, json_document clob constraint ensure_json CHECK (json_document IS JSON)); insert into json_tab (json_document) select json_document from json_contents; commit; select x.json_document.ponumber from json_tab x where rownum=1; Function Based Index für Tuning create index ponumber_idx on json_tab (json_value(json_document, '$.PONumber' returning number error on error)); Demo

13 Index Nutzung

14 JSON in Tabellenform: Relationale Projektionen DBSAT_RESULT Doc_name Severity Title Remarks collect1.json 5 collect1.json 5 Directory Objects Directory objects allow access to the server's file system from PL/SQL code within the database. Users with Default Passwords Default account passwords for predefined Oracle accounts are well known.

15 Anwendungsbeispiel: DBSAT Ausgabe im JSON Format Spezielle User Reports innerhalb der Datenbank programmieren Vorgehen Tabelle für JSON Dateien create table dbsat_result (docname varchar2(32), doc clob check (doc is json)); Laden der JSON Datei(en) insert into dbsat_result values ('collect1_report.json', bfilename('dbsat_dir','collect1_report.json'))

16 Eigene Ausgabe Report in der Datenbank select severity, title, remarks from dbsat_result,json_table(doc, '$[*].items[*]' columns TYPE VARCHAR2(32) PATH '$.type', SEVERITY NUMBER PATH '$.severity', TITLE VARCHAR2(128) PATH '$.title', REMARKS VARCHAR2(4000)PATH '$.remarks' ) where TYPE = 'finding' order by docname, severity

17 JSON Format - Ausgabe SEVERITY TITLE REMARKS Directory Objects Directory objects allow access to the server's file system f rom PL/SQL code within the database. Access to files that ar e used by the database kernel itself should not be permitted, as this may alter the operation of the database and bypass its access controls. 5 Users with Default Passwords Default account passwords for predefined Oracle accounts are well known. Open accounts with default passwords provide a trivial means of entry for attackers, but well-known passwor ds should be changed for locked accounts as well.

18 JSON Generieren aus relationalen Daten CUSTOMERS CUST_ID CUST_LAST_NAME CUST_CITY Everett Heilbronn Odenwalld Heilbronn { "custid":25451, "name": Everett", "City": Heilbronn }

19 JSON Code generieren - ganz einfach mit SQL JSON_OBJECT macht aus Key Value Paaren JSON Objekte select json_object('custid' is CUST_ID, 'name' is CUST_LAST_NAME, 'City' is CUST_CITY) ausgabe from customers; JSON_OBJECTAGG ist eine Aggregatsfunktion select cust_city, json_objectagg('name' is cust_last_name) cust_per_city from customers where cust_city like 'Co%' group by cust_city

20 Ergebnis CUST_CITY CUST_PER_CITY Coburg {"name":"rice","name":"tillman","name":"barnett","name":"zimmer","name":"klesser ","name":"ingersoll","name":"bane","name":"vankirk","name":"lefevre","name":"tri mmer","name":"smeed","name":"lipp","name":"klemm","name":"obrien","name":"kelley ","name":"titus","name":"felt","name":"joseph","name":"colven","name":"snodgrass ","name":"rosenblum","name":"burgess","name":"kraft","name":"krebs","name":"zhao ","name":"carr","name":"kish","name":"dwyer","name":"eastwood","name":"haole","n ame":"lamar","name":"lengel","name":"knox","name":"mannings","name":"curr","name ":"Jeffreys","name":"Lickey","name":"Ingold","name":"Goode","name":"Kelleher","n ame":"ladd","name":"greenley","name":"rush","name":"gilmour","name":"baley"} Cochem {"name":"eden","name":"pack","name":"hale","name":"newsome","name":"calahan","na me":"lucy","name":"newkirk","name":"jewell","name":"parks","name":"rust","name": "Sampler","name":"Stone","name":"Poindexter","name":"Geralt","name":"Wiser","nam e":"valentino","name":"bakker"}

21 JSON Code generieren - ganz einfach mit SQL JSON_ARRAYAGG ist eine Aggregatsfunktion und gibt ein JSON Array aus select json_object('country_name' is c.country_name, 'ctinfo' is (select json_arrayagg( json_object('name' is cust_last_name, 'status' is cust_marital_status, 'city' is cust_city, 'street' is cust_street_address absent on null) absent on null) from customers co where co.country_id=c.country_id and cust_year_of_birth>1988) absent on null) as ct1 from countries c; Demo

22 Das Ergebnis - ein Ausschnitt

23 Und jetzt zu unserem Beispiel Suche nach einer bestimmten Bestellung Name des Auftraggebers ist nicht eindeutig Lösung: Persistenter Data Guide mit speziellem Context Index create search index JSON_TAB_GUIDE on JSON_TAB (JSON_DOCUMENT) for json PARAMETERS ('DATAGUIDE ON SYNC (ON COMMIT)') Weitere Anwendungen Einfache Erzeugung von Views Erzeugung von virtuellen Spalten

24 Data Guide und JSON Strukturen

25 Data Guide und relationale View Erzeugung Ausführung von DBMS_JSON.CREATE_VIEW_ON_PATH execute dbms_json.create_view_on_path (viewname => 'JSON_PO_VIEW', tablename => 'JSON_TAB', jcolname => 'JSON_DOCUMENT', path => '$') execute dbms_json.create_view_on_path (viewname => 'JSON_PO_VIEW_PART', tablename => 'JSON_TAB', jcolname => 'JSON_DOCUMENT', path => '$.ShippingInstructions.Address')

26 Relationale View (*) Spalten lassen sich umbenennen

27 Data Guide und Virtuelle Spalten Nutzung von DBMS_JSON.ADD_VIRTUAL_COLUMNS für Projektionen execute dbms_json.add_virtual_columns (tablename => 'JSON_TAB', jcolname => 'JSON_DOCUMENT', frequency => 100) SQL> desc json_tab Name Null? Type ID NOT NULL NUMBER JSON_DOCUMENT CLOB JSON_DOCUMENT$User VARCHAR2(8) JSON_DOCUMENT$PONumber NUMBER JSON_DOCUMENT$Reference VARCHAR2(32) JSON_DOCUMENT$Requestor VARCHAR2(32) Auch automatisch bei Änderung über Change Trigger mit Context Index

28 Die (linguistischen) Abfragen Operatoren wie JSON_TEXTCONTAINS oder JSON_EXISTS verwenden json_textcontains(json_document, '$.CostCenter', 'A40') json_textcontains(json_document,'$','sporting near green') json_textcontains(json_document,'$.shippinginstructions','fuzzy(fransesco)') json_textcontains(json_document, '$','near((united, America), 3)') json_exists(json_document,'$.shippinginstructions.address.zipcode') json_textcontains(json_document, '$.LineItems', '$tie') json_textcontains(json_document, '$.Requestor', 'fuzzy(sarat)')

29 Das Ergebnis Demo

30 XML vs JSON Daten in der Datenbank Eigenschaft XML JSON Integraler Bestandteil >= 9i Release 2 >= Datentyp XMLTYPE kein spezieller Datentyp DB und CloudEditionen alle alle Generierung Relationale Sichten XMLELEMENT, XMLATTRIBUTES... XML_TABLE, XMLEXISTS, XMLQUERY, XQUERY JSON_ARRAY, JSON_OBJECTAGG... Änderbarkeit SQL/XML Funktionen Mit PL/SQL Indizierung Function Based Index XML Index Repository Zugriffe HTTP, WEBDAV und FTP keine JSON_VALUE, JSON_TABLE oder DataGuide (ab 12.2) Function Based Index DataGuide

31 Neuigkeiten in 18c Neue Funktion TREAT AS JSON Neue Bedingung JSON_EQUAL LOB Resultat für JSON_VALUE, JSON_QUERY und JSON_TABLE Neue Funktion TO_UTC_TIMESTAMP_TZ SQL/JSON Generate Funktionen mit weiteren Eingabe Datentypen Materialisierte Views mit JSON_TABLE jetzt auch mit ON STATEMENT Sharding Support

32 TREAT AS JSON create table treat_bsp as select cust_id, json_object('gender' is CUST_GENDER, 'name' is CUST_LAST_NAME, 'City' is CUST_CITY) as json_data from customers where rownum<10; SQL> select j.cust_id, j.json_data.name from treat_bsp; Select j.cust_id, j.json_data.name from treat_bsp * ERROR at line 1: ORA-00904: "J"."JSON_DATA"."NAME": invalid identifier

33 TREAT Beispiel SQL> with json_doc as (select cust_id, treat (json_data as json) as jsontreat from treat_bsp) select j.cust_id, j.jsontreat.gender, j.jsontreat.name from json_doc j; CUST_ID GENDER NAME M Ruddy 3228 M Ruddy 6783 M Ruddy M Ruddy M Ruddy M Ruddy M Ruddy M Ruddy M Ruddy

34 JSON_EQUAL create table equal_test (id number,j_doc1 clob, j_doc2 clob); insert into equal_test select id, json_document, json_document from json_tab where id=1; insert into equal_test select id, json_document, ' ' json_document from json_tab where id=2; select id from equal_test where dbms_lob.compare(data1,data2)=0; ID select id from equal_test where json_equal(data1,data2); ID

35 18c Tutorials LiveSQL.oracle.com SQL Scratch Pad in der Oracle Cloud Browser und OTN Account nötig Kostenlos Save und Share von SQL Beispielen Tutorials

36 Weitere Informationen Handbücher: Database JSON Developer's Guide Blogs

37

38