Big Data & Analytics. Heterogene Daten-(strukturen) in der Oracle Datenbank speichern und verarbeiten.

Transkript

1 Big Data & Analytics Heterogene Daten-(strukturen) in der Oracle Datenbank speichern und verarbeiten. Ulrike BU Core & Cloud Technologies Oracle Deutschland B.V. & Co KG BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 1

2 Worum geht s? Large Objects External Table Extended Datentyp VARCHAR2 JSON Database Filesystem XMLTYPE XMLDB Sentiment Analysis Partitioned External Table Oracle Text Neuigkeiten SQL Data Guide LOB Storage IS JSON ORACLE_DATAPUMP xquery ORACLE_LOADER LIVE SQL XML vs JSON Relationale Views über XML ORACLE_HIVE 12.1 Securefiles Relationale Views über JSON 12.2 BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 2

3 Wo speichern? Innerhalb der Datenbank Standard Datentypen wie VARCHAR2 bis zu Bytes mit MAX_STRING_SIZE = EXTENDED als Extended Datentyp bis zu 4000 Bytes mit MAX_STRING_SIZE = STANDARD LOB (Basicfile oder Securefile) bis ca 4 PB Spezielle Datentypen für XML, Spatial und Media Types Unterstützung durch Indizes für Performance und auch für spezielle Funktionalitätsanforderungen Außerhalb der Datenbank External Table Technologie BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 3

4 Datentyp Extended: Pros und Cons Pro: Migrationenprojekte Spaltengröße, Funktionen mit VARCHAR2 Ausgabe wie LISTAGG etc. Mehr Funktionalität wie zum Beispiel Case Insensitive Datenbank, IN-Memory JSON Contra: Speicherung als LOB bei neuangelegten Tabellen Hinweis: LIVE SQL nutzt diesen Datentyp BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 4

5 Daten in der Datenbank speichern Ein einziges zentrales Repository => zentrales Management Nutzung der Mechanismen einer Datenbank wie Backup/Recovery Security Performance Techniken wie Indizierung, Partitionierung, Parallelisierung, Laden der Daten usw. Einheitliche Werkzeuge Einfacher Zugriff auf bestehende (relationale) Stammdaten und heterogene Daten über SQL BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 6

7 Die Oracle Datenbank für all your data Alle Arten von Daten mit Advanced Analytics, OLAP, R, PHP,.NET, SQL... select p.id, p.name, sl.json_doc.quantity anzahl from product p, customer c, store s, sales sl where sl.json_value(json_doc,'$.product_id')=p.id and contains(p.notes,fuzzy('lieferkosten'), 1) > 0 and sl.json_value(json_doc,'$.custnumber' returning number) = c.cust_ids and s.store_id = 1234 and sdo_within_distance(c.location, s.location,'distance=20')='true' BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 8

8 Large Objects (LOBs) Storage Klausel Bedeutung der Storage Klausel LOB-Segmente liegen im gleichen Tablespace wie Tabelle create table dokument_tab( name varchar2(200), lob_column blob); Default Securefile Verwendung ab 12c (optional mit Encryption, Compression, Deduplication) Speicherung gemischt; in-line, wenn LOB kleiner als ~4000 Bytes, ansonsten out-line Default: ENABLE STORAGE IN ROW LOB-Segmente sind nicht im Buffer Cache Default: NOCACHE Redo-Logging wie Table bzw. Tablespace-Einstellung Default: LOGGING BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 9

9 Laden von LOBs SQL*Loader Datapump Export und Import PL/SQL und JAVA External Table Datenbank Filesystem (DBFS) auf Linux BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 10

10 LOB Neuigkeiten Filesystem DBFS mit WEBDAV, HTTP und FTP Zugriff POSIX File Locking Neues Filesystem OFS (Ähnlich zu DBFS aber...) Ein Filesystem (mounted mit OFS Server) kann mit NFS Server exportiert werden siehe auch SQL Funktionen (wie LENGTH, UPPER, ) auf LOB Spalten für Prädikat Evaluation in Exadata Erweiterungen im Distributed LOBs Umfeld BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 11

11 XML vs JSON Daten in der Datenbank Eigenschaft XML JSON Integraler Bestandteil >= 9i Release 2 >= Datentyp XMLTYPE kein spezieller Datentyp DB und CloudEditionen alle alle Generierung Relationale Sichten XMLELEMENT, XMLATTRIBUTES... XML_TABLE, XMLEXISTS, XMLQUERY, XQUERY JSON_ARRAY, JSON_OBJECTAGG... Änderbarkeit SQL/XML Funktionen Mit PL/SQL Indizierung Function Based Index XML Index Repository Zugriffe HTTP, WEBDAV und FTP keine JSON_VALUE, JSON_TABLE oder DataGuide (ab 12.2) Function Based Index DataGuide BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 12

13 Tabelle Laden und Indizieren IS JSON Bedingung prüft auf Gültigkeit create table json_tab (id number generated as identity, json_document clob constraint ensure_json CHECK (json_document IS JSON)); insert into json_tab (json_document) select json_document from json_contents; commit; Mögliche Indizierung über Function Based Index für Tuning create index ponumber_idx on json_tab (json_value(json_document, '$.PONumber' returning number error on error)); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 14

14 Operationen JSON Generieren select JSON_OBJECT('empid' is empno,'empname' is ename, 'Managerid' is mgr, 'Deptid' is deptno) emp from scott.emp where deptno=10; Abfragen select json_query(json_document,'$.shippinginstructions') from json_tab where json_value(json_document,'$.ponumber' returning number)=1000; select count(*) from json_tab where json_exists (json_document, '$.ShippingInstructions.address.country'); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 15

15 Einsatz von Data Guide Aufgabe: Suche nach Auftraggeber mit uneindeutigem Namen (Hierarchischer) Data Guide legt Strukturen an um Views zu erzeugen linguistisch zu suchen (Textindex) virtuelle Spalten zu erzeugen oder zu löschen create search index JSON_TAB_GUIDE on JSON_TAB (JSON_DOCUMENT) for json PARAMETERS ('DATAGUIDE ON SYNC (ON COMMIT)') BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 16

16 Die (linguistischen) Abfragen Operatoren wie JSON_TEXTCONTAINS oder JSON_EXISTS verwenden json_textcontains(json_document, '$.CostCenter', 'A40') json_textcontains(json_document,'$','sporting near green') json_textcontains(json_document,'$.shippinginstructions','fuzzy(fransesco)') json_textcontains(json_document, '$','near((united, America), 3)') json_exists(json_document,'$.shippinginstructions.address.zipcode') json_textcontains(json_document, '$.LineItems', '$tie') json_textcontains(json_document, '$.Requestor', 'fuzzy(sarat)') BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 17

19 Performance durch Definition von virtuellen Spalten Indizierung über Function Based Index mit CREATE INDEX und JSON_VALUE Volltext Index (Data Guide) mit CREATE SEARCH INDEX JSON Optimierungen bei In-Memory Columnstore Verwendung Performancegewinn für Funktionen wie JSON_TABLE, JSON_VALUE oder JSON_EXISTS durch spezielles Binary Format Speicherung von virtuellen Spalten Monitoren über Ausführungspläne BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 21

20 Wer die Wahl hat XMLTYPE Storage Verwendbar wie jeder andere Datentyp Unterstützt drei unterschiedliche Speicherformen je nach Anforderung wie Konkurrierender Zugriff Ladeperformance Abfrage-Performance Platzbedarf XML Schema Support Erhalt von XML Informationen BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 22

21 Beispiele: Tabellen und Indizes Nutzung als Tabellenspalte CREATE TABLE xml_tab (x_doc XMLTYPE) XMLTYPE COLUMN x_doc STORE AS [clob object relational binary xml] Mögliche Indizierung B* Index für objektrelationale Speicherung XML Index für Textbasierte und Binary XML basierte Speicherung CREATE INDEX xml_index ON binary_xml_tab3(doc) INDEXTYPE IS xdb.xmlindex parameters ('PATHS (INCLUDE (/nachricht/aktie /nachricht/kontakt))'); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 23

22 Beispiele: Abfragen und XML Generierung XML Generieren select xmlelement( "Department", xmlattributes(deptno as "DepartmentNumber"), xmlelement("departmentname", d.dname), xmlagg( xmlelement... Abfragen select xmlquery( PASSING object_value RETURNING CONTENT) FROM xml_tab; select * FROM xml_tab WHERE xmlexists( '/Abteilungen/Abteilung[@nr="2"]/Mitarbeiter[Age>20]' PASSING xmldoc); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 24

23 Mapping auf relationale Spalten SELECT warehouse_name warehouse, warehouse2."water", warehouse2."rail FROM warehouses, XMLTABLE('/Warehouse PASSING warehouses.warehouse_spec COLUMNS "Water" varchar2(6) PATH 'WaterAccess', Rail" varchar2(6) PATH 'RailAccess') warehouse2; WAREHOUSE Water Rail Southlake, Texas Y N San Francisco Y N BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 25

24 Neuigkeiten in 12c XMLDB ist mandatory! XQuery Update und XQuery Full-Text Oracle Multitenant Unterstützung HTTPS enabled by default (Oracle EM Express) XMLTable Optimierung Partitioning Erweiterungen Integration mit Logical Standby und Oracle Golden-Gate BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 26

25 Oracle Text Neuigkeiten Funktionen: Oracle Text mit Sentiment Analyse Performance: Erhöhung von MAX_INDEX_MEMORY Asynchrone Update Informationen Wildcard Abfragen mit Reverse Token Index Oracle Text Blog in deutsch: BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 27

26 External Table Technologie Steckbrief Lesender Zugriff über SQL*Loader Syntax mit Access Treiber ORACLE_LOADER Optional: Aufbereitung über ein vorgeschaltetes Preprocessing Entladen von Daten (Resultat eines beliebigen SELECT-Statements) mit Access Treiber ORACLE_DATAPUMP Oracle Big Data SQL mit 2 weiteren Access Treibern ORACLE_HIVE für Zugriff auf Daten in Apache Hive (erhält Metadaten von Hive) ORACLE_HDFS für Zugriff auf Daten in HDFS (Metadaten werden in der Definition mitgegeben) Vor: Datenbank auf Enterprise Linux (OEL6) und Apache Hadoop Distribution von Cloudera und Hortonworks (CDH 5.5 und HDP 2.3) BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 28

27 Zugriff auf JSON Daten Ausgangssituation JSON Daten liegen außerhalb der Datenbank im üblichen Format vor Oracle Beispiel: Vorgehensweise Zugriff über logisches Directory create directory json_dir as '/home/oracle/db-sample-schemas /order_entry'; External Table mit Spalte für die JSON Daten in der Datenbank create table json_contents (json_document CLOB) organization external (type oracle_loader default directory json_dir access parameters (records delimited by 0x'0A' fields (json_document CHAR(5000))) location ('PurchaseOrders.dmp')) reject limit unlimited; BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 29

28 Zugriff auf XML Daten Neu in 12.2: Mit Klausel XMLTAG sind auch Teildokumente eines XML Dokuments im Zugriff CREATE TABLE ext_xml (xml_text VARCHAR2(2000)) ORGANIZATION external (TYPE oracle_loader DEFAULT DIRECTORY home ACCESS PARAMETERS (RECORDS XMLTAG ("DepartmentName", "employeename" ) READSIZE 1024 SKIP 0 FIELDS NOTRIM MISSING FIELD VALUES ARE NULL) location ('emp.xml')) REJECT LIMIT UNLIMITED BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 30

29 Das Ergebnis SQL> select * from ext_xml; XML_TEXT <DepartmentName>ACCOUNTING</DepartmentName> <employeename>clark</employeename> <employeename>miller</employeename> <employeename>king</employeename> <DepartmentName>RESEARCH</DepartmentName> <employeename>jones</employeename> <employeename>scott</employeename> <employeename>smith</employeename> <employeename>adams</employeename> <employeename>ford</employeename> <DepartmentName>SALES</DepartmentName> <employeename>ward</employeename> <employeename>martin</employeename> <employeename>blake</employeename> <employeename>james</employeename> <employeename>allen</employeename> <employeename>turner</employeename> <DepartmentName>OPERATIONS</DepartmentName> BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 31

30 External Table für große Datenmengen Partitionierung von External Tables ab 12.2 über Range, List, Composite Range, Composite List Mögliche Access Treiber sind ORACLE_LOADER, ORACLE_HIVE und ORACLE_HDFS LOCATION Klausel mit Wildcards Beispiel: LOCATION (home:'cust_m*.csv') Beim Entladen von Daten mit ORACLE_DATAPUMP können die Daten auch komprimiert abgelegt werden Beispiel: ACCESS PARAMETERS (COMPRESSION ENABLED HIGH) BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 32

31 Beispiel mit List Partitionierung create table ext_part (last_name varchar2(25), gender varchar2(1), city varchar2(50), birth_year number) ORGANIZATION EXTERNAL ( type ORACLE_LOADER DEFAULT DIRECTORY home ACCESS PARAMETERS( RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ';' optionally enclosed BY '"' MISSING FIELD VALUES ARE NULL) ) REJECT LIMIT UNLIMITED PARTITION BY LIST (gender) ( PARTITION part_f VALUES ('F') LOCATION (home:'cust_f.csv'), PARTITION part_m VALUES ('M') LOCATION (home:'cust_m.csv')); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 33

32 External Table und HDFS create table customer_list_hdfs (CUSTOMER_NUMBER number, CUSTOMER_NAME VARCHAR2(50), POSTAL_CODE CHAR(5)) organization external (type oracle_hdfs default directory def_dir1 access parameters (com.oracle.bigdata.cluster = hadoop_cl_1 com.oracle.bigdata.rowformat = delimited fields terminated by ',')) partition by range(customer_number) ( partition p1 values less than (100) location('hdfs_pet/p1a.dat', 'hdfs_pet/p1b.dat'), partition p2 values less than (200) location('hdfs_pet/p2.dat'), partition p3 values less than (300) location('hdfs_pet/p3.dat') ); BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 34

33 Flexibilität: Änderungen zur Laufzeit In 12.2 können einige Parameter zu Laufzeit geändert werden DEFAULT DIRECTORY LOCATION ACCESS PARAMETERS (BADFILE, LOGFILE, DISCARDFILE) REJECT LIMIT Dokumentiert in Hermann Bärs Blog BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 35

34 Beispiel: Ohne LOCATION Parameter create table ext_flex (last_name varchar2(25), gender varchar2(1), city varchar2(50), birth_year number) ORGANIZATION EXTERNAL ( type ORACLE_LOADER default directory home ACCESS PARAMETERS( RECORDS DELIMITED BY NEWLINE nologfile nobadfile FIELDS TERMINATED BY ';' optionally enclosed BY '"' MISSING FIELD VALUES ARE NULL ) ) REJECT LIMIT UNLIMITED; BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 36

35 Abfragen SQL> SELECT * from ext_flex; no rows selected SQL> SELECT count(*) FROM ext_flex EXTERNAL MODIFY (LOCATION(dir_w:'cust_f.csv')); COUNT(*) SQL> SELECT count(*) FROM ext_flex EXTERNAL MODIFY (LOCATION(dir_m:'cust_m.csv')); COUNT(*) BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 37

36 Fazit Laden und Entladen von Daten über External Tables Datenaufbereitung mit Preprocessing Zugriff auf heterogene Daten (z.b. XML, JSON, Daten in Hadoop) Performanter Zugriff auf große Datenmengen Über Partitionierung Über deklarative Constraints Flexibilität durch Parameter Änderungen zur Laufzeit BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 38

37 Wo ausprobieren? LiveSQL.oracle.com SQL Scratch Pad in der Oracle Cloud Browser und OTN Account nötig Kostenlos Save und Share von SQL Beispielen 12.2 Tutorials BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 39

38 Weitere Informationen Deutschsprachige Blogeinträge: blogs.oracle.com/coretec Dojos: Textblog: Slideshare: BU Core & Cloud Technologies Copyright 2017, Oracle and/or its affiliates. All rights reserved. 40

40