Datenbankadministration

Transkript

1 Datenbankadministration 1. TPC-H, Datenaustausch AG DBIS University of Kaiserslautern, Germany Karsten Schmidt (Vorlage TU-Dresden) Wintersemester 2008/2009

2 TPC-H TPC-H = Transaction Processing Performance Council Web: Geschwindigkeitsvergleich für Datenbanken mit standardisierten Daten und Anfragen TPC-H: Decision Support Benchmark

3 TPC-H Schema

4 Datenaustausch DB2-Utilities zum Datenimport und -export IMPORT/EXPORT, LOAD db2move, db2look Austauschformate DEL zeilenweise organisierte ASCII Daten, mit Spaltentrennzeichen (column delimiter) 1001;"Bill"; ASC nur für IMPORT zeilenweise organisierte ASCII Datei, Spalten fester Länge (ohne Spaltentrennzeichen) 1001Bill IXF (Integrated Exhcange Format) Datenaustausch zwischen DB2 Datenbanken Enthält neben den Daten auch die DDL der Relationen und Indizes WSF (Worksheet Format Files) z.b. Lotus 1-2-3

5 EXPORT-Utility Export der Daten einer Relation in eine Datei SELECT-Anweisung bestimmt die zu exportierenden Daten Syntax >> EXPORT TO filename OF filetype > > >.,..,. V V LOBS TO lob path + LOBFILE filename + > >.,..,. V V XML TO xml path + XMLFILE filename + > >.. XMLSAVESCHEMA V MODIFIED BY filetype mod + > + + >.,. V METHOD N ( column name + ) > + + > MESSAGES message file > + select statement + >< + XQUERY xquery statement + HIERARCHY + STARTING sub table name traversal order list where clause

6 EXPORT-Utility Beispiel REGION R REGIONKEY R NAME R COMMENT 0 AFRICA 1 EUROPE 2 AMERICA EXPORT TO region.tbl OF DEL SELECT * FROM REGION region.tbl 0, AFRICA, 1, EUROPE, 2, AMERICA,

7 EXPORT-Utility Beispiel REGION R REGIONKEY R NAME R COMMENT 0 AFRICA 1 EUROPE 2 AMERICA EXPORT TO region.tbl OF DEL SELECT * FROM REGION region.tbl 0, AFRICA, 1, EUROPE, 2, AMERICA,

8 IMPORT-Utility Import von Daten in eine Relation / Sicht Syntax >> IMPORT FROM filename OF filetype > > >.,..,... V V V LOBS FROM lob path + XML FROM xml path + MODIFIED BY filetype mod + > + + >.,. V METHOD + L ( column start column end + ) ,. V NULL INDICATORS ( null indicator list + ).,. V + N ( column name + ) +.,. V P ( column position + ) > + + > XMLPARSE + STRIP + WHITESPACE PRESERVE > + + > XMLVALIDATE USING + XDS + + Ignore and Map parameters + DEFAULT schema sqlid + SCHEMA schema sqlid + SCHEMALOCATION HINTS > + + INSERT + INTO + table name >< + INSERT_UPDATE +.,. + REPLACE + V REPLACE_CREATE ( insert column + ) description hierarchy CREATE INTO + table name tblspace specs.,. V ( insert column + ) hierarchy description + AS ROOT TABLE + UNDER sub table name

9 IMPORT-Utility Importmöglichkeiten INSERT Einfügen neuer Tupel, Ignorieren bereits vorhandener Tupel INSERT_UPDATE Einfügen neuer Tupel, Update für vorhandene Tupel REPLACE vorheriges Löschen aller vorhandenen Tupel REPLACE_CREATE Relation vorhanden: wie REPLACE Relation nicht vorhanden: Erstellung der Relation und Datenimport CREATE Erstellung der Relation und Datenimport Integritätsbedingungen (constraints) werden beim Import beachtet!

10 IMPORT-Utility Beispiel region.tbl 0, AFRICA, 1, EUROPE, 2, AMERICA, IMPORT FROM region.tbl OF DEL INSERT INTO REGION REGION R REGIONKEY R NAME R COMMENT 0 AFRICA 1 EUROPE 2 AMERICA

11 IMPORT-Utility Beispiel region.tbl 0, AFRICA, 1, EUROPE, 2, AMERICA, IMPORT FROM region.tbl OF DEL INSERT INTO REGION REGION R REGIONKEY R NAME R COMMENT 0 AFRICA 1 EUROPE 2 AMERICA

12 LOAD-Utitlity LOAD geeignet für den Massendatenaustausch (bulk load) Zielrelationen müssen vorhanden sein Phasen 1 Load-Phase Datenimport Sammeln/Sortieren von Indexschlüsseln Ausschreiben ungültiger Daten in Dump-Datei 2 Build-Phase Indexerzeugung 3 Delete-Phase Löschen von Tupeln, die gegen UNIQUE- und PRIMARY KEY-Constraints verstoßen Übertragung in eine Exception-Table 4 Index-Copy-Phase Materialisieren der Indizes

13 LOAD-Utility Syntax (Auszug) >> LOAD + + FROM + filename + + OF file type > CLIENT + pipename + + device + cursorname > >.,... V V LOBS FROM lob path + MODIFIED BY file type mod + > + + >.,. V METHOD + L ( column start column end + ) ,. V NULL INDICATORS ( null indicator list + ).,. V + N ( column name + ) +.,. V P ( column position + ) > > SAVECOUNT n ROWCOUNT n WARNINGCOUNT n TEMPFILES PATH temp pathname > + INSERT + INTO table name + + > + REPLACE +.,. + RESTART + V TERMINATE ( insert column + ) > + + >.,. V (1) (2) FOR EXCEPTION table name NORANGEEXC + NOUNIQUEEXC > + + > INDEXING MODE + AUTOSELECT + + REBUILD + + INCREMENTAL + DEFERRED

14 LOAD-Utility Parameter FROM <filename>: Dateiname der Datendatei OF FILETYPE [ASC DEL IXF CURSOR]: Art der Daten MODIFIED BY COLDEL <delimiter>: Spaltentrennzeichen DUMPFILE <voll qualifizierter Dateiname>: für ungültige Zeilen FOR EXCEPTION <table-name>: Name der Exception-Table LOAD-Möglichkeiten INSERT: Einfügen neuer Tupel, Ignorieren bereits vorh. Tupel REPLACE: vorheriges Löschen aller vorhandenen Tupel RESTART: Wiederholung eines LOAD bei Fehlern TERMINATE: Abbruch und Rollback zum Ausgangszustand (außer bei REPLACE)

15 LOAD-Utility Dump-Datei (DUMPFILE) für ungültige Zeilen der Eingabedatei Ausschreiben während der Load-Phase z.b. nicht passende Datentypen oder verletzte NOT NULL-Constraints Exception-Table für ungültige Tupel: Verletzung von UNIQUE- oder PRIMARY KEY-Constraints Ausschreiben während der Delete-Phase gleiche Struktur wie zu ladende Tabelle, zusätzlich TIMESTAMP-Spalte, optional CLOB(32k)-Spalte für Fehlernachrichten CREATE TABLE REGION_EX LIKE REGION; ALTER TABLE REGION_EX ADD COLUMN TS TIMESTAMP ADD COLUMN MSG CLOB (32k);

16 LOAD-Utility Beispiel region.tbl 0,"AFRICA","" 1,"EUROPE","" 2,"AMERICA","" 1,"MIDDLE EAST",2 2,"AMERICA","USA" R_REGIONKEY REGION R_NAME AFRICA EUROPE AMERICA R_COMMENT LOAD FROM region.tbl OF DEL MODIFIED BY COLDEL; DUMPFILE=/home/db2inst1/region.dmp INSERT INTO REGION FOR EXCEPTION REGION_EX Falscher Datentyp region.dmp 1,"MIDDLE EAST",2 R_REGIONKEY 2 Primärschlüssel Constraint verletzt REGION_EX R_NAME R_COMMENT TIMESTAMP MSG AMERICA USA

17 Überprüfung von Integritätsbedingungen SET INTEGRITY PENDING-Zustand (neu) nach Datenimport, falls weitere Integritätsbedingungen definiert FOREIGN KEY-Constraints (Fremdschlüssel) CHECK-Constraints Auswirkungen Relationen sind gesperrt müssen in NORMAL-Zustand überführt werden Status einer Relation prüfen SELECT TABNAME, STATUS FROM SYSCAT.TABLES WHERE TABNAME = LINEITEM Status N C Modus NORMAL (CHECKED BY SYSTEM) SET INTEGRITY PENDING

18 Überprüfung von Integritätsbedingungen Überprüfung von Integritätsbedingungen SET INTEGRITY FOR <table-name>... IMMEDIATE CHECKED [FOR EXCEPTION IN <table-name> USE <ex-table-name>] - sofortige Überprüfung, in NORMAL-Zustand versetzen OFF - Relation in SET INTEGRITY PENDING-Zustand versetzen IMMEDIATE UNCHECKED - Überprüfung überspringen (nicht empfohlen) in NORMAL-Zustand versetzen

19 db2move - Database Movement Tool Austausch großer Mengen von Tabellen zwischen DB2 Datenbanken Austauschformat: IXF Syntax.. V >> db2move dbname action >< + tc table definers + + tn table names + + sn schema names + + ts tablespace names + + tf filename + + io import option + + lo load option + + co copy option + + l lobpaths + + u userid + p password action = EXPORT IMPORT LOAD (neu) COPY Beispiele: db2move tpch EXPORT (alle Tabellen der DB tpch exportieren) db2move mydb LOAD -lo REPLACE (Daten in DB mydb laden, bestehende Tabellen ersetzen)

20 db2look - Statistics and DDL Extraction Tool Tests auf Produktivsystem nicht möglich verbrauchen Ressourcen können versehentlich Daten unbrauchbar machen zu große Datenmengen für Tests Testsystem mit Teilmenge der Daten ABER: Testsystem verhält sich anders, da andere Daten Übertragung aller Eigenschaften einer Datenbank mit db2look Extraktion von DDL der Datenbankobjekte (Tabellen, Views, Indexe,...) UPDATE-Statements für Statistiken UPDATE DATABASE CONFIGURATION und UPDATE DATABASE MANAGER CONFIGURAION Statements db2set-kommandos für Anfrageoptimierer (neu) XSR (XML schema repository)-objekte, z. B. XSD und DTD

21 db2look - Statistics and DDL Extraction Tool Syntax >> db2look d DBname > e u Creator z schema tw Tname V t Tname + > > ct dp.. h o Fname a m V c r v Vname + > > l x xd f td delimiter noview i userid w password > >< + wrapper Wname + nofed xs + + (neu) server Sname xdir dirname Beispiele: DDL für Tabellen nation und region und allen zugehörigen Views, Indexen, Constraints usw. extrahieren: db2look -d tpch -e -t nation region -o nationregion.sql DDL, Statistiken und Anfrageoptimierereinstellungen extrahieren: db2look -d tpch -e -a -m -f -o tpch.sql

22 Zusammenfassung TPC-H Benchmark für Decision Support Anwendungen DB2-Utilities zum Datenaustausch IMPORT/EXPORT, LOAD db2move, db2look Weiterführende Literatur Tutorial 731/5: DB2-Utilities users/kschmidt/db2-zert/db2cert7315-a4.pdf Data Movement Utilities Guide and Reference users/kschmidt/db2-zert/db2dme90.pdf