DB Überblick & Technische Features. Arno Gabriel arno_gabriel@at.ibm.com Technical Services IBM Information Management IBM Corporation

Transkript

1 DB2 9.7 Überblick & Technische Features Arno Gabriel Technical Services IBM Information Management Version 2.2

2 Disclaimer/Trademarks Information concerning non-ibm products was obtained from the suppliers of those products, their published announcements, or other publicly available sources. IBM has not tested those products and cannot confirm the accuracy of performance, compatibility, or any other claims related to non-ibm products. Questions on the capabilities of non-ibm products should be addressed to the suppliers of those products. All statements regarding IBM s future direction or intent are subject to change or withdrawal without notice, and represent goals and objectives only. This information may contain examples of data and reports used in daily business operations. To illustrate them as completely as possible, the examples include the names of individuals, companies, brands, and products. All of these names are fictitious, and any similarity to the names and addresses used by an actual business enterprise is entirely coincidental. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, this presentation or any other documentation. Nothing contained in this presentation is intended to, or shall have the effect of creating any warranty or representation from ibm (or its affiliates or its or their suppliers and/or licensors); or altering the terms and conditions of the applicable license agreement governing the use of IBM software. 2

3 Agenda Optimierung von Speicherplatz Optimale Nutzung von Resourcen durch erweiterte Komprimierung Leistungsoptimierung & Einhalten von SLAs Zuverlässige Umsetzung von geschäftsrelevanten Workloads Einfacher & flexibler Betrieb Datenbanken online ändern, Daten flexibel bewegen Breitere Anwendungsunterstützung Mehr Kompatibilität zu SQL anderer Hersteller Mehr Sicherheit Neue Privilegien und anpassbare Sicherheitsstufen 3

4 Tabellen Komprimierung 4

5 Tabellen Komprimierung in DB2 9.5 Automated Dictionary Creation (ADC) Schwellwert (ADC_THRESHOLD) der Daten innerhalb einer Tabelle aktiviert die automatische Erstellung eines Dictionary und der Komprimierung Alle existierenden Daten innerhalb einer Tabelle tragen zur Erstellung des Dictionary bei Nachfolgend eingefügte Daten werden automatisch komprimiert Die ursprünglichen Daten die zur Dictionary Erstellung genutzt wurden bleiben bis zum nächsten offline REORG unkomprimiert meinetabelle meinetabelle meinetabelle meinetabelle INSERT LOAD Konprimierte Daten Leere Tabelle ADC_THRESHOLD Synchroner Aufbau des Dictionary Unkomprimierte Daten Dictionary Komrimpierte Daten 5

6 Erweiterte Komprimierung in DB2 9.7 Automatische Index Komprimierung Führende Technologie Automatische Komprimierung Temporärer Tabellen Table Order By Temp Table Order By Temp Führende Technologie Komprimierung von Large Objects (LOB) und XML 6

7 Index Komprimierung Algorithmen sind als Teil der Datenbank Engine implementiert: RID List Compression, Prefix Compression, Variable Slot Directory Anwendbar für alle Indizes außer: Catalog Indizies, MDC block Indizies, XML path Indizies und Meta Indizies, Index Spezifikationen Aktivierung: Automatisch, sobald die Row Compression einer Tabelle aktiviert ist CREATE INDEX mit der neuen COMPRESS YES Option ALTER INDEX COMPRESS [YES NO] Statement und einem Index reorg Ersparnisse: ADMIN_GET_INDEX_COMPRESS_INFO schätzt die Ersparnisse einer Index Komprimierung TABNAME INDNAME PCT_PAGES_SAVED NUM_LEAF_PAGES_SAVED EMPLOYEE PK_EMPLOYEE COMPRESS und PCTPAGESSAVED im SYSINDEXES Katalog zeigt die tatsächliche Kompromierungsrate Zielsetzung: 35% - 55% Ersparnis

8 Beispiel Index Komprimierung 8

9 DB2 Storage Optimization Feature DB2 9.7 Early Customer World leading construction machinery manufacturer, USA Global consumer and commercial product marketer, USA Haier Group, China John Deere, China Energy Delivery company, USA Insurance company, Germany T-Systems, Germany Medical technologies company, USA Database Size Data Compression Ratio Index Compression Ratio Total Database Savings 725 GB 72% 49% 68% 1.4 TB 58% 49% 56% % % - 62 GB - 52% GB - 50% GB 60% 73% 65% 3.6 TB - 65% -

10 Komprimierung Temporärer Tabellen User Temporary Tables und neue System Temporary Tables (DGTT/CGTT) Zielsetzung: Verringerung des benötigten temporären Speicherplatz Keine Performance Nachteile durch die zusätzlichen Verarbeitungsschritte der Komprimierung Bei Lizenzierung des Storage Optimization Features werden Temporäre Tabellen automatisch komprimiert Keine zusätzliche Konfiguration erforderlich DB2 bewertet die Anfrage und nutzt die Komprimierung sofern von Vorteil (Kosten/ Nutzen Rechnung) Ersparnis: db2pd zeigt Nutzung des temporären Tablespace 10

11 Beispiel Komprimierung Temporärer Tabellen Interne Operationen (DB2 utilities, SORT) und externe Operationen (DGTTs/ CGTTs) profitieren von der Komprimierung temporärer Tabellen 11

12 XDA (XML) Komprimierung In der XML Data Area (XDA) werden XML Dokumente nativ gespeichert (purexml) DB2 9.1 alle XML Dokumente werden in XDA Objekten gespeichert XML Daten sind generell nicht komprimierbar DB2 9.5 Kleine XML Dokumente (kleiner als die Page Size) können optional in der Tabelle inline gespeichert werden Komprimierung von inline gespeicherten XML ist möglich Keine Komprimierung für XDA Objekte DB2 9.7 XML Dokumente im XDA Objekt können komprimiert werden Static Dictionary Ansatz Klassisch Offline REORG basiert Aktivierung erfolgt über das COMPRESS Attribut der Tabelle 12

13 LOB Komprimierung: Large Object Inlining LOBs können inline in der Tabelle gespeichert werden (bei entsprechender Größe) Ist abhängig von der Page Size, die maximale Größe eines LOBs für inline Speicherung beträgt bytes (32KB Page Size) LOB inlining funktioniert analog zum XML inlining I/O Kosten werden reduziert da LOB Daten gebuffert werden LOBs/ XML innerhalb der Tabelle können komprimiert werden create table t1 (a int, b char(5), c clob inline length 1000) T1 A 3 B cat C aaaaaaaaaaaa LOB storage object bbbbbbbbbbbb 9 dog 27 rat ccccccccccccc 13

14 Komprimierung & SQL Replikation Log Daten komprimierter Objekte sind ebenfalls komprimiert Capture benötigt unkomprimierte Daten in den Log Records db2readlog API in DB2 9.7 dekomprimiert Log Daten bevor diese weitergegeben werden DB2 9.5 mit ifilteroption ON Log db2readlog API DB2 9.7 mit ifilteroption ON Log db2readlog API Dictionary Historie Komprimierte Daten im Log Unkomprimierte Daten im Log 14

15 Temporäre Tabellen Tabellen Autonomic Indizes 15

16 Agenda Optimierung von Speicherplatz Optimale Nutzung von Resourcen durch erweiterte Komprimierung Leistungsoptimierung & Einhalten von SLAs Zuverlässige Umsetzung von geschäftsrelevanten Workloads Einfacher & flexibler Betrieb Datenbanken online ändern, Daten flexibel bewegen Breitere Anwendungsunterstützung Mehr Kompatibilität zu SQL anderer Hersteller Mehr Sicherheit Neue Privilegien und anpassbare Sicherheitsstufen 16

17 Leistungsoptimierung durch Komprimierung No Compression (vmstat output) Row Compression (vmstat output) cpu % 100% 80% 60% 40% 20% idle iow ait sys usr cpu % 100% Weniger I/O 80% 60% 40% 20% idle iow ait sys usr 0% 0% seconds seconds TABLESCAN # of rows # of pages MB Runtime(sec) Rows/page Keine Komprimierung Row Compression Verbesserung der Gesamtantwortzeit

18 Neue Currently Commited Semantik Cursor Stability Isolation Level wurde geändert Reduzierung von Lock Wait und Deadlock Situationen Log-basierte Umsetzung Datenbank-Konfigurationsparameter: cur_commit Blocks -> Reader Writer Oracle Snapshot Isolation Reader Writer No No No Yes Blocks -> Reader Writer DB2 9.7 CS Isolation Reader Writer No Yes Maybe Yes Blocks -> Reader Writer DB2 9.7 CS Isolation w/cc Reader Writer No No No Yes 18

19 Leistungsoptimierung Statement Concentrator Unterstützt die Wiederverwendung von Zugriffsplänen Scan Sharing Bessere Workload Concurrency und Performance durch gemeinsame Nutzung von Bufferpool Pages LOB inlining und XDA Komprimierung Spart Speicherplatz und optimiert I/O Zugriffe purequery Laufzeitumgebung für Java und.net Anwendungen (add-on) soliddb Universal Cache (add-on) 19

20 Systemauslastung ohne Statement Concentrator Deaktivierter Statement concentrator 3 nebenläufige Prozesse (Prozeduraufruf), hohe CPU Kosten, wenig Durchsatz SELECT * FROM t1 WHERE name = Peter SELECT * FROM t1 WHERE name = John SELECT * FROM t1 WHERE name = Mary

21 Systemauslastung mit Statement Concentrator Aktivierter Statement concentrator Die gleichen 3 Prozesse, weniger CPU, höherer Durchsatz SELECT * FROM t1 WHERE name =?

22 Scan Sharing Mehrere ähnliche SQL Ausdrücke teilen sich einen Table Scan Table Scans starten an der aktuellen Stelle eines vorhergehenden, ähnlichen Scans und bilden sog. Scan Groups Sobald der Group Scan abgeschlossen ist, lesen die individuellen Scans (hier rot) die anfänglich übersprungenen Daten nach Unterschiedliche Anfragen nutzen so die gleiche I/O Bandbreite für die zu lesenden Daten Vorteile Bessere Ausnutzung der I/O Bandbreite Bessere Nutzung der Buffer Pools t0 t1 Zeit t0 t1 Zeit SQL 1 SQL 2 Ohne Scan Sharing SQL 1 SQL 2 Mit Scan Sharing Tabelle A Tabelle A 22

23 Workload Management Erweiterungen Umsetzen von Service Level Agreements Waterfall Management Automatische Anpassung der Priorität einer Workload basierend auf aktueller Nutzung der Resourcen Zeitbasierte Kontrolle Automatische Kontrolle einer Workload basierend auf neuen Zeitmetriken 23

24 Neues WLM Waterfall Management 24

25 XML Insight mit purexml Business Intelligence für XML XML in Data Partitions (DPF) XML in Range Partitions XML in Views Zusätzliche Funktionen XDA Komprimierung Online index reorg Online XML index create XML in UDF XML in MDC Bulk Decomposition XML DBA Funktionen Net.Search Extender für DPF, MDC, und Range Partitioned Tabellen 25

26 HADR Read Accessible Standby Read-on-standby (RoS) HADR unterstützt Read-on-Standby Reporting HA oder DR Hardware-Investition als Reporting Server nutzen Reporting Offload von Primary zu Standby Server für besseres Laufzeitverhalten Im Falle eines Failover wird der RoS Standby zu Primary read/write Server Read / Write Session 1 Read / Write Session 2 Server 1 Server 2 Read only Session 3 Primary Writes für Session 1 Writes für Session 2 Standby Datenbank A HADR TCP/IP Netzwerk HADR Datenbank A (mit RoS) 26

27 HADR Read Accessible Standby RoS: Was wird unterstützt? RoS Aktivierung per: Registry Variable: Nicht dynamisch - Neustart der DB2 Instanz erforderlich 27 RoS Unterstützt: Alle HADR Modi: SYNC ASYNC NEARSYNC Alle states: peer to peer remote catch up local catch up Alle komplexen DML Statements wie: joins nested queries index scans

28 HADR Read Accessible Standby RoS: Client Regeln Der im RoS Client definierte Isolation Level wird ignoriert Alle RoS Clients nutzen den Isolation Level UR uncommitted read, aka dirty read RoS Clients müssen warten bis DDL und Wartungsarbeiten des Primary auf dem Standby nachgespielt sind: runstats bind / rebind table / index reorg load / attach / detach partitions RoS Clients werden abgemeldet sobald der Stanby zum neuen Primary wird Alle Schreibzugriffe der RoS Clients werden blockiert: Index Erstellung (ausgelöst durch invaliden Index) Sammeln von just-in-time Statistiken Erstellen von temporären Tabellen 28

29 HADR Read Accessible Standby RoS: Einschränkungen für Standby Server Auf RoS Standby Server nicht verfügbar: LOB, XML, LONG VARCHAR und LONG GRAPHIC Lesezugriffe STMM und WLM Nutzung CGTT und DGTT 29

30 Agenda Optimierung von Speicherplatz Optimale Nutzung von Resourcen durch erweiterte Komprimierung Leistungsoptimierung & Einhalten von SLAs Zuverlässige Umsetzung von geschäftsrelevanten Workloads Einfacher & flexibler Betrieb Datenbanken online ändern, Daten flexibel bewegen Breitere Anwendungsunterstützung Mehr Kompatibilität zu SQL anderer Hersteller Mehr Sicherheit Neue Privilegien und anpassbare Sicherheitsstufen 30

31 Kostenfaktor Datenbank $300 B $250 B Global Annual IT Spending Estimated Power and Cooling Costs Server Management and Admin Costs New Server Spending $200 B $150 B $100 B $50 B $0 B Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007

32 Administration leicht gemacht Einfaches Bewegen von Daten Online Table Move Neue Stored Procedures zum Verschieben von Tabellen: Zum Beispiel online in einen anderen Tablespace Neuer Tablespace kann andere Eigenschaften haben wie: größere Page Size, unterschiedliche Extent Size etc. Transportable Tablespaces Effizientes Verschieben von ganzen Schemata zwischen Datenbanken Extraktion von DDL und anderen abhängigen Datenbank Objekten Direktes Referenzieren von Containern des Tablespace der Ziel-Datenbank 32

33 Administration leicht gemacht Schema Evolution ALTER TABLE ermöglicht flexiblere Änderungen des Datenschemas während des Betriebs Beliebige REORG-recommended Operationen innerhalb einer Transaktion RENAME COLUMN wird innerhalb eines ALTER TABLE Statements unterstützt Keine Einschränkungen bei der Änderung von Spalten die in Views oder anderen Objekten verwendet werden soft invalidation / automatic revalidation CREATE [OR REPLACE] Option ALTER TABLE unterstützt erweiterte SET DATA TYPE Operationen zur Änderung von Datentypen 33

34 Anwendungsentwicklung leicht gemacht Einfacheres SQL Impliziter Cast von Datentypen erleichtert die Anwendungsprogrammierung (weak data typing) Public Aliases vereinfachen die Referenz auf global definierte Objekte Create Temporary Tables werden unterstützt (CGTT) Temporary Tables unterstützen LOB Spalten TIMESTAMP Datentyp ermöglicht parametrisierbare Genauigkeit SELECT INTO statement unterstützt die FOR UPDATE Klausel Neues TRUNCATE statement zum Löschen aller Spalten einer Tabelle 34

35 SQL Procedure Language (SQL PL) Erweiterungen Diverse Erweiterungen in DB2 SQL PL DB2 9.7 unterstützt: SQL PL SQL/PSM PL/SQL Packages Built-in packagese SQL*Plus Skripte 35

36 SQL Kompatibilität anderer Hersteller PL/SQL Unterstützung Weitere Schnittstelle zur Abfrage von DB2 Alle SQL Ausdrücke werden nativ ausgeführt Schnelle Antwortzeit für Abfragen Einfacher Import von Oracle Datenbank Schema Einfache Möglichkeit einer Migration Kompatibilität zu anderen Herstellern Geringe Lernkurve und Wiederverwendung von Modulen (kein Port sondern Enablement ) 36

37 Kompatibilitätsmodus konfigurieren Neue Registry Variable: DB2_COMPATIBILITY_VECTOR Hexadezimal (z.b.: FFF) Muss vor Erstellung der Datenbank gesetzt sein Bit Position Kompatibilitätsfunktion Kommentar 1 (0x01) ROWNUM Synonym for ROW_NUMBER() OVER() 2 (0x02) DUAL SYSIBM.DUAL 3 (0x04) (+) Outer join operator 4 (0x08) Hierarchical queries Using CONNECT BY clause 5 (0x10) NUMBER 6 (0x20) DATE Enables DATE as TIMESTAMP(0) 7 (0x40) VARCHAR2 8 (0x80) TRUNCATE TABLE 11 (0x400) Data dictionary-compatible views Views are created when the database is created 12 (0x800) PL/SQL Compilation Enables the compilation and execution of PL/SQL statements and language elements. 37

38 Kompatibilitätsmodus konfigurieren 1) Aktivierung aller Funktionen 2) Neustart des DB2 Servers 3) Erstellen der Datenbank 38

39 Prüfen des Kompatibilitäsmodus Datenbank-Konfigurations Parameter 39

40 PL/SQL Application Enablement leicht gemacht PL/SQL ist ein vollwertiges Interface direkt in DB2 (keine Emulation!) SET SQLCOMPAT PLSQL SET SQLCOMPAT DB2 PL/SQL Editor SQL PL Data Studio Development Studio PL/SQL Compiler SQL PL Compiler Debugger SURE (SQL Unified Runtime Engine) Profiler DB2 Engine DB2 Server Database 40

41 SQL*Plus Skripte in DB2 9.7 CLPPlus SQL*Plus kompatibles command interface Variable substitution Spaltenformatierung Simple reporting Control variables 41

42 Erfahrung: Unterstützte PL/SQL Ausdrücke Anwendungen unterschiedler Größe wurden getestet: Größte: 185,000 PL/SQL Ausdrücke Kleinste: 2,000 PL/SQL Ausdrücke Unterschiedliche Teilnehmer: diverse Industrien Unterschiedliche Anwendungen Global % o f c o d e 100% 80 % 60 % 40 % PL/SQL Unterstützung: Mehr als 750,000 Code-Zeilen wurden getestet Durchschnittliche Kompatibilität: 98.43% 20 % 0% A B C D E F G H I J K L M N O P Q R C o m p a n ie s S uppo rted S tatem ents U ns uppo rted S tatem ents 42

43 Wechsel zu DB2 Oracle DB2 Concurrency Control Native Unterstützung SQL Native Unterstützung PL/SQL Native Unterstützung Packages Native Unterstützung Built-in packages Native Unterstützung OCI Native Unterstützung JDBC Native Unterstützung Online schema changes Native Unterstützung SQL*Plus Scripts Native Unterstützung Keine Emulation! Änderungen sind die Ausnahme, nicht die Regel Wir sprechen von Enablement und keiner Migration. 43

44 Bessere Zusammenarbeit mit integrierten Tools Integrated Data Management Tools IBM InfoSphere Data Architect, IBM Data Studio, IBM Optim Solutions, IBM InfoSphere Mashup Hub Design Alle Phasen des Daten-Lebenszyklus werden unterstützt Optimize Develop 44 Rollenübergreifende Zusammenarbeit Business Analysten, Datenbank Architekten, DBAs, Anwendungsentwickler etc. Unterstützt mehrere Datenbanksysteme* IBM DB2, IBM Informix, Oracle, Microsoft SQL Server, etc. Operate Models Policies Metadata Deploy * Nicht durchgängig

45 Agenda Kostenoptimierung Leistungsoptimierung Einfacher & Flexibler Betrieb Mehr Sicherheit Neue Authorities und Privilegien Separation of Duties 45

46 Erweiterte Sicherheitskonzepte in DB2 Custom Security Anpasspare Sicherheitsstufen Separation of duties Genauere Kontrolle über einzelne Sicherheitsstufen in der Datenbank Erweiterte SSL Client Unterstützung und einfachere Konfiguration Benutzer ID und Passwort können mit dem Advanced Encryption Standard (AES) 256-bit Algorithmus verschlüsselt werden 46

47 Separation of Duties Erweiterung der SECADM Authority zur kompletten Verwaltung der Datenbanksicherheit (kann auch Gruppen und Rollen zugewiesen werden) Keine Möglichkeit die DBADM und SECADM Auhority der SYSADM Authority zuzuweisen oder zu entfernen Entfernung der impliziten DBADM Authority von der SYSADM Authority Ermöglicht die Definition eines DBADM der keine grant oder revoke Privilegien hat: GRANT DBADM ON DATABASE WITHOUT ACCESSCTRL TO USER HSEUBERT Ermöglicht die Definition eines DBADM der keine Zugriffsrechte auf die Daten hat: GRANT DBADM ON DATABASE WITHOUT DATAACCESS TO USER HSEUBERT 47

48 Neue Privilegien WLMADM Verwalten von WLM Objekten (wie Service Klasse etc.) Keine NotwendingkeitDBADM Rechte zu vergeben um WLM Objekte zu verwalten SQLADM Für SQL Tuning verantwortlich Keine NotwendigkeitDBADM Rechte zu vergeben um SQL zu tunen EXPLAIN Erlaubt ein explain und prepare von SQL statements (Query Plan Analysis) Keine Notwendigkeit Zugriffsrechte auf die eigentlichen Tabellen zu vergeben 48

49 DB2 9.7 Paketierung Functionality DB2 Express-C DB2 Express DB2 Workgroup DB2 Enterprise Linux & Windows Linux & Windows Linux, UNIX, Linux, UNIX, Platforms Only Only Windows Windows, zlinux SQL Replication between IBM data servers Data federation between IBM data servers Most flexible and scalable XML High Availability & Disaster Recovery Requires purchase of second server DB2 Express HA feature Business intelligence optimization Complex query parallelism Unlimited hardware scalability Unlimited data growth with table partitioning Geodetic mapping DB2 Geodetic feature Q-Replication Advanced Security soliddb integration Compression Workload and performance management DB2 Homogeneous Replication Feature DB2 Advanced Access Control Feature soliddb Universal Cache Storage Optimization Feature Performance Optimization Feature 49

50 Technische Roadmap DB2 Linux, Unix, Windows DB2 9.7 (19. Juni) Ende 2009 Nach 2009 Erweiterte Komprimierung XML für OLAP Erweiterte SQL Kompatibilität anderer Hersteller Erweitertes Workload Management Unterstützung für Cloud computing Decreased outages with improved support for database changes Easy to use data mining Erweiterte Sicherheit Integrated Data Management Tooling Reporting für HADR Server Erweitertes Monitoring für SAP und Optim Performance Manager Erweiterte Migration von Oracle Optimierung für solid state drives Sybase Kompatibilität Hochverfügbarkeit für Data Warehouses mittels DB2 HADR Optimierung für Intel und Power 7 multi-core chips Erweiterte Sicherheitsmechanismen Multi-temperature storage Scale-out und Hochverfügbarkeit im Cluster

51 Vielen Dank Arno Gabriel Technical Services IBM Information Management 51