IBM Informix Newsletter Ausgabe Juni 2009

Transkript

1 Willkommen zum IBM Informix Newsletter Inhaltsverzeichnis Aktuelles...1 TechTipp: Developer- Express- Workgroup- Enterprise Edition...2 TechTipp: OAT - Übernahme der Connections Definitionen...2 TechTipp: Data Compression - Evaluation Tool...3 TechTipp: Data Compression...3 TechTipp: Table Reorg mittels repack und shrink...7 TechTipp: SQL - Unload mit Spaltenüberschriften...7 TechTipp: Missing Tables in sysmaster after Migration...9 TechTipp: Optionen des ONSTAT (onstat -d / Flag Direct-IO)...9 Hinweis: Zentraler Index für INFORMIX in der INFORMIX-ZONE...10 Hinweis: INFORMIX-ZONE als Marktplatz...10 TechTipp: OAT - ER-Plug-In...10 Hinweis: Developer Edition mit UBUNTU...11 Hinweis: WebCasts zum Nachlesen...11 Anmeldung / Abmeldung / Anmerkung...12 Die Autoren dieser Ausgabe...12 Aktuelles Liebe Leserinnen und Leser, wie im letzten Newsletter angekündigt, stellen wir diesmal u.a. das neue Feature "Data Compression" vor. Im Juni hatten Sie wieder die Gelegenheit an einigen großen Veranstaltungen zu INFORMIX teilzunehmen, wie der IOD in Berlin und dem Workshop der INFORMIX USER GROUP. Auch im Juli sind eine Reihe an Terminen geplant, so z.b. gleich am 2.Juli die "INFORMIX Tankstelle" in Hamburg. Die Redaktion wird Sie wie gewohnt auf diesen Veranstaltungen begleiten. Wie immer haben wir für Sie eine Reihe an Tipps und Tricks zusammengestellt. Viel Spaß mit den Tipps der aktuellen Ausgabe. Ihr TechTeam 1

2 TechTipp: Developer- Express- Workgroup- Enterprise Edition Aus Sicht der Lizensierung waren die INFORMIX Releases stets sehr unterschiedlich. Aus rein technischer Sicht unterschieden sich bisher nur die Developer Edition und die Express Edition von den "Normalen-" Releases, also Workgroup Edition und Enterprise Edition: Die Developer Edition beinhaltete den kompletten Umfang der Features, konnte aber nur mit begrenzter Datenmenge und eingeschränkter Anzahl an Benutzern (Connections) betrieben werden. Die Express Edition beinhaltete einen stark eingeschränkten Umfang der Features, die auch nicht nachträglich aktiviert werden konnten. Mit IDS Version xC4 unterscheiden sich auch die Releases der Workgroup Edition und der Enterprise Edition. Bereits beim Aufruf von "onstat" wird bei der Workgroup Edition der Zusatz "WE" bei der Version angezeigt. Features, die mit der Workgroup Edition nicht buchbar sind, sind damit auch nicht mehr aktivierbar bzw. nutzbar. Der Umstieg von der Workgroup Edition auf die Enterprise Edition konnte bisher allein durch den Erwerb der Lizenz vollzogen werden, ohne dass die Software ausgetauscht und installiert werden musste. Nunmehr ist eine Installation der Software bei einem Umstieg auf die Enterprise Edition zwingend notwendig. Kostenpflichtige Features wie z.b. MACH 11 oder COMPRESSION sind weiterhin Features, deren Nutzung separat lizenziert werden muss, deren Funktionsumfang jedoch bereits im installierten Produkt der Enterprise Edition enthalten ist. Somit ist in diesem Fall keine Produktinstallation notwendig, wenn Sie Features hinzu kaufen. Eine ausführliche Information welche Features mit welchem Release genutzt, hinzugekauft oder aktiviert werden können, lesen Sie in der Ausgabe Juli dieses Newsletters. Hierbei wird neben der technischen Sicht dann auch die Seite des Lizenzrechts beleuchtet. Durch die Aktivitäten rund um die Veranstaltung IOD konnte der Artikel, der für diese Ausgabe geplant war, leider nicht mehr mit allen notwendigen Abklärungen fertiggestellt werden. Ausführliche Informationen erhalten Sie hierzu auch jederzeit bei Ihren Distributoren oder ISVs. TechTipp: OAT - Übernahme der Connections Definitionen Mit OAT Version 2.24 gibt es den Anwahlpunkt die Definition der Connections mittels XML zu entladen oder zu laden. Haben Sie OAT in einer älteren Version bereits genutzt und wollen die Einträge der Connections in das aktuelle OAT übernehmen, dann können Sie dies mittels SQL in der Datenbank SQLITE durchführen: Bisherige Installation: echo ".dump connections" sqlite3 connections.db grep v CREATE > con.sql echo ".dump groups" sqlite3 connections.db grep v CREATE > grp.sql Am Ziel: cat con.sql sqlite3 connections.db cat grp.sql sqlite3 connections.db Die Zugriffe auf die SQLITE-Datenbank müssen als User "root" erfolgen. 2

3 TechTipp: Data Compression - Evaluation Tool Um herauszufinden, ob sich die Data Compression bei Ihrer Datenstruktur lohnen könnte, steht für Sie ein Evaluation-Tool zum Download bereit: Das Tool läuft auf einem Windows-Client, der sich zum Datenbank-Server über TCP/IP verbindet. Die Ergebnisse beruhen auf einfachen Abschätzungen und bieten daher nur einen ersten Anhaltspunkt zur möglichen Komprimierung der Daten. Der wichtige Aspekt der Auswirkung auf die Performance wird vom Tool nicht berücksichtigt. Stellt das Tool eine ausreichende Komprimierung in Aussicht, ist es bei Interesse auf jeden Fall empfehlenswert einen Proof of Concept durchzuführen. Nur dieser kann im Detail Aufschluss darüber geben, ob es Sinn macht alle vom Tool empfohlenen Tabellen zu komprimieren. Beim Proof of Concept ist Ihnen die IBM SWG IM Services gerne behilflich. Details hierzu können Sie bei IBM SWG IM Services (ifmxnews@de.ibm.com) oder direkt bei Ihrem Vertriebs-Ansprechpartner erfahren. Wer bei der ersten Abschätzung durch ein Tool ohne Windows auskommen will, der findet diese Funktionalität im OAT 2.24 im Menu Spaces->Compression oder verbindet sich als Benutzer INFORMIX zur Datenbank sysadmin und ruft den Task "table estimate_compresion" auf (siehe Data Compression). TechTipp: Data Compression Daten in Tabellen oder Fragmenten können ab IDS xC4 komprimiert werden. Um dieses Feature nutzen zu dürfen, ist eine separate Lizensierung notwendig. Die möglichen Vorteile der Komprimierung sind: Reduzierter Bedarf an Speicherplatz Weniger Bedarf an Platz in den Logical Logs Mehr Informationen auf einer gelesenen Page Weniger Bedarf an Hauptspeicher durch reduzierten Platzbedarf in den Bufferpools Reduzierte I/O Aktivitäten durch weniger benötigte Pages und weniger Loginformationen Schnellerer Backup und Restore mit ontape und onbar Da die Auswirkungen der Komprimierung stark von der jeweiligen Konstellation der Daten und Zugriffe abhängen, wie z.b.: Rowsize der Tabellen Werteverteilung und Datentypen Art der Zugriffe (Read/Write/Update) ist empfehlenswert die Implementierung der Compression durch einen Proof of Concept bewerten zu lassen. Nicht alle machbaren Komprimierungen sind aus Sicht der Performance auch sinnvoll. Die Entscheidung für oder gegen eine Komprimierung sollte daher je Tabelle gefällt werden. 3

4 Um die Compression nutzen zu können muss einmalig dieses Features mittels: EXECUTE FUNCTION ADMIN ( "enable compression" ) ; aktiviert werden. Schon bevor das Feature aktiviert wird, steht die Möglichkeit zur Verfügung, die Erfolgsquote der Komprimierung anhand einer Sampleanalyse grob abzuschätzen: database sysadmin; EXECUTE FUNCTION task("table estimate_compression","<tab>","<db>"); Das Ergebnis (Beispiel): est curr change partnum table 82.7% 0.0% x e ibm:informix.tel Succeeded: table estimate_compression ibm:informix.tel Die Analyse in diesem Beispiel zeigt, dass die Tabelle bisher nicht komprimiert ist (curr), und mit Komprimierung um 82,7% weniger Platz belegen würde. Die beste mögliche Komprimierungsrate liegt bei 90%, da bestenfalls Sequenzen zu 15 Byte durch einem 12 Bit Platzhalter ersetzt werden können. Das Dictionary der Komprimierung kann bis zu 3840 Sequenzen zu maximal 15 Byte speichern. Dieses Dictionary wird in einem reservierten Bereich des Dbspace gespeichert, in dem die Tabelle liegt. Der Platzbedarf für das Dictionary je Fragment bzw. Tabelle beträgt ca. 100k. Bei kleinen Tabellen macht daher die Komprimierung keinen Sinn. Bei Tabellen unter 2000 Datensätzen wird deshalb grundsätzlich nicht komprimiert. In der aktuellen Version können folgende Daten nicht komprimiert werden: Tabellen oder Fragmente in den Datenbanken sysmaster, sysutils, sysuser, syscdr und syscdcv1 Katalogtabellen Temporäre Tabellen VirtualTables (VTI) TablespaceTablespace Database Tablespace Indexe BLOBs/CLOBs in Sbspaces BYTE/TEXT in Blobspaces An folgendem Beispiel wird die Komprimierung über das OAT und die analog dazu verfügbaren Task-Aufrufe gezeigt. Hierzu wurden 2 Tabellen mit jeweils 200'000 Datensätzen verwendet. 4

5 Bei der Anlage der Tabellen wurden die Defaults für "Extent Size" und "Next Size" belassen. Im OAT findet man "Compression" als Untermenü zu "Space Administration". Bei der Auswahl einer Datenbank werden die geschätzten Werte für die mögliche Komprimierung angezeigt: Wird der Cursor auf das rosarote Feld bewegt, erscheint die Information dass die derzeitigen 100'000 Pages Used um ca. 86'000 Pages reduziert werden könnten. Wählt man das Feld am Ende der Zeile für die Tabelle an, bekommt man eine Auswahlmaske: Bestätigt man die Auswahl, in diesem Fall nur der Anwahlpunkt "Compression", so wird die Tabelle mittels eines Aufrufs der Funktion "admin" komprimiert. Das Ergebnis: Die Tabelle belegt weiterhin die 100'000 Pages, ist aber komprimiert. Der entsprechende Aufruf im dbaccess lautet: EXECUTE FUNCTION task("table compress","<tab>","<db>"); 5

6 Die Datensätze sind nun komprimiert, liegen aber weiterhin auf den selben Pages und belegen daher den selben Platz wir zuvor. Um die entstandenen Freiräume zu nutzen, ist eine Umspeicherung der Datensätze, genannt "repack", notwendig. Nach der Auswahl von "repack" werden die komprimierten Datensätze auf die nunmehr freigewordenen Plätze der Pages in den vorderen Extents verschoben. Dadurch wird zusammenhängender Platz innerhalb des Extents frei. Die Tabelle hat weiterhin die bisher allockierten Extents, belegt aber nur noch Pages in den ersten Extents, was sich am Verhältnis der Pages Total (100'592) zu Pages Used (18'353) zeigt. Beim "repack" werden keine Extents an die Instanz bzw. die Freelist der Extents des Dbspaces übergeben. Der entsprechende Aufruf im dbaccess lautet: EXECUTE FUNCTION task("table repack","<tab>","<db>"); Soll der gewonnene Platz nicht für die selbe Tabelle genutzt werden, so ist eine Freigabe der nicht mehr belegten Pages mittels "shrink" möglich. Der Aufruf "shrink" gibt nun die nicht mehr benötigten Pages einer Tabelle an den Dbspace zurück, wodurch die Gesamtzahl der belegten Pages der Tabelle (Total) reduziert wird. Nach dem "Shrink" ist nun auch der Wert der Total Pages auf 18'358 reduziert. Der entsprechende Aufruf im dbaccess lautet: EXECUTE FUNCTION task("table shrink","<tab>","<db>"); "Repack" und "Shrink" können auch als weitere Argumente beim "compress" angegeben werden. Komprimierte Daten können mit "uncompress" wieder in den Ausgangszustand gebracht werden. 6

7 Statt auf einer ganzen Tabelle können die Tasks der Komprimierung auch auf Partitionen angewandt werden. Während der Aufrufe "compress", "repack", "shrink" oder "uncompress" sind die Tabellen zugreifbar. Empfohlen wird der Isolatoin Level "repeatable read", der verhindert, dass beim Zugriff Datensätze doppelt gelesen werden, wenn diese gerade vom "repack" verschoben werden. Statt dem "repack" kann der "repack_offline" aufgerufen werden. Dieser setzt eine exklusive Sperre auf die Tabelle und verhindert so das Lesen von Phantomsätzen. Hinweis: Bei Nutzung einer der Hochverfügbarkeitslösungen HDR, RSS oder SDS sind mit der Komprimierung der Daten am Primary Server auch die Daten der entsprechenden Tabellen auf den Secondary Servern komprimiert. Bei Nutzung der Hochverfügbarkeit bzw. Datenverteilung über Enterprise Replication (CDR) können die Daten auf den beteiligten Instanzen wahlweise unabhängig voneinander komprimiert werden. Hinweis: Die Verwendung von onload/onunload ist bei komprimierten Daten nicht möglich. TechTipp: Table Reorg mittels repack und shrink Die beiden Funktionen 'repack' (auch 'repack_offline') und 'shrink' können im Rahmen einer IDS xC4 Lizenz kostenlos genutzt werden. Das kostenpflichtige "Storage Optimization Feature" ist dafür nicht Voraussetzung. Erst wenn man wirklich komprimieren möchte, benötigt man die kostenpflichtige Option! TechTipp: SQL - Unload mit Spaltenüberschriften Eine oft gestellte Anfrage im SQL ist ein Unload der Daten mit Spaltenüberschriften, wobei die Werte eines Datensatzes in einer Zeile stehen sollen. Dieses Verhalten kann mittels einer kleinen Procedure erreicht werden. Die Procedure ermittelt die Spalten der Tabelle und gibt sie als einen Textstring aus, bei dem die Einträge mit Delimiter aufgelistet sind (im Beispiel der Default ' '). create procedure tab_cols (v_table char(18)) returning lvarchar(32000); define xx lvarchar(32000); define cc varchar(255); define cno int; let xx = ""; let cc = ""; foreach cursor for select colname, colno into cc, cno FROM systables t, syscolumns c 7

8 WHERE t.tabid = c.tabid AND t.tabname = v_table order by colno if cc is not null then if length(xx) > 1 then let xx=xx " "; end if; let xx = xx trim(cc); end if; end foreach; return xx; end procedure; Mit einem einfachen Shell-Script lässt sich nun der Unload und der Aufruf der Procedure steuern: #!/bin/bash if test "x$1" = "x" then echo "Datenbank nicht angegeben" echo "Usage $0 <dbname> <tabname>" exit 1 fi if test "x$2" = "x" then echo "Tabelle nicht angegeben" echo "Usage $0 <dbname> <tabname>" exit 1 fi dbaccess <<EOF database $1; unload to $2.unl delimiter " " select tab_cols("$2") from systables where tabid = 1; unload to $2_d.unl delimiter " " select * from $2; EOF cat $2_d.unl >> $2.unl rm $2_d.unl Das Ergebnis (am Beispiel "stores" "customer"): customer_num fname lname company address1 address2 city state zipcode phone Ludwig Pauli All Sports Supplies 213 Erstwild Court Sunnyvale CA Marion Smart Sports Symonds Rd. Dean Park AUS Philip Currie Phil's Sports 654 Poplar P. O. Box 3498 Palo Alto CA Anthony Higgins Play Ball! East Shopping Cntr. 422 Bay Road Redwood City CA. In diesem Beispiel ist der Delimiter hart verdrahtet. Mit kleiner Änderung könnte der Delimiter als zusätzlicher Parameter übergeben werden. Die Procedure müsste dann ebenfalls den Delimiter als weiteres Argument erhalten. 8

9 TechTipp: Missing Tables in sysmaster after Migration Bei einer Migration InPlace von IDS xC2 oder xC3 auf IDS xC4 wird die Datenbank sysmaster nicht automatisch neu aufgebaut. Dies hat zur Folge, dass neue Tabellen fehlen, die z.b. für die Abschätzung der Compression Rate erforderlich sind. Im OAT führt dies bei der Anwahl des Menupunktes COMPRESSION zu folgendem Fehler: # database: query failed # Query: select trim(smgr_dbname) as dbname, trim(smgr_owner) as owner, # trim(smgr_tabname) as tabname # from sysmaster:sysstoragemgr # Error: 206 [Informix][Informix ODBC Driver][Informix] # The specified table (sysstoragemgr) is not in the database. # (SQLPrepare[ 206] at #/work/lwchan/workspace/oatphpcompile/pdo_informix/pdo_informix/informix_driver. c:131) /opt/openadmin2.24/apache_2.2.4/htdocs/openadmin/lib/database.php 155 Die Lösung des Problems ist der Neuaufbau der Datenbank sysmaster mittels $INFORMIXDIR/etc/conv/rebuildsmi.sh. Vor diesem Aufruf sollte eine Sicherung Level 0 erstellt werden (... was nie schaden kann). Zu beachten ist, dass zuvor ggf. die CDR gestoppt werden muss und die Schduler Tasks zu stoppen sind. Ein Hinweis, dass die Datenbank sysmaster bei Migration InPlace manuell neu aufgebaut werden muss, findet sich in den Releasenotes (die leider nur selten gelesen werden). Bei den neuen Tabellen handelt es sich um: syscompdicts_full und sysstoragemgr TechTipp: Optionen des ONSTAT (onstat -d / Flag Direct-IO) Ab Version xC4 wird beim "onstat -d" ein zusätzliches Flag angezeigt (Position 5), das angibt, ob der betreffende Chunk mit Direct-I/O geöffnet wurde. Die möglichen Werte hierfür sind: - Not using the direct I/O or concurrent I/O option for this cooked file chunk C On AIX, using the concurrent I/O option for this cooked file chunk D Using the direct I/O option for this cooked file chunk Beispiel: IBM Informix Dynamic Server Version UC4 On Line Up 04:11: Kbytes Dbspaces address number flags fchunk nchunks pgsize flags owner name 4ae4d x N B informix rootdbs 4f747cd0 2 0x N B informix logdbs 4f747e30 3 0x N B informix datadbs 4f x N TB informix tmpdbs1 4f x N SB informix sbdbs 9

10 Chunks address chunk/dbs offset size free bpages flags pathname 4ae4d PO BD /DBS/rootdbs 4f7482d PO BD /DBS/logdbs 4f7484b PO BD /DBS/datadbs 4f PO B /DBS/tmp1dbs 4f POSBD /DBS/sbdbs Metadata Hinweis: Zentraler Index für INFORMIX in der INFORMIX-ZONE Wer hat nicht schon einmal lange Zeit damit verbracht eine Seite unter wieder zu finden, die er kurz zuvor gesehen hatte? Auf den Seiten der INFORMIX-ZONE gibt es einen sehr hilfreichen Index zu den INFORMIX Seiten im Web (nicht nur ibm.com). Neben den Links zu den Releasenotes, Downloads, Redbook und Anleitungen, findet man hier auch Überraschungen wie z.b. ein ONCONFIG-Poster. Zudem sind Hinweise zu BLOGs und Newsgroups zum Thema INFORMIX hier übersichtlich aufgelistet. Der Link: Hinweis: INFORMIX-ZONE als Marktplatz Bei der Redaktion des INFORMIX Newsletters treffen immer wieder Anfragen ein, mit der Bitte "Werbung im Newsletter" zu platzieren. Diese Anfragen müssen wir auf Grund unserer Statuten leider ablehnen. Die viel besuchte Plattform INFORMIX-ZONE bietet ab sofort jedoch die Möglichkeit Ihre Firma und Ihre Produkte zu präsentieren. Sie erreichen damit zielgerichtet die Partner, die sich intensiv mit INFORMIX beschäftigen und unterstützen zudem die Finanzierung der hochwertigen Plattform "INFORMIX-ZONE". Weitere Informationen unter: TechTipp: OAT - ER-Plug-In Das in OAT 2.24 enthaltene Plug-In für die Enterprise Replication setzt IDS xC4 oder höher voraus. Ist Ihr Server noch nicht auf diesem Stand, dann sollten Sie das ER- Plug-In aus dem OAT 2.23 installieren, das sowohl mit IDS und IDS kommunizieren kann. 10

11 Hinweis: Developer Edition mit UBUNTU Für diejenigen, die eine Datenbankapplikation entwickeln, oder die neuen Features der IDS testen wollen, ist nun das kostenlose Bundle aus Linux uns IDS 11.5 Developer Edition auch unter UBUNTU verfügbar. Der Download ist zu finden unter: Dieses Bundle enthält: Informix Dynamic Server Developer Edition Informix Open Admin Tool (OAT) Ubuntu v8.10 Linux O/S IBM Data Studio Developer AGS Server Studio PHP JDBC Apache Hinweis: WebCasts zum Nachlesen Die Serien von WebCasts zu INFORMIX ist sehr interessant. Wer nicht an den Terminen direkt teilnehmen kann, der findet die Vorträge dazu gesammelt unter: Die Themen umfassen viele Bereiche, wobei natürlich die neuen Features und das Zusammenspiel der INFORMIX IDS mit anderen Produkten eine zentrale Rollle spielt. Die aktuellen Beiträge der WebCasts sind: IDS and Warehousing IDS and soliddb Universal Cache 6.3 IDS 2009 Roadmap and Future Direction IDS Upgrade (Replay) 11

12 Anmeldung / Abmeldung / Anmerkung Der Newsletter wird ausschließlich an angemeldete Adressen verschickt. Die Anmeldung erfolgt, indem Sie eine mit dem Betreff ANMELDUNG an ifmxnews@de.ibm.com senden. Im Falle einer Abmeldung senden Sie dies ebenfalls an diese Adresse. Das Archiv der bisherigen Ausgaben finden Sie zum Beispiel unter: Die hier veröffentlichten Tipps&Tricks erheben keinen Anspruch auf Vollständigkeit. Da uns weder Tippfehler noch Irrtümer fremd sind, bitten wir hier um Nachsicht falls sich bei der Recherche einmal etwas eingeschlichen hat, was nicht wie beschrieben funktioniert. Die Autoren dieser Ausgabe Gerd Kaluzinski IT-Specialist Informix Dynamic Server und DB2 UDB IBM Software Group, Information Management gerd.kaluzinski@de.ibm.com Martin Fuerderer IBM Informix Entwicklung, München IBM Software Group, Information Management martinfu@de.ibm.com Christine Mayer IBM Sales & Distribution, Software Sales IBM Software Group, Information Management christine.mayer@de.ibm.com Gerald AUFMUTH IT Technical Specialist / AD-Consultant Gerald_Aufmuth@at.ibm.com Fotonachweis: Redaktionsgarten - Kirschernte 12