PostgreSQL PRAXISBUCH FÜR ADMINIS TRATOREN UND ENTWICKLER. EXTRA: Mit kostenlosem E-Book. lutz FRÖHLICH

Transkript

1 lutz FRÖHLICH PostgreSQL 9 PRAXISBUCH FÜR ADMINIS TRATOREN UND ENTWICKLER EXTRA: Mit kostenlosem E-Book Im Internet: Die Programme und Skripte zum Download

2 Fröhlich PostgreSQL 9 Bleiben Sie auf dem Laufenden! Der Hanser Computerbuch-Newsletter informiert Sie regelmäßig über neue Bücher und Termine aus den verschiedenen Bereichen der IT. Profitieren Sie auch von Gewinnspielen und exklusiven Leseproben. Gleich anmelden unter

3

4 Lutz Fröhlich PostgreSQL 9 Praxisbuch für Administratoren und Entwickler

5 Der Autor: Lutz Fröhlich, Darmstadt Kontakt: Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autor und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autor und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbe zeich nungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz- Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden Carl Hanser Verlag München, -fachbuch.de Lektorat: Brigitte Bauer-Schiewek Herstellung: Irene Weilhart Copy editing: Manfred Sommer, München Umschlagdesign: Marc Müller-Bremer, München Umschlagrealisation: Stephan Rönigk Gesamtherstellung: Kösel, Krugzell Ausstattung patentrechtlich geschützt. Kösel FD 351, Patent-Nr Printed in Germany print-isbn: e-book-isbn:

6 Inhalt 1 Einführung und Geschichte Einführung und Motivation Die Geschichte von PostgreSQL Verwendete Version Konventionen Installation und Quellen Paketinstallation Installation aus dem Quellcode Installation aus dem Quellcode unter Linux Installation aus dem Quellcode unter Windows Erste Schritte Server und Datenbank konfigurieren und administrieren Parameter-Einstellungen vornehmen Parameter für System-Ressourcen Parameter für Write Ahead Log (WAL) und Checkpoints Parameter für den Background Writer Parameter für Archivierung, Streaming Replication und Standby-Server Parameter für Verbindung und Authentifizierung Parameter für Client-Standards Parameter für VACUUM Parameter für SQL Tuning Parameter für Logging und Tracing Benutzerspezifische Parameter Parameter für Entwickler Die WAL-Archivierung einschalten Authentifizierung von Clients Einen Connection Pool aufsetzen... 31

7 VI Inhalt 3.5 Concurrency Datenbanken verwalten Wartungsaufgaben VACUUM ANALYZE Nützliche Skripte und Hinweise Eine Passwort-Datei verwenden Welche Parameter sind Nicht-Standard? Eine Session killen Ein Tabelle nach Excel kopieren Die Datei.psqlrc Einen WAL-Switch manuell auslösen Die PostgreSQL-Server Log-Datei in eine Tabelle laden Automatisches Rotieren von Log-Dateien Nicht verwendete Indexe identifizieren Microsoft Excel als Datenbank-Client Den Inhalt der Kontrolldatei ausgeben Platzverbrauch von Tabellen Die Anzahl von Verbindungen begrenzen Tabellen und Indexe in eine andere Tablespace legen Updateable Views Temporäre Tablespaces verwalten Lang laufende SQL-Anweisungen Sicherung und Wiederherstellung SQL Dump Offline-Sicherung auf Dateisystem-Ebene Online-Sicherung mit Point-in-time-Recovery Funktionen zur Sicherung und Wiederherstellung Sicherheit und Überwachung Sicherheit Datenbank-Rollen und -Privilegien Authentifizierung und Zugangskontrolle Rechteverwaltung (Privilegien) Optionen für die Verschlüsselung Out-of-the-box-Sicherheit Hacker-Attacken abwehren Brute-Force-Attacken Network Spoofing SQL Injection Überwachung... 90

8 Inhalt VII Auditing Monitoring Performance Tuning PostgreSQL Server-Tuning Goldene Regeln für neue Server und Datenbanken Tuning mit pgtune Optimierung der Memory-Parameter Performance-Analyse Analyse mit dem Statistics Collector Der Background Writer Analyse mit pgstatspack Partitionierung Vererbung von Tabellen Tabellen partitionieren Benchmarks Ein TPCC-Benchmark Fazit des Benchmarks Hot Standby und Streaming Replication Eine Standby-Datenbank aufsetzen Vorbereitung und Planung Konfiguration und Aktivierung Streaming Replication einsetzen Die Replikation überwachen Synchrone Replikation Eine Hot-Standby-Datenbank betreiben Failover und Switchover Entwicklung von Applikationen für PostgreSQL Client-Programmierung Die PostgreSQL Frontend Library libpq PostgreSQL-Applikationen mit Java entwickeln Server-Programmierung Integrierte Prozedurale Sprachen Trigger SQL erweitern Das Regelsystem Das Regelsystem für SELECT- Anweisungen Das Regelsystem für DML-Anweisungen Regeln und Views

9 VIII Inhalt 10 Optimierung von SQL-Anweisungen Der Query Optimizer Indexe effektiv einsetzen Optimierung von SQL-Anweisungen Der EXPLAIN-Befehl Ausführungspläne verstehen PostGIS PostGIS und PostgreSQL PostGIS installieren Paketorientierte Installation Installation aus dem Quellcode Erste Schritte mit PostGIS SQL-Abfragen in PostGIS PostgreSQL in die IT-Landschaft einbinden Funktionen und Features Datensicherung und Wiederherstellung Desaster Recovery (DR) Überwachung Administrierbarkeit Verfügbarkeit Datensicherheit und Auditing Performance und Skalierbarkeit Schnittstellen und Kommunikation Support Fazit Migration von MySQL nach PostgreSQL Unterschiede zwischen MySQL und PostgreSQL Eine Migration durchführen Von Oracle auf PostgreSQL umsteigen Den Umstieg planen Unterschiede zwischen Oracle und PostgreSQL Unterschiede bei Datentypen Steigerung der Kompatibilität von PostgreSQL Portierung von Oracle PL/SQL Tools zur Unterstützung der Migration Technisches Vorgehen Eine Beispiel-Migration Übernahme der Daten

10 Inhalt IX 15 Replikation zwischen PostgreSQL und Oracle Datenbank-Link zwischen Oracle und PostgreSQL Replikation mit Transaktionslog Replikation mit Oracle Streams Heterogeneous Information Sharing Replikation mit Oracle XStream Replikation von Oracle zu PostgreSQL mit XStream Out Index

11

12 1 Einführung und Geschichte 1.1 Einführung und Motivation PostgreSQL ist aktuell die weltweit am stärksten wachsende Datenbank. Immer mehr Unternehmen sind davon überzeugt, dass Open-Source-Produkte in vielen Bereichen gegenüber kommerziellen Produkten klar im Vorteil liegen. Viele Open-Source-Produkte haben bewiesen, dass eine starke Entwickler-Community in der Lage ist, Produkte dynamischer und mit mehr Qualität zu entwickeln und weiter auszubauen. Das Thema Support ist ebenfalls kein Problem. Es gibt genügend IT-Dienstleister, die professionellen Support für Open-Source- Produkte anbieten. Die zunehmende Popularität von PostgreSQL ist auch darauf zurückzuführen, dass die andere große Open-Source-Datenbank MySQL nach der Übernahme durch die Firma Oracle ums Überleben kämpft. Es ist ein zunehmender Umstieg von MySQL auf PostgreSQL zu verzeichnen. Ein weiterer Vorteil, den PostgreSQL bietet, ist der sehr hohe Kompatibilitätsgrad zur Oracle-Datenbank. Dadurch ist es möglich, mit überschaubarem Migrationsaufwand von Oracle nach PostgreSQL zu migrieren. Darüber hinaus können Oracle- und PostgreSQL- Datenbanken problemlos im Mischbetrieb eingesetzt werden. Nicht zuletzt wird die zunehmende Verbreitung von PostgreSQL aber auch durch dessen Robustheit in der Transaktionsverarbeitung, hohe Zuverlässigkeit sowie sehr gute Performance unterstützt. Die Version 9 sticht durch neue Features wie eingebauter Replikation, Hot Standby und Streaming Replication, zusätzlichen Performance-Features, Spalten-Triggern sowie vielen anderen sehr nützlichen Erweiterungen hervor. Dennoch ist PostgreSQL eine schlanke und sehr gut zu verwaltende Datenbank, die sich auf ihr Kerngeschäft, die Verwaltung von Datenbeständen, konzentriert. Sie ist in den vergangenen Jahren erwachsen geworden und wird heute in vielen Bereichen kommerziell eingesetzt. PostgreSQL läuft auf vielen Plattformen, wie z. B. Linux, MacOS X, Solaris oder Windows. Obwohl es sich um ein Open-Source-Produkt handelt, kann kommerzieller Support zu einem vernünftigen Preis hinzugekauft werden. Einem professionellen Einsatz steht damit nichts im Wege. Das Buch beschäftigt sich detailliert mit den Themen Administration von und Entwicklung auf PostgreSQL 9. Darüber hinaus finden Sie viele Informationen zum Thema Migration

13 2 1 Einführung und Geschichte von Oracle oder MySQL nach PostgreSQL sowie zur Planung und Implementierung von PostgreSQL-Datenbanken in eine bestehende IT-Landschaft. Das schließt den Datenaustausch mit anderen Datenbanksystemen, insbesondere Oracle, mit ein. Trotz einer hohen Kompatibilitätsrate zu Oracle gibt es für die Migration einiges zu be achten. Im Buch finden Sie viele praktische Erfahrungen, die bei verschiedenen Migrationen gesammelt werden konnten. Für die Replikation zwischen PostgreSQL und Oracle gibt es unterschiedliche Lösungen, die mehr oder weniger stabil laufen und unterschiedliche Kosten verursachen. Das Buch ist als Schnelleinstieg für IT-Profis geschrieben und setzt grundlegende Kenntnisse von relationalen Datenbanksystemen voraus. Auf eine grundlegende Erläuterung von gängigen Begriffen wird deshalb bewusst verzichtet, auch um den Umfang des Buches überschaubar zu halten. Dennoch finden Sie viele Beispiele und Praxistipps, die auch Einsteigern die Möglichkeit bieten, sich in das Produkt einzuarbeiten. 1.2 Die Geschichte von PostgreSQL PostgreSQL geht zurück auf das POSTGRES-Projekt, das an der University of California at Berkeley in den 80er-Jahren angesiedelt war. Die erste vorzeigbare Version erschien im Jahre 1987 als Postgres Version 1. Als Reaktion auf die ersten Kritiken wurde das noch heute in PostgreSQL vorhandene Rule-System entwickelt. Version 3 erschien im Jahre 1991 mit einer Weiterentwicklung der Abfrageeinheit beendete die University of California das Projekt mit der Version 4.2, um die rasant wachsenden Support-Anforderungen nicht mehr tragen zu müssen. Nach Hinzufügen eines SQL-Abfrage-Interpreters im Jahre 1995 wurde die Software unter dem Begriff Postgres95 ins Web gestellt, mit dem Quellcode des originalen Berkeley-Postgres. Das Produkt war zu dieser Zeit komplett in ANSI C geschrieben. Durch Verbesserung in den Bereichen Wartbarkeit und Performance lief es schließlich bis zu 50 % schneller als das originale Berkeley-Postgres. Die Entscheidung, die Jahreszahl aus dem Produktnamen zu entfernen, fiel im Jahre Damit wurde Postgres95 zu PostgreSQL, und es begann die ständige Weiterentwicklung von PostgreSQL als Open-Source-Produkt. Obwohl Letzteres über viele Jahre ein Schattendasein im Licht der großen kommerziellen Datenbanken, aber auch der durch den Internet-Boom schnell verbreiteten Open-Source-Datenbank MySQL führte, erfolgte seine konsequente Weiterentwicklung durch die Community. Heute präsentiert sich PostgreSQL als ausgereift und stabil und erfüllt (fast) alle Anforderungen an ein modernes relationales Datenbanksystem. Für viele überraschend: Die Performance ist gleich oder nur unwesentlich schlechter im Vergleich zu so manchem kommerziellen Produkt. Eine positive Überraschung sind auch die neuen Replikations-Mechanismen der Version 9, bis hin zur Hot Standby-Datenbank.

14 1.4 Konventionen Verwendete Version Das Buch bezieht sich auf die während des Schreibens vorliegende aktuelle Version Schauen Sie nach weiteren Veröffentlichungen, insbesondere für neuere Versionen, auf der Webseite des Verlages oder der Autoren-Webseite. Alles rund um die PostgreSQL-Community finden Sie auf der offiziellen Webseite Konventionen Begriffe in spitzen Klammern bezeichnen eine zu ersetzende Variable (so ist zum Beispiel der Ausdruck <VERSION> durch die aktuelle Version zu ersetzen). Die meisten Darstellungen beziehen sich gleichermaßen auf UNIX- und Windows-Betriebssysteme. Die Darstellung der Umgebungsvariablen erfolgt im Wesentlichen im UNIX-Format, d. h. z. B. $BIN statt %BIN % für Windows. Sie können das Format einfach nach Windows übertragen. Das Gleiche gilt für das Trennzeichen der Pfade: / unter Unix sowie \ unter Windows.

15