Datenbankkonsolidierung unter VMWare Praxisbericht bei Walter Rau Lebensmittelwerke

Transkript

1 Datenbankkonsolidierung unter VMWare Praxisbericht bei Walter Rau Lebensmittelwerke Inhaltsübersicht Beschreibung des Projekts bei Walter Rau Wichtige Fragestellungen Lösungskonzept zur Virtualisierung Oracle Lizenz und Support bei Einsatz von VMWare Erfahrungen bei Installation und Betrieb von Oracle unter VMWare Oracle Probleme in diesem Projekt (im Kontext VMWare?) Quintessenz: produktiver Einsatz von Oracle unter VMWare Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 2

2 Vorstellung: TEAM GmbH Firmenzentrale - Gründung Unternehmensgruppe Materna Mitarbeiter Mio. Euro Umsatz in 2005 Geschäftsführung Michael Baranowski - Heike Käferle 50 Mitarbeiter Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 3 Vorstellung: Walter Rau Lebensmittelwerke Inhabergeführtes Familienunternehmen mit über 100-jähriger Tradition Walter Rau Lebensmittelwerke GmbH & Co. KG Mitarbeiter: 264 (davon 17 Auszubildende) Umsatz: 110 Millionen Haushalts- / Großverbraucherund Industriemarken z. B.: DELI REFORM Cremana Feine Küche Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 4

3 IT bei Walter Rau in Zahlen IT Infrastruktur 2 Standorte vernetzt über VPN 43 Server davon 18 virtuelle und 25 physische Server Redundantes SAN 230 Clients (Desktops und Notebooks); 180 User Betriebsysteme: Windows 2000 / 2003 / XP, Linux, AIX, Netware IT Organisation IT Ressourcen & Services verantwortlich für gesamte IT und Telekommunikation 1 Leiter 3 Mitarbeiter (2 Administratoren, 1 Entwickler) 2 Auszubildende 3 Systemmanager in den Fachbereichen, verantwortlich für die Applikationen IT Lenkungsgruppe bestehend aus Geschäftsführer Einkauf/IT und IT Leiter Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 5 Ausgangslage Veraltete Hard- und Software für die produktiv betriebenen Oracle Datenbanken (Microsoft Windows Cluster mit Oracle Fail Safe) Auslaufender Support für einen Teil der Oracle Produkte (Datenbank 8i, Forms 6i, Reports 6i, Discoverer 4) Zu hohe Abhängigkeiten zwischen Betriebsystem, Datenbank und Anwendungen auf dem Cluster Erschwert die Wartung des Systems Keine weiteren Ressourcen (Rechenkapazität, Speicher) für die Realisierung neuer Anforderungen vorhanden Viele physische Server für unterschiedliche Aufgaben und mit lokaler Datenhaltung, die nur zum Teil ausgelastet waren. Datenbankadministration erfolgte in Nebentätigkeit von einem Mitarbeiter Aufgaben wurden nur ereignisorientiert wahrgenommen keine proaktive Betriebsüberwachung Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 6

4 Zielsetzung Schaffen einer neuen Datenbankinfrastruktur, die ein einfaches Betriebskonzept realisiert, mit folgenden Vorgaben: VMWare ESX Server auf Basis von HP Hardware Microsoft Windows 2003 Server Oracle 10g, Oracle DataGuard, Oracle Developer 10g Support bedingter Wechsel von 2-stufiger Client/Server-Welt auf 3-stufige Application Server Welt. Modularer Migrationsplan für das Betriebskonzept in einzelnen Phasen zu realisieren Administration der Datenbankinfrastruktur soll zukünftig von externen Dienstleister übernommen werden können Alle IT-Systeme sollen in einem Gesamtkonzept berücksichtigt werden Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 7 Virtualisierung mit VMWare Anwendung Entkoppelt die Hardware vom Betriebssystem CPU Anwendung Anwendung VMware Virtualisierungsschicht x86 x86 Architektur RAM NIC Anwendung Betriebssystem Betriebssystem Betriebssystem Betriebssystem Disk Partitionierung Mehrere Anwendungen und Betriebssysteme auf einem physischen Server. Isolierung Jede virtuelle Maschinen ist vollständig getrennt von anderen virtuellen Maschinen. Kapselung Die gesamte virtuelle Maschine wird in einer Datei gespeichert. Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 8

5 Vorteile virtueller Maschinen Optimale Ausnutzung der Resourcen (CPU,RAM,Speicherplatz) im Rechenzentrum Hohe Flexibilität, da unabhängig von physikalischer Hardware Wechsel der physikalische Hardware beeinträchtig nicht die virtuelle Maschine Backups von virtuellen Maschinen können auf beliebigen ESX- Server eingespielt werden Einfaches Kopieren/Clonen möglich, da VMs lediglich aus wenigen Dateien bestehen Aufsetzen von Testumgebungen in Minuten. Neue und weniger komplexe Disaster Recovery Konzepte sind somit möglich. Paralleler Betrieb von virtuellen Maschinen mit unterschiedlichen Betriebssystemen (Windows 2000/2003/XP, Linux) auf einem physikalischen Server möglich Standardisierung von Umgebungen Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 9 Wichtige Fragestellungen Performanceanforderungen der zu virtualisierenden Systeme? I/O Verhalten Prozessorlast Hauptspeicherbedarf Testen, Testen, Testen Management der Virtualisierungsschicht? Lizenzregeln? Support? KO-Kriterium im Projekt! Lieferanten? Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 10

6 Vorgehensweise Im Vorfeld wurde auf Basis einer umfangreichen Ist- Analyse aus dem Hause Walter Rau und eines konkreten Anforderungskataloges ein umfangreiches Auswahlverfahren mit 10 beteiligten Firmen durchgeführt. Am Ende des Auswahlverfahrens konnten sich zwei Firmen durchsetzen: DTS Systeme GmbH, Herford: für die Implementierung der Hardware (Server und SAN) und die VMware Umgebung TEAM GmbH, Paderborn: für die Einrichtung der Oracle Umgebung mit Datenbank, Data Guard, Application Server und Grid Control Das im folgenden vorgestellte Lösungskonzept wurde nach unseren Vorgaben in Zusammenarbeit mit beiden Firmen realisiert. Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 11 Dynamic Data Center ESX01 ESX03 ESX05 SAN SAN ESX02 ESX04 ESX06 Management Management SAN Switch SAN Switch SAN Switch SAN HP EVA 4000 SAN Switch SAN HP EVA 4000 Serverraum 1 Serverraum 2 Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 12

7 Überblick Lösungskonzept Zehn virtuelle Maschinen für Oracle Pro Datenbank Instanz eine VM (3 x Produktiv + 3 x Standby) Eine VM für den Applikation Server. Eine VM für die Entwicklungsumgebung. Eine VM für das Gird Control. Verteilung der virtuellen Maschinen auf vier physikalische ESX Server unter Berücksichtigung der Lizenzierungsregeln! Speicherung der VMs und der Daten im SAN. Schaffung von Hochverfügbarkeit für alle Serversysteme: Redunddanzen auf allen Ebenen (Datenspeicher, ESX Server, VMs) Datenspiegelung Oracle Dataguard Replikation der VMs durch Online Backup (DR Konzept) Lastwechsel bzw. Umverteilung über VMotion Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 13 Verteilung der VMs und Oracle Dataguard VM 5 Dataguard VM 1-1 VM 1-2 Dataguard VM 2-1 VM 2-2 Dataguard VM 3-1 VM 3-2 VM 4 Grid Control RAPP RSTA Discoverer RAPP RSTA Discoverer LIMS LIMS RSPE RSPE Application Server ESX 3 ESX 5 ESX 4 ESX 6 SAN Datenspeicher 1 SAN Datenspeicher 2 Serverraum 1 Serverraum 2 Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 14

8 Absicherung auf mehreren Ebenen 1. Absicherung SAN Rundante Hardware-Komponenten Zwei räumlich getrennt SAN Einheiten 2. Absicherung ESX Server Mehrerer ESX Server - räumlich getrennt VMotion Backup über Agent 3. Absicherung virtuelle Maschinen Baremetal-Backup VMDK s und Konfig auf separates SAN Filelevel-Backup durch Agents auf Band (LTO / DLT) 4. Absicherung Oracle Datenbanken Spiegelung der Datenbanken über Oracle Data Guard Sichern der Datenbanken über RMAN Backups Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 15 Verfügbarkeit im Schichtenmodell Schicht 1: VM VM 1 VM 2 VM 3 VM 4 Schicht 2: ESX Virtual Center Backup LAN LAN Schicht 3: SAN Switch Switch Switch Switch VMDK von VM 1 VMDK von VM 4 Kopie VMDK von VM 4 Kopie VMDK von VM 1 Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 16

9 Projektausblick Ablösung einer bestehenden Logistiklösung auf Basis Novell Netware durch eine Oracle basierten Team Lösungen ProStore und ProTrace mit Betrieb unter VMWare. Migration ESX 2.5 nach VMWare Virtual Infrastruktur Version 3 (ESX 3.0). Erweiterung der ESX Server Farm um zusätzliche physikalische Server. Konsolidierung und Virtualisierung weiterer physikalischer Systeme: File- und Exchange Server Zeiterfassung / Zutrittskontrolle EDI Systeme Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 17 VMWare Unterstützung durch Oracle Partnerschaft zwischen VMWare und Oracle seit Ende 2004 mit dem Ziel Hilfe bei Installation und Konfiguration Bereitstellen von Best Practice Informationen Bereitstellung vorinstallierter und vorkonfigurierter Umgebungen (siehe Oracle nutzt VMWare selber für Umgebungen in der Entwicklung und Qualitätssicherung das Reproduzieren von Problemen im Oracle Support Oracle stellt als vorkonfigurierte VMWare Maschinen Datenbank 10g RAC auf Linux - Umgebungen zu Testzwecken bereit (siehe Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 18

10 Oracle Lizenzierung unter VMWare Named User Lizenzen kein Unterschied zu Lizenzierung mit physikalischen Maschinen! In diesem Projekt eingesetzt. CPU Lizenzierung VMWare gilt als Soft Partitioning Alle physikalisch möglichen CPUs eines Servers sind zu lizenzieren kein Unterschied zu Lizenzierung mit physikalischen Maschinen, wenn auch nur in einer virtuellen DB Maschine alle CPUs genutzt werden! Aber: Wird nur ein Teil der physikalischen CPUs (z. B. 2 von 4) für die virtuelle Maschine mit der Oracle DB genutzt, so sind dennoch alle physikalischen CPUs zu lizenzieren! Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 19 Oracle Support für VMWare Installationen Zu bekannten Oracle Problemen schlägt Oracle die bekannte Lösung vor Hilft dieser Lösungsansatz nicht, so wird das Problem an den VMWare Support weitergereicht Ist das Problem bei Oracle unbekannt, dann wird versucht, dieses ohne VMWare zu reproduzieren Ist das Problem ohne VMWare nicht zu reproduzieren, so wird es an den VMWare Support weitergereicht RAC Installationen unter VMWare werden grundsätzlich nicht supported (siehe Oracle Metalink Note: , Stand 29. Jun. 2006) Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 20

11 Informationen von Oracle zu VMWare im WEB Oracle-on-Linux VMware Cookbook Anleitung zur Installation einer VMWare virtuellen Maschinen mit: Oracle DB 10g und RAC auf Linux Desktop Data Centers: Oracle-on-Linux VMware Tool Kits Herunterladen von vorkonfigurierten VMWare virtuellen Maschinen mit: Oracle DB 10g und RAC auf Linux Oracle by Example - Oracle Database 10g on VMware/RAC Schritt für Schritt Beschreibung diverser DBA Tätigkeiten an Hand der vorkonfigurierten VMWare virtuellen Maschinen mit: Oracle DB 10g und RAC auf Linux (10g R1) (10g R2) Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 21 Oracle Installation VMWare ESX Server war installiert und konfiguriert Virtuelle Windows Maschinen waren erstellt und auf die physikalischen ESX Server verteilt Oracle Installation erfolgte wie auf physikalische Server 1. Oracle Grid Control Rel. 1 ( ) einem Server Oracle Grid Control Rel. 2 war zum Zeitpunkt der Installation noch nicht für Windows verfügbar 2. Oracle Grid Control Agent Rel. 1 ( ) auf Server mit Grid Control und allen DB Produktiv- und Standby-Servern 3. Oracle Database Software 10g Rel. 2 und Patch 1 ( ) auf allen DB Produktiv- und Standby-Servern 4. Erstellen der Produktiv-/Primär- und Test-Datenbanken 5. Erstellen der drei Data Guard Konfigurationen Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 22

12 Probleme bei Installation und Betrieb Installation Grid Control und DB Software lief problemlos Konfiguration einer Data Guard Umgebung über Grid Control hing und musste ein zweites Mal gestartet werden Kein Problem der VMWare Installation, tritt auch bei Installation auf physikalischen Maschinen auf. Zwei virtuelle Windows Maschinen hingen und waren nicht mehr ansprechbar, nach Neustart der Maschinen lief die Data Guard Umgebung zweier Datenbanken nicht mehr Nach Verschieben einer virtuellen Maschine mit VMotion gab es Probleme mit Datendateien / Oracle Blöcken Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 23 Quintessenz: Oracle unter VMWare Installation / Konfiguration und Betrieb wie in physikalischen Maschinen Umfeld Support für Single Intance (nicht RAC) Umgebungen durch Oracle und VMWare (über Partnerschaft) gewährleistet Empfohlen von Oracle nur für Test- und Entwicklungsumgebungen Lizenztechnisch neutral, bei Named User Lizenzierung und wenn bei CPU Lizenzierung alle physikalischen CPUs auch in der virtuellen Maschine genutzt werden In der hier beschriebenen Umgebung keine Performance Nachteile Copyright TEAM, Paderborn, und Walter Rau, Hilter Nov-06 Seite 24

13 Vielen Dank für Ihre Aufmerksamkeit! Noch Fragen? Carsten Siegel Walter Rau Lebensmittelwerke Münsterstraße Hilter Fon: / Fax: / carsten.siegel@walter-rau.de Ralf Appelbaum TEAM GmbH Hermann-Löns-Str Paderborn Fon: / Fax: / ra@team-pb.de