Installation + Betrieb eines RAC

Transkript

1 Praxisbericht Installation + Betrieb eines RAC Andreas Ellerhoff, Deutsche Messe Christian Kühne, Oracle

2 Übersicht Wer ist die Deutsche Messe? Situation ohne RAC Datenbank Cluster Phasen von der Planung bis zur RAC Installation Erläuterungen zur aktuellen RAC Infrastruktur Probleme bei RAC Installation/Upgrade Betrieb eines RAC in der Praxis Ausblick Seite: 2

3 Die 10 größten Messegelände der Welt D I D D D USA E F RUS F Messeplatz Hannover Milan (Rho/new site) Frankfurt (Main) Cologne Düsseldorf Chicago Valencia Paris expo Moskau (Crocus Expo IEC) Paris Nord Villepint Hallenfläche in m² Quelle: AUMA 04/08

4 Aktuelles aus dem Veranstaltungskalender Inland DOMOTEX HANNOVER dental infoma infa contractworld Altenpflege + ProPflege Dt. Junggeflügelschau ABF PrivateInvest EuroBLECH Reisepavillon Private Public Infrastructure CARAVAN, Bremen didacta Public Private Security AFU-Fachmarkt Expert Frühjahrstagung O&S IZH CeBIT IAA-Nutzfahrzeuge COSMETICA HANNOVER MESSE CeMAT Pferd & Jagd PROMOTION WORLD BIOTECHNICA EuroTier INTERSCHUTZ German Classics TeleHealth LIGNA Hannover EMO Hannover AGRITECHNICA

5 Mitarbeiterzahlen (Konzern, In- und Ausland) Konzern, Jahresdurchschnitt inkl. passive Altersteilzeit

6 Übersicht 1. Situation vor RAC Datenbank Cluster 2. Phasen von der Planung bis zur Installation 3. Erläuterungen zur aktuellen Infrastruktur 4. Probleme bei Installation/Upgrade 5. Betrieb eines RAC in der Praxis 6. Ausblick Seite: 6

7 Infrastruktur vor der Umstellung zu RAC Rechenzentrum RZ1 pluto - Rechenzentrum RZ2 in DMZ Zone Rechenzentrum RZ3 Pluto1 SRDF Pluto2 neptun - im internen Netz Sicherungen neptun1 SRDF neptun2 ramses Seite: 7

8 Entscheidungsphase ( 5 Wo ) PostgresQL stabil günstig Loggingmechanismen läuft auf Solaris! Oracle RAC kann alles, was PostgresQL kann und kann noch mehr (intell. Backup, Ausfallsicherheit ) Clustern / Sizing der Hardware / HA Support Know How im Haus Linux / SLES 10 / OEL Solaris 10 EMC SRDF Spiegelung Oracle ASM integrierte Automatik Seite: 8

9 Planungsphase ( 4 Wo ) LUNs vorbereiten (EMC), damit geshare `ter Zugriff möglich wird (10 Tage, beide Storage-Türme der EMC müssen Speicher liefern) Hardware muß beschafft werden (FSC-PrimePower 2x450/2x250) Netzwerkanforderungen müssen umgesetzt werden (PublicNet, PrivateNet, StorageNet) (vorinstallierte) Betriebssysteme müssen gepatched werden (aktuelle Patch-CD) zusätzlicher NFS- mount für 3. voting (Sicherungs- RZ) Vorbereitungen für die Installation der Oracle Software (Konferenzschaltung 2d, Anpassungen, Tests auf den LUNs, cluvfy ) Seite: 9

10 Installationsphase ( 2Tage + Patchday ) LUNs partitionieren, formatieren, in Solaris einhängen (format,mknode, ) Betriebssystem konfigurieren (Oracle konforme Parametern) Oracle Clusterware (runinstaller) Oracle Datenbank (runinstaller) VIP Konfiguration (vipca) Oracle ASM (runinstaller) Patchsets (OC / DB) installieren (runinstaller, OPatch) Clusterdatenbank Instanz (dbca) Clusterdatenbank Services (netca,dbca) Oracle Agent gridcontrol (runinstaller) (Zu jeder Phase sollte das tool cluvfy Prüfungen vornehmen um zusätzliche Informationen zu bekommen) Seite: 10

11 Infrastruktur nachher (Schema) Seite: 11

12 Übersicht 1. Situation vor RAC Datenbank Cluster 2. Phasen von der Planung bis zur Installation 3. Erläuterungen zur aktuellen Infrastruktur 4. Probleme bei Installation/Upgrade 5. Betrieb eines RAC in der Praxis 6. Ausblick Seite: 12

13 Probleme,Hinweise und Lösungen während der Installation extended distance RAC (fast MAA) EMC Speicherkonfiguration Betriebssystem Solaris10-64Bit Oracle Clusterware + ASM Oracle Datenbank Installation Einbinden des OEM GridControl Backup&Recovery Connectivity Upgrade Empfehlungen Seite: 13

14 extended distance RAC (fast MAA) 1. EMC Speicherkonfiguration maximale Performence (Bandbreite über alle verfügbaren Plattenresourcen, 8disk parallel im Zugriff) ASM host based mirroring kein EMC SRDF (Spiegel im StorageNet) welche LUN in welchem Rechenzentrum (analysieren, markieren, prüfen) cluvfy für EMC-Speichersystem unbrauchbar (Zeitpunkt 09/2007) Seite: 14

15 Platten der emc in RZ1 und RZ2 sethos1/root : inq DEVICE :VEND :PROD :REV :SER NUM :CAP(kb) /dev/rdsk/c0t0d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c0t1d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c1t0d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c1t1d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P740 : /dev/rdsk/c3t c4a85b1a1d0s2: ACCESS DENIED /dev/rdsk/c3t c4a85b1a1d6s2:emc :SYMMETRIX :5670:142EC000: /dev/rdsk/c3t c4a85b1e1d0s2: ACCESS DENIED /dev/rdsk/c3t c4a85b1e1d6s2:emc :SYMMETRIX :5670:152EC000: sethos2/root : inq DEVICE :VEND :PROD :REV :SER NUM :CAP(kb) /dev/rdsk/c0t0d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c0t1d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c1t0d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P770 : /dev/rdsk/c1t1d0s2 :FUJITSU :MAW3147NC :3701 :DAF4P760 : /dev/rdsk/c3t c4a85b1ced0s2: ACCESS DENIED /dev/rdsk/c3t c4a85b1ced6s2:emc :SYMMETRIX :5670:152EC000: /dev/rdsk/c3t c4a85b18ed0s2: ACCESS DENIED /dev/rdsk/c3t c4a85b18ed6s2:emc :SYMMETRIX :5670:142EC000: Seite: 15

16 LUNs: Aufteilung der emc-platte für den Shared Disk-Bereich partition> pri Current partition table (unnamed): Total disk cylinders available: (reserved cylinders) Part Tag Flag Cylinders Size Blocks 0 root wm MB (50/0/0) swap wu MB (50/0/0) backup wu GB (65533/0/0) unassigned wu MB (99/0/0) unassigned wu MB (99/0/0) unassigned wu GB (19637/0/0) unassigned wu GB (19637/0/0) unassigned wu GB (19637/0/0) Seite: 16

17 LUNs: Aufteilung der emc-platte für den Shared Disk-Bereich Sethos2/root : mkdir clusterdisks Sethos2/root : cd clusterdisks Sethos2/root : ls -ll /dev/rdsk/c3t5*ced6* crw-r root sys 118, 16 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s0 crw-r root sys 118, 17 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s1 crw-r root sys 118, 18 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s2 crw-r root sys 118, 19 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s3 crw-r root sys 118, 20 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s4 crw-r root sys 118, 21 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s5 crw-r root sys 118, 22 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s6 crw-r root sys 118, 23 Sep 27 11:37 /dev/rdsk/c3t c4a85b1ced6s7 Sethos2/root : mknod ocr15 c Sethos2/root : mknod voting15 c Sethos2/root : chown root:dba ocr15 Sethos2/root : chmod 640 ocr15 Sethos2/root : chown oracle:dba voting15 Sethos2/root : chmod 644 voting15 Sethos2/root : chown root:dba /dev/rdsk/c3t c4a85b1ced6s3 Sethos2/root : chmod 640 /dev/rdsk/c3t c4a85b1ced6s3 Sethos2/root : chown oracle:dba /dev/rdsk/c3t c4a85b1ced6s4 Sethos2/root : chmod 644 /dev/rdsk/c3t c4a85b1ced6s4 Seite: 17

18 ocr + voting einrichten # ls -al Gesamt 40 drwxr-xr-x 2 root root 512 Okt 1 14:40. drwxr-xr-x 37 root root 1536 Okt 10 14:50.. crw-r root dba 118, 19 Nov 19 15:42 ocr14 crw-r root dba 118, 27 Nov 19 15:42 ocr15 -rw-r--r-- 1 root root Okt 1 14:40 t.t crw-r--r-- 1 oracle dba 118, 20 Nov 19 15:43 voting14 crw-r--r-- 1 oracle dba 118, 28 Nov 19 15:43 voting15 # pwd /clusterdisks # Seite: 18

19 extended distance RAC (fast MAA) 2. Betriebssystem Solaris10-64Bit Prüfung der Parameter und Einstellungen über Oracle Konferenzschaltung Hostname mit kleinen! Buchstaben unbedingt beachten (2h) Netzwerkkarte muß dynamisch von Oracle ansteuerbar sein (vip - ipconfig) IP/VIP-Nummer müssen im gleichen Netzsegment liegen (0.5d Vorwoche) name+domain beim Zugriff angeben beinhalten, sonst sind sporadische Verbindungsfehler möglich hosts.equiv nicht vergessen. Seite: 19

20 extended distance RAC (fast MAA) 3. Clusterware und ASM ONS Service (nur ein Knoten) ließ sich erst nach Patchday korrekt starten ASM Plattenresourcen wurden immer 1zu1 zugeordnet, da sonst unakzeptable ca.30% Resourcenverluste. (LUN15->LUN14) (1h) Seite: 20

21 Clusterware 10g Viele neue Werkzeuge... -srvctl (Managment der Clusterknoten/Clusterdatenbank/Services, vieles aus sqlplus) - crsctl (stop/start Clusterware, Votingdisks abfragen) - crs_stat (Statusabfrage der ocr-services) - ocrconfig (Spiegel für ocr aufbauen) - ocrcheck (Prüfung des ocr) - ocrdump (Inhalt des ocr ausgeben) - oifcfg (Netzwerkschnittstellen hinzufügen/löschen) - crs_profile, crs_register, crs_setperm, crs_start, crs_relocate, crs_stop, crs_unregister (CRS framework zum Betreiben von Applikationen in Clusterware mit fail-over-lösung) Seite: 21

22 ASM Prozesse asm_pmon_+asm1 asm_smon_+asm1 asm_ckpt_+asm1 asm_dbw0_+asm1 asm_lgwr_+asm1 ->dev/null? asm_lmd0_+asm1 asm_gmon_+asm1 asm_rbal_+asm1 asm_diag_+asm1 asm_lmon_+asm1 asm_psp0_+asm1 asm_mman_+asm1 asm_lck0_+asm1 asm_lms0_+asm1 asm_o000_+asm1 ora_asmb_bak1 ora_asmb_obst1 ora_asmb_wwwt1 Seite: 22

23 extended distance RAC (fast MAA) 4. Datenbank systembedingte Grenzen dbca kann bei 32GB Haupspeicher und einem Default für SGA-Parameter von 40% diese Grenze leicht überschreiten (32Bit meistens OK) Installation ist über alle Instanzen ob es 2Knoten oder 100Knoten sind. Das gilt auch für Patchsets Seite: 23

24 extended distance RAC (fast MAA) 5. Einbinden in das EM gridcontrol Die firewall war nicht für den http/https Service freigeschaltet (interne Abstimmung ist notwendig) Die nachträgliche Installation erforderte bei uns zusätzliche Aufwände. ( SR ) Empfehlung: user oracle benutzen und management agent installieren bevor DB-Instanz installiert wird Seite: 24

25 extended distance RAC (fast MAA) 6. Backup & Recovery RMAN ist Pflicht (da ASM keine Dateien hat) (Durchsatz: 1GB/min) Einrichten einer FRA (flash recovery area) (archivelogs + flashback logs). Flashback nach ApplikationsUpgrade ( Faktor 10? ) Crash Recovery mit RMAN, daß im RMAN-Skript eine UTF8 codepage gesetzt sein sollte, da sonst beim Point-in-Time Recovery das Datenformat nicht gelesen werden kann (Bug seit Oracle8?) Seite: 25

26 extended distance RAC (fast MAA) 7. Connectivity JAVA JDBC Client Anbindung (Thin) Versionsstände wie DB, z.b Konfiguration von FCF möglich. Einfache Installation OCI JDBC Client Anbindung (Thick) Seite: 26

27 Connectivity tnsnames.ora OBST = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP) (HOST = sethos-v1) (PORT = 1521) ) (ADDRESS = (PROTOCOL = TCP) (HOST = sethos-v2) (PORT = 1521) ) (LOAD_BALANCE = yes) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = obst) ) ) neue Begriffe: -LOAD_BALANCE (CPU load balancer) -CTF (Connection Time Failover) -TAF (Transparent Application Failover) -FAN (Fast Application Notification) -FCF (Fast Connection Failover) Seite: 27

28 Upgrade der Clusterware auf 11g Unproblematische Installation in das schon vorhandene Clusterware Verzeichnis. 5min Installationszeit Seite: 28

29 Upgrade der ASM auf 11g Installation der ASM binaries in ein separates 11g Oracle Home Upgrade mittels dbua und ein paar Tricks Erst Upgrade auf Testcluster OK Seite: 29

30 Upgrade der Datenbank auf 10g ( ) Upgrade des Testclusters OK Installation der DB Binaries in vorhandenes 10g Oracle Home Manuelles Upgrade der Datenbank interessante Variante und mit 11g getestet: separates dediziertes ORACLE_HOME (für neue Version) database flashback + archive logging einschalten mit dbua (z.b. 11g ORACLE_HOME) den Upgrade durchführen Falls Upgrade erfolgreich alles bestens, gleich mit 11g weiter Falls die Anwendung Probleme mit der neuen Version macht flashback! und die alte DB steht nach 5min. Recovery der flashbacklogs im alten ORACLE_HOME zur Verfügung Seite: 30

31 Übersicht 1. Situation vor RAC Datenbank Cluster 2. Phasen von der Planung bis zur Installation 3. Erläuterungen zur aktuellen Infrastruktur 4. Probleme bei Installation/Upgrade 5. Betrieb eines RAC in der Praxis 6. Ausblick Seite: 31

32 Betrieb eines RAC in der Praxis 5. Betrieb eines RAC in der Praxis Architektur ist transparent Einhängen neuer Platten für die ASM Loadbalancing bei RAC Knoten OEM Scheduler Strom aus für das Hauptrechenzentrum? Welche Werkzeuge für die RAC Datenbank? Seite: 32

33 Architektur der Instanz - -Oracle 7 -Oracle 8 -Oracle 8i -Oracle 9i -Oracle 10g -Oracle 11g Seite: 33

34 Betanken des RAC mit neuen EMC Platten Platten im Rohzustand als Input (LUNs) wenig Automatismus Jeder Vorgang wird manuell geprüft und ist daher zeitintensiv Verwaltung/Historie der Änderungen in Excel Seite: 34

35 Loadbalancing mit RAC Loadbalancing mit 3-Knoten RAC Seite: 35

36 Werkzeuge für den RAC Betrieb srvctl, crs_ctl, crs_stat, ocr_config,... (Basics) OEM gridcontrol (GUI für dbms-packages, Management, Scheduler) sqlplus, asmcmd, rman, dpexp... (Basics) TOAD, Spotlight (Skripting, Informationen pur) Seite: 36

37 OEM Scheduler RMAN Sicherung der Datenbank in die FRA / lokales FileSystem OEM Scheduler ermöglicht eine Sicherung gegen einen Zieltyp Clusterdatenbank und Skripttyp RMAN-Skript Logische Datapump Sicherung in ein lokales Verzeichnis/NFS Server OEM Scheduler ermöglicht eine Sicherung gegen ein Zieltyp Clusterdatenbank und einen Skripttyp Export) Seite: 37

38 Scheduler in GridControl Jobtyp -rman -datapump -multitask - Seite: 38

39 Scheduler in GridControl Jobstatus Aktiv Erfolgreich Probleme bei Problemen kann der Job per Mausklick nachgestartet werden Seite: 39

40 Scheduler Jobmanagement Fehler erkennen Fehler beheben Job erneut starten

41 RAC Umschaltvorgang Strom aus für das RZ1 ASM vorbereiten Storage fällt halbseitig aus Hälfte Der Systeme offline Strom an für das RZ1 Storage online Alle Systeme online ASM reparieren ASM balancen Seite: 41

42 RZ Herunterfahren failure groups können vorsorglich ausgehängt werden

43 Clusterdatenbank beim Umschaltvorgang Seite: 43

44 Single Instance Datenbank, internes Netz Seite: 44

45 RAC im Betrieb (einseitiges Daten laden) Volumen 20GB Dauer ca. 30 Min RAC overhead in braun Interconnect belebt phys. IO Durchsatz >40MB/sec Seite: 45

46 Ausblick Der RAC soll weiter verstärkt werden. Oracle Review weiter abarbeiten (Interconnect doppelt auslegen) verbesserte HA könnte durch DataGard (logical/physical standby) realisiert werden, ist aber teuer. Oracle 11g hat performence steigernde Features. Eine Migration nach 11gR2 käme in Betracht. Seite: 46

47 Spotlight Übersicht ist vorbildlich sofort und intuitiv verständlich, wie eine Clusterdatenbank funktioniert

48 TOAD Skripting schnelle und ergonomische Zugriffe auf die Datenbank