XEN-basiertes Cluster mit iscsi-san

Transkript

1 XEN-basiertes Cluster mit iscsi-san UNIX Stammtisch Sachsen

2 Cluster? hier: kein Cluster für paralleles Rechnen! mindestens 2 Clusterserver ein gemeinsamer Speicher (SAN) z.b: 7 HE 12 TByte 12 CPUs 48 Cores 192 GB RAM

3 Ziele: Virtualisierungs Cluster Höhere Verfügbarkeit Serverkonsolidierung bessere Auslastung der Hardware flexible Erweiterung Energieeinsparung leichtere Verwaltung Aufbau mit Linux Standard-Werkzeugen

4 Technologie: LVM Logische Volumina statt Partitionen leicht zu vergrößern / verkleinern einfach mit Namen zu bezeichnen Snapshots mit geringerem Speicher möglich zum Sichern eines LVM (einer virtuellen Maschine) Clonen eines LVM Disks/Raid LVM(Volumegroup) logisches Volume OS Installation

5 Technologie: iscsi Übertragung von SCSI-Befehlen über TCP / Ethernet + vorhandene Netzwerktechnik nutzen - Overhead Volumes publizieren: Target (Paket iscsitarget) iet-daemon; /etc/ietd.conf: Targets mit Luns definieren Volumes einbinden: Initiator (Paket open-iscsi) nach Login stehen die Luns eines iscsi-targets unter /dev/disk/by-path als Blockdevice zur Verfügung

6 Virtualisierungstechnologie: Xen nutzbar auf fast jeder Hardware die mit Linux läuft frei verfügbar und einsetzbar (GPL/Opensource) Support in der Industrie (Citrix, Sun, IBM, Oracle) Effizient: performance fast wie auf Hardware auch unmodifizierte Systeme (Windows) virtualisierbar

7 Virtualisierungstechnologie: Xen Hardware an virtuelle Maschine exklusiv übergeben interner Subnetze mittels Routing / NAT Live-Migration für VM's (ab Xen 3.2 auch Windows) Umfangreiche Informationen zum Status der virtuellen Server u.a. Ressourcenverbrauch und Auslastung

8 Virtualisierungstechnologie: Xen XEN 3.2 SuSE Linux Enterprise-Servers SLES10 mit SP2 OpenSuSE 11.0 XEN 3.3 OpenSuSE 11.1 SLES11?

9 Cluster CL1 Linux CS1 CS2 Linux Switch SAN1 Linux

10 Clusterserver die Clusterserver (CS) (>=2) tragen die virtuellen Server (vserver) und damit die Verarbeitungsleistung benötigen selbst nur Massenspeicher für das Grundsystem (XEN: dom0) / booten via iscsi vom SAN

11 vserver laufen auf den Clusterservern (verwenden dessen Speicher und CPU) booten via iscsi vom SAN ( sehen nur SATA/IDE -Laufwerke) weitere Diskressourcen, z.b. für Daten-Bereiche, können zugeordnet werden Umzug der im laufenden Betrieb auf andere Clusterserver möglich (Migration)

12 Clusterstruktur

13 SAN Festplatten RAID LVM iscsi Logische Volumes beherbergen vollständig die Betriebssystem-Installationen und ggf. zusätzliche Datenbereiche Mehrere LVs werden in einem iscsi-devices gebündelt 1 vserver == 1 iscsi-device

14 SAN (2) LVM: einfaches Vergrößern / Verkleinern der Betriebssysteminstanzen Vergrößerung des gesamten Volumegroup durch zusätzliche Raids / externen Storage möglich ist ein Linux Server

15 Clusterstruktur im Detail Clusterserver 1 vserver1 / swap /data sda sdb sdc C vserver2 E lun0 lun1 lun2 iscsi1 dom0 lun0 lun1 iscsi2 Netzwerk: 1GBit / 10GBit Speicherserver (SAN) iscsi1 iscsi2 lun0 lun1 lun2 lun0 lun1 LV1 LV2 LV3 LV4 LV5 Logical Volume Manager LVM RAID-System(e)

16 Client Client Client Client Client Client Client Vier Ebenen Architektur Intranet 1Gbit Cluster server Cluster server Cluster server Cluster server je 2x1 Gbit 10 GBit Speicher-Switch 2 / 4 / 10 Gbit SAN1 Heartbeat DRBD SAN2 Sicherungsnetz 1Gbit Datensicherung Store Store Store

17 Vier Ebenen Architektur Netzwerk-Optimierung durch Trennung von Intranet (Benutzer), Speicher- und Sicherungsnetz langfristig erweiterbar durch neue Clusterserver vserver auf neue, schnellere Hardware umsetzen rollende Erneuerung der IT Umlagern der vserver nach Auslastung vserver (Updates, Wartung) offline auf dem SAN starten

18 Ausfallsicherheit Speichernetz Redundante Anbindung SAN - Clusterserver Bündelung der Ethernet-Schnittstellen (bonding) Höhere Geschwindigkeit Ausfallprüfung: link, arp 6 verschiedene bonding-modi

19 Clusterserver und SAN gebündelt und redundant verbinden eth0 CS1 bond0 eth1 CS2 eth0 bond0 eth1 switch1 switch2 bond0 Je 1 Gbit, gebündelt, effektiv 2 GBit Ausfallüberwachung: link oder arp eth0 eth1 SAN1

20 Ausfallsicherheit SAN Zweites SAN mit Echtzeit-Datenableich per DRBD ggf. in getrenntem Serverraum Weitere Clusterserver am zweiten SAN gegenläufiger Datenabgleich

21 Ausfallsicherheit Cluster Serverraum1 Serverraum2 CS1 CS2 CS3 CS4 SAN1 aktiv DRBD1 passiv passiv DRBD2 aktiv SAN2

22 Testsystem Cluster cl1 CS1 Athlon64 X2 5200, 4 GB opensuse11.0, Xen3.2 open-iscsi Switch CS2 Athlon64 X2 5200,4 GB opensuse11.0, Xen3.2 open-iscsi SAN Athlon64 X2 4200, 2 GB, SATA2 500GB opensuse 10.3 lvm2, iscsi enterprise target LAX Clustermanager

23 einfacher Performance Test 1 GB kopieren vom vserver zum SAN via netcat dd if=/dev/zero bs=1m count=1024 netcat Bytes (1,1 GB) kopiert, 20,672 s, 51,9 MB/s 1 GB kopieren vom vserver zum SAN via iscsi dd if=/dev/zero bs=1m count=1024 >/tmp/a Bytes (1,1 GB) kopiert, 30,6723 s, 35,0 MB/s

24 LAX Clustermanager Komponente des LAX Frameworks Definiert Datenstruktur für Cluster-Instanzen Cluster-Typen: iscsi, drbd, lvm Bash-Scripte rund um LVM, iscsi, DRBD und Xen einfaches GUI kann vserver auf Cluster automatisch einordnen

25 LAX Clustermanager Namenskonventionen Hostname / LV / iscsi logische Volumina (Host deb1: deb1-root system -wi-ao 10,00G deb1-swap system -wi-ao 256,00M iscsi: Target iqn.san1.klasse.kurs:deb1 Lun 1 Path=/dev/system/deb1-swap,Type=fileio Lun 0 Path=/dev/system/deb1-root,Type=fileio

26 LAX Clustermanager OS-Installation OS-Installation aus Vorlagen Kopie + Änderung zur gebrauchsfertigen VM Scripte zur Anpassung von IP, MAC, Hostname, DNS, Routing für opensuse und Debian vman install i r 512M f 10G s 1G c 1 d Mein Testerver cl1 os10.3 base testsrv1

27 LAX Clustermanager Betrieb vman start cl1 testserv1 vman active inactive cl1 vman stop del kill cl1 testserv1 vman migrate cl1 testserv1 virtuelle Maschinen in LAX Netzwerk-DB eingetragen

28 LAX Clustermanager Datensicherung / Desaster Recovery vserver im laufenden Betrieb mittels LVM Snapshots sichern -!Vorsicht bei großen Datenbanken! Sicherung lokal oder per ssh auf Server als.tb2 vman backup add del list restore cl1 testsrv1 Vollsicherung; Differenzsicherung möglich

29 LAX Clustermanager GUI

30 LAX Clustermanager Maschine installieren