Themen des Kapitels. 9 Anbindung der ESX Server - SAN

Transkript

1 9 Anbindung der ESX Server - SAN Anbindung der ESX Server mit Fibre Channel und iscsi 9.1 Übersicht Themen des Kapitels Anbindung der ESX Server - SAN Themen des Kapitels Übersicht SAN SAN Implementierungs-Optionen Konfiguration des SAN - NetApp Konfiguration des SAN ESX Server Speicherung der virtuellen Platten im SAN Im Kapitel Anbindung der ESX Server - SAN werden der Aufbau eines iscsi und Fibre Channel SAN beschrieben und die am Storage System dafür notwendige Konfiguration. Zusätzlich werden noch die Methoden zur Speicherung von virtuellen Platten auf SAN erläutert. NetQuest GmbH Seite 9-1

2 9.2 Übersicht SAN Aufbau und Funktion eines SAN Systems SAN Funktionen und Eigenschaften SAN Übersicht Ein SAN kommt zum Einsatz, wenn häufig große Speichermengen bewegt werden und eine zeitnahe Datensicherung erforderlich ist. Vor allem große Websites wie Amazon, Consors, ebay, oder GMX, aber auch e-commerce Systeme, die mit großen Beständen an Kundendaten hantieren oder an Warenwirtschaftssysteme angeschlossen sind, brauchen solche Lösungen. NetQuest GmbH Seite 9-2

3 Ein Storage Area Network (SAN) ist ein spezialisiertes Netzwerk aus Speichersubsystemen und Computersystemen. Die meisten SAN Implementierungen verwenden das Fibre Channel (FC) Protokoll. Die Komponenten eines SAN können in einem Rechenzentrum oder auch in mehreren Rechenzentren über eine große Entfernung verteilt sein. Eine Fabric besteht aus einem oder mehreren Fibre Channel (FC) Switches, die die Verbindung zwischen den einzelnen SAN Komponenten realisieren. NetQuest GmbH Seite 9-3

4 9.2.2 SAN Technologien SAN Technologien Fibre Channel spezialisiertes Medium zur Verbindung der SAN Komponenten iscsi Anbindung der SAN Komponenten über ein TCP/IP Netzwerk Der Fibre Channel (FC) ist das am Häufigsten verwendete Verbindungsmedium in einem SAN. Das FC Netz verbindet die Datenspeicher direkt miteinander. Einzelner und direkter Anschluss an einen Server entfällt. Nach über zehn Jahren öffentlicher Normung im ANSI und nach einem etwa fünfjährigen Einsatz in Produkten, ist der FC mittlerweile ein Standardprodukt. Der Fibre Channel hat kein eigenes Protokoll auf höheren Schichten. Stattdessen kommen Protokolle wie SCSI, oder IP, zum Einsatz. Daher müssen in Anwendungen und bei Treibern keine oder nur geringfügige Änderungen vorgenommen werden. Investitionen bleiben geschützt. Beim iscsi wird über ein normales Ethernet und dem TCP/IP Protokoll die Anbindung der SAN Komponenten realisiert. Die Version 2.5.x des ESX Servers erlaubt nicht die Verwendung von iscsi für die Speicherung der VMDK Dateien. NetQuest GmbH Seite 9-4

5 9.2.3 iscsi iscsi Mittels iscsi ist es möglich, SCSI Befehle und Daten über ein herkömmliches TCP/IP Netzwerk zu versenden Als physikalisches Medium kann z.b. Ethernet mit normalen Netzwerkkarten und Switches eingesetzt werden NetQuest GmbH Seite 9-5

6 9.2.4 Physische Fibre Channel Topologien Physische Fibre Channel Topologien Fibre Channel Arbitrated Loop (FC-AL) Point-to-Point Switched-Fabric Im Fibre Channel (FC) Umfeld existieren verschiedene Techniken, um das physische Layout des FC Netzwerks zu realisieren. Die erste Möglichkeit zur Verbindung von Fibre Channel (FC) Geräten war die FC-AL (Arbitrated Loop) Topologie. Als Variante für kleine Installationen ist eine Point-to-Point Verbindung möglich. Bei neuen Installationen wird normalerweise die so genannte Switched-Fabric Topologie eingesetzt, um einen höheren Datendurchsatz der einzelnen Geräte untereinander zu gewährleisten. NetQuest GmbH Seite 9-6

7 Fibre Channel Arbitrated Loop Die Fibre Channel Arbitrated Loop (FC-AL) war die ursprüngliche physische Topologie des Fibre Channels. In einem Ring können maximal 126 Fibre Ports/Geräte angeschlossen werden. Alle Geräte müssen sich dabei die verfügbare Bandbreite teilen. Um die Verkabelung des Rings zu vereinfachen, werden Hubs zum Verbinden der Ports/Geräte eingesetzt. NetQuest GmbH Seite 9-7

8 Point-to-Point Direkte Verbindung der HBAs mit den Controllern der Plattensubsysteme Ist von der Anzahl der Server und der Fehlerredundanz beschränkt Preiswerte Lösung, da keine Switches benötigt werden Eine Point-to-Point Verbindung ist eine minimalistische Variante einer Fibre Channel- Arbitrated Loop (FC-AL) mit nur zwei Geräten. NetQuest GmbH Seite 9-8

9 Switched-Fabric Bei der Switched-Fabric werden zur Verbindung der HBAs und der Controller der Plattensubsysteme Switches eingesetzt. Der Vorteil dieser Lösung ist die bessere Performance, da alle Ports/Geräte eine direkte Verbindung aufbauen und so die volle Bandbreite nutzen können. Die Performance wird allerdings durch den internen Durchsatz des Switch begrenzt. Zusätzlich treten natürlich Engpässe auf, wenn mehrere Ports/Geräte gleichzeitig mit einem bestimmten Port/Gerät kommunizieren wollen. Die Switched-Fabric Topologie wird bei mittleren und größeren SANs am häufigsten eingesetzt. NetQuest GmbH Seite 9-9

10 9.2.5 Komponenten eines FC Netzwerks Fibre Channel Komponeten FC Hubs FC Switches Connects: HBAs oder Controllers FC Hubs - Ein FC Hub wird zur Verbindung der FC Komponenten in einer Arbitrated- Loop Topologie eingesetzt. Durch den Einsatz von Hubs wird die Verkabelung der Arbitrated-Loop Topologie vereinfacht. FC Switch Ein FC Switch verbindet die einzelnen Komponenten eines SAN (Speichersubsystem und Computersysteme) in einer Switched-Fabric Topologie. FC Switche können auch redundant ausgelegt sein. Connections: HBAs und Controllers Die Storage Systeme werden über Controller und die Computersystem über Host Bus Adapter (HBA) an die Fabric angebunden. NetQuest GmbH Seite 9-10

11 9.2.6 Ports und Port Benennung (FC) Ports und Port Benennung WWPN (World Wide Port Name) / WWNN (World Wide Node Name) PortType_PortMode Innerhalb eines SAN hat jeder Port eine eindeutige Port_ID, die für das Routing der Daten dieses Ports benötigt wird. Der WWPN (World Wide Port Name) ist eine weltweit eindeutige ID zur Adressierung des Ports inner- und auch außerhalb des SAN. Der WWNN (World Wide Node Name) ist wie die WWPN eine eindeutige ID zur Adressierung eines Geräts. Eine weitere Namenskonvention ist PortType_PortMode. PortType gibt an welches Gerät an den Port angeschlossen ist. Der PortMode gibt an, ob z.b. das Gerät aktiv ist (Operations-Modus). NetQuest GmbH Seite 9-11

12 WWPN und WWNN WWPN1 WWPN2 Controller1 Controller2 Storage Processor 1 WWNN Bei Geräten mit einem Port ist die WWNN und WWPN gleich. Bei einem FC Switch oder einer redundant angebundenen Storage Einheit ist es so, dass ein Gerät mehrer Ports (z.b. redundante Storage Prozessors) und damit mehrere WWPN s besitzt. NetQuest GmbH Seite 9-12

13 9.2.7 Logische SAN Topologien Logische SAN Topologien High Availability Topology Zoning Mittels Zonen werden Netzwerke innerhalb einer Switched-Fabric Topologie definiert. Eine Zone besteht aus zwei oder mehreren Ports die miteinander kommunizieren. Über eine Zone kann z.b. auch die Sichtbarkeit von LUNs eingeschränkt werden. NetQuest GmbH Seite 9-13

14 9.3 SAN Implementierungs-Optionen Möglichkeiten wie SANs genutzt werden können VMFS basierende Nutzung VMFS basierende Nutzung Die Daten der Gast-Betriebssysteme werden ausschließlich in VMDK Dateien abgelegt, die wiederum im SAN in einem VMFS Dateisystemen abgelegt sind Ein Vorteil ist die einfache Sicherung über Snapshots Es können mehrere VMDK Dateien in einem VMFS Dateisystem gespeichert werden NetQuest GmbH Seite 9-14

15 9.3.2 Direkte Nutzung durch das Gast-Betriebssystem Direkte Nutzung durch den Gast Das Gast-Betriebssystem kann auch direkt über eigene Treiber auf iscsi Systeme oder NAS (Network Attached Storage) Systeme zugreifen Z.B. bei Windows mit dem Windows Software iscsi Initiator NetQuest GmbH Seite 9-15

16 9.3.3 VMware Disk Mapping VMware Disk Mapping Eine RAW LUN ist eine LUN, die nicht mit einem VMFS Dateisystem formatiert ist. Diese RAW LUN kann nicht direkt angesprochen werden, sondern wird der VM über ein Mapping File, das sich in einem VMFS Dateisystem befinden muss, zur Verfügung gestellt. NetQuest GmbH Seite 9-16

17 Einsatzgebiete des Disk Mapping Änderungen an den physischen Geräten haben nur Änderungen des Mappings zur Folge, aber nicht der VMs Haupteinsatzgebiete sind die Quorums und Datenplatten von Clustern (z.b. der Microsoft Cluster) NetQuest GmbH Seite 9-17

18 Disk Modus Gemappte RAW Disks haben zwei Kompatibilitäts- Modi: Virtual Mode funktioniert wie eine normale VMDK Datei Physical Mode z.b. beim Einsatz von SAN Agents (Verwaltung und Konfiguration) innerhalb der VM Im Physical Mode können keine VMware Snapshots erstellt werden! NetQuest GmbH Seite 9-18

19 9.4 Konfiguration des SAN - NetApp Schritte zur Konfiguration des SAN (iscsi und FCP) Übersicht SAN Konfiguration der NetApp Übersicht SAN Konfiguration 1. Lizenzierung des entsprechenden SAN Protokolls (iscsi oder Fibre Channel) 2. Anlegen eines Volume oder Qtree in dem die LUN erzeugt werden soll 3. Überprüfung ob das SAN Protokoll aktiviert ist 4. Konfiguration des Initiators a m Host 5. Anlegen der LUN, Igroup und Zuweisung der Igroup zur LUN Beim Anlegen des Volumes sollten verschiedene Parameter gesetzt werden: create_ucode=on convert_ucode=on Deaktivierung der automatischen Snapshots: snap sched <Volume_Name> NetQuest GmbH Seite 9-19

20 9.4.2 Konfiguration des SAN SAN Konfiguration (1) Nach der Lizenzierung müssen die Treiber für iscsi oder FCP aktiviert werden license add Zu Verwaltung stehen folgende Befehle oder Tools zur Verfügung: fcp {command} -> Aktivierung mit fcp start iscsi {command} -> Aktivierung mit iscsi start FilerView Überprüfung der Konfiguration des Fibre Channel: fcp config <FC_Adapter> Anzeige des cfmode: fcp show cfmode Wechseln des cfmode: priv set advanced fcp set cfmode <Mode> (z.b. bei FAS270c dualfabric oder single_image) NetQuest GmbH Seite 9-20

21 SAN Konfiguration (2) Nur die Initiatoren (iscsi oder FDP) die in der Igroup angegeben sind können auf die LUN zugreifen Anzeigen der Initiatoren: iscsi show initiator oder fcp show initiator Anlegen der Igroup: igroup create { i f } t <ostype> <igroup_name> Zuweisen der Initiatoren: igroup add <igroup_name> <wwpn oder iqn> NetQuest GmbH Seite 9-21

22 SAN Konfiguration (3) Anlegen der LUN: lun create s <size> -t <ostype> <lunpath> z.b. lun create s 10g t windows /vol/vol1/q1/lun11 Mapping der LUN: lunmap <lunpath> <igroup_name> <lun_id> z.b. lun map /vol/vol1/q1/lun11 igwindows 11 NetQuest GmbH Seite 9-22

23 9.4.3 Konfiguration einer LUN mit dem lun setup Tool lun setup Tool Alternativ kann die Konfiguration auch mit dem Tool lun setup durchgeführt werden NetQuest GmbH Seite 9-23

24 9.4.4 Konfiguration einer LUN mit FilerView LUN Konfiguration mit FilerView Zugriff: FilerView -> LUNs -> NetQuest GmbH Seite 9-24

25 9.5 Konfiguration des SAN ESX Server Konfiguration von Fibre Channel (FC) und iscsi Storages vmhba Nummerierung vmhba Nummerierung Die vmhba Nummerierung setz sich aus mehreren Teilen zusammen: 1. Der Nummer des Adapters (bzw. des Busses) 2. Die Nummer des Channel (nur für iscsi). 3. Die SCSI ID (Target) bei SCSI Platten (bei SANs wird z.b. 0 und 1 für Storage Einheiten mit mehreren aktiven Storage Prozessoren verwendet) 4. Der LUN Nummer (bei SCSI Platten 0) NetQuest GmbH Seite 9-25

26 9.5.2 Überprüfung auf neue LUNs Überprüfung auf neue LUNs Automatisch beim Booten des ESX Servers Manuell: Mit dem Virtual Infrastructure Client Über die Konsole, z.b. esxcfg-rescan vmhba2 Mit dem Befehl esxcfg-rescan kann die Überprüfung des SAN auf neue LUNs über die Konsole durchgeführt werden. NetQuest GmbH Seite 9-26

27 Rescan des SAN Zugriff: vsphere Client -> Inventory -> Configuration -> Storage Adapter -> Rescan Mit dem Virtual Infrastructure Client kann eine Überprüfung des SAN auf neue LUNs durchgeführt werden. NetQuest GmbH Seite 9-27

28 Anzeigen der WWPN/WWNN Zugriff: vsphere Client -> Inventory -> Configuration -> Storage Adapter Über den Virtual Infrastructure Client kann die WWPN/WWNN der HBAs, bzw. der verbundenen Adapter des SAN Storages angezeigt werden. NetQuest GmbH Seite 9-28

29 9.5.4 Pluggable Storage Architecture (PSA) Pluggable Storage Architecture Die Pluggable Storage Architecture (PSA) ist ein offenes, modulares Framework für Lastverteilung und Hochverfügbarkeit Mit vsphere-cli oder vcenter Server können die Pfade verwaltet werden, die vom standardmäßigen nativen Multipathing gesteuert werden Wenn eine Array-spezifische Funktionalität erforderlich ist kann diese durch Plug-Ins nachgerüstet werden Die Pluggable Storage Architecture (PSA) ist ein offenes, modulares Framework, das Multipathing-Lösungen von Drittanbietern für Arbeitslastverteilung und hohe Verfügbarkeit ermöglicht. Mit vsphere-cli oder vcenter Server können Sie Pfade verwalten, die vom standardmäßigen nativen Multipathing gesteuert werden. Wenn eine Array-spezifische Funktionalität erforderlich ist, kann anhand der vsphere-cli ein Drittanbieter-Plugin, das die vstorage APIs für Multipathing verwendet, konfiguriert werden. NetQuest GmbH Seite 9-29

30 Im ESX/ESXi ist die PSA eine VMkernel Schicht die für die Verwaltung der Storage-Pfade zuständig ist. Die Multipathing-Plugins (MPPs) werden entweder von VMware Native Multipathing Plugin (NMP) oder von einem Fremdhersteller zur Verfügung gestellt. Das NMP unterstützt alle Storage Systeme in der VMware HCL aufgeführt werden und enthalten ein Algorithmus zur Pfadauswahl der auf das Storage System abgestimmt ist. Der NMP verbindet eine Menge von physikalischen Pfaden mit einem bestimmten Storage System oder einer LUN. Die Details der Zuweisung wird über ein sogenanntes Storage Array Type Plugin (SATP) verwaltet. Die Details der Auswahl der für den I/O verwendeten Pfade wird über ein Path Selection Plugin (PSP) verwaltet. Der ESX/ESXi Server stellt ein SATP für jedes Storage System das VMware unterstützt zur Verfügung. Das SATP ist für folgende Aufgaben zuständig: Überwachung der Pfade (actice/dead) Benachrichtigung des NMP bei Änderung des Status der physikalischen Pfade Storage System abhängige Aktionen beim Failover NetQuest GmbH Seite 9-30

31 9.5.5 Multipathing Multipathing Policy Der Default PSP stellt folgende Policies für das Multipathing zur Verfügung: Most Recently Used (MRU) Fixed/Preferred Path Round Robin Beim Multipathing handelt es sich um ein Feature zur Hochverfügbarkeit und Lastverteilung bei der ein SAN Storage über zwei oder mehrere physikalische Pfade erreicht werden kann. Dies ist dadurch sichtbar, dass die gleiche LUN an mehreren HBAs sichtbar ist. Im Falle eines Fehlers frieren die VMs für ca. 30 Sekunden ein, bis der SAN Treiber die Umschaltung realisiert hat. NetQuest GmbH Seite 9-31

32 Die automatische Umschaltung kann auf drei Arten (Policies) erfolgen: Fixed Multipathing Most Recently Used (MRU) Round Robin Der Vorteil von Fixed Multipathing ist, dass ein manuelles Loadbalancing durchgeführt werden kann. Der Nachteil ist, dass eine zusätzliche Konfiguration erforderlich ist (Fixed ist die Defaultkonfiguration). Die empfohlene Konfiguration hängt von der angeschlossenen Storage Einheit ab und sollte in der SAN Kompatibiläts-Guide von VMware überprüft werden. Anpassung unter Windows 2000, XP und 2003: Um Probleme mit Fehlermeldungen des Windows Gastbetriebssystems zu vermeiden, muss der Timeout für das Plattensubsystem in der Registry erhöht werden. HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Disk Der Wert TimeOutValue sollte auf 60 Sekunden (Dezimal) gesetzt werden. Achtung, bei der Installation der neuen VMware Tools wird der Wert TimeOutValue automatisch auf 60 Sekunden gesetzt. NetQuest GmbH Seite 9-32

33 Beispiel: HBA Failover/Trespass Als HBA Failover oder Trespass wird das Umschalten von einem Storage Prozessor (SP) zu anderen SP bezeichnet. NetQuest GmbH Seite 9-33

34 9.5.6 Asymmetric Logical Unit Access (ALUA) Asymmetric Logical Unit Access Asymmetric Logical Unit Access (ALUA) ist ein Standardprotokoll, das die Übermittlung von Storage- Pfaden und Pfadcharakteristiken zwischen Initiator und Target ermöglicht Wenn das Storage System ALUA Kompatibel ist (wie NetApp), kann dieses mit dem vsphere NMP kommunizieren und automatisch die korrekten Pfade für den I/O auswählen Das Asymmetric Logical Unit Access (ALUA) Protokoll ist ein Standardprotokoll, das die Übermittlung von Storage-Pfaden und Pfadcharakteristiken zwischen Initiator (ESX/ESXi) und Target (Storage System) ermöglicht. Wenn das Storage System ALUA Kompatibel ist (wie NetApp), kann dieses mit dem vsphere NMP kommunizieren und automatisch die korrekten Pfade für den I/O auswählen. ALUA ist auch bekannt als Target Port Group Support (TPGS) im SCSI Primary Command (SPC) Standard. NetQuest GmbH Seite 9-34

35 Aktivierung des ALUA - NetApp Das ALUA Protokoll muss auf der NetApp pro Initiator Group aktiviert werden: igroup set <igroup_name> alua yes Anschließend muss die Aktivierung kontrolliert werden: igroup show v Nach der Aktivierung müssen die ESX/ESXi Server neu gestartet werden NetQuest GmbH Seite 9-35

36 9.5.7 Manuelle Konfiguration des Multipathing Konfiguration des Multipathing Zugriff: vsphere Client -> Inventory -> Configuration -> Storage Adapter -> vmhbaxx auswählen -> Devices -> Rechte Maustaste -> Manage Paths Das Multipathing kann im Virtual Infrastructure Client eingestellt werden. Über diesen Dialog lassen sich die Policy und/oder der Active Pfad auswählen. Das Multipathing kann auch über den Befehl esxcfg-mpath überprüft und konfiguriert werden. Beispiel: esxcfg-mpath l Auflistung der verfügbaren HBAs und ihrer Pfade. NetQuest GmbH Seite 9-36

37 9.5.8 Konfiguration des iscsi Software Initiator Konfiguration des Software iscsi (1) Für den iscsi Zugriff über den Software Initiator des ESX Server auf das iscsi Storage, muss in der Firewall der iscsi Port geöffnet sein (wird bei der Konfiguration des Software iscsi Initiator automatisch geöffnet) Der iscsi Port muss geöffnet werden, wenn eine Authentifizierung am Storage erforderlich ist. NetQuest GmbH Seite 9-37

38 Konfiguration des Software iscsi (2) Für den iscsi Zugriff muss ein Virtueller Switch mit einem VMkernel Port und einem Console Port angelegt werden. Die IP Adresse für die Ports muss sich im selben Netz oder in einem über ein Routing angebundenen Netzwerk befinden NetQuest GmbH Seite 9-38

39 Konfiguration des Software iscsi (3) Zugriff: vsphere Client -> Inventory -> Configuration -> Storage Adapter Im Virtual Infrastructure Client wird der Software iscsi Initiator angezeigt (vmhba32) und kann hier aktiviert und konfiguriert werden. NetQuest GmbH Seite 9-39

40 Konfiguration des Software iscsi (4) In den Eigenschaften des Software Initiators muss dieser zuerst aktiviert werden (über den Knopf Configure ). NetQuest GmbH Seite 9-40

41 Konfiguration des Software iscsi (5) Bei der Aktivierung wird auch automatisch der Name des iscsi Adapters erzeugt. Dieser ist für die Konfiguration des iscsi Storage wichtig, um den Zugriff auf die LUNs für diesen Adapter zu aktivieren. NetQuest GmbH Seite 9-41

42 Konfiguration des Software iscsi (6) Im letzten Schritt muss noch die IP-Adresse des iscsi Storage eingetragen werden. Dies wird in der Registerkarte Dynamic Discovery durchgeführt. NetQuest GmbH Seite 9-42

43 9.5.9 iscsi Designmöglichkeiten iscsi mit traditionellen Ethernet VMKernel Traditional Ethernet (1) NetQuest GmbH Seite 9-43

44 VMKernel Traditional Ethernet (2) NetQuest GmbH Seite 9-44

45 Single-Mode Design NetQuest GmbH Seite 9-45

46 iscsi mit Multiswitch-Trunking VMKernel Multiswitch-Trunking (1) NetQuest GmbH Seite 9-46

47 VMKernel Multiswitch-Trunking (2) NetQuest GmbH Seite 9-47

48 Multi-Mode Design NetQuest GmbH Seite 9-48

49 NetApp Host Utilities Übersicht NetApp Host Utilities Die Host Utilities sind eine Menge von Tools, die die Anbindung eines NetApp Storage Systems erleichtern Die Host Utilities enthalten folgende Komponenten: Ein Installationsprogramme das verschiedene Parameter des ESX Servers und der HBAs setzt Diagnose Programme Programme zur Erkennung und Korrektur von Alignment Problemen Dokumentation NetQuest GmbH Seite 9-49

50 Vorbereitung auf der NetApp Die Namen der ESX Server bzw. der NetApp Storage System müssen aufgelöst werden können (am besten über DNS) Die Option options trusted.hosts muss gesetzt werden Die ESX Server müssen in der Datei /etc/hosts.equiv gelistet sein und zusätzlich muss die Option httpd.admin.hostsequiv gesetzt werden Evtl. muss noch SSH konfiguriert werden: 1. secureadmin setup ssl 2. options httpd.admin.ssl.enable on NetQuest GmbH Seite 9-50

51 Installation der NetApp Host Utilities 1. Entpacken der Host Utilities: tar -zxf netapp_esx_host_utilities_5_1.tar.gz 2. Wechseln in das Verzeichnis: netapp_esx_host_utilities_5_1 3. Start der Installation:./install [-expert] 4. Nach der Installation muss der ESX Server neu gestartet werden NetQuest GmbH Seite 9-51

52 9.6 Speicherung der virtuellen Platten im SAN Eigenschaften und Verwendung des VMFS Dateisystems bzw. des RDM Eigenschaften des VMFS Dateisystem VMFS Das VMFS (Virtual Machine File System) ist ein von VMware speziell entworfenes File System zur Speicherung der Virtuellen Maschinen NetQuest GmbH Seite 9-52

53 Was wird in VMFS gespeichert? Dateien der Virtuellen Maschinen Snapshot Dateien der Virtuellen Maschinen Swapfile(s) der VMs Konfigurationsdateien der VMs usw. NetQuest GmbH Seite 9-53

54 Eigenschaften von VMFS v3 Spanning von VMFS Volumes Mehrere ESX Server können auf die Dateien des Volumes gleichzeitig zugreifen Maximal 256 VMFS Volumes pro ESX Server Maximale Größe von 64 TByte (2 TByte * 32 Extents) pro VMFS Volume Maximale Dateigröße von 2 TByte (bei 8 MByte Blockgröße) Der ESX Server ab Version 3 kann alte VMFS v2 Volumes lesen aber nicht ändern. NetQuest GmbH Seite 9-54

55 9.6.2 Anlegen eines VMFS Volumes Anlegen eines VMFS Volume (1) Zugriff: vsphere Client -> Inventory -> Configuration -> Storage -> Add Storage Das Anlegen eines VMFS Volumes und der Partition kann im Virtual Infrastructure Client oder alternativ über Kommandozeile erfolgen. NetQuest GmbH Seite 9-55

56 Anlegen eines VMFS Volume (2) In dieser Ansicht werden alle zur Verfügung stehenden Storages angezeigt, die noch freie Bereiche enthalten. NetQuest GmbH Seite 9-56

57 Anlegen eines VMFS Volume (3) Nach der Auswahl des Storage werden alle Informationen zusammengefasst. NetQuest GmbH Seite 9-57

58 Anlegen eines VMFS Volume (4) Angeben des Alias-Namens des Volumes. NetQuest GmbH Seite 9-58

59 Anlegen eines VMFS Volume (5) Die Blockgröße bestimmt die maximale Dateigröße. Z.B. bei 1 MByte Blockgröße ist die maximale Dateigröße 256 GByte. NetQuest GmbH Seite 9-59

60 Anlegen eines VMFS Volume (6) In der letzten Maske wird eine Zusammenfassung der eingegebenen Informationen dargestellt. NetQuest GmbH Seite 9-60

61 9.6.3 Mountpunkt der VMFS Volumes Mountpunkt der VMFS Volumes Im Verzeichnis /vmfs/volumes sind alle VMFS Volumes mit einem Link eingebunden Im Verzeichnis /vmfs/devices/disks werden die IDs der Storages (LUNs) angezeigt vml NetQuest GmbH Seite 9-61

62 9.6.4 Erstellen eines VMFS Volume (Console) Anlegen einer Partition Partitionierung der Platte/LUN: fdisk /dev/sda Als Partitionstyp bei fdisk muss fb angegeben werden. Mit dem fdisk Befehl wird eine Partition angelegt. Um später ein VMFS Dateisystem in dieser Partition verwenden zu können, muss der Partitionstyp fb eingestellt werden. Mit dem Befehl esxcfg-scsidevs l -c können Informationen über die Zuordnung zwischen den LUNs und den Linux Namenskonventionen für den fdisk Befehl ausgegeben werden. NetQuest GmbH Seite 9-62

63 Optionen des fdisk Befehls: Option n d p t w Erklärung Erstellen einer neuen Partition (entweder Primär oder Erweitert). Löschen einer Partition. Anzeigen der Partitionstabelle. Änderung der ID der Partition (fb für vmfs Partitionen). Schreiben der Partitionstabelle. NetQuest GmbH Seite 9-63

64 Anlegen eines VMFS Vol. (Konsole) vmkfstools C vmfs3 b 1m S storage4 /vmfs/devices/disks/vml.<vml_id>:1 b - Blocksize S Name des Dateisystems Mit dem Befehl vmkfstools C wird die Partition formatiert. Für die Angabe der LUN muss die vml oder naa der LUN verwendet werden. Mit folgendem Befehl können Informationen über Storages und dem physikalischen Partitionen und Geräten ausgegeben werden: [root@esxhost] vmkfstools P h /vmfs/volumes/san00 NetQuest GmbH Seite 9-64

65 Vergrößerung eines VMFS Volumes Vergrößerung durch Hinzufügen eines Extends (wobei <vml_id_1> das zu vergrößernde Volume ist): vmkfstools Z /vmfs/devices/disks /vml.<vml_id_2>:1 /vmfs/devices/disks /vml.<vml_id_1>:1 Vergrößerung des VMFS Dateisystem (vorher muss die Partition mit fdisk vergrößert werden): vmkfstools G /vmfs/devices/disks /vml.<vml_id>:1 Mit dem Befehl vmkfstools Z kann ein bestehendes VMFS Volume vergrößert (gespannt) werden. Nach der Option Z steht als erstes die leere Partition die an das vorhandene VMFS Volume (zweites Feld) angehängt wird. Die Option G vergrößert ein Dateisystem ohne ein zusätzliches Extend anzuhängen. Vorher muss die Partition vergrößert werden. NetQuest GmbH Seite 9-65

66 9.6.5 Konfiguration des Raw Device Mapping (RDM) Konfiguration des RDM Beim Erstellen einer neuen virtuellen Platte kann Optional statt einer VMDK Datei ein Raw Device Mapping (RDM) verwendet werden Für die Erstellung wird eine leere (nicht partitionierte) LUN benötigt Die virtuelle Platte ist so groß wird die LUN NetQuest GmbH Seite 9-66

67 9.6.6 Alignment der Partition Alignment der Partition Bei Windows Rechner sollten die Partitionen aus Performancegründen mit den Blöcken des darunter liegenden Dateisystems ausgerichtet werden Dies ist z.b. bei Verwendung eines NetApp Storage wichtig NetQuest GmbH Seite 9-67

68 Msinfo32 Befehl: Start > All Programs > Accessories > System Tools > System Information Mit dem Tool Msinfo32 kann der aktuelle Offset der Partition überprüft werden. NetQuest GmbH Seite 9-68

69 diskpart-befehl Mit dem diskpart-befehl kann eine Partition mit einem definierten Offset wie im Beispiel mit 32 KByte erzeugt werden. NetQuest GmbH Seite 9-69

70 9.6.7 Thin Provisioning Thin Provisioning Thin Provisioning (Definition) Thin Provisioning (TP) (zu dt. schlanke Speicherzuweisung), bezeichnet ein Kosten sparendes Verfahren zur Bereitstellung von Speicherkapazität in virtualisierten Speicherumgebungen (Storage-Virtualisierung) Bei VMware (anlegen einer Virtuellen Platte mit der thin Option) Default ist thick vmkfstools c 100G d thin a lsilogic /vmfs/volumes/san01/vm01/vm01_2.vmdk Thin Provisioning Thin Provisioning (TP) (zu dt. schlanke Speicherzuweisung), bezeichnet ein Kosten sparendes Verfahren zur Bereitstellung von Speicherkapazität in virtualisierten Speicherumgebungen (Storage Virtualisierung). Klassische Speicherzuweisung Wenn Administratoren ein Speichersystem erstmalig in Betrieb nehmen, müssen sie die Festplatte für ein oder mehrere Betriebssysteme partitionieren, logische Laufwerke (z. B. C:) anlegen und diese dann mit den jeweiligen Betriebssystem-Werkzeugen formatieren. Bei diesem klassischen Verfahren, das auch Hard, Fat oder Exact Provisioning genannt wird, wird Anwendern und Anwendungsprogrammen Speicherkapazität zugeteilt. Ein weiterer Begriff, dedicate-on-allocation (bei der Zuweisung reservieren), umschreibt den tatsächlichen Vorgang. NetQuest GmbH Seite 9-70

71 So definierte Partitionen und logische Festplatten sind mit Betriebssystemfunktionen nicht mehr änderbar. Ist die zugeteilte Speicherkapazität erschöpft das ist meist schon bei 80 Prozent Nutzungsgrad der Fall, da z. B. bei der Reorganisation von Datenbanken zusätzlicher Platz benötigt wird so müssen alle Daten zuerst auf ein anderes Medium kopiert und anschließend die LUN gelöscht und neu angelegt werden. Mit speziellen Software-Werkzeugen können erfahrene Anwender aber auch Offline die Größe einer LUN inklusive aller Daten korrigieren. Auf eine Datensicherung sollte aus Sicherheitsgründen nicht verzichtet werden. Während es für private Anwender kein Problem darstellt, die gesamte Speicherkapazität einer Festplatte für ihre Bedürfnisse zu reservieren, müssen Storage-Administratoren in größeren Betrieben umsichtiger mit den Ressourcen umgehen. Sie teilen den Benutzern nur den voraussichtlich benötigten Speicherplatz über die Lebensdauer eines Projektes zu. Um Änderungen an diesen Vorgaben und damit kostspielige Verwaltungsarbeiten zu vermeiden, werden die zugeteilten Kapazitäten sicherheitshalber großzügig bemessen. Ein Teil des häufig bejammerten Datenwachstums ist dieser fixen Reservierung zuzuordnen. Die tatsächlich gespeicherte Datenmenge beträgt oft nur einen Bruchteil der reservierten Kapazität. Moderne Speicherzuweisung (Dedication-on-write) Thin Provisioning kann man vergleichen mit dem von einem Elektritzitätswerk zur Verfügung gestelltem Strom. Das E-Werk garantiert dem Kunden eine maximale Leistung die dieser beziehen kann. Trotzdem kann das E-Werk nur einen Teil dieser Maximalleistung allen Kunden gleichzeitig bereitstellen. Da aber niemals alle gleichzeitig die Maximalleistung beziehen, kommt es zu keinen Problemen. Im IT Bereich wird der Begriff häufig auch als Überprovisionierung (overcommitment) oder Überquotierung bezeichnet. Das Thin Provisioning macht sich zunutze, dass moderne Speichersysteme virtuelle Festplatten zur Verfügung stellen. Dem Abnehmer (Server) wird dabei mehr Kapazität zur Verfügung gestellt, als im Speichersystem dafür vorgehalten wird. Sobald die vom Server genutzte Kapazität einen bestimmten Schwellenwert überschreitet, wird aus einem vorhandenen Speicherpool freie Kapazität zusätzlich für den Abnehmer bereitgestellt. NetQuest GmbH Seite 9-71

72 Vorteile Der Vorteil des Verfahrens liegt auf der Hand: Es wird weniger Speicherkapazität benötigt - was direkten Einfluss auf Preis, Stellfläche, Klimaverbrauch, Stromverbrauch etc. hat. Das Risiko ist, dass ein sehr detailliertes Monitoring implementiert werden muss. Wie beim Elektrizitätswerk muss notfalls schnell Kapazität neu bereitgestellt werden. Das E- Werk erreicht dies z.b. über Zukauf im Ausland bei Überlasten im Speicherbereich müssen physikalisch Platten hinzugekauft werden. Steigt die Nutzung stärker als neue Kapazität bereitgestellt werden kann, so führt dies zum Stillstand der Anwendung. Thin Provioning bei VMware Bei VMware könne virtuelle Platten mit der thin Option angelegt werden, d.h. der Speicher wird erst zugewiesen wenn Daten in virtuelle Platte geschrieben werden. Syntax: vmkfstools c 100G d thin a lsilogic /vmfs/volumes/san01/vm01/vm01_2.vmdk NetQuest GmbH Seite 9-72

73 9.7 Übung SAN Übung SAN Übersicht Übung SAN In der Übung soll die Anbindung des Storage Systems an eine iscsi und/oder Fibre Channel Netzwerk durchgeführt werden. NetQuest GmbH Seite 9-73

74 9.7.2 Übung - Konfiguration einer LUN mit iscsi 1. Im ersten Schritt soll ein neues Aggregat, ein Volume und in diesem Volume ein Qtree erzeugt werden. 2. In diesem Qtree muss als nächstes eine LUN erzeugt und gemappt weden. 3. Für den Zugriff muss unter Windows 2003 der Microsoft iscsi Initiator installiert werden. 4. Die iqn des iscsi Initiator muss auf die LUN gemappt werden. In der Übung soll der Zugriff auf ein Fibre Channel bzw. iscsi Storage für den ESX Server konfiguriert werden Übung Konfiguration des Software iscsi Initiator 1. Für den Verbindungsaufbau zum iscsi Storage kann der Switch der letzten Übung (NAS) verwendet werden. 2. Als nächstes erfolgt die Konfiguration des iscsi Software Initiator. Der Trainer muss dabei auch den Zugriff für den iscsi Adapter konfigurieren! 3. Nach einem Rescan sollten die LUNs des iscsi Storage angezeigt werden. 4. Nach dem Test der Konfiguration sollte der Software iscsi Initiator deaktiviert und der Server neu gestartet werden. NetQuest GmbH Seite 9-74

75 9.7.4 Übung Anlegen eines VMFS Volume 1. Im ersten Schritt soll ein VMFS Volume mit 10 GByte im SAN erzeugt werden (über Kommandozeilenbefehle) Übung Vergrößern eines VMFS Volume 1. Im nächsten Schritt soll das Volume auf die maximal mögliche Größe eingestellt werden. NetQuest GmbH Seite 9-75

76 Notizen: NetQuest GmbH Seite 9-76