Feinprojekt 2 Node Failover Cluster / Shared Storage Lösung über iscsi

Transkript

1 Feinprojekt 2 Node Failover Cluster / Shared Storage Lösung über iscsi Robert Beckel, Tom Hadamietz, Lars Krahl

2 1. EINLEITUNG Projektumfeld Zielsetzung PROJEKTDURCHFÜHRUNG Zeitplanung Ist-Analyse Soll-Konzept Planung Hardware Betriebssystem Dienste Netzwerktopologie Umsetzung Installation des SuSE 10.1-Server Konfiguration als iscsi-target Installation der Windows 2003-Server Einrichtung des ADS Einrichtung des iscsi-initiator Einrichtung der Clusterdienste Testphase PROJEKTABSCHLUSS Übergabe an Kunden Fazit... 9 ANHANG Anhang A Kundendokumentation Anhang B Glossar Anhang C Quellenangaben Anhang D Soll-Netzplan Anhang E Probleme bei den praktischen Arbeiten Anhang F Kalkulationsschema Anhang G HTML-Seite 2

3 1. Einleitung 1.1 Projektumfeld Das Berufsschulzentrum für Elektrotechnik (BSZET) in Dresden bietet sowohl im Bereich der Informationstechnik theoretisches Wissen für etwa 1300 Auszubildende, als auch Möglichkeiten für Fachschüler in Elektro- oder Maschinentechnik und ein technisches Gymnasium an. Es ist somit ein wichtiges Institut für Umschüler und Lehrlinge im Großraum Dresden und darüber hinaus. Das gesamte Projekt wird in den Räumlichkeiten des BSZET durchgeführt. 1.2 Zielsetzung Zur Übung von Projektdokumentationen ergab sich die Aufgabe, ein umfangreiches Projekt innerhalb einer Gruppe zu planen, praktisch umzusetzen und gemäß den Anforderungen der Industrie- und Handelskammer (IHK) Dresden zu dokumentieren. Nach Beratung mit dem Fachlehrer wurde der Aufbau eines 2-Node-Failover- Clusters basierend auf Windows 2003 Server Enterprise Edition, inklusive einer SuSE Linux 10.1-gestützten Shared Storage-Lösung über iscsi festgelegt. Daraus ergeben sich diese konkreten Ziele: Installation eines SuSE Linux 10.1-Systems und Konfiguration als iscsi- Target Aufbau einer zweifach identischen Windows 2003 Server-Umgebung innerhalb einer ADS-Struktur Konfiguration dieser Server als iscsi-initiators und Umstellung auf Cluster- Betrieb 1

4 2. Projektdurchführung 2.1 Zeitplanung Schritt geplante Zeit tatsächliche Zeit Ist-Analyse 0,5 h 0,5 h Soll-Konzept 2 h 2 h Installation der SuSE10.1-Server 1,5 h 1,5 h Konfiguration als iscsi-target 0,5 h 0,5 h Installation der Windows 2003-Server 6 h 6 h Einrichtung des ADS 1 h 1 h Einrichtung der iscsi-initiator 1 h 1 h Einrichtung der Clusterdienste 1 h 1 h Testphase 2 h 2 h Übergabe an Kunden 0,5 h 0,5 h Dokumentations- und Präsentationserstellung 8 h 8 h Gesamt 23 h 23 h 2.2 Ist-Analyse Zum Zeitpunkt der Ist-Aufnahme stellt sich das Netzwerk und die Hardware so dar: Ein vollständig ausgebautes und durch Vorgaben der Schulverwaltung abgesichertes LAN wird über das Novell e-directory verwaltet. Parallel dazu läuft Microsoft Windows ADS; zur schnellen Installation der Clients ein Imaging-System über Rembo. Innerhalb des Projektraumes besteht eine Sterntopologie mit 100MBit- Übertragungsgeschwindigkeit, die Workstations sind unterschiedlich ausgestattet, sind aber mit 1Ghz und 512MB RAM leistungsfähig genug für die Projektumsetzung. Zahlreiche aktive und passive Netzwerkkomponenten stehen zur Verfügung, ebenso Lizenzen für verschiedenste Betriebssysteme. 2.3 Soll-Konzept Das entstehende Projekt soll grundsätzlich innerhalb der vorgegebenen Zeit erreichbar, ausserdem die Lösung für andere verständlich sein und ohne zusätzliche Investitionen erfolgen. Das System soll die Wirkweise von Computerclustern und gemeinsam genutzten Speichermedien verdeutlichen. Deshalb wird erstens auf eine Virtualisierung der gesamten Testumgebung verzichtet, zweitens werden nur grundsätzlichste Dienste eingerichtet und getestet, die Anzahl der Nodes bleibt ebenfalls mit 2 beim 2

5 Minimum. Das Cluster muss hochverfügbar, also automatische Reaktionen auf Fehler in möglichst geringer Zeit durchführen können, und zentral verwaltbar sein. Ausserdem muss die Dokumentation vollständig und allgemeinverständlich angefertigt werden. 2.4 Planung Hardware Zur Vermeidung von jeglichen Kosten darf keinerlei zusätzliche Hardware angeschafft werden, die vorhandene Technik kann jedoch vollkommen ausgereizt werden. Für die beiden identischen Clusternodes werden jeweils Rechner mit 1GHz und 512MB Arbeitsspeicher genutzt. Der Server mit dem Active Directory Service besitzt die gleiche Ausstattung. Die Belastung innerhalb der Testumgebung wird erwartungsgemäß gering ausfallen, derentwegen diese Spezifikationen ausreichen. Der gemeinsam genutzte Speicher von 36GB wird auf einem gleichartigen Rechner bereitgestellt und bietet genügend Platz für die geforderten Dienste und Applikationen, auch in Bezug auf einen möglichen Ausbau des Systems. Das Netzwerk ist durchgängig mit 100Mbit/s verkabelt und erreicht damit gute bis sehr gute Geschwindigkeiten Betriebssystem Bei der Auswahl des Betriebssystems werden mehrere Vorüberlegungen angestellt: Zum einen dürfen, wie schon bei der Hardware, keine Investitionen gemacht werden, das heisst die verfügbaren Lizenzen sind Grundlage für das gesamte System. Zum anderen soll es kundengerecht wart- und administrierbar und entsprechend dokumentiert sein. Besonders bei Produkten von Microsoft werden sehr viele Funktionen in GUIs integriert, die quasi-monopolstellung ihrer Produkte führt auch zum Schluss, dass sie nahezu jedermann bedienen kann. Zudem ist bei den Lizenzen (fast) immer Support integriert, so dass auch bei größeren Problemen Lösungen gefunden werden können. Nachteilig an MS-Betriebssystemen sind allerdings genau diese Lizenzkosten, die jedoch in diesem Projekt ignoriert werden können. Weiterhin stellt sich ein OS von Microsoft in der Praxis als weniger sicher und deutlich unstabiler dar als Pendants auf Linux. Letzteres sticht besonders positiv durch die Open-Source-Eigenschaften heraus. Fast jede Linux-Distribution ist kostenlos erhältlich, fehlerunanfälliger und performanter als Microsoft-Betriebssysteme. Diese positiven Eigenschaften können jedoch nur erfahren werden, wenn man das System bedienen kann. Da dies selten 3

6 der Fall ist und Usability in diesem Projekt auch eine große Rolle spielt, muss auf eine vollständige Umsetzung auf Linuxbasis verzichtet werden. Die Wahl des Betriebssystems ist ausserdem durch die Anwendungen beschränkt. Für die Domäne mit ADS muss zwangsläufig MS Windows benutzt werden, aus Gründen der Aktualität und Performanz die 2003er Edition. Da es keine kostenfreie Software für Windows gibt, um ein iscsi-target aufzusetzen, für Linux aber mehrere Open-Source-Projekte, wird dieser Teil mit SuSE Linux 10.1 bestückt - ein Kompromiss aus Geschwindigkeit und Bedienbarkeit. Für die Clusternodes hingegen werden aus Kompatibilitäts- und Usability-Zwecken Microsoft Windows 2003 Enterprise Edition eingesetzt, nur diese Version kann Clusterdienste verwalten. Ergo werden die Betriebssysteme wie folgt eingesetzt: Domaincontroller, Clusternodes - Microsoft Windows 2003 iscsi-target - SuSE Dienste Grundsätzlich muss für einen funktionierenden Cluster unter Windows 2003 ein Active Directory Service die Nodes verwalten. Gleichzeitig müssen sich die einzelnen Dienste die gleichen Daten teilen. Das heisst, bei Ausfall eines Nodes übernimmt ein anderer nicht nur die laufenden Ressourcen, sondern gezwungenermaßen auch deren Anwendungsdaten. Dieses Prinzip des Shared Storage wird über iscsi verbunden, also TCP/IP-gekapselte SCSI-Daten, um die eigentlich benötigte SCSI- Anbindung preiswert virtuell umzusetzen. Als eigentlich laufende Dienste werden DNS und DHCP angeboten, wobei nur letzterer tatsächlich geclustert werden kann. Zusammengefasst müssen folgende Anwendungen installiert und konfiguriert werden: ADS DNS DHCP iscsi Netzwerktopologie Um ein hochverfügbares System ständig disponibel zu halten, müssen SPOFs vermieden werden. Das heisst, jede Anbindung sollte so ausgelegt sein, dass bei deren Ausfall nicht das gesamte System zusammenbricht. Durch die eingeschränkten Möglichkeiten innerhalb des Projektraumes muss jedoch auf einen vollständigen Ausbau in dieser Qualität, konkret auf redundante Switche, verzichtet 4

7 werden. Die Clusternodes arbeiten in drei verschiedenen Netzen - eine über Crossover-Kabel geschaltene Heartbeat-Leitung, also eine dedizierte Verbindung zum testen, ob der andere Node noch verfügbar ist, eine Anbindung an das normale LAN über einen Switch und eine dritte Leitung zu einem anderen Switch, an dem das NAS-Device angeschlossen ist. Ein Schaubild zu diesem Aufbau findet sich im Anhang D. 2.5 Umsetzung Installation des SuSE 10.1-Server Während der Standardinstallation von SuSE 10.1 ist praktisch nur die Partitionierung besonders zu beachten. Da dieser Server später als Datenspeicher bzw. Shared Storage dient, muss dieser Platz komplett freigehalten werden. Es darf für diesen Festplattenbereich keine Partition angelegt werden, ein anderes Programm übernimmt fortan die Verwaltung dieses Speichers. Er braucht auch kein Dateisystem, da die Windows 2003-Server bei der Einbindung automatisch eine Formatierung mit NTFS vornehmen. Die Partitionstabelle sieht daher folgendermassen aus: Bezeichnung Dateisystem Mountpoint Größe Typ Auslagerung /dev/sda1-1gb swap Systempartition /dev/sda2 / 5GB ext3 Es bleiben damit 36GB übrig. SuSE wird mit einer minimalen Grafikoberfläche installiert, da diese den besten Kompromiss zwischen Performance und leichter Administrierbarkeit bietet Konfiguration als iscsi-target Nach der Installation des Betriebssystems werden mithilfe des SuSE-eigenen Tools YAST die Pakete iscsi-target und LVM installiert. LVM steht für Logical Volume Manager und verwaltet physisch vorhandene Festplatten logisch in Pools. Daraus können dann dynamisch Partitionen erstellt und verwaltet werden. Es ist somit problemlos möglich, durch Hinzufügen von neuen Festplatten in den Pool vorhandene logische Partitionen bei Bedarf zu erweitern. Das Cluster kann also auf Verlangen sehr einfach vergrößert werden. Das iscsi-target gibt danach die LVs frei und verwaltet die Schreibzugriffe (Storageover-TCP-Verfahren). 5

8 Zuerst werden LVM alle physikalischen Datenträger bekannt gemacht, in einer Volume Group (VG) namens nas zusammengefasst und im dritten Schritt daraus nutzbare Logical Volumes (LV) mit 0,5GB (lv1) bzw. 1,5GB (lv2) erstellt. Dafür werden in einer Konsole folgende Befehle durchgeführt: pvcreate /dev/hda3 vgcreate nas /dev/hda3 lvcreate -n lv1 -L 0.5G nas lvcreate -n lv2 -L 1.5G nas In einem späteren Schritt werden diese LVs von Windows als Datenträger eingebunden: lv1 ist als Quorum-Device vorgesehen, lv2 für die restlichen Dienste. Somit bleiben 34GB zur Verfügung und können mit obigen Befehlen leicht als neue LVs oder als Erweiterung bereits aktiver genutzt werden. Danach wird im Administrationstool YaST (Befehl: yast) im Menü Netzwerkdienste, iscsi-target der automatische Start des Dienstes beim Bootvorgang aktiviert und die LVs ohne Rechtebeschränkung als /dev/nas/lv1 etc. freigegeben Installation der Windows 2003-Server Bereits vor der eigentlichen Installation ist zu beachten, dass Windows auf den Clusternodes jeweils auf der selben Partition liegen muss, da ansonsten der Clusterdienst einen fatalen Fehler meldet. Die Partition an sich wird mit 20GB mit NTFS formatiert. Die Installationsprozedur wird danach mit den vorgegebenen Standardeinstellungen durchgeführt. Als Hostnamen werden pdc, node1 und node2 entsprechend der späteren Aufgaben vergeben. Die IP-Adressen pro NIC müssen aus zwei unterschiedlichen Netzen stammen, da sonst keine Unterscheidung zwischen Heartbeat-Leitung und Datenleitung bzw. dem öffentlichen Netz stattfinden kann. Letzteres erhält Adressen aus dem Bereich bis , das Heartbeat-Netz geht von bis Einrichtung des ADS Der Clusterdienst arbeitet objektorientiert, legt also seine Ressourcen als Objekte an. Zusätzlich müssen Benutzer und Zugriffsrechte im ganzen Netzwerk verwaltet werden. Diese Aufgaben können nur von einem Verzeichnisdienst erledigt werden, im Microsoft-Kontext wird hierbei der Active Directory Service genutzt. Zur Einrichtung des ADS wird über eine Kommandozeile der Befehl dcpromo ausgeführt und mit Standardeinstellungen konfiguriert. Das Programm installiert hierbei alle nötigen Systemkomponenten, wie beispielsweise den DNS-Dienst 6

9 (Domäne: bszet.de). Zusätzlich wird der Benutzer clusteradmin erstellt und mit Rechten verfügt, die ihm die Administration des Clusters erlaubt Einrichtung des iscsi-initiator Jetzt ist es an der Zeit, Windows die Laufwerke des iscsi-targets bekannt zu machen. Microsoft bietet eine zusätzliche Software zum kostenlosen Download an, mit der man den Server zum iscsi-initiator machen kann. Unter (Stand: ) kann das Tool für verschiedene Architekturen heruntergeladen werden. Nach dessen Installation wird ohne Authentifizierung eine Verbindung zum iscsi-target aufgebaut. Diese Verbindung muss bei jedem Systemstart aufgebaut werden, daher werden die entsprechenden Einstellungen getätigt. Danach werden die vormals angelegten logischen Volumes in der Datenträgerverwaltung eingebunden und können erst dann von den Clusterdiensten genutzt werden Einrichtung der Clusterdienste Noch sind die Server für sich praktisch stand-alone. Das heisst, alle Dienste sind redundant und stimmen sich nicht untereinander ab. Daher muss in der Clusterverwaltung ein Cluster erstellt und die einzelnen Nodes in dieses integriert werden. Da die Nodes währenddessen auch in die ADS als verwaltbare Objekte eingebunden werden, müssen sie sich mit clusteradmin authentifizieren. Die einzelnen Dienste sind danach nur noch über die Clusterverwaltung administrierbar, nicht mehr über die Serververwaltung. Als Grundvoraussetzung für jede geclusterte Anwendung muss eine Clustergruppe angelegt werden, die das vorher in das System eingebundene Quorum-Device verwalten kann. Pro Dienst müssen verschiedene Voraussetzungen erfüllt werden, meist in Form erstellter Ressourcen wie einer virtuellen IP-Adresse oder physischen Laufwerken, vom System explizit genannt. Nachdem die Clusterressourcen konfliktfrei erstellt sind, werden sie online geschaltet und arbeiten ab sofort geclustert. 2.6 Testphase Das gesamte System wird in zwei Phasen geprüft: im funktionalen Systemtest werden Qualitätsmerkmale wie Vollständigkeit und Korrektheit betrachtet, im nicht-funktionalen Systemtest hingegen Sicherheit, Interoperabilität, Zuverlässigkeit, Bedienbarkeit und ähnliches. 7

10 Vorgang Verzeichnisdienst (Anmeldung, Ressourcenverwaltung, Authorisierung,...) DNS Dienst (Forward, Reverse Lookup, Zonen) DHCP (Leasing, Reservierungen, Konfiguration) geclusterte Dienste (DHCP,[Webserver]) Clusterressourcengruppe verschieben / erweitern Totalausfall eines Nodes: anderer Node übernimmt Dienst Shared Storage (iscsi, Zugriffsrechte, Aktualität) Ergebnis Vorgang Dateiaustausch zwischen heterogenen Systemen Lasttests Sicherheitstest (Zugriffsrechte an den einzelnen Systemen) Ergebnis Alle Tests sind problemfrei abgeschlossen. 8

11 3. Projektabschluss 3.2 Übergabe an Kunden Während der Übergabe wird dem Kunden das System demonstriert, inklusive mehrerer Funktionstests aus der Testphase. Auf seine Fragen wird eingegangen und wenn Verbesserungswünsche entstehen, auf diese reagiert. Der Kunde ist nach eigenen Aussagen von dem Ergebnis überzeugt, alle Anforderungen wurden termin- und vertragsgerecht erfüllt. Ihm werden Vorschläge für die Erweiterung des Systems unterbreitet und Folgeaufträge angeboten. 3.3 Fazit Das durchgeführte Projekt zeigte die Komplexität hochverfügbarer Netze, die dabei entstehenden Fragen und deren Lösungen. Die Interoperabilität heterogener Netze konnte ebenso wie die Problematik gemeinsam genutzter Speichermedien gelernt werden. Ausserdem wurde durch die Gesamtgröße der Aufgabe die Relevanz vollständiger Dokumentationen ersichtlich. Zur Erweiterung bzw. Verbesserung des Systems wäre es beispielsweise möglich, die im Moment einfach vorhandene Hardware-Schicht redundant zu gestalten. Alternativ wäre, bei entsprechendem Anforderungswachstum, eine Virtualisierung erörterungswürdig, um die Skalierbarkeit weiter zu steigern. Uns, den Ausführenden, hat es sehr geholfen. Besonders die Arbeit und Abstimmung im Team, der Umgang mit Deadlines und komplexen vernetzten Systemen war interessant und lehrreich. 9

12 Anhang Anhang A Kundendokumentation 10

13 Anhang B Glossar ADS Cluster Clusternode DHCP DNS Domäne e-directory Failover GUI Heartbeat IP iscsi LAN LV LVM NAS NIC Node NTFS Active Directory Service: objektbasierter Verzeichnisdienst in Windows, der Netzwerkobjekten Eigenschaften zuordnet und diese verwaltet Gruppe von Computern, die zur Erhöhung der Geschwindigkeit und/oder Verfügbarkeit zusammengeschlossen werden und nach aussen als ein Computer auftreten einzelner Computer in einem Cluster Dynamic Host Configuration Protocol: Protokoll zum dynamischen Zuweisen von diverser Konfigurationsparameter für Hosts Domain Name System: Dienst zum Umsetzen von Hostnamen in IP-Adressen und umgekehrt zentral verwalteter Bereich in einem Netzwerk, dem Hosts beitreten können Verzeichnisdienst (siehe ADS) von Novell Technik zum ungeplanten Wechsel von einem primären Server auf einen Rückfall-Server, meist unterstützt durch einen Heartbeat Graphical User Interface: Oberfläche einer Software, die die Bedienung mit einem Zeigergerät wie der Maus erlaubt dedizierte Netzwerkverbindung zwischen mehreren Clusternodes, die zum Prüfen der Betriebsbereitschaft der einzelnen Nodes dient Internet Protocol: Netzwerkprotokoll zum Aufbau von Verbindungen in großen Netzen wie dem Internet, wirkt auf Schicht 3 des OSI-Modells IP-gekapselte (siehe IP) SCSI-Daten (siehe SCSI) Local Area Network: lokales Netzwerk, Verbund mehrerer Computer, die über ein Netzwerkprotokoll (siehe IP) kommunizieren Logical Volume: dynamisch erstellte Partitionen aus einem vorher angelegten Volume Group (siehe VG) Logical Volume Manager: Abstraktionsebene zwischen Dateisystemen und Festplatten zum Verwalten von physischen Speichermedien in Logical Volumes (siehe LV) Network Attached Storage: Massenspeichermedium im LAN Network Interface Card: Netzwerkkarte siehe Clusternode New Technology File System: Dateisystem ab Windows NT (und Nachfolgern), dass effizienter und sicherer arbeitet und sehr große Partitionen erlaubt 11

14 SuSE Partition OS Quorum-Device RAM SCSI Shared Storage SPOF Sterntopologie TCP/IP VG YaST öffentliche verfügbare, kostenfreie Linux-Distribution von Novell logischer Teilbereich einer Festplatte Operating System: das Betriebssystem Komponente innerhalb eines Clusters zur Wahrung der Datenintegrität bei Teilausfall des Systems, verhindert langwieriges Neu-Einstellen der Masterstati durch eigenständige Verteilung Random Access Memory: Arbeitsspeicher eines PCs Small Computer System Interface: parallele Schnittstelle zur Übertragung von Daten zwischen Geräten auf einem Computer-Bus von mehreren Rechnern gemeinsam genutzter Festpeicher Single Point of Failure: Komponente eines Systems, bei dessen Versagen das komplette System ausfällt Netzstruktur, bei der alle Teilnehmer an einem zentralen Knoten angeschlossen sind Transmission Control Protocol / IP: Internetprotokollfamilie, Basis für die Netzkommunikation im Internet Volume Group: Pool von physisch vorhandenen Massenspeichermedien, verwaltet von einem Logical Volume Manager (siehe LVM) Yet another Setup Tool: Installations- und Verwaltungsprogramm von SuSE (siehe SuSE) Anhang C Quellenangaben

15 Anhang D Soll-Netzplan Anhang E Probleme bei den praktischen Arbeiten Sehr wichtig bei der Arbeit mit Windows-Clustern ist es, dass die Betriebssysteme (Windows 2003) der Nodes auf den jeweils gleichen Partitionen installiert sind. Ist beispielsweise das OS auf node1 auf C:, auf node2 jedoch auf D:, wird sich die Clusterverwaltung beim Einrichten bzw. Hinzufügen verweigern. Da dies nur durch Neuinstallation oder spezialisierte Tools verändert werden kann, ist dieses Problem grundlegend. Ausserdem muss nach der Installation des ADS stets sichergestellt werden, dass der DNS-Dienst einwandfrei funktioniert, andernfalls gibt es im gesamten System Fehlermeldungen. 13

16 Anhang F Kalkulationsschema Bei der Kalkulation des Projektes wurde vorausgesetzt, dass möglichst geringe Kosten entstehen. Daher war es unmöglich, eine Umsetzung mit dafür prädestinierter Hardware (SCSI) durchzuführen. Durch die Bereitstellung jeglicher verwendeter Soft- und Hardware müssen daher nur die Arbeitsstunden kalkuliert werden. Insgesamt wurden 3 x 23 Mannstunden an Arbeitsleistung für die Einrichtung und Konfiguration erbracht. Die Arbeitsstunden werden mit einem in der Branche üblichen Stundensatz von 49,- /h berechnet. Daher belaufen sich die entstanden Kosten auf 3381,- für dieses Projekt. Der rein rechnerische Ansatz für eine alternative Umsetzung mit entsprechender Hardware sähe so aus: SAN-System im Wert von 15000, ,- (variiert je nach Bestückung) 2x Fibrechannel-Karten im Wert von je 1200,- geschätzte Arbeitsleistung von ca. 3x 15 Mannstunden im Wert von 2205,- So entstehen geschätzte Gesamtkosten von insgesamt 19605,- bis 24605,-. Der starke Kostengradient begründet sehr deutlich unsere Wahl von erstgenannter Variante. Erst bei einem Mittel- bis Großunternehmen sollten die Vorzüge von Geschwindigkeit und Komfortabilität der zweiten Variante dem Preis übergeordnet werden. Anhang G HTML-Seite 14