Untersuchung aktueller Linux-basierter High-Availability-Lösungen und deren praktischer Einsatz

Transkript

1 Untersuchung aktueller Linux-basierter High-Availability-Lösungen und deren praktischer Einsatz Bachelorarbeit zur Erlangung des akademischen Grades Bachelor of Science in Engineering (BSc) der Fachhochschule Campus Wien Bachelorstudiengang Informationstechnologien und Telekommunikation Vorgelegt von: Ing. Bernhard Miklautz Personenkennzeichen: Betreuer: DI Herbert Haas Abgabetermin:

2 Erklärung: Ich erkläre, dass die vorliegende Bachelorarbeit von mir selbst verfasst wurde und ich keine anderen als die angeführten Behelfe verwendet bzw. mich auch sonst keiner unerlaubter Hilfe bedient habe. Ich versichere, dass ich dieses Bachelorarbeitsthema bisher weder im In- noch im Ausland (einer Beurteilerin/einem Beurteiler zur Begutachtung) in irgendeiner Form als Prüfungsarbeit vorgelegt habe. Weiters versichere ich, dass die von mir eingereichten Exemplare (ausgedruckt und elektronisch) identisch sind. Datum: Unterschrift:

3 Kurzfassung Diese Arbeit beschäftigt sich mit den Grundlagen von Hochverfügbarkeit und Cluster sowie für die Praxis geeignete Linux-basierter-Clusterlösungen. Es werden Grundbegriffe der Verfügbarkeit, wie MTBF oder Reaktionszeit, sowie grundlegende Berechnungsmethoden von parallelen und seriellen Systemen erklärt. Im Kapitel Cluster 3 werden verschieden Arten von Clustern und mögliche Betriebsmodi wie Active/Active oder Passive/Active beschrieben. Weiters werden Anforderungen an die Hardware und die Betriebsumgebung von Clustern erläutert. Den Abschluss der Arbeit bildet die Beschreibung von Linux-basierten Clusterlösungen und eine Erläuterung der Vor- und Nachteile dieser. iii

4 Inhaltsverzeichnis 1 Einleitung 1 2 Availability Definitionen Vernetzung Availability und High-Availability Kennzahlen und Begriffe Serversysteme HA-Cluster Cluster Modi Grundlegende Funktionsweise Begriffe Anforderungen von HA-Cluster Linux-HA Software Anforderungen und Auswahlskriterien Ucarp Keepalived Pacemaker Zusammenfassung 34 A Anhang 35 Tabellenverzeichnis Literaturverzeichnis iv

5 Kapitel 1 Einleitung Der Ausfall von geschäftskritischen Diensten kostet einem Unternehmen Zeit und Geld. Tabelle 1.1 zeigt die Kosten verschiedener Bereiche, die ein Ausfall stündlich erzeugt. Um gegen Ausfälle geschützt zu sein wird versucht, wichtige Dienste hochverfügbar zu machen. Um dies zu gewährleisten wird zusätzliche Hard- und Software benötigt, wodurch zusätzliche Kosten entstehen. Application Average Hourly Loss (in USD) Brokerage operations 6,450,000 Credit card authorization 2,600,000 Ebay (1 outage 22 hours) 225,000 Amazon.com 180,000 Package shipping services 150,000 Home shopping channel 113,000 Catalog sales center 90,000 Airline reservation center 89,000 Cellular service activation 41,000 On-line network fees 25,000 ATM service fees 14,000 Tabelle 1.1: Stündliche Kosten eines Ausfalls in verschiedenen Branchen ([Pat02]). Das Betriebssystem Linux hat in den letzten Jahren am Servermarkt immer mehr an Bedeutung gewonnen. Es ist ein freies und quelloffenes Betriebssystem auf dem eine Vielzahl von Anwendungen läuft. Auch im Bereich der Linux-basierten Hochverfügbarkeitslösungen gibt es, neben kommerziellen, auch kostenlose Lösungen die sehr ausgereift sind 1. Die Verwendung der freien, Linux-basierten Hochverfügbarkeitslösungen bietet sich somit an um Kosten zu sparen. Dies bietet auch Klein- und Mittelunternehmen die Möglichkeit, ohne zusätzliche Softwarekosten, ihre Dienste hochverfügbar bereit zu stellen. 1 Oft stellt die freie Software die Grundlage für ein kommerzielles Produkt dar. 1

6 Kapitel 1. Einleitung Diese Arbeit beschäftigt sich mit der Thematik der High-Availability. Im besonderen werden folgenden Fragen beantwortet: Was ist Hochverfügbarkeit? Was ist ein Cluster? Welche Clusterarten gibt es? Welche praxistauglichen und aktuellen Lösungen es gibt es? Wie werden diese konfiguriert? Welche Vor- und Nachteile weisen sie auf? 2

7 Kapitel 2 Availability Availability und High-Availability ist eine komplexe Thematik. Dieses Kapitel fasst die Grundlagen sowie die wichtigsten Begriffe zusammen. 2.1 Definitionen Dienst Ein Dienst (englisch Service) ist eine Leistung oder Funktionalität die erbracht oder zur Verfügung gestellt wird. Die genaue Bedeutung des Begriffes hängt vom jeweiligen Kontext, in dem er benutzt wird, ab (Vergleiche dazu [Sch10, Seite 4]). So werden in der Wirtschaft Dienstleistungen als Dienste bezeichnet. Beispiele dafür sind der Internetanschluss, als Dienst eines Internetproviders oder Telefonie, als Dienst eines Mobilfunkanbieters. Der Begriff Dienst, wie er in dieser Arbeit verwendet wird, bezeichnet Software die im Hintergrund läuft und Aufgaben erledigt. Dabei können die Aufgaben durch externe Ereignisse oder periodisch gestartet werden. Um dies zu verdeutlichen seien einige Beispiele für Dienste genannt: Webserver Mailserver Aufgaben-Scheduler (cron) Routing-Prozesse für OSPF oder BGP Weiterleitung von Datenpaketen (Paketvermittlung) System Als System wird ein Verbund von mehreren Komponenten bezeichnet die miteinander interagieren. Systeme haben die Eigenschaft, dass sie in sich geschlossen sind und nur über spezifizierte Schnittstellen mit der Umwelt agieren. Ein Beispiel für ein System 3

8 Kapitel 2. Availability ist ein Server welcher aus Hardware, Betriebssystem und Anwendungssoftware besteht. Mit seiner Umwelt kommuniziert er über Keyboard/Monitor bzw. über die Netzwerkkarte Downtime Ist ein Dienst nicht funktionsfähig oder nicht erreichbar, wird er als unverfügbar oder down bezeichnet. Die Downtime (Ausfallzeit) ist jene Zeitspanne in der ein Dienst down ist. Der Gegenteil von Downtime ist die Uptime. Sie bezeichnet die Zeitspanne in der ein Dienst verfügbar ist. Abbildung 2.1: Gründe für Downtime ([Hel05]). Für eine Downtime kann es verschiedene Gründe geben (siehe Abbildung 2.1), welche in zwei Kategorien eingeteilt werden können: geplante und ungeplante. Geplant Geplante Downtime beinhaltet Software- und Hardware-Updates sowie alle Wartungsarbeiten. Obwohl geplant, wird trotzdem versucht, die Downtime so kurz wie möglich zu halten bzw. sie auf Zeiten zu verschieben, in denen der Dienst wenig verwendet wird. Ungeplant Diese Kategorie beinhaltet alle unvorhergesehnen Ereignisse/Probleme, die zu einer Downtime führen. Dazu zählen: Hardwareprobleme Softwarefehler Bedienungsfehler 4

9 Kapitel 2. Availability Stromausfälle Netzwerkprobleme Disaster (Überflutung, Erdbeben) Da eine ungeplante Downtime unvorhersehbar ist, werden Vorkehrungsmaßnahmen, wie redundante Hardware oder mehrere Stromkreise, getroffen. Zur Downtime siehe auch [Hel05, Seite 33]. 2.2 Vernetzung Die meisten heute relevanten Dienste stehen über TCP/IP zur Verfügung und sind somit an ein Netzwerk angeschlossen. Ein Netzwerk besteht aus vielen verschiedenen Software- und Hardware-Komponenten. Oft reicht der Ausfall einer Komponente damit ein Dienst nicht mehr erreichbar ist. Abbildung 2.2: Beispielhafte Verbindung von Client zu Server mit Dienst. Abbildung 2.2 illustriert die Anbindung eines Kunden, mit einem ADSL-Modem, an das Netz seines Providers und damit an das Internet. Der Server mit dem Dienst, auf welchen zugegriffen werden soll, ist über einen Router an das Internet angeschlossen und von einer Firewall vor Angriffen geschützt. Aus der Sicht des Kunden ist der Dienst nicht erreichbar, sobald einer der Komponenten zwischen dem Kunden-PC und dem Server ausfällt. Einzelne Komponenten, die eine komplette Unerreichbarkeit des Dienstes zur Folge haben könnten, nennt man Single Point of Failure oder abgekürzt SPOF. Im obigen Beispiel sind der Kunden-PC, das Modem, die Firewall, der Router sowie der Server SPOFs. Bei hochverfügbaren Systemen wird versucht, SPOF durch Verdoppelung (Redundanz) der Komponenten zu vermeiden. Weiters ist zu brücksichtigen, dass die Verfügbarkeit aus unterschiedlichen Betrachtungspunkten unterschiedlich wahrgenommen werden kann. Wenn, wie oben beschrieben, das Modem des Kunden defekt ist, ist der Dienst aus der Sicht anderer Kunden, oder direkt vom Server aus gesehen, immer noch erreichbar. 5

10 2.3 Availability und High-Availability Kapitel 2. Availability Die Verfügbarkeit (Availability) ist die Wahrscheinlichkeit, dass ein Dienst innerhalb eines spezifizierten Zeitraumes funktionstüchtig (verfügbar) ist. Funktionstüchtig heißt dabei, dass der Dienst seine Aufgabe erfüllen kann. Die Verfügbarkeit kann als Verhältnis von Up- und Downtime dargestellt werden (vgl.[hel05, Seite 29]): Availability = Uptime Uptime + Downtime (2.1) Die Verfügbarkeit wird meist in Prozent angegeben also mit dem Faktor 100 multipliziert. Ein System gilt als hochverfügbar, wenn eine Anwendung auch im Fehlerfall weiterhin verfügbar ist und ohne unmittelbaren menschlichen Eingriff weiter genutzt werden kann. In der Konsequenz heißt dies, dass der Anwender keine oder nur eine kurze Unterbrechung wahrnimmt. Hochverfügbarkeit (abgekürzt auch HA, abgeleitet von High Availability) bezeichnet also die Fähigkeit eines Systems, bei Ausfall einer seiner Komponenten einen uneingeschränkten Betrieb zu gewährleisten. [Hel05, Seite 29] Das Institute of Electrical and Electronics Engineers (IEEE) definiert High Availability wie folgt: Availability of resources in a computer system, in the wake of component failures in the system. [IEE] Verfügbarkeitsklassen Die Verfügbarkeit der Systeme kann anhand unterschiedlicher Methoden in Klassen eingeteilt werden. Eine dieser Methoden ist in Tabelle 2.1 abgebildet. Diese teilt die Verfügbarkeit anhand der unterschiedlichen Anzahl der Ziffer Neun in der prozentuell angegebenen Verfügbarkeit in Klassen ein (vgl [Bre07, Seite 7]). Jährliche Verfügbarkeit Downtime pro Jahr Verfügbarkeitsklasse 90% 36,50 Tage - 95% 18,25 Tage - 98% 7,30 Tage - 99% 3,65 Tage 2 stabil 99,5% 1,83 Tage - 99,8% 17,52 Stunden - 99,9% 8,76 Stunden 3 verfügbar 99,95% 4,38 Stunden - 99,99% 52,60 Minuten 4 hochverfügbar 99,999% 5,26 Minuten 5 fehlerunempfindlich 99,9999% 31,50 Sekunden 6 fehlertolerant 99,99999% 3,00 Sekunden 7 fehlerresistent Tabelle 2.1: Verfügbarkeitsklassen Eine weitere, sehr oft verwendete Methode, ist die Availability Environment Classification (AEC) der Harvard Research Group (HRG) ([HRG]). Im Unterschied zu anderen 6

11 Kapitel 2. Availability Methoden wird bei diesem Ansatz nicht die Downtime eines Systems beurteilt, sondern die Auswirkungen die ein Ausfall des Systems hat. Sie unterteilt die Auswirkungen insgesamt in sechs Klassen: Conventional (AEC-0): Business functions that can be interrupted and where the integrity of the data is not essential. To the user work stops and uncontrolled shutdown occurs. Data may be lost or corrupted. Highly Reliable (AEC-1): Business functions that can be interrupted as long as the integrity of the data is insured. To the user work stops and uncontrolled shutdown occurs. However, data integrity is ensured. High Availability (AEC-2): Business functions that allow minimally interrupted computing services, either during essential time periods, or during most hours of the day and most days of the week throughout the year. This means user will be interrupted, but can quickly relog on. However, they may have to rerun some transactions from journal file and they may experience performance degradation. Fault Resilient (AEC-3): Business functions that require uninterrupted computing services, either during essential time periods, or during most hours of the day and most days of the week throughout the year. This means that the user stays on-line. However, current transaction may need restarting and users may experience performance degradation. Fault Tolerant (AEC-4): Business functions that demand continuous computing and where any failure is transparent to the user. This means no interruption of work; no transactions lost; no degradation in performance; and continuous 7x24 operation. Disaster Tolerant (AEC-5): Business functions that absolutely must be available to the user and where any failure must be transparent to the user. This means no interruption of work; no transactions lost; no degradation in performance, and continuous computing services that are even safe from disasters such as an earthquake fire, flood, hurricane, power failure, vandalism, or an act of terrorism. In der Praxis sind die Verfügbarkeitsanforderungen an ein System oft mit Service Level Agreements (SLA) beschrieben. Ein System muss meistens nicht 24 Stunden am Tag verfügbar sein, sondern zum Beispiel nur in den Geschäftszeiten, aber dann mit der vereinbarten Verfügbarkeit. Außerhalb dieser Zeit sind die Anforderungen an die Verfügbarkeit geringer und es können Wartungsarbeiten und dergleichen durchgeführt werden. 2.4 Kennzahlen und Begriffe Neben der Verfügbarkeit gibt es noch andere Begriffe und Kennzahlen, die gebräuchlich sind und zum Verständnis benötig werden. Diese werden im folgenden beschrieben. 7

12 Kapitel 2. Availability Reliability (Zuverlässigkeit) Die Zuverlässigkeit eines Systems gibt an, wie wahrscheinlich ein System innerhalb einer definierten Zeitspanne seinen Zweck erfüllt (vgl.[bre07, Seite 9]). Ein Maß für die Zuverlässigkeit ist die Mean Time Between Failure (MTBF). Sie gibt an wieviel Zeit im Mittel (Mean) zwischen zwei Fehlern vergeht (meist angegeben in Stunden). Sie kann dem Datenblatt des Herstellers entnommen oder durch Messungen ermittelt werden. Beispiel: Ist die MTBF mit 1.2 M angegeben dann passiert im Durchschnitt alle 1,2 Millionen Stunden ein Fehler, was umgerechnet beinahe 137 Jahre sind. Es ist zu beachten, dass die MTBF ein statistischer Wert ist und daher kann ein Fehler schon nach kurzer Zeit auftreten. Theoretisch aber auch erst nach über 137 Jahren. Nur im Mittel passiert alle 137 Jahre ein Fehler. Oft ist die Zuverlässigkeit auch als die Annualized Failure Rate (AFR) angegeben. Sie ist die Beziehung zwischen der MTBF und den Stunden die eine Komponente im Jahr aktiv ist. Aktive Stunden im Jahr AFR = 100% (2.2) MTBF Für das obige Beispiel liegt die AFR, mit 8760 aktiven Stunden im Jahr 1 bei 0,73%. Dass bedeutet, dass in einem Jahr mit einer Wahrscheinlichkeit von 0,73% ein Fehler auftritt 2. Mean Logistic Down Time (MLDT) Die Mean Logistic Down Time setzt sich aus allen logistischen Zeiten zusammen. Dazu zählt die Zeit ab Erkennen des Fehlers bis zum Einleiten aller notwendigen Gegenmaßnahmen. Mean Travel Time (MTT) Die Mean Travel Time ist die reelle Zeit, die Techniker brauchen, um zum Einsatzort zu gelangen, sowie die Zeit, die Ersatzteilbestellungen bis zur Lieferung benötigen. Mean Time to Repair (MTTR) Die Mean Time To Repair (MTTR) ist die mittlere Zeit die benötigt wird, um ein System, im Falle eines Ausfalles, zu reparieren bzw. wiederherzustellen. Die Mean Downtime (MDT) wird durch folgende Formel beschrieben: MDT = MT T R + MT T + MLT D (2.3) 1 24 Stunden pro Tag Tage. 2 Siehe [Sch10, Seite 8] für weitere Informationen zur AFR. 8

13 Kapitel 2. Availability Wie die MTBF sind alle beschriebenen Zeiten durchschnittliche Zeiten, die sich statistisch aus mehreren Erfahrungs- oder Messwerten zusammensetzen. Reaktionszeit Wie lange ein System braucht, um auf ein Ereignis reagieren zu können beschreibt die Reaktionszeit. Im Fehlerfall ist sie die Zeit, die ein System benötigt, um den Fehler zu erkennen und eventuell vorgesehene Aktionen auszuführen Mathematische Grundlagen Die Verfügbarkeit A einer Komponente kann wie in Gleichung 2.4 dargestellt werden. Eine Verfügbarkeit von 1 bedeutet, dass eine Komponente immer verfügbar ist. A = MT BF MT BF + MT T R (2.4) Ein System besteht aus mehreren Komponenten, von denen jede eine bestimmte Verfügbarkeit hat. Die Gesamtverfügbarkeit eines Systems ergibt sich aus den Verfügbarkeiten der einzelnen Komponenten und deren Verbindung zueinander. Wie Widerstände in der Schaltungstechnik können Komponenten seriell und parallel verbunden sein. Je nach Verbindung ergibt sich eine andere Berechnung der Verfügbarkeit. Im Folgenden werden die einzelnen Verbindungsarten und ihre jeweilige Berechnung vorgestellt. Die Beispiele verwenden die Komponenten A, B und C mit den Verfügbarkeiten aus Tabelle 2.2. Name Verfügbarkeit Verfügbarkeit in % A 0,99 99% B 0,98 98% C 0, ,95% Tabelle 2.2: Beispielkomponenten und deren Verfügbarkeit Serienschaltung Abbildung 2.3: Serielle Verbindung zweier Komponenten. Abbildung 2.3 zeigt eine serielle Verbindung. Bei dieser hängt die Verfügbarkeit des Systems von der Verfügbarkeit jeder einzelnen Komponente ab. In der Abbildung sind 9

14 Kapitel 2. Availability dies A und B. Fällt eine Komponente aus fällt das ganze System aus. Mathematisch ist dies eine Multiplikation der einzelnen Verfügbarkeiten wie in Gleichung 2.5 dargestellt. Beispiel: A ser = A 1 A 2 A 3... (2.5) A ser = A B = 0, 99 0, 98 = 0, (2.6) Das Ergebnis liefert 97,20% Gesamtverfügbarkeit für diesen Aufbau. In diesem Beispiel ist gut erkennbar, dass die Gesamtverfügbarkeit kleiner ist als die kleinste vorkommenden Verfügbarkeit. Parallelschaltung Abbildung 2.4: Parallele Verbindung zweier Komponenten. Bei der parallelen Schaltung zweier Komponenten (wie in Abbildung 2.4) hängt die Gesamtverfügbarkeit nur von einer der Komponenten ab, wenn beide die selbe Funktionalität haben. Zur Berechnung kann die Formel 2.7 verwendet werden. A par = 1 (1 A 1 ) (1 A 2 ) (1 A 3 )... (2.7) Beispiel: A par = 1 (1 A) (1 B) = 1 (1 0, 99) (1 0, 98) = 1 0, 01 0, 02 = 0, 9998 Somit ist die Gesamtverfügbarkeit des Beispiels 99,98%. (2.8) Bei Parallelschaltungen ist diese immer höher als die größte vorkommenden Verfügbarkeit. Ein weiterer Vorteil von parallel verschalteten Komponenten ist, dass es keinen SPOF gibt. Komplexe zusammengesetzt Systeme Aus seriell und parallel verbundenen Komponenten können komplexe Systeme zusammengebaut werden. Das Beispiel in Abbildung 2.5 setzt sich aus einer Parallel- und einer Serienschaltung zusammen. 10

15 Kapitel 2. Availability Abbildung 2.5: Ein zusammengesetztes System. A = (1 (1 A) (1 B)) C = (1 (1 0, 99) (1 0, 98)) 0, 9995 = 0, (2.9) Laut 2.9 hat das System eine Gesamtverfügbarkeit von 99,93%. Betrachtet man Systeme als Komponenten größerer Systeme, können obige Formeln auch für die Berechnung zusammengesetzter Systeme verwendet werden. Damit besteht die Möglichkeit reale komplexe Systeme aus Hard- und Software zu berechnen. 2.5 Serversysteme Die Verfügbarkeit eines Standard-Computers kann als Serienschaltung seiner Einzelkomponenten angesehen werden (siehe Abbildung 2.6). Dies hat zur Folge, dass der Ausfall einer Komponente zum Ausfall des kompletten Systems führt. Die einzelnen Komponenten stellen somit einen SPOF dar. Zusätzlich haben Standard-Computer meist Komponenten verbaut, die für einen Dauerbetrieb 3 nicht ausgelegt sind. Abbildung 2.6: Schematische Darstellung von Komponenten eines PCs. Spezialisierte Server verwenden qualitativ hochwertigere Komponenten, die auf Dauerbetrieb ausgelegt sind, um ihre Verfügbarkeit zu erhöhen. Weiters können einzelne Komponenten redundant ausgeführt sein. Ein Beispiel dazu ist das Netzteil. Bei Servern sind oft zwei Netzteile mit der gleichen Leistung parallel eingebaut. Fällt eines 3 7 Tage die Woche 24 Stunden (24x7). 11

16 Kapitel 2. Availability aus übernimmt das zweite dessen Funktion. Für Festplatten gibt es Technologien wie RAID, um sich vor dem Ausfall einer oder mehrerer Festplatten, zu schützen. Parallelschaltung von Komponenten, wie bei den Netzteilen, wird immer dann eingesetzt wenn die Verfügbarkeit erhöht werden soll. Auch mit den heute verfügbaren technisch Mitteln kann man nicht jede Komponente in einem Server redundant ausführen. Um trotzdem die Verfügbarkeit zu steigern, werden daher ganze Server- Systeme parallel geschalten. Der Vorteil von parallelgeschaltenen Systemen ist, dass die einzelnen darin verwendeten Server keine sehr hohe Verfügbarkeit haben müssen, sondern es reicht eine größere Anzahl von Servern um die gewünschte Gesamtverfügbarkeit zu erreichen. In Abbildung 2.7 ist dies illustriert: Jeder einzelne Server hat ein angenommene Verfügbarkeit von 80%. Schon ab dem dritten verwendeten Server ist die Gesamtverfügbarkeit auf über 99% gestiegen. Abbildung 2.7: Mögliche Verfügbarkeit mehrererparallelgeschaltener Server. 12

17 Kapitel 3 HA-Cluster Das englische Wort Cluster bedeutet Ansammlung oder Gruppe. In der IT beschreibt es eine Ansammlung von Computern, die gemeinsam eine Aufgabe erfüllen, welche ein Computer alleine nicht lösen kann. Ein Cluster verhält sich in der Regel nach außen wie ein einzelner Computer. Computer, die Teil eines Clusters sind, werden als Knoten (englisch Node) bezeichnet. Für die eigentliche Funktionalität des Clusters wird eine spezielle Software benötigt, die auf allen Knoten installiert und gestartet sein muss. Aufgrund ihres Zwecks lassen sich Cluster grob in die folgenden drei Typen unterteilen: High Performance Cluster High Performance Cluster, kurz HPC, werden für Aufgaben eingesetzt, die viel Rechenleistung (Performance) benötigen oder sehr datenintensiv arbeiten. Dabei wird die Aufgabe in Teilaufgaben zerlegt, welche auf alle verfügbaren Knoten verteilt und anschließend gleichzeitig berechnen werden. Nach der Berechnung werden die einzelnen Teile wieder gesammelt und zusammengeführt. HPC Cluster werden hauptsächlich in der Forschung eingesetzt. Anwendungsbeispiele sind die Genanalyse, Materialforschung, Strömungsberechnung, Wetter- und Klimaprognose. Load Balancing Cluster Load Balancing Cluster dienen der Lastenverteilung (Load Balancing). Ähnlich wie beim HPC geht es auch hier um die Aufteilung einer Aufgabe. Allerdings handelt es sich um eine Lastaufteilung. Load Balancing Cluster werden oft auch als Serverfarm bezeichnet. Prinzipiell sieht der Aufbau so aus, dass auf allen Knoten die verwendeten Dienste identisch konfiguriert sind. Ein spezieller Knoten, der so genannte Director, nimmt alle Aufgaben (Anfragen) entgegen und verteilt diese gleichmäßig auf alle anderen Knoten. Dabei werden die Aufgaben gleichzeitig abgearbeitet. Load Balancing Cluster können die Reliability eines Systems steigern, da sich ein Fehler auf einem Knoten nicht so sehr auf den gesamten Cluster auswirkt. Einsatzgebiete sind beispielsweise Web- und Datenbankserver bei hochfrequentierten Internetseiten. 13

18 Kapitel 3. HA-Cluster HA Cluster Im Gegensatz zu den beiden anderen Typen geht es bei HA Cluster vorrangig darum die Verfügbarkeit zu steigern. Um dies zu erreichen, werden wie in Abschnitt 2.5 beschrieben, mehrere Knoten parallel betrieben. Die einzelnen Knoten überwachen sich gegenseitig. Tritt auf einem Knoten ein Fehler auf, übernehmen die anderen seine Aufgaben. HA Cluster werden zum Beispiel für Firewalls oder Router eingesetzt, wenn diese hochverfügbar sein müssen. Diese Arbeit behandelt nur HA Cluster. Der Begriff Cluster wird daher als Synonym für HA Cluster verwendet. 3.1 Cluster Modi Welche Aufgabe ein Knoten im Cluster hat bzw. wie die Knoten interagieren, hängt vom Modus, in dem er betrieben wird, ab. Zum Verständnis der Modi wird der Begriff Ressource benötigt. Eine Ressource ist etwas was ein Cluster verwaltet. Dies kann zum Beispiel ein Dienst oder eine IP Adresse sein. Dabei ist eine Ressource immer nur auf einem Knoten aktiv Active/Passive Der einfachste Modus heißt Active/Passive 2. Er besteht aus zwei Knoten. Dabei sind auf dem aktiven Knoten die Ressourcen gestartet. Der passive Knoten überwacht die Funktionalität des aktiven Knotens. Wird dabei ein Fehler festgestellt, übernimmt der passive Knoten die Ressourcen und wird zum aktiven Knoten. Da immer nur ein Knoten aktiv ist, wird für diesen Modus immer die doppelte Hardware benötigt Active/Active Auch dieser Modus besteht aus zwei Knoten, wobei auf beiden gleichzeitig unterschiedliche Ressourcen aktiv sind. Beide Knoten überwachen sich gegenseitig. Wird ein Fehler auf einem der Knoten erkannt, übernimmt der jeweils andere Knoten dessen Ressourcen. Alle weiteren Modi sind Kombinationen aus Active/Active und Active/Passiv nur mit mehreren Knoten und teilweise anderer Ressourcenaufteilung N+M Dies ist eine erweiterte Active/Passive Form. Hier sind N Knoten gleichzeitig aktiv und M Knoten passiv. Die passiven Knoten überwachen alle aktiven. Fällt ein aktiver 1 Es gibt Ausnahmen in denen eine Ressource auf mehreren Knoten aktiv ist. Da dies allerdings Sonderfälle darstellt wird es in den weiteren Betrachtungen vernachlässigt. 2 Oft auch Master/Slave oder Hot-Standby. 14

19 Kapitel 3. HA-Cluster Knoten aus, übernimmt ein passiver seine Rolle und aktiviert die Ressourcen lokal. Eine weit verbreitete und kostengünstige Ausprägung von N+M ist N+1 wo genau ein passiver Knoten verwendet wird N-to-1 Beim N-to-1 Modus sind, wie bei N+1, N Knoten aktiv und einer passiv. Die Besonderheit ist allerdings, dass der passive Knoten die Ressourcen des aktiven Knotens nur solange übernimmt, bis dieser wieder repariert ist. Sobald die Reparatur abgeschlossen ist werden die Ressourcen wieder auf den ursprünglich aktiven Knoten zurück verschoben N-to-N Hier handelt es sich um eine Kombination von Active/Active und des N+M Modus. Alle Knoten sind aktiv und überwachen alle anderen. Fällt ein Knoten aus, übernehmen die verbleibenden Knoten dessen Ressourcen. Da es in diesem Modus keinen passiven Knoten, gibt müssen alle anderen Knoten über genügend Kapazität verfügen, um die Ressourcen von anderen Knoten übernehmen zu können. 3.2 Grundlegende Funktionsweise Anhand des einfachen in Abbildung 3.1 dargestellten Active/Passive Clusters, wird das Verwalten von Ressourcen und der Ablauf eines Ausfalls erklärt. Abbildung 3.1: Aufbau eines HA Clusters bestehend aus zwei-knoten. Der Cluster fungiert als Router. Seine Aufgabe ist es, Pakete vom internen ins externe Netz und retour zu routen. Als Ressourcen werden zwei IP Adressen verwendet. Nach 15

20 Kapitel 3. HA-Cluster außen hin zum externen Netz wird der Cluster über die IP-Adresse angesprochen. Die interne IP Adresse ist An die Netze ist der Cluster, jeweils mit zwei Switches, redundant angebunden. Extern sind dies die Switches S1 und S2 und intern die Switches S3 und S4. Die Kommunikation der Clustersoftware (z.b. zur gegenseitigen Überwachung) läuft über eine eigene Verbindung, die in der Abbildung rot eingezeichnet ist, ab. Computer im internen Netz haben die interne IP des Clusters als Gateway IP eingetragen und Computer im externen Netz wissen, dass das interne Netz über den Cluster erreichbar ist. Werden beide Knoten eingeschaltet, wird von der Clustersoftware entschieden welcher der aktive sein soll. Der aktive Knoten startet die beiden Ressourcen. Da dies IP Adressen sind, schickt er eine Gratuitous ARP-Anfragen [WSO09] an alle Computer, sowohl im internen als auch im externen Netz um diesen bekannt zu geben das die IP- Adresse jetzt auf diesem Knoten erreichbar ist. Jetzt sind alle Ressourcen gestartet. Der passive Knoten überwacht andauernd den aktiven Knoten. Dies geschieht über die dedizierte Leitung. Fällt der aktive Knoten aus, wird das vom passiven erkannt welcher darauf hin die Ressourcen übernimmt und zum neuen aktiven Knoten wird. Die Übernahme läuft so ab, dass der jetzt aktive Knoten die Ressourcen startet und darauf hin eine Gratuitous ARP-Anfragen sendet. Solange der ausgefallene Knoten nicht repariert, und wieder hinzugefügt wurde, ist der Cluster nicht mehr hochverfügbar, da nur ein Knoten läuft und dieser einen SPOF darstellt. Ist der defekte Knoten repariert und dem Cluster hinzugefügt, übernimmt dieser die Rolle des passiven Knotens und überwacht den aktiven. Die Hochverfügbarkeit ist wiederhergestellt. Obwohl die Grundlagen für alle Cluster gleich sind hängt die Funktionalität des Clusters von der verwendeten Cluster Software ab. Sie bestimmt Vorgänge wie die Wahl des aktiven und passiven Knoten oder das Verhalten im Fehlerfall. 3.3 Begriffe Unabhängig von der verwendeten Software gibt es noch einige Begriffe und Konzepte die an dieser Stelle erklärt werden Failover Wird auf einem Knoten ein Fehler erkannt, werden die Ressourcen von einem anderen Knoten übernommen. Dieser Vorgang wird als Failover bezeichnet. Ein Failover passiert automatisch, ohne dass ein Eingriff notwendig ist. 3 Die IPs wurden aus TEST-NET bzw. TEST-NET-2 gewählt, siehe RFC

21 Kapitel 3. HA-Cluster Switchover Als Switchover wird eine geplante, meist manuelle, Umschaltung von Ressourcen von einem Knoten auf einen anderen bezeichnet Heartbeat Als Heartbeat Message oder kurz Heartbeat bezeichnet man Nachrichten, die von der Clustersoftware ausgeschickt werden, um den Zustand des Clusters zu koordinieren. Je nach verwendeter Software ist das Format und die Art der Nachricht unterschiedlich. In der einfachsten Form schickt der aktive Knoten regelmäßig Nachrichten die seinen Status enthalten aus. Daher auch der Name Heartbeat als Herzschlag des Clusters. Bei einem Ausbleiben der Nachricht, nach einer vordefinierten Zeit, nimmt der passive Knoten an, dass ein Problem vorliegt und geht in den aktiven Zustand über. Die Cluster Kommunikation sollte über einen dedizierten, redundant ausgeführten, Kanal ablaufen, da ein Ausfall zu einem Split Brain oder zu anderen Problemen führen kann. Dieser dedizierte Kanal wird oft als Heartbeat Channel bezeichnet Split Brain Split Brain 4, oder geteilter Cluster, ist eine problematische Fehlersituation die auftritt, wenn die einzelnen Knoten nicht mehr miteinander kommunizieren können, und dadurch den Status des Clusters nicht kennen. Dies kann zum Beispiel durch den Verlust des Kommunikationskanals auftreten. In einer Split-Brain-Situation nimmt jeder Knoten an, die anderen haben ein Problem, und startet darum alle Ressourcen. Die Auswirkungen eines Split Brains sind vom Kontext (bzw. Einsatzgebiet) abhängig. Im Fall, dass die Ressource eine IP Adresse ist, kann es sein, dass der Client verschiedene ARP Antworten erhält. Generell gilt aber, dass das Verhalten des Clusters dann nicht vorhersehbar ist. Die Aussage des Linux HA Projektes zu den Auswirkungen eines Split Brains: Bad Things Will Happen STONITH Die Abkürzung STONITH steht für Shoot the other node in the head. Es ist eine mögliche Gegenmaßnahme gegen Split Brain. Dabei hat ein Knoten die Möglichkeit andere Knoten abzuschalten oder einen Reset durchzuführen. Tritt bei einem Cluster ein Split Brain auf, führen alle Knoten STONITH aus: Der schnellste Knoten schaltet alle anderen aus. Dadurch läuft nur ein Knoten und die Split-Brain-Situation ist gelöst. Die eigentliche Abschaltung geschieht über Out-ofband Managementkarten 6 oder über TCP/IP schaltbare Steckerleisten. Dazu muss aber 4 Der Begriff Split Brain kommt ursprünglich aus der Hirnforschung. Er bezeichnet einen Zustand in dem die linke und rechte Gehirnhälfte ohne Verbindung sind. Die linke Hand der Person weiß daher nicht was die Rechte rechte Hand tut Auch Remotemanagementkraten genannt. Beispiele dafür sind der Dell Remote Access Controller oder Integrated Lights-Out (ilo) von HP. 17