Linux Hochverfügbarkeit

Transkript

1 Oliver Liebel Linux Hochverfügbarkeit Einsatzszenarien und Praxislösungen "S. Galileo Press

2 und ausfallsichere Vorwort 19 1 Mission Critical Server Grundsätzliche Überlegungen zur Redundanz Parallelität, MTBF, MTTR und einiges mehr ToolTime zum Ersten: Das richtige Werkzeug Päckchen Betriebsanleitungen 36 TEIL I Hochverfügbarkeit (HA) auf ServerEbene 2 Lokale Hochverfügbarkeit Vorbetrachtungen Temperatur GForce Netzteile, CPUs und mehr Redundante Netzteile Kernfrage, Teil 1: CPU Kernfrage, Teil 2: Control Croups und Cpusets monit FesselSpielchen NetzwerkkartenBonding 66 3 Lokaler Storage Vorbetrachtungen The road ahead SSDs im Servereinsatz DiskÜberwachung: Clever mit SMART 83 5

3 How Softraid Ivm.conf 4 Raid RaidLevel Raid 0oder: Wen kümmert's? Raid 1: Spieglein, Spieglein Raid5:A+B =? Raid Exkurs: RaidKombilevel Hard oder SoftwareRaids Softraids unter Linux SoftraidPerformance Einsatzzweck und Bootloader Weitere Vorbetrachtungen zum RaidSetup Exkurs: Journalisten JournalingDateisysteme unter Linux Mirror, MirrorTeil 1: Softraid Level Dynamisches Duo Level und Softraid Level Softraid Level The Better WayPartitionable Raids Bootredundante Softraids für das OS Systemlnstallation/Migration auf ein partitionable Raid Weitere wichtige RaidParameter undszenarien 154 StorageVirtualisierung Logical Volume Manager 5 LVM mit dem i LVM it works Logische Schaltzentrale Let's getphysicalerstellen und Administrieren der PVs GruppentherapieAdministration der Volume Groups Administration der Logical Volumes Darf gestrip(p)t werden?stripesets Blow up Bitte lächelnsnapshots LVMSnaphots und Datenbanken Völlige Verschmelzung SnapshotMerging statt Restore Spieglein, Spieglein... LVAARaid statt unterliegendem Raid Auto(?)Rebuild von defekten PVs im LVMMirrorset 185 6

4 5.3.2 Just me myself and llvraids/raidlvs LVM/LVRaid für das rootdateisystem BTRFS in der Praxis BTRFS: Vorbetrachtungen Ab in den Untergrund: Subvolumes BTRFSDatenvolumen: Redundanz, Resizing und Snapshots Raidl btrfstools Recover Resize RaidIO Subvolumes und Snapshots BTRFSReflinks Datenintegrität und Defragmentierung mit btrfs <scrub> und <defragment> Konvertierung mit btrfsconvert BTRFSFilesystemResizing Sonstige BTRFSTools BTRFS im DistributionsEinsatz als RootFS/Subvolume Green Snapper SnapshotRevertierung KernelUpgrade/Änderung und Rollbacks RootRaidBTRFS Fazit 217 TEIL II HochverfügbarkeitsCluster 7 HAClusterVorbetrachtungen How it works Clustertypen HochverfügbarkeitsCluster LoadBalancingCluster HighPerformanceComputingCluster (HPCCluster) Exkurs: Gridsalles vernetzt oder was? Exkurs: Stark bewölkt Cloud Computing 222 7

5 und (Hot)FailoverCluster STONITH Enterprise/LTS Active/Passive Active/ActiveCluster ClusterReigen: nnode Cluster ClusterLobotomie: SplitBrain, Fencing und STONITH Exkurs: High Noon Deathmatch Volksentscheid: ClusterQuorum Exkurs: Alles oder nichtssharedall/sharednothingcluster HABasics 2n 8.1 Ressourcen und Agenten Alles eine Frage der Kommunikation: konzeptionelle ClusterÜbersicht Das technische (Schichten)Modell von Heartbeat Corosync und Pacemaker ClusterKommunikation am konkreten Beispiel Cluster softwäre Heartbeat Corosync Pacemaker Alles Tron oder was?der»mcp« Exkurs: CMAN und die roten Hüte Installation der Clusterspezifischen Verfallsdatum abgelaufen? Software 251 vs. ShortTerm Releases Von Quellen und Päckchen der»ente«in Enterprise Upgrade der ClusterSoftware und einzelner Applikationen NTPDThe Time Machine Setup NTPinVMs 260 8

6 11 Setup der ClusterKommunikation CorosyncSetup ProtokollKonfiguration (totem) InterfaceKonfiguration Exkurs:»Cast«ings LoggingKonfiguration Exkurs: Alles virtuell oder was?vlan Der Schlüsselmeisterauthkey Startup CorosyncDebugging Exkurs: CMAN HeartbeatSetup ha.cf Und wieder der Schlüsselmeisterauthkeys Startup Debugging Pacemaker Der ClusterMonitor crm_mon First Contact Punktestände, Klebrigkeiten, Regeln, Platzanweiser und Rangordnungen KonfigurationsLayout DieCIBFiles ToolTime zum 2.: ClusterAdminTools DiecrmShell cibadmin und crm_*tools DiePacemakerGUl HAWK LCMC Management von ClusterRessourcen At your Service gestatten: Ihre ServiceIP 326 9

7 mögliche 13.2 Integration von Ressourcen, Teil 1: ServiceIP Hackordnung: RessourcenPlatzierung Strategische Platzierung»Placement Strategies«unseres Clusters Örtlichkeiten Setzen von (Co)LocationConstraints Location Colocation FailoverSimulation und Klebrigkeiten Schattenspielchen im Sandkasten Testsimulation mit crm_shadow CIBTemplating Ressourcen verwalten Ressourcen starten und stoppen Ressourcen und Constraints löschen, Integritätsprüfung der CIB Ressourcen bereinigen Ignoranz at it's best Ressourcen (un)managen Integration von Ressourcen, Teil 2: Apache Exkurs: Der»gepatchte«und andere Agenten im Käfig PacemakerRessourcen im»shielded«cpuset Exkurs: CoLocation oder Gruppe? Colocation und OrderingConstraints in der Praxis ColocationConstraints Immerschön der Reihe nachorderings MandatoryOrderingConstraint AdvisoryOrderingConstraint RessourceSets (MultiOrderings) Exkurs: Warten auf Godot IntermediateZustände (Starting/ Stopping/PendingOperations) unseres Clusters abfragen RessourceSets (MultiColocations) Rulesets in der Praxis Gruppentherapie MigrationThreshold und FailureTimeout Benutzerrechte und Zugriffskontrollen im Cluster Rollenspielchen ACLBenutzer

8 andthentherewerethree HotFailover 14 ClusterBeispiele aus der Praxis The Clone Wars mit Clonesets HotFailoverWebservices mit ApacheCloneset und ServiceIP ExkursAutoUpdate von Constraints FailureSimulation Exkurs: Namensfragen SSL/TLSVerbindungen im FailoverFall Die gleiche Hausnummer HotFailover ApacheCloneset mit zwei identischen ClusterIPs CephalopodenKunde, Teil 1: FailoverProxyCluster mit Squid Maximum HAScaling: Hochverfügbares, applikationsunabhängiges Loadbalancing im Cluster Hochskalierbarer und ausfallsicherer Loadbalancer mit LV Setup des OpenLDAP (localhost auf dem LB oder als externer Worker) Erstes Beispiel: Setup des 2Node Loadbalancers (gleichzeitig auch Worker) Zweites Beispiel: Setup eines 2NodeHotFailoverLoadbalancers mit drei externen Workern »Geben Sie mir ein >Ping<, Wassili...«: Voll vernetzt die ping/pingd Ressource pingruleset Exkurs: lonisationsblackout Inspector Gadget RessourcenPlatzierung auf Basis von nodespezifischen SystemInformationen Alle geregelt oder was? Multiple Rules und Entscheidungskriterien für den Cluster Cleanup der SyslnfoAttribute »Back in Time«und anderer Mumpitz: Zeitbasierte Regeln Gruppentherapie zum Zweiten Failover einer Samba3Ressource Setup S3Standalone Setup S3 mit OpenLDAPAnbindung ClusterIntegration der OpenLDAP und S3Ressourcen

9 15 Pacemaker 1.1.8, Corosync 2.x und pcs Vorbetrachtungen CorosyncKonfiguration per pcs Fireitup PacemakerKonfiguration per pcs und noch einmal ToolTime: Eigene OCF RessourceAgenten erstellen Vorbetrachtungen Zum ersten Punkt den zu verwendenden Standards und Returncodes Zum zweiten Punktden Überwachungsfunktionalitäten Fazit 459 TEIL III Hochverfügbare StorageCluster 17 Ausfallsichere SharedNothingCluster mit PRBD DRBDVorbetrachtungen Wozu und wozu nicht: Einsatzmöglichkeiten von DRBD Die DRBDFunktionalität im Detail RollenspielchenDRBDModi ReplikationsVarianten DRBDStandaloneSetup drbd.confdie Schaltzentrale Die DRBDUserspaceTools Setup der DRBDDevices Manueller DRBDFunktionstest (Master/Slave) DRBDMaster/SlaveRessource im S3/LDAPCluster Exkurs: Ab in den KäfigZwangslokation für DRBDInstanzen Schnappschüsse zum Zweiten: DRBDBackups per BTRFS oder LVM DRBDSnapshots über BTRFS OnlineResizing eines DRBD mit unterlegten BTRFSVolumes DRBD on top of LV Backup des Secondary per Snapshot

10 hochverfügbare Fazit OnlineResizing eines DRBD mit unterlegtem LV LV on top of DRBD (Master/Slave) DRBD/BTRF5 vs. DRBD/LVM 17.5 To Clone or not to DRBD 498 MySQLCluster Einzelkämpfer: Standalone MySQLDB mit DRBD Teamplayer: MySQLDB im HotFailover Cloneset Exkurs: Groß und wenig oder lieber klein und viel? ClusterStorage Export via NFS oder iscsi DRBDMaster/Slave mit NFSClone als hochverfügbares Storage Backend für VMware vsphere/esxihosts DRBD DualPrimary Mode Einsatzzwecke Exkurs: DRBDSplitBrainRecovery Exkurs: Manuelles DRBDSplitBrainRecover ClusterDateisysteme Exkurs: DLMder Distributed Lock Manager Die ClusterFS»Klassiker«: GFS2 und OCFS CFS(2) OCFS(2) Pacemaker und ClusterFilesysteme DRBD DualPrimary mit OCFS2 im PacemakerStack als S3Storage Backend Doyou really...? Setup der DRBD Ressource Setup der DLM/OCFS2Ressourcen Setup der FilesystemRessource und aller Constraints Redundanzbetrachtungen FailoverFälle mitocfs2 im pcmkstack DRBD DualPrimary mit OCFS2 im eigenen 02CBStack DRBD DualPrimary Bitte lächeln mit OCFS2 im CMANStack 546 Teil 3: Snapshots und Resizing mit DRBD DualPrimary und OCFS Snapshots per Snapshots per LV 547 Reflink unter OCFS DRBD DualPrimary mit OCFS2 und CLVM CLVM: Exkurs zu den wichtigsten Komponenten CLVMSetup im Detail

11 Exkurs: Red Snapper, oder: das SnapshotDilemma der roten Hüte Exkurs: CLVMResizing DRBD DualPrimary mit GFS DRBD DualPrimary mit GFS2 und NFSClone als HotFailover Storage Backend für VMware ESXi/vSphere Hosts DRBDOnlineDeviceVerification DRBD Replication Traffic Integrity Checking Stacked Fun? The Road ahead DRBD 9.x Setup SetupDetails Fire it up AutoPromote Analyse Cluster Integration DRBDClient DRBD9Fazit Gerechte Verteilung Distributed Storage Cluster mit GlusterFS und Ceph Hoch? Oder lieber breit? ScaleOut anstelle von ScaleUp GlusterFS Ceph(FS) Alles nur Kopfsache Distributed Storage Cluster mit Ceph Vorbetrachtung Dreieinigkeit Ceph Object Storage Daemon (CephOSD)

12 Die S3FS Ceph Metadata Server (CephMDS) Ceph Monitor (CephMON) Einfache CephCluster Design Regeln Setup und Verwaltung unseres CephClusters Exkurs: Auswahl eines lokalen Dateisystems für Ceph Ceph(F5)Mount Exkurs: Schlüsselfragen Size MattersPart FFall CephToolTime: Stellschrauben und Messgeräte CephDatensicherheit und Replikationslevel: Placement Croups (PCs) Pools (Default)Replikationslevel unserer Pools CRUSH maps Poolparty richtige Platzierung im richtigen Pool Size MattersPart 3: Resizing unseres CephClusters Neuen OSDNode hinzufügen Und noch ein WächterNeuen MON hinzufügen Alles Meta oder was?hinzufügen des vierten MDS CephFSverzögerte Löschung CephFS Snapshots Troubleshooting und Debugging Rhythmischer Octopus Ceph/Samba 4 Storage Cluster CephClusterSetup S4Setup Provisioning des ersten DC (jake): Join der weiteren S4DC Exkurs: Berechtigungsfragen vs. NTVFS und Ceph S4Clusterintegration Hochverfügbares CephRBDStorageBackend für S CephRBDSetup Distributed Storage Cluster mit GlusterFS GlusterFSInstallationsvoraussetzungen Setup der GlusterNodes Client Mount: Daten da?

13 oder: NFSund CIFSMount GlusterKonsole Size Matters Part 99 Another Brick in the ClusterCluster... Erweiterung des GlusterVolumes um weitere Nodes (Bricks) ToolTime againwartungsarbeiten am ClusterCluster PacemakerIntegration von Gluster PerformanceMonitoring Authentifikation Begegnung der dritten Art: UFO Objektbasierter GlusterStorage GeoSite/MultiSite(DFS)Cluster für Datacenter Konzeptionelles Setup einer 2DatacenterCephMultiSiteReplication via LAN Vorbetrachtungen Setup Feintuning: CRUSH map für Datacenter GeoReplication mit Gluster Nix WallstreetMountbroker Ticket am Start? GeoSite/MultiSiteCluster mit Tickets und Boothd PacemakerIntegration der TicketRessourcen und Constra'mts boothdkonfiguration ClusterStorage Fazit Performance iscsi im Cluster iscsibasics Wer braucht's? Setup der iscsiressourcen (DRBD im Primary/Secondary) Einrichtung des iscsilnitiators DRBDMaster/Slave mit iscsitarget als hochverfügbarem Storage Backend für VMware ESXi/vSphereHosts Erweiterung

14 oder: 23.5 DRBD im DualPrimary mit ClusterFS als iscsitarget für multiple Initiatoren Ceph/RBD als hochredundantes iscsitarget 687 TEIL IV STONITH und Debugging im Cluster 24 NodeFencing mit STONITH eso 24.1 Vorbetrachtungen Einfaches STONITHTestSetup mit external/ssh Exkurs: Passwortlose sshkeyautorisierung Integration der external/sshstonithressourcen in unseren Cluster Watchdog SBD STONITH per SplitBrainDetector QuorumDisk Setup qdisk unter RHEL/CentOS STONITH per external/ibmrsatelnet STONITH per external/riloe und external/ipmi Fencing von virtualisierten PacemakerClusternodes auf ESXi/vSphere Hosts Shoot 'em down Debugging im Cluster Virtualisierung im Cluster Virtualisierungskonzepte Die wundersame Welt der Zwiebel Xen XenTerminologie XenSetup Installieren einer XenDomU LiveMigration von XenDomUs

15 Remus Exkurs: Snapshots/Backups für XenDomUs und verschiedene BlockdeviceFormate Monitoring von XenDomUs im Cluster KVM/qemu KVMSetup KVMNetzwerksetup Doc Oc als VMSpielplatz Teil 1: VMStorage mit Ceph/RBD und ClusterFS KVMLiveMigration Backup/Snapshots von KVMGästen Doc Oc als VMSpielplatzTeil 2: KVM nativ auf Ceph/RBD Debugging Backup und Disaster Recovery Analyse Umsetzung Kategorie 1: Backup und Recover des reinen Datenspeichers Kategorie 2: Backup und Recovery eines nicht virtualisierten Systems Kategorie 3: Backup und Recover von virtuellen Maschinen Anhang 791 A.l Beispieldateien 791 A.2 Paketlisten 791 A.3 Manpages 807 Index