FAI, fully automatic installation Ein Tool zum verlässlichen Deployment Thomas Lange, Holger Levsen lange@informatik.uni-koeln.de, hl@hbt.de ACM/GI Localgroup #188 Hamburg, 18.Juni 2004 p.1/38
Agenda Kurze Debian-Einführung Andere Tools zum Deployment Warum automatisch installieren? Wie plane ich meine Computer-Infrastruktur? Wie funktioniert FAI? Berichte aus der Praxis bei HBT FAI konfigurieren und einsetzen (Live-Installation) p.2/38
Kurze Debian Einführung Community Projekt seit 1993 Gesellschaftsvertrag, Debian Free Software Guidelines (DFSG) Bug Tracking System compiliert aus Source-Paketen drei Varianten: stable (mit langen Releasezyklen), testing (10 Tage fehlerfrei in unstable), unstable (brand new stuff) apt-get, Repository-Konsistenz dank Policy, backports Community Projekt mit kommerziellen Support (viele kleinere Firmen wie HBT, aber auch große wie HP) 11 Architekturen, u.a. Alpha, ARM, ia64, m68k, Mips, PowerPC, SPARC, S/390, x86 (amd64) p.3/38
Andere Tools zum Deployment OS spezifisch: kickstart (redhat, progeny) yast2 (suse) jumpstart (solaris) Image basiert: systemimager ghost oma rdist, rsync, dd Übergreifend, aber nicht modular: systemimager + cfengine p.4/38
Administration - bei Ihnen auch so? Kaufe ein Rechner, installiere das System, lass es ewig laufen Gewachsene Systeme, sehr unterschiedliche Hard- und Software Zwischendurch viele kleine Änderungen an jedem einzelnen System Nur Notfalladministration, da wenig Zeit Trotz schnellster Computer, wird zu viel per Hand gemacht Hauptproblem der Sysadmins: Zuviel Handarbeit => Keine Zeit! p.5/38
Wert eines Computers Was ist der Wert ihrer Computer? Was passiert, wenn ihre Rechner einen Tag lang nicht laufen? Eine gute Computerinfrastruktur ist so wichtig wie...? Was beinhalten ihre Rechner? Kundendaten (Kontakte, Aufträge, Rechnungen) Services (E-Mail, Web, Datenbanken, Drucken) Applikationen (Textverarbeitung, Compiler, CAD, Tools) Deren Input und Output (CAD Entwürfe, Simulationsergebnisse) Internes Firmen Know-How Wie sichern Sie Ihre Werte? p.6/38
Der ultimative Test Wählen Sie zufällig einen Rechner (ohne Backup vorher) Werfen sie den Rechner aus dem 10.Stock (oder dd if=/dev/zero of=/dev/hda) Stellen Sie alle Arbeit des Sysadmin innerhalb von 10 Minuten wieder her Schaffen Sie das? p.7/38
Fakten, die oft übersehen werden Gut laufende Rechner sind ihr Kapital Datensicherung ist nur ein Teil Auch die Arbeit der Sysadmins muss gesichert sein Manuelle Installation = Schlechte Installation (siehe später) Schlechte Installation -> unbrauchbare Rechner Schlechte Installation -> unproduktive Benutzer Schlechte Installation -> manuelle Nachbesserung -> keine Zeit Keine Updates, keine Patches -> keine Sicherheit!!! Manuelle Arbeit der Sysadmins -> hohe IT-Kosten p.8/38
Manuelle Installation? Wer möchte diese Rechner per Hand installieren? p.9/38
Manuelle Installation? Können Sie sicherstellen, das diese Rechner alle gleich sind? p.10/38
Manuelle Installation Manuelle Installation und Konfiguration dauert viele Stunden Viele Fragen sind zwischendurch zu beantworten Gleiche Daten müssen bei jedem Rechner erneut eingegeben werden Keine parallelen Installationen möglich No simple sysadmin task is fun more than twice Wiederholende Arbeit ist stupide und führt zu Fehlern Dokumentation fehlt meist, Reproduzierbarkeit? Jede Installation ist ungewollt einzigartig Ein Installation per Hand skaliert nicht! p.11/38
Warum nicht voll automatisch? Automatische Installationen dauern nur wenige Minuten Nach Hardwaredefekt ist der Rechner in kürzester Zeit wieder mit identischer Konfiguration einsatzbereit (Disaster recovery) Identische Installationen garantiert (auch nach Monaten) Cluster, Serverfarmen und Pools ideal Heterogene Hardware und unterschiedliche Konfigurationen einfach Ein Befehl installiert hunderte Rechner gleichzeitig Junior Admins können FAI anwenden Automatische Dokumentation Es kann sehr viel Arbeit (= Zeit = Geld) gespart werden! Betrachte nicht einzelne Rechner sondern die ganze Infrastruktur Zeitaufwand für 5 oder 500 Rechner sollte nur unmerklich steigen Haben Sie einen Plan für ihre Computer Infrastruktur? p.12/38
Was ist FAI? FAI macht alles, was ihr Systemadministrator zu tun hat, bevor der Benutzer das erste Mal auf einem neuen Rechner arbeiten kann Serverbasiertes Tool zur skriptgesteuerten vollautomatischen Installation (Debian, Solaris, tar) Es kann das ganze Betriebssystem und die Anwendungsprogramme installieren und konfigurieren Kein Master Image notwendig Sehr modular durch Klassensystem Einfach erweiterbar und flexibel durch eigene Skripte (hooks) Es ist weder ein Cluster Management Tool noch ein Batch System Es kann die Installation nicht planen :-(, aber Plane die Installation und FAI installiert deinen Plan! :-) p.13/38
Infrastrukturplanung Infrastrukturplanung braucht Zeit Ist-Aufnahme Was wollten Sie schon immer ändern? www.infrastructures.org Bedenken Sie zukünftige Erweiterungen Sysadminwissen ist sehr wichtig Administration ist ein Prozess, kein Produkt! FAI kann nichts tun, was ihm nicht gesagt wurde Verwalten Sie ihre Infrastrukturdaten in CVS oä. Welche Dinge sind gleich unterschiedlich? Was soll in eine Klasse gepackt werden? Beantworten Sie folgende Fragen p.14/38
Was wird installiert? Cluster, Desktop, Server, Notebooks? Welche Aufgaben haben die Rechner? CAD, Server, Büro Welche Anwendungen werden auf den Rechnern laufen? Wie sieht meine LAN Topologie aus? DHCP verfügbar? Ist die Hardware einheitlich? Und in Zukunft? Niemals! Brauche ich einen speziellen Kernel? Wie soll die Festplatte partitioniert werden? Brauche ich ein Batchsystem? Welche Software soll installiert werden? Welche Services (daemons) sollen gestartet werden? Welche Remote Dateisysteme müssen gemountet werden? Was ist mit: Benutzer Accounts (NIS,LAP), Drucker, Zeitzone, Zeitsynchronisation, Mail System, Tastaturbelegung,... Fragen p.15/38
Wie funktioniert FAI? Ein Systemadministrator während der automatischen Installation p.16/38
Wie funktioniert FAI? install server install client nfsroot config space./fai/hooks./fai/class./fai/disk_config./fai/package_config./fai/scripts./fai/files Debian mirror mounted by install kernel mounted via NFS provided via HTTP, FTP or NFS / /usr /bin /var /tmp /fai /tmp/target/ ramdisk /tmp/target/usr /tmp/target/var local hard disk Die Konfiguration liegt auf dem Install server Die Installation läuft auf dem Klienten Remotekontrolle während der Installation via ssh Nutzt Standard Tools zur Installation p.17/38
Was braucht FAI? Server mit DHCP oder BOOTP, NFS und TFTP (install server) Rechner mit Netzwerkkarte (install client) Booten geht aber auch von Floppy oder CD-ROM Nicht nötig: Floppy, CD-ROM, Tastatur, Grafikkarte Lokaler Spiegel von Debian (NFS, FTP oder HTTP) Plattenplatz auf dem Server: FAI Paket 13 MB Kernel, Skripte, Konfigurationdateien nfsroot 160 MB erzeugt mit make-fai-nfsroot Debian Spiegel 6 GB Debian 3.0 (nur i386) Alle Install Clients nutzen die gleichen Verzeichnisse Konstanter Plattenplatz p.18/38
Ablauf einer Installation Plane deine Installation! Booten via PXE und Kernel via TFTP holen Rechner startet vollständiges Linux, ohne lokale Platte zu benutzen Hardwareerkennung und Kernel Module laden Klassen und Variablen definieren Festplatten partitionieren Dateisysteme erzeugen und mounten Software Pakete installieren Betriebssystem und Anwendungen konfigurieren Protokolldateien lokal und auf Install Server speichern Neu installiertes System booten p.19/38
Das Klassenkonzept Ein Rechner gehört zu mehreren Klassen Priorität von niedrig nach hoch Beispiel: DEFAULT SMALL_IDE GRUB GNOME demohost LAST Klassen werden über Skripte in /fai/class definiert Alle Teile der Installation nutzen das Klassenkonzept Konfiguratitonsdateien werden anhand der Klassennamen ausgewählt Mit fcopy wird klassenbasiert ein Template kopiert Erfahrener Admin kreiert die Klassen Junior Admin ordnet die Klassen den Rechnern zu Junior Admin installiert die Rechner Junior Admin installiert die Rechner lässt installieren ;-) p.20/38
Verzeichnisse im Config Space -- class -- 01alias -- 06hwdetect.source -- 24nis -- CS_KOELN.var -- DEFAULT.var -- wwwkiosk -- disk_config -- ATOMCLIENT -- SMALL_IDE -- vitamalz -- package_config -- BEOWULF -- DEBIAN_DEVEL -- DEMO -- GERMAN -- GNOME -- WWWKIOSK -- nucleus p.21/38
Verzeichnisse im Config Space -- files -- etc -- X11 -- XF86Config-4 -- ATI_ACER -- MATROX -- nucleus -- nsswitch.conf -- NIS -- NONIS -- scripts -- BOOT -- DEFAULT -- S01 -- S20 -- S21 -- kueppers -- NETWORK -- S10 -- S40 -- kueppers p.22/38
Variabeln DEFAULT.var: FAI_KEYMAP=de-latin1-nodeadkeys UTC=yes time_zone=europe/berlin addpackages="kernel-image-2.4.24-atoms" # root password for the new installed linux system; rootpw="1234nvqx514t0f" # Beowulf: define NFS server for /home and /usr/local hserver=atom00 bserver=atom00 Die Konfigurationsskripte in /fai/scripts/* nutzten diese Variabeln p.23/38
Plattenpartitionierung # <type> <mountpoint> <size in mb> [mount options] [;extra options] disk_config hda primary / 30-100 rw,errors=remount-ro ;-c -j ext3 primary /fai-boot 7 rw ; -j ext3 logical swap 50-500 rw logical /var 50-1000 rw ; -m 5 -j ext3 logical /tmp 50-1000 rw ; -m 0 -j ext3 logical /usr 300-4000 rw ; -j ext3 logical /home 50-4000 rw,nosuid ; -m 1 -j ext3 logical /scratch 0- rw,nosuid ; -m 0 -i 50000 -j ext3 #logical /scratch preserve10 rw,nosuid ; -m 0 -i 50000 -j ext3 p.24/38
Softwareinstallation Beispiel: /fai/package_config/beowulf: # packages for Beowulf clients PACKAGES install fping jmon autofs rsh-client rsh-server rstat-client rstatd rusers rusersd lam-runtime lam3 lam3-dev libpvm3 pvm-dev mpich scalapack-mpich-dev dsh update-cluster-hosts update-cluster etherwake PACKAGES taskinst c-dev Aktionen wie bei apt-get: install, remove and taskinst Abhängigkeiten innerhalb der Pakete werden aufgelöst dpkg -get-selections auch möglich p.25/38
Konfigurationsskripte # create NIS/NONIS config fcopy -M /etc/nsswitch.conf /etc/host.conf fcopy -i /etc/ypserv.securenets # only for yp server ifclass NONIS && rm -f $target/etc/defaultdomain if ifclass NIS; then echo $YPDOMAIN > $target/etc/defaultdomain rm -f $target/etc/yp.conf for s in $YPSRVR; do echo "ypserver $s" >> $target/etc/yp.conf done fi ifclass USR_LOCAL_COPY && { mount -o ro $bserver:/usr/local /usr/local cp -a /usr/local $target/usr } fcopy -M /etc/x11/xf86config-4 && rm -f $target/etc/x11/xf86config p.26/38
Cfengine Beispiel files: any:: ${target}/dev include=fd* mode=666 action=fixall r=1 editfiles: any:: { ${target}/etc/fstab AppendIfNoSuchLine "none /proc/bus/usb usbdevfs defaults" AppendIfNoSuchLine "/dev/fd0 /floppy auto users,noauto 0 0" } { ${target}/etc/inittab ReplaceAll "/sbin/getty" With "/sbin/getty -f /etc/issue.linuxlogo" } HOME_CLIENT:: { ${target}/etc/fstab HashCommentLinesContaining "/home " AppendIfNoSuchLine "${hserver}:/home /home nfs rw,nosuid 0 0" } p.27/38
Linux und FAI bei HBT Linux administrativ und straegisch Teil der Infrastruktur OS und Installationen konsolidiert Systeme kategorisiert, nach Projekten und Verwendungszweck (EI, A und P) bei 25 Mitarbeitern gibt es für jedes Projekt definierte und in 20min. ausrollbare Entwicklungs-, Test- und Produktionsumgebungen (insgesamt ca. 70 Systeme inkl. Arbeitsplätze) Deployment von Entwicklungs- und Testsystemen (auf VM- Hardware ) durch die Nutzer. (mobile) FAI Server und FAI-CD p.28/38
FAI Einfüehrung bei HBT Sanfte Migration und kontinuierliche Verbesserungen zuerst: identische Server und Testsysteme (Geofox, 2002) später: debian-basierte Entwicklungssysteme dann: Reinstallationen dank lazyformat-partitionierung: kleine Ursache, große Wirkung: Reinstallationen möglich, Features können nachgerüstet werden erfordert entsprechendes Design der Systeme, d.h. Trennung von System, Daten und Logfiles heute: alle Linux Systeme aller Projekte werden mit FAI installliert p.29/38
Hardwaremanagement Organisatorisch: ISO9001-2000 gestütze Prozesse Technisch: Linux realisiert den Zugriff auf die Hardware im wesentlichen durch den Kernel d.h. außer am Kernel sind kaum Anpassungen nötig standardisierte Debian-Methoden, um Kernel-Pakete zu bauen mit FAI standardisiertes Deployment dieser Pakete p.30/38
Softwaremanagement Organisatorisch: ISO9001-2000 gestützte Prozesse Technisch: Konfiguration: paketbasiert mit apt-get oder aus Source- oder Binär-Archiven, durch geringe Anpassungen der FAI-Config Deployment: lazyformat-reinstall oder PFAI (Uni Berlin) p.31/38
SuSE, RedHat, usw. mit FAI deployen techn. Grundlage: FAI ist in Tasks unterteilt, jeder Task läßt sich (klassenbasiert) modifizieren normale, d.h. händische Installation des OS, anschließend wird daraus ein Tar-Archiv erzeugt und dann mittels FAI installiert weitere klassenbasierte Anpassungen mittels Skripte möglich für jedes OS denkbar, für das Linux Schreibzugriffe auf Platte machen kann: Linux, BSD, Solaris, AIX, HPUX, Windows p.32/38
Zukünftige FAI Szenarien bei HBT (Re-)Design der FAI-Installation in der Analyse-Phase Anbindung an LDAP/Active Directory (oder an DBMS allgemein) zuerst die Systeme nur zur Laufzeit aber dies ist auch zur Konfiguration nutzbar! klassenbasierte, automatisierte Erzeugung der Systemdokumentation mit DocBook XML DES: Development Environment System entwickelt, um die Infrastruktur zu entwickeln, es sind aber beliebige (!) Nutzungsszenarios denkbar ein Bild sagt mehr... p.33/38
Development Environment System p.34/38
Installationszeiten Rechner RAM Platte Software Zeit Pentium 4 2.80GHz 1024MB IDE 948 MB 5 min Athlon XP1600+ 896MB SCSI 1 GB 6 min AMD-K7, 500MHz 320MB IDE 780 MB 12 min PentiumPro 200MHz 128MB IDE 800 MB 28 min Pentium III 850MHz 256MB IDE 820 MB 10 min Pentium III 850MHz 256MB IDE 180 MB 3 min Installation mehrerer Knoten in einem Beowulf Cluster: Knoten Sekunden 1 337 5 340 10 345 20 379 12% mehr Zeit bei 20 Rechnern. p.35/38
FAI Benutzer Deutsches Elektronen-Synchrotron, DESY, 60+ McConnell Brain Imaging Centre, Montreal, 50+ Danmarks Meteorologiske Institut, 85+ hosts IFW-Dresden, Germany, 100+ hosts, Cluster Physics department (FU Berlin), 139+ hosts University of New Orleans, 72 node Beowulf cluster Brown University, Dep. of Computer Science, 300+ hosts University of West Bohemia, Czech Republic, 180+ Anonyme Firma, Electronic Payment Management Anonyme Firma, IDS boxen Anonyme Firma, Suchmachine, 200+ Institut für Physik, Universität Augsburg, 80+ Institut für Theoretische Physik, Saarbrücken, 2 Cluster mit je 20 Knoten University Rekencentrum Rijksuniversiteit Groningen, Workstations und Server weitere Anwender mit heterogene Umgebungen, Desktops und Servern detailierte Anwendungsberichte auf der FAI Webseite p.36/38
Zusammenfassung Homepage: www.informatik.uni-koeln.de/fai aktive Maillingliste: linux-fai@uni-koeln.de CVS ro Zugriff, Beispiele der Log Dateien FAI läuft auf i386, IA64, SPARC, PowerPC, (Opteron als i386) Installiert auch Solaris auf SUN Sparc FAI Tutorial in Deutsch auf der KDE Konferenz bei Stuttgart im August SANE 2004 im September: FAI Tutorial: Let s build a Beowulf Cluster Kommerzieller Support: www.fai-cluster.de, HBT p.37/38
Copyright Informationen Die Texte und Zusammenstellung dieses Vortrages wird unter der Creative Commons Lizenz http://creativecommons.org/licenses/by-sa/2.0/de/ bzw. http://creativecommons.org/licenses/by-sa/2.0/de/legalcode veröffentlicht. Die Urheber des Werkes sind Thomas Lange und Holger Levsen. Sie dürfen: das Werk vervielfältigen, verbreiten und öffentlich aufführen, Bearbeitungen anfertigen, das Werk kommerziell nutzen Zu den folgenden Bedingungen: Namensnennung. Sie müssen den Namen den Autors / Urhebers nennen. Weitergabe unter gleichen Bedingungen. Wenn Sie das Werk bearbeiten oder in anderer Weise umgestalten (verändern) oder als Grundlage für ein anderes Werk verwenden, dann dürfen Sie das neu entstandene Werk nur unter Verwendung identischer Lizenzbedingungen weitergeben. Im Falle einer Verbreitung müssen Sie anderen die Lizenzbedingungen, unter die dieses Werk fällt, mitteilen. Jede dieser Bedingungen kann nach schriftlicher Einwilligung der Autoren (Urheber) aufgehoben werden. Die gesetzlichen Schranken des Urheberrechts bleiben hiervon unberührt. Die verwendeten Bilder sind copyrighted bei den jeweiligen Autoren. p.38/38