Proxy. Internet. Cluster. Linux-Clients. Win-Clients

Transkript

1 ! " # $ " % & ' ( & ) " * +,! * " $ - # $. / 0 1 % 2 " * % : ; < 4 = A BCD EF GD F H I GE J CBK A D L M D K F G N N > O P D CQ R M CS F GS BM A E F GD OH N T U U T Internet Firewall Linux-Clients V W X Y Z [ Proxy Cluster Win-Clients 1

2 png vg ilmq xq wg v h v tuqs opnqr lmh gn ijk cf hg cde zentrale Benutzerdatenbank Linuxclients: Logonservices Linuxclients: Fileservices y z { } ~ cluster Intranet: services Intranet: Webservices Serverkommunikation Windowsclients: File-, Logonservices \ ] ^ _` ab png vg ilmq xq wg v h v tuqs opnqr lmh gn ijk cf hg cde server y z { } ~ cluster server \ ] ^ _` ab 2

3 š œ š Œ š Œ Ž Š Œ ˆ ž Ÿ server cluster Data server ƒ š œ š Œ š Œ Ž Š Œ ˆ ž Ÿ server cluster Data server ƒ 3

4 ¾¼µ ĵ º» Æ Åµ Ä Ä Âà Á ½¾¼ À º» µ¼ ¹ ± µ ±²³ Sys server Ç È É Ê È Ë Ì Í Î cluster Heartbeat Data DRBD Data server Sys ª «¾¼µ ĵ º» Æ Åµ Ä Ä Âà Á ½¾¼ À º» µ¼ ¹ ± µ ±²³ Ï Ë Ð Ñ Ò É Ê Ó Der Cluster besteht aus zwei Rechnern die sich prinzipiell unterscheiden können jeweils vollständig konfiguriert sind (eigenes System) Ó Daten liegen auf jedem Rechner und werden durch eine Art rechnerbergreifendes RAID synchron gehalten Ó Konfigurationsdateien werden manuell / automatisch abgeglichen ª «4

5 èæß îß áäåé ðé ïß î à î ìíéë çèæéê äåà ßæ áâã ÛÞ àß ÛÜÝ ñ ò ó ô õ ö ø ù ú û Es handelt sich um ein Standby-Cluster ein Rechner ist aktiv (Master) die anderen Rechner berwachen den Master durch Versand von Heartbeats fällt der Master aus, so bernimmt ein Standby- Rechner den Cluster Übernahme bedeutet: alle Dienste werden auf altem Master gestoppt (sofern möglich) und auf neuem Master gestartet der neue Master bernimmt die Adresse des Clusters Ô Õ Ö Ø ÙÚ èæß îß áäåé ðé ïß î à î ìíéë çèæéê äåà ßæ áâã ÛÞ àß ÛÜÝ ý þ ÿ ý Distributed Replicated Block Device im Prinzip ein Geräte-Treiber Art rechnerbergreifendes Software- Raid mit Semantik eines Shared Device läuft auf Standard-Hardware Primary-Knoten Lese/Schreib-Zugriff Secondary-Knoten nur Lese-Zugriff Aber (bei uns) problematisch... Ô Õ Ö Ø ÙÚ 5

6 Dateisystem Buffer Cache DRBD Platten-Treiber Platte Primary Secondary TCP/IP Karten-Treiber TCP/IP Karten-Treiber Netzkarte Netzkarte Dateisystem Buffer Cache DRBD Platten-Treiber Platte /RAID/ /dev/nb0 /dev/hda4 Dateisystem Primary Buffer Cache DRBD TCP/IP Platten-Treiber Karten-Treiber Platte Netzkarte Separate Karte fr DRBD 6

7 : <5 ;+ :, : /, '*,+ '() = >? A B C D C E C F F G H Schreiboperation wird als beendet angesehen, sobald: die Daten lokal geschrieben wurden und H Protokoll A an anderen Rechner losgeschickt wurden H Protokoll B Bestätigung ber Ankunft auf anderem Rechner erhalten wird H Protokoll C Bestätigung ber erfolgreiches Schreiben auf anderem Rechner erhalten wird! " #$ %& 42+ : <5 ;+ :, : /, I*,+ I(J = >? K C L M N O P B Q D N C L R resource drbd0 { protocol=b fsckcmd=fsck -p -y disk { } net { sync-rate= tl-size=8000 timeout=60 connect-int=10 } ping-int=10 maximale Bandbreite Transfer-Log-Größe Wann wird abgebrochen? Wann wieder Verbindung aufnehmen? Alle 10s keep-alive-paket senden # Konfiguration der Knoten ausgelassen }! " #$ %& 7

8 e^ e^ m^ ge^ `cdh oh n^m _m klh ij fgeh cd `ab _ Z] _^ Z[\ p q r p ~ on stan { device=/dev/nb0 disk=/dev/hda4 address= port=7788 } on olli { device=/dev/nb0 disk=/dev/hda4 address= port=7788 } s t u v w x y z { } x u v Welches Gerät soll erscheinen? Welches ist das untergeordnete Gerät? IP des lokalen Netzinterfaces S T U VW XY m^ ge^ `cdh oh n^m _m klh ij fgeh cd `ab _ Z] _^ Z[\ p q r p s } } } ~ #!/bin/bash $zaehl $datei cd /RAID/tests while true; do zaehl=500 datei=1 rm * while [ $zaehl -le ]; do echo $datei echo $zaehl dd if=/dev/zero of=datei$datei bs=1k count=$zaehl sleep 1 zaehl=`expr $zaehl \* 2` datei=`expr $datei + 1` done sleep 30 done S T U VW XY 8

9 œ ž œ Ž œ š Ž Œ Ž Š Ÿ Ÿ DRBD kann auf der Konsole beobachtet werden: #!/bin/bash # show.sh while true; do cat /proc/drbd > /dev/tty12 sleep 2 done ƒ ˆ œ ž œ Ž œ š Ž Œ Ž Š ª ««Heartbeat sorgt fr den eigentlichen Cluster-Charakter eine Cluster-Adresse zwei Cluster-Knoten, von denen immer einer aktiv (Master) ist und die Cluster-Adresse innehat Knoten berwachen sich durch den Versand von Heartbeats, möglichst ber mehrere Leitungen Wird eine Übernahme notwendig, werden die Dienste auf dem abgebenden Rechner gestoppt, die Cluster-Adresse freigegeben, die Dienste auf dem anderen Rechner gestartet und die Cluster- Adresse bernommen. ƒ ˆ 9

10 Ç Á º½¾Â ÉÂ È Ç ¹Ç ÅÆ ÃÄ ÀÁ  ½¾ º»¼ ¹ ¹ µ Ê Ë Ì Í Î Ï Ë Ì Î Ð Ñ Ò Ó Ô Õ Ö Í Ì Î Õ Ò Ó Ø 3 Dateien: ha.cf Hauptkonfiguration logfile /var/log/ha.log udp eth0 udp-heartbeats ber eth0 udp eth1 udp-heartbeats ber eth1 keepalive 2 alle 2 Sekunden ein Heartbeat deadtime 10 10s kein HB dann Knoten tot udpport 694 verwende Port 694 node server1 server1 ist ein Knoten node server2 server2 ist auch ein Knoten haresources Ressourcen (Dienste) server datadisk::drbd0 quota apache smb authkeys Authentikation auth 1 1 crc ± ²³ Ç Á º½¾Â ÉÂ È Ç ¹Ç ÅÆ ÃÄ ÀÁ  ½¾ º»¼ ¹ ¹ µ Ê Ù Ð Ú Ë Û Û Ò Í Ü Ë Ó Ý Beim Start des Masters werden die Dienste in einer festzulegenden Reihenfolge gestartet, die ber die Cluster-Adresse verfgbar sein sollen: server datadisk::drbd0 quota apache smb Erst datadisk mit dem Parameter drbd0, damit auf die Platte zugegriffen werden kann dann quota zur aktivierung der Benutzerquotas dann Apache und Ý Beim Stoppen ist die Reihenfolge genau umgekehrt. Ý Alle diese Aufrufe rufen Skripte in resource.d/ ± ²³ 10

11 ðé ðé òðé øé ëîïó úó ùé ø ê ø ö ó ôõ ñòðó îï ëìí ê åè êé åæç û ý þ ÿ ý Beispiel-Skript: Quota-Dienst #!/bin/bash /usr/sbin/rcquota $1 echo "quota rueckgabe: $? > /dev/tty11 /usr/sbin/rpc.rquotad echo "rpc.rquotad rueckgabe: $? > /dev/tty11 Startet bzw. stoppt Quota ber weitere Skripte, gibt Informationen auf eine Konsole Þ ß à áâ ãä òðé øé ëîïó úó ùé ø ê ø ö ó ôõ ñòðó îï ëìí ê åè êé åæç server þ þ ý þ config_local config_remote Konfigurationen -Schreiben (instantan) config_local config_remote Konfigurationen ucopy (periodisch / bei Übernahme) pcopy (periodisch / bei Änderungen) server Þ ß à áâ ãä 11

12 ! ' " )" ( ' ' %&" #$!" * +, -. + / , 7 8 ucopy Master vergleicht aktuelle Konfigurationen mit denen in config_remote, sucht neueste und verwendet diese Aufruf: periodisch, bzw. spätestens wenn der Rechner Master wird 8 pcopy sucht die einzelnen Konfigurationsdateien, legt Archiv an und kopiert beides nach config_local (damit landet es - sofern verfgbar - auf dem anderen Rechner) und nach /etc Aufruf: periodisch bzw. nach Änderungen! ' " )" ( ' ' %&" #$!" 9 : ; < Per werden die Verzeichnisse zum Abgleich der Konfigurationen verteilt. Freigaben in /etc/exports: /tmp /24(rw,root_squash) Auf /tmp drfen alle Rechner aus dem Netz zugreifen, lesen und schreiben, allerdings verliert root seine Privilegien. /config_remote (rw,no_root_squash,sync) Auf /config_remote darf der andere Rechner lesend und schreiben zugreifen, root behält seine Privilegien, die Schreibzugriffe werden gleich geschrieben. 12

13 QOH WH JMNR YR XH W I W UVR ST PQOR MNI HO JKL DG IH DEF Z [ \ ] Auf dem jeweils anderen Rechner wird das Verzeichnis importiert: Hier: /etc/fstab von server2. Auf server1 entsprechend vertauscht. server1:/config_remote /config_local nfs defaults 0 0 Hänge das Verzeichnis /config_remote des Rechners server1 in den Mountpoint /config_local ein. = BC 13