C3Grid-INAD: towards an INfrastructure for general Access to climate Data. Dokumentation BDII-Top-Level-Installation

Transkript

1 C3Grid-INAD: towards an INfrastructure for general Access to climate Data Dokumentation BDII-Top-Level-Installation

2 Inhaltsverzeichnis 1 Einleitung Installation der BDII-Top-Level-Domain Detaillierte Informationsanleitung für die manuelle Installation Vorbereiten der Installation Durchführung der Installation Anpassung einer virtuellen Maschine Eine eigene virtuelle Maschine inklusive BDII-Top-Level erzeugen Benutzung der Client-Bibliothek 10 2

3 1 Einleitung Die Durchführung klimawissenschaftlicher Berechnungen erfordert aufgrund der hohen Datenmengen eine große Rechenkapazität. Einzelne Rechencluster sind mitunter nicht in der Lage derartige Kapazitäten zeitnah zur Verfügung zu stellen. Durch den Zusammenschluss von verschiedenen, verteilten Rechenclustern zu sogenannten Grids, kann die bereitstehende Rechenkapazität erhöht werden. Für die Verteilung der Rechenoperationen auf die unterschiedlichen Clustersysteme werden Scheduler benötigt, die Auslastungen der einzelnen Sites erfassen und bewerten können. Im Anschluss daran können die Berechnungen über standardisierte Schnittstellen bei dem Clustersystem eingereicht werden, dass zum Bewertungszeitpunkt über die günstigste Lastsituation verfügt. Der für C3-INAD entwickelte Workflow Scheduling Service (WSS) ist in der Lage, komplexe Berechnungsabfolgen auf verschiedene Rechenzentren zu verteilen. Berechnungsabfolgen, bei denen zunächst einen Datensatz aus einem Datenarchiv bereitgestellt werden muss und auf dem anschließend mehrere Berechnungen durchgeführt werden, sind in der Klimaforschung sehr stark vertreten. Für die eigentliche Verteilung der Rechenaufgaben muss der WSS in der Lage sein, Informationen über die Ausführungsumgebung der angebundenen Rechenzentren (Computeprovider) abzurufen. Dies umfasst beispielsweise die unterstützten Module für die Verarbeitung und Aufbereitung bestimmter Klimadaten, aber auch Informationen über die zur Verfügung stehenden Maschinen sowie der momentanen Auslastung des Providers. Diese Informationen werden in C3-INAD innerhalb eines Berkeley Database Information Index (BDII) gespeichert. Hierbei handelt es sich um ein Informationssystem, welches Informationen in Form der GLUE 1 -Dokumentenspezifikation speichert und über LDAP aktualisier- und abrufbar macht. Bei den BDII-Installation unterscheidet man zwei verschiedene Formen. Eine sogenannte Service-Level-Domain ist eine BDII-Instanz, die direkt von einem Computeprovider betrieben wird und in der er seine eigene Ausführungsumgebung beschreibt. Eine Top- Level-Domain hingegen führt alle Informationen mehrerer Service-Level-Domains an einer zentralen Stelle zusammen und bietet einem Scheduler somit einen Gesamtüberblick über die konfigurierte Rechenlandschaft des unterliegenden Grids. Abbildung 1.1 zeigt eine Übersicht über die aktuelle BDII-Infrastruktur in C3-INAD. Hierbei wird an 1 3

4 TOP LEVEL DOMAIN (TUDO) Aggregiert von SERVICE LEVEL DOMAIN (RRZK) SERVICE LEVEL DOMAIN (PIK) SERVICE LEVEL DOMAIN (GLOBUS1) Beschreibt Beschreibt Beschreibt Beschreibt Visualisierung Compute Compute Compute Abbildung 1.1: BDII-Konfiguration in C3-INAD. der TU-Dortmund eine BDII-Top-Level-Domain betrieben, welche drei Service-Level- Domains abfragt. Sowohl RRZK als auch GLOBUS1 sind BDII-Instanzen, die von dem Regionalen Rechenzentrum der Universität zu Köln betrieben werden, wohingegen die PIK-Instanz vom Potsdam-Institut für Klimafolgenforschung installiert wurde. Diese Anleitung erläutert lediglich die Installation einer Top-Level-Domain. Für eine ausführliche Dokumentation zur Installation einer Service-Level-Domain sei auf eine andere Stelle 2 verwiesen. 1.1 Installation der BDII-Top-Level-Domain Zur eigentlichen Installation einer BDII-Instanz stehen einem Betreiber grundsätzlich drei Herangehensweisen zur Verfügung: 1. Eine Installation von Hand (Manuelle Installation) 2. Anpassung einer bereitgestellten virtuellen Maschine (Xen, KVM, esxi) 3. Erzeugung einer anpassbaren virtuellen Maschine mit den dafür mitgelieferten Werkzeugen 2 4

5 Alle drei Möglichkeiten werden im Folgenden näher beschrieben, wobei mit der Installation von Hand begonnen wird. Für die Anpassung einer bereits fertigen virtuellen Maschine schlagen Sie auf Seite 7 nach. Auf Seite 8 hingegen wird die Erzeugung einer eigenen virtualisierten VM-Installation erläutert. 1.2 Detaillierte Informationsanleitung für die manuelle Installation Für eine manuelle Installation der BDII-Top-Level-Domain müssen Sie zunächst einige Pakete installieren und organisatorische Aspekte klären. Die nachfolgende Installationsanleitung bezieht sich auf eine Installation auf einem Ubuntu-Linux (12.04 LTS) Vorbereiten der Installation Folgende Software wird benötigt: BDII Dieses Paket enthält die BDII-Installation selbst und kann einfach mit dem Befehl ( sudo apt-get install bdii ) installiert werden. Perl WWW-Implementierung Hierbei handelt es sich um eine Sammlung von Perlskripten für die Kommunikation mit dem World Wide Web. Diese lassen sich per ( sudo apt-get install libwww-perl ) installieren. C3-BDII-Patch Im Rahmen des C3-Projekts wurden am Standard-BDII kleinere Veränderungen vorgenommen, durch die Fehler im Update-Prozess der Informationen behoben wurden. Die Patch-Dateien können unter heruntergeladen werden. Darin sind enthalten sind folgende zwei Dateien: 1. bdii-update new: Diese muss als bdii-update unter /usr/sbin/ abgelegt werden. 2. glite-info-provider-ldap all.deb : Diese installiert den Patch in der lokalen BDII-Installation bei Aufruf von sudo dpkg -i <...>.deb Nicht unbedingt nötig, aber durchaus sinnvoll sind folgende zusätzliche Pakete: OpenSSH-server : Um im weiteren Verlauf eine SSH-Verbindung mit der Maschine aufnehmen zu können, ist die Installation eines OpenSSH-Servers empfehlenswert ( apt-get install openssh-server ). 5

6 Network Time protocol : Dieses Paket sorgt unter Unix für die korrekte Konfiguration der Systemzeit ( apt-get install ntp ). Zusätzlich muss im Laufe der Konfiguration auch die Netzwerkeinstellungen dr BDII- Instanz angepasst werden. Dazu wird eine feste IP inklusive Portfreigabe (bei Betrieb hinter einer Firewall) vonnöten. Die Wahl des Ports (Http: 8080, LDAP-Standard: 2070 oder Anderer) ist dabei beliebig. Falls Sie im weiteren Verlauf lokales DHCP mit einem festen Mapping (MAC->feste IP) nutzen wollen, veranlassen Sie Ihren Admin, Ihnen entsprechend eine MAC-Adresse zu reservieren Durchführung der Installation Legen Sie auf dem System einen neuen Nutzer (mit sudoer-rechten) an (z.b. bdii ) und kopieren Sie die patch-dateien in ein von Ihnen gewähltes Verzeichnis (z.b. /home/bdii/bdiipatch/). Sorgen Sie im weiteren Verlauf dafür, dass alle Dateien dem neuen Nutzer zugeordnet sind. Als nächstes erfolgt die Installation des BDII-Patches. Dazu stoppen Sie zunächst den Service mit: sudo s e r v i c e b d i i stop Im Anschluss überschreiben Sie die Datei /usr/sbin/bdii-update mit der entsprechenden Version in den Patch-Dateien und installieren das mitgelieferte Debian-Paket: sudo cp /home/ b d i i / bdiipatch / bdii update new / usr / sbin / bdii update sudo dpkg i /home/ b d i i / bdiipatch / g l i t e i n f o provider ldap a l l. deb Bevor Sie den BDII-Service starten, konfigurieren Sie in der Datei /etc/bdii/gip/topurls.conf die abzurufenden Service-Level-Domains. Fügen Sie dort Einträge der folgenden Form ein: <ID> l d a p :// <HOST>:<PORT>/GLUE2DomainID=<DOMAIN ID>,<SEARCH BASE> z.b. RRZK ldap : / / c 3 g r i d d e v e l. r r z. uni koeln. de :2170/GLUE2DomainID=RRZK, o=glue Im Anschluss können Sie den Service neu starten: sudo s e r v i c e b d i i s t a r t 6

7 1.3 Anpassung einer virtuellen Maschine Beginnen wir jedoch zunächst mit dem Start der Maschine. Direkt nach dem Bootvorgang werden Sie aufgefordert, sich einzuloggen, was Sie mit dem Benutzer wss und dem Passwort wss tun. Als nächstes werden Sie aufgefordert, das Standardpasswort zu ändern. Nun wird die Tastaturkonfiguration mit Root-Rechten ausgeführt, so dass eine Eingabe Ihres neuen Passworts vonnöten ist. Wählen Sie in dem Konfigurationsprogramm die Generische 105-Tasten-Tastatur (Int1) und wählen Sie danach das deutsche Tastaturlayout. Alle weiteren Angaben können auf dem Standardwert belassen werden. Nach der Tastaturkonfiguration wird der BDII-Patch automatisch installiert und folgende Service-Level-Domains hinzugefügt: RRZK ldap : / / c 3 g r i d d e v e l. r r z. uni koeln. de :2170/GLUE2DomainID=RRZK, o=glue PIK ldap : / / c3grid vp. pik potsdam. de :2170/GLUE2DomainID=c3grid vp. pik potsdam. de, o=glue GLOBUS1 ldap : / / globus1. r r z. uni koeln. de :2170/GLUE2DomainID=globus1, o=glue Sie können die Konfigurationsdatei wie in Abschnitt 1.2 beschrieben von Hand editieren oder das mitgelieferte Skript configure domains.sh im Home-Verzeichnis für die Anpassung nutzen. Mit der Option -c können Sie das Skript veranlassen, die bisherige Datei zu leeren und mit den Optionen -a <Kompletter Endpunkt> -s <ID> können Sie direkt zusätzliche Domains hinzufügen oder Sie rufen das Skript ohne Optionen auf und werden Schritt für Schritt aufgefordert, die Bestandteile eines Service-Level-Domänen- Endpunktes einzugeben. Im nächsten Schritt erfolgt die Konfiguration des Netzwerks der virtuellen Maschine. Dazu führen Sie im Homeverzeichnis das Skript sudo./configure network.sh aus, welches Sie durch die Installation leitet. Hinweis: Das Skript überschreibt die Datei /etc/network/interfaces und beginnt dazu mit dem Interface eth0. Konfigurieren Sie am Besten dieses Interface mit Ihrer externen IP-Adresse. Sollten Sie eine Vergabe der IP mit DH- CP vornehmen sorgen Sie dafür, dass die Maschine stets die gleiche IP bekommt (z.b. durch statisches Mapping einer für die VM vorkonfigurierten MAC-Adresse auf eine feste IP innerhalb Ihres DHCP-Servers.), da diese feste IP im weiteren Verlauf für das Hostnamen-Mapping verwendet wird. Spezielle Einstellungen zu dns-nameserver und dns-search-strings sollten Sie mit Ihrem Admin absprechen. Nach Konfiguration des ersten Interfaces können Sie auch weitere definieren (z.b. für interne Wartungszwecke oder ähnliches.) Am Ende der Ausführung wird die VM neu gestartet. 7

8 1.4 Eine eigene virtuelle Maschine inklusive BDII-Top-Level erzeugen Anstatt eine vorgefertigte virtuelle Maschine anzupassen, können Sie auch eine eigene VM für den Betrieb des BDII-Top-Level erzeugen. Dies kann z.b. von Interesse sein wenn: der von Ihnen eingesetzte Hypervisor kann keines der bereitgestellten Formate (esxi, xen, kvm) ausführen kann. der BDII-Top-Level in einer anderen Distribution als Ubuntu bzw. einer neueren Version betrieben werden soll. Laden Sie dazu zunächst das BDII-Build-Paket von der Webseite 3 herunter. Dieses enthält folgende Ordner: homefiles Hier sind alle Skripte abgelegt, die zur späteren Konfiguration der virtuellen Maschine und des BDII aus dem vorherigen Abschnitt benötigt werden. installationfiles Dieser ordner enthält die Patch-Dateien für die Anpassung der BDII- Top-Level-Domain. Zusätzlich befinden sich in dem Paket auch drei Skripte für das eigentliche erzeugen der VM: build VM.sh Hierbei handelt es sich um das build-skript selbst. Ein Aufruf mit -h gibt Aufschluss über die verwendbaren Optionen: sudo. / build VM. sh d <Relative DIR> h <Hypervisor> Auf diese Art wird die neue VM im angegebenen relativen Verzeichnis für den angegebenen Hypervisor (kvm, esxi, xen, ) 4 erzeugt. Die Option -c sollte nur mit dem hypervisor kvm eingesetzt werden und sorgt dafür, dass die VM im Anschluss an die Erzeugung direkt in ein Virtualbox-fähiges Format umgewandelt wird. during build.sh Das Skript führt während des Erzeugungsprozess die Kopieroperationen der Verzeichnisse durch, die aus diesem Archiv in die VM kopiert werden und sorgt Für erlaubte Hypervisor schlagen Sie bitte in der Dokumentation des ubuntu-vm-builders nach. 8

9 für die korrekten Datei-Rechte. first login.sh Dieses Skript wird beim ersten Start der VM gestartet und nimmt dabei die Änderung des Passworts, des Tastaturlayouts, das BDII-update, sowie die Konfiguration der Default-Service-Level-Domains vor. Alle enthaltenen Skripte und Dateien können nach belieben ergänzt und erweitert werden. Möchte man z.b. eine andere Betreibssystem-Version innerhalb der Maschine verwenden, so erfordert dies eine Anpassung des vmbuilder-aufrufs innerhalb des build VM.sh - Skripts. 9

10 2 Benutzung der Client-Bibliothek Für das Abrufen von BDII-Informationen aus einer Top-Level-Domain existiert ein fertiger Java-Client, der in eigenen Projekte eingebunden werden kann. Binden Sie dazu zunächst das Maven-Repository in Ihr Projekt ein, welches die notwendigen Abhängigkeiten enthält: Listing 2.1: Code zum Einbinden des Maven-Repositories <p r o j e c t>... < r e p o s i t o r i e s> <r e p o s i t o r y> <i d> i r f r e l e a s e s</ i d> <u r l>h t t p : // f o r g e. i t. i r f. tu dortmund. de / nexus / c o n t e n t / r e p o s i t o r i e s / r e l e a s e s /</ u r l> </ r e p o s i t o r y> </ r e p o s i t o r i e s> </ p r o j e c t> Nachdem das Repository mit dem in Listing 2.1 dargestellten Code eingebunden wurde, können die nachfolgenden Abhängigkeiten dem Projekt hinzugefügt werden. <dependency> <groupid>de. i r f. i t. rmg</ groupid> < a r t i f a c t I d>c 3 i n a d. i s</ a r t i f a c t I d> <version>3.2.5</ version> </ dependency> Listing 2.2: Abhängigkeiten Alternativ können die Quellabhängigkeiten auch aus den Sourcen des WSS bezogen werden unter sources.zip. Dort befinden sich die Quellen für das Artefakt c3inad.is. Anschließend kann mit der Implementierung eines eigenen Clients begonnen werden. Dazu wird eine neue Instanz eines InformationProviderServices für den Abruf aus einem BDII erzeugt: I n f o r m a t i o n P r o v i d e r G 2 i p = new L D A P I n f o r m a t i o n P r o v i d e r S e r v ice ( ldap : / / l o c a l h o s t : ) ; Im Anschluss an die Erzeugung können Sie mit folgenden Befehlen Informationen zu allen verfügbaren Computeprovidern abrufen: Collection <String> providers = ip. getcomputeproviders ( ) ; System. out. p r i n t l n ( S t r i n g. format ( p r o v i d e r : %s, p r o v i d e r s ) ) ; f o r ( S t r i n g p r o v i d e r : p r o v i d e r s ) { System. out. p r i n t l n ( ===== + p r o v i d e r + ===== ) ; try { System. out. p r i n t l n ( GRAM: + i p. getgramcontactstring ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Queue : + i p. getbatchqueue ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Queue? : + i p. hasqueuedefined ( p r o v i d e r ) ) ; 10

11 } } System. out. p r i n t l n ( GridFTP : + i p. getgridftp ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Queuel ä nge : + i p. getqueuelength ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Tools L o c a t i o n : + i p. g e t T o o l s L o c a t i o n ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Workspace L o c a t i o n : + i p. getworkspacelocation ( p r o v i d e r ) ) ; System. out. p r i n t l n ( max. Walltime : + i p. g e t W a l l t i m e L i m i t ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Free S l o t s : + i p. getnumberoffreeslots ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Number I n s t a n c e s : + i p. getnumberoftotalinstances ( p r o v i d e r ) ) ; System. out. p r i n t l n ( P h y s i c a l CPU: + i p. getnumberofphysicalcpus ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Main Memeory : + i p. getmainmemorysizemb ( p r o v i d e r ) ) ; System. out. p r i n t l n ( d e f a u l t Walltime : + i p. g e t D e f a u l t W a l l t i m e L i m i t ( p r o v i d e r ) ) ; System. out. p r i n t l n ( d e f a u l t CPU Time : + i p. getdefaultcputime ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Workspace on Node : + i p. getworkspacelocationonnode ( p r o v i d e r ) ) ; System. out. p r i n t l n ( Module : ) ; f o r ( ModuleInformation mi : ip. getmodulesfromprovider ( provider ) ) { System. out. p r i n t l n ( S t r i n g. format ( \ t%s, mi ) ) ; } } catch ( E xception e ) { e. p r i n t S t a c k T r a c e ( ) ; 11