init.at informationstechnologie GmbH Tannhäuserplatz 2/5.OG 1150 Wien Austria

Transkript

1 init.at informationstechnologie GmbH Tannhäuserplatz 2/5.OG 1150 Wien Austria

2 Seite 2 von 10 1 Inhaltsverzeichnis 2 Warum CORVUS by init.at Ihre Vorteile durch CORVUS CORVUS Features Web-Interface Serveradministration Benutzerverwaltung Geräteverwaltung Abbildung der Netzwerktopologie Konfiguration Skalierbarkeit Hochverfügbarkeit Technischer Überblick Architektur Grafik Übersicht Software Komponenten in CORVUS Grafik Node Installation in CORVUS Node Konfiguration in CORVUS Technische Voraussetzungen... 10

3 Seite 3 von 10 2 Warum CORVUS by init.at Durch CORVUS schaffte es der legendäre Schrödinger schnellster HPC- Cluster Österreichs auf Platz 264 der Top 500 der schnellsten Supercomputer der Welt. Das von init.at 2001 entwickelte und laufend adaptierte CORVUS HPC Cluster Management ist europaweit in Wirtschaft, Forschung sowie im Universitären Bereich im Einsatz. Vertrauen Sie dem Marktführer für Linux HPC Cluster und erreichen auch Sie enorme Rechenleistung auf Ihrem Cluster. Für nähere Informationen kontaktieren Sie uns. Tel oder corvus@init.at 3 Ihre Vorteile durch CORVUS CORVUS reduziert Ihnen Ihren Zeitaufwand - ab der Hardwareaufstellung bis zum lauffähigen Cluster - auf ein Minimum. Denn sämtliche notwendigen Tasks (Knoten- und Serverkonfiguration, Installation der Knoten, Überwachung des Clusters) werden von CORVUS abgedeckt. Weitere Vorteile die Sie durch CORVUS erreichen: Easy Cluster Rollout Multi-Server Setup Minimaler Personalaufwand aufgrund einfacher Verwaltung Sämtliche Tätigkeiten wie Installation, Konfiguration und Überwachung einfach via Webfrontend Integrierte Benutzerverwaltung Jobsystem frontend NOCTUA by init.at Die bewährte Monitoring Lösung ist bereits in CORVUS integriert. Die Spezifikation von NOCTUA finden Sie unter Automatische Erstellung von Graphen mittels RRD Direktes Abbilden der Netzwerktopologie in der Software Komplett scriptbar über REST Anbindung an bestehende LDAP bzw. AD Netze Sämtliche Daten werden in einer SQL Datenbank gespeichert Ausführliche Dokumentation Laufende Weiterentwicklung und Updates Einschulung und Support direkt vom Hersteller durch die CORVUS Entwickler Keine Lizenzkosten

4 Seite 4 von 10 4 CORVUS Features 4.1 Web-Interface CORVUS bietet Ihnen ein einfach bedienbares, übersichtliches sowie umfangreiches Web-Interface. Über dieses kann der Administrator sämtliche Tasks, welche für die Installation und Administration eines Clusters notwendig sind, durchführen. 4.2 Serveradministration Im Hintergrund laufen auf den Servermaschinen Verwaltungsprozesse, um die Konfiguration - die für den Betrieb eines Clusters notwendigen Systemprozesse - zu automatisieren und zu vereinfachen. Dazu gehören unter anderem: Konfiguration des DHCP Servers Automatisches Erstellen von LDAP Bäumen Konfiguration der PXE / Netboot Umgebung Bereitstellung von Images und Kernels (inklusive initrd) 4.3 Benutzerverwaltung Benutzer sowie Benutzergruppen können über das Webfrontend angelegt werden. CORVUS kümmert sich im Hintergrund um die Benutzerverwaltung im LDAP-Tree, sowie die Erstellung des Home-Verzeichnisses auf dem vom Administrator gewünschten Server. 4.4 Geräteverwaltung CORVUS organisiert seine Geräte in die Gerätegruppen. Diese können mit Tags versehen werden, um dem Administrator die Verwaltung ebenso von komplexen Umgebungen - zu vereinfachen. 4.5 Abbildung der Netzwerktopologie Komplexe Netzwerktopologien mit mehr als einem Netzwerksegment können durch CORVUS korrekt abgebildet werden. Die Software bildet sämtliche physikalische Verbindungen in Ihrer Datenbank ab. Die Topologie kann jederzeit im Webfrontend graphisch dargestellt und kontrolliert werden.

5 Seite 5 von Konfiguration CORVUS ermöglicht Ihnen, die einzelnen Clusterknoten über ein leistungsfähiges Konfigurationssystem bis ins letzte Detail zu konfigurieren. Konfigurationen können gerätegruppenweit oder für einzelne Geräte aktiviert werden. Bevor die Konfiguration auf die Knoten kopiert wird, kann diese vom Administrator via Webfrontend komfortabel erstellt und überprüft werden. Die einzelnen Konfigurationsteile sind als kurze Python Codesnippets realisiert und können beliebig komplex werden. 4.7 Skalierbarkeit CORVUS ist als Multi-Server Lösung konzipiert, d.h. Sie können eine beliebige Anzahl von Servern für den Betrieb Ihres Clusters verwenden. CORVUS kümmert sich darum, dass die Server genau die Aufgaben übernehmen, die vom Administrator vorgesehen sind. Mögliche Szenarien sind: unabhängige Login Server redundante Fileserver dedizierter Monitoring Server autonomes Storage Netzwerk 4.8 Hochverfügbarkeit Um die Ausfallsicherheit des HPC Managements zu gewährleisten, können die Clusterserver in einem HA-Setup betrieben werden. Dabei steht jeweils ein Klon des Servers bereit, um im Fehlerfall automatisch die Funktion des ausgefallenen Servers zu übernehmen.

6 Seite 6 von 10 5 Technischer Überblick 5.1 Architektur 98% von CORVUS sind in Python geschrieben. Die verbleibenden 2% wurden in C implementiert. Der Einsatz von Python bietet den Zugriff auf eine umfangreiche Standardbibliothek und erlaubt die Integration in bereits bestehende Python Projekte der Scientific Community. Um zuverlässige und effiziente Kommunikation innerhalb des Clusters zu gewährleisten basiert der Netzwerkstack der CORVUS Clustersoftware auf 0MQ. Das Webfrontend wurde mit Angular realisiert. Abbildung 1 [siehe Seite 7] gibt Ihnen einen Überblick über die Funktionalitäten von CORVUS. Aus Benutzersicht steht dabei das Webfrontend im Vordergrund. Über dieses können sämtliche Aspekte des Systems einfach und schnell verwaltet werden. Die Konfiguration selbst wird dabei in einer SQL-Datenbank abgelegt. Unterstützte Datenbanken sind PostgreSQL, MySQL, MSSQL, Oracle oder SQLite. Der Großteil der clusterbezogenen Aufgaben beinhaltet Wartung und Konfiguration der Nodes. Abbildung 2 [siehe Seite 8] zeigt Ihnen den Installationsablauf und Abbildung 3 [siehe Seite 9] stellt den Node-Konfigurationsablauf dar.

7 Seite 7 von Grafik Übersicht Software Komponenten in CORVUS Abbildung 1:

8 Seite 8 von Grafik Node Installation in CORVUS Abbildung 2:

9 Seite 9 von Node Konfiguration in CORVUS Abbildung 3:

10 Seite 10 von 10 6 Technische Voraussetzungen CORVUS-Instanzen sind auf aktuellen Versionen der folgenden Linux-Distributionen lauffähig: SUSE Linux Enterprise Server OpenSUSE Red Hat Enterprise Linux Server Fedora CentOS Ubuntu LTS Debian Wheezy / Squeeze Zum Betrieb wird eine SQL-fähige Datenbank benötigt. Diese läuft üblicherweise auf demselben Server wie die Master-Instanz. CPU-, RAM- und Diskanforderungen sind abhängig von der Anzahl an Geräten und Checks. Die Konfiguration (Netzwerk, Datenbank, Mail, etc.) der Hosts auf denen CORVUS- Instanzen betrieben werden sollen, erfolgt durch den Administrator. Für die Visualisierung großer Netzwerke im CORVUS-Webfrontend wird die Verwendung eines aktuellen Browsers empfohlen.