( ZIH ) Zentrum für Informationsdienste und Hochleistungsrechnen. Kooperation mit Microsoft und Dell

Transkript

1 ( ZIH ) Zentrum für Informationsdienste und Hochleistungsrechnen Kooperation mit Microsoft und Dell

2 Windows-HPC-Cluster von Dell Symbolische Übergabe auf der ISC 2008 Anlieferung im Juni 2008 Kooperation zwischen Dell, Microsoft und ZIH Erstinstallation am 5./6. August 2008 Eigene Schritte zur Inbetriebnahme August - Dezember 2008 Neuinstallation am 19. Dezember 2008 Konfiguration und Tests ab Januar 2008

3 Anlieferung Juni 2008 KONFIGURATION 1 x M1000e Blade Chassis & Ethernet Switch PE2950 Master Node mit 2 x E5410 Prozessor, 8 x 2 GB Memory, 80 GB und 300 GB SATA HDD 8 x M600 Blade Server (compute nodes) mit 2 x E5440 Prozessor, 8 x 2 GB Memory, 1 x 120 GB SATA HDD PowerConnect 3524 Managed Ethernet Switch

4 Erstinstallation am 5. August 2008 Teilnehmer ( Netzwerk K. Köhler (ZIH- ( Windows A. Kadner (ZIH - ( Cluster T. Blümel (ZIH - ( Dienste S. Maletti (ZIH AL Zentrale Server und Cluster 1 Mitarbeiter von Dell Aufbau Software 1 Mitarbeiter von Microsoft Installation Ablauf ( (9.00 Konfiguration Aufbau und Diskussion der ( (13.00 Microsoft Installation der Software durch Test der Konfiguration Netzwerkprobleme In den darauf folgenden Wochen s und Telefonate zur Lösung der Probleme

5 Beschreibung der Netzwerkprobleme Welt Externer 100 MBit Switch Headnode Compute Node

6 Problembeschreibung Interne Gigabit-Ethernet Karten aber externer 100 MB Switch Interner Switch ungenutzt Alle Adressen in einem Netz ( adress xx killt eine andere Außenadresse (duplicate IP NEC SX6 System über gleichen Switch angebunden, war nicht mehr nutzbar, da hinter der Firewall mit einer gerouteten 192er Adresse Suche nach dem Fehler und Neukonfiguration dauerte ca. 1 Woche Zusammensuchen der Informationen war mühsam Standardmodell unserer Cluster zwei interne Netzwerke, eine extra Netzwerkkarte für die externe Anbindung Hier: keine extra Netzwerkkarte am Head Node für die Anbindung an die Welt

7 Neue Konfiguration des Netzwerkes Welt Headnode Compute Node Compute Node Compute Node Compute Node Externer Gigabit Switch

8 Unser Netzwerk Eigener externer Gigabit Ethernet Switch Einbau einer zusätzlichen Netzwerkkarte von Dell in den Headnode Konfiguration von 3 VLAN VLAN 1 Außenanbindung VLAN 2 MPI VLAN 3 Datennetz Offene Frage, die bleibt was ist mit dem internen Switch?

9 Nutzer auf dem Cluster - Ausgangsidee Welt Headnode Zugang über RDP Compute Node

10 Zweite Installation am 19. Dezember 2008 Gründe: Anhaltende Probleme mit der Einbindung des Clusters in die vorhandene AD Struktur und das ZIH Nutzermanagementsystem (DUMAS), mit Compilern, der Betriebssystemaktivierung. Teilnehmer: ( Microsoft ) Dr. Köhler, A. Kadner, T. Blümel, S. Maletti und M. Ciesko Ablauf: Diskussion der Konzepte Installation Terminalserver und Headnode Installation der Compute Nodes Fertigstellung der Compute Nodes am 20. Dezember 2008

11 Nutzer auf dem Cluster neues Modell Welt Terminalserver Zugang über RDP Headnode Externes Filesystem Compute Node

12 Nutzer-Management aktuell ZIH-Nutzer-Management Windows-ZIH-Domain AddUser AddUser UNIX-Resourcen Trust Benutzer-Datenbank HPCMS-Domain AddUser für HPC(MS)-Projekte Headnode DC W2K8-TS { Windows-ZIH-Domain-User wird HPC-User RDP-User auf HPC-Terminal-Server

13 Nutzer-Anmeldung am Windows-HPC-Cluster HPCMS-Domain ZIH-UNIX-File-Server Terminal-Server home Login auf HPC-TS Head-Node DC home DFS mount home temp common

14 Erfahrungen aus der bisherigen Zusammenarbeit Klare Konzepte vor Beginn einer Zusammenarbeit sind die grundlegende Voraussetzung für Erfolg! Fragen, die vorher beantwortet werden sollten: Welche Probleme lassen sich bisher nicht mit den vorhandenen Ressourcen lösen? Welche Systeme mit welcher Software kommen dafür in Frage? Welche personellen Ressourcen werden benötigt? Wie passt das System in die vorhandene Landschaft?

15 Erfahrungen aus der bisherigen Zusammenarbeit Selbstkritisch bleibt festzuhalten, der Zeitraum für die Inbetriebnahme ist zu lang. Aufbau, Installation und Inbetriebnahme nebenbei funktioniert nicht, Reibungs- und Zeitverluste sind die Folge. Die Unterstützung der Hersteller kann noch besser werden Aufbau durch Dell mit merkwürdiger Netzwerkkonfiguration Dokumentation der Installation von Dell eine Kiste mit Büchern und CD Dokumentation von Microsoft im Netz Zu wenig Zeit für die Erstinstallation durch Microsoft eingeplant. Eingehen auf konkrete Situation vor Ort! Kommunikation per ist nicht ausreichend Manchmal entstand der Eindruck, bei Microsoft lag die Priorität auf der Erstellung der Case Study.

16 Status und Ausblick Erste Testuser aus dem ZIH sind auf dem Cluster Erste MPI Jobs sind gelaufen Erste Performance Tests haben Interesse geweckt Eine Videokonferenz vor zwei Wochen mit den Kollegen aus Aachen hat viele offene Fragen beantwortet Der Cluster ist nach wie vor eine Baustelle, aber: Es ist Licht am Horizont!