Zwischenbericht III der TU Dortmund

Transkript

1 D-Grid IaaS - Erweiterung der D-Grid Basis für die kommerzielle Nutzung Zwischenbericht III der TU Dortmund Datum 19. Januar 2012 Version Status Referenz Final Grid_IaaS/Zwischenbericht_III.pdf

2 Autoren: Stefan Freitag (Technische Universität Dortmund) Das diesem Bericht zugrunde liegende Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 01IS10019B gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren. Seite 2

3 Zuwendungsempfänger: Technische Universität Dortmund Institut für Roboterforschung Prof. Dr.-Ing. Schwiegelshohn Förderkennzeichen: Vorhabenbezeichnung: 01IS10019B D-Grid IaaS Erweiterung der D-Grid Basis für die kommerzielle Nutzung Laufzeit des Vorhabens: Berichtszeitraum: Aufzählung der wichtigsten wissenschaftlich-technischen Ergebnisse und anderer wesentlicher Ereignisse. Im Berichtszeitraum wurde die D-Grid Ressource grid.tu-dortmund.de als gemischte Grid/Cloud-Testumgebung für das D-Grid IaaS-Projekt betrieben. Dies beinhaltete neben der Bereitstellung der Ressource für die D-Grid-Nutzer folgende Arbeiten: Die Aktualisierung des Betriebssystems auf allen Rechen- und Grid Middleware-Knoten von Scientific Linux 5.4 auf Scientific Linux 5.7. Den Austausch der X.509-Zertifikate auf den Grid Middleware-Knoten. Die Umstellung von vollständig virtualisierten Rechenknoten auf die Paravirtualisierung. Die PTGrid-Community erhält hierdurch Vorteile bei der Ausführung paralleler Jobs. Zur Abarbeitung von parallelen Jobs wurde auf den Rechenknoten die OpenMPI Software in Version installiert. Durchgeführte Tests offenbarten Probleme des Schedulers MAUI bei der Zuweisung von Rechenknoten/ CPU-Kernen zu den parallelen Jobs. Als Lösung wurde die MAUI Software auf der Ressource auf das latest release aktualisiert. Die Produktivität der Grid-Umgebung der Ressource ist bei zwei Demonstrationen, u.a. bei der DCI Summer School 2011 (Budapest), unter Beweis gestellt worden. Bezogen auf die Cloud-Komponente wurden für die Endnutzer verschiedene Templates virtueller Appliances erstellt. Diese Appliances umfassen unterschiedliche Linux-Distributionen und Host-Architekturen, im Einzelnen: Debian Linux (32 Bit) Scientific Linux 5.7 (64 Bit) Ubuntu Linux (32 Bit) Ubuntu Linux (64 Bit) Ubuntu Linux (32 Bit) CentOS 5.4 (64 Bit) CentOS 5.7 (32 Bit) Seite 3

4 CentOS 5.7 (64 Bit) Der Zugang zu einmal aus einem Template instanziierten virtuellen Appliances ist grundsätzlich per Secure Shell möglich. Des Weiteren können die Scientific Linux- und Debian Linux-Appliances auch per VNC Client angesprochen werden. Die Bereitstellung von Dokumentation zur Secure Shell-Anbindung ist in Arbeit. Des Weiteren wurde bei der Cloud-Komponente die Web-Oberfläche des ecloudmanager SelfService-Portals durch das Einspielen eines Customization -Pakets an das D-Grid Farbschema angenähert. Die Bestrebungen zur Integration der Informationssystem-Komponente des D- Grid IaaS-Projekts in die D-MON Software des D-Grid wurden fortgesetzt. Wie im letzten Bericht erwähnt wurde die Komponente an die D-MON-Verantwortlichen ausgeliefert und dort testweise als Adapter in D-MON aufgenommen. Dabei hat sich eine bis dahin nicht bekannte Abhängigkeit zwischen dem D-Grid Grid Resource Registration Service und D-MON gezeigt. Zur Lösung dieses Problem sind im Juli 2011 die im DGI-2 Projekt zuständigen Kollegen kontaktiert und eine prototypische Lösung vorgeschlagen worden. Im Dezember 2011 hat das DGI-2 zugestimmt, diese vorgeschlagene Lösung umsetzen zu wollen. Unabhängig von dieser Abhängigkeit unterstützt der ecloudmanager nun das GLUE2.0-Format, was in einer Pressemitteilung dargestellt wurde. Bei einem weiteren behandelten Aspekt, der Integration des ecloudmanagers in das D-Grid Accounting-System konnten kleinere Fortschritte erzielt werden. Die Entwicklung des DGAS EE-Sensors für den ecloudmanager ist soweit abgeschlossen. Dieser legt die Accounting-Informationen persistent in einem lokalen Speicher ab. Von dort liest der neu hinzugekommene ATMClient die Informationen aus und übermittelt diese per ActiveMQ-Nachrichtentransfer an die Gegenstelle. Der erfolgreiche Transfer an einen ActiveMQ-Endpunkt konnte im Testbett festgestellt werden. Allerdings fehlt im D-Grid ein DGAS EE (Produktiv- als auch Test-)Server, um die Entwicklungen im Zusammenspiel mit dem D-Grid zu testen. Ob ein solcher Server noch bereitgestellt wird, ist derzeit unklar. Die Erreichbarkeit der Web-Schnittstellen des ecloudmanagers wird durchgängig mittels eines lokal am Institut für Roboterforschung betriebenen Nagios Servers vorgenommen. Die dabei verwendeten Checks bzw. Tests können 1:1 in das D-Grid Monitoring übernommen werden und sind entsprechend dokumentiert. Hinsichtlich der Interaktion der Cloud-Komponente mit dem Batchsystem der Grid-Komponente wurde zunächst ein neuer Batchsystem-Client in der Programmiersprache Java implementiert. Der Java-Client eignet sich besser für die Integration der Drools Rule Language. Anhand dieser können Regeln für die dynamische Re-Partitionierung der Grid/Cloud-Komponente spezifiziert werden. Seite 4

5 Des Weiteren entstand im D-Grid IaaS-Projekt die Software GridAcro für Android-basierte Endgeräte. Die Software ist kostenlos im Google App Market verfügbar und findet u.a. bereits in der European Grid Initiative Anwendung. Ebenso wurde ein prototypischer VOMRS Client in der Programmiersprache Groovy entwickelt. Dieser erschien notwendig, um Mitglieder aus virtuellen Organisationen außerhalb des D-Grid in die Nutzerverwaltung des ecloudmanagers aufnehmen zu können. Teilnahme an folgenden Treffen: Koordinationstreffen D-Grid IaaS Vorstellung von D-Grid IaaS auf einem D-Grid Beiratstreffen Folien: Koordinationstreffen D-Grid IaaS Veröffentlichungen: Validierungsbericht Download: Grid_IaaS_Validierungsbericht.pdf Bericht zur Kundenakquise Download: Grid_IaaS_Bericht_zur_Kundenakquise.pdf Zwei Pressemeldungen a ecloudmanager jetzt mit GLUE 2.0-Unterstützung Volltext: b ecloudmanager bietet Cloud-Schnittstelle zu D-Grid Volltext: 2. Vergleich des Stands des Vorhabens mit der ursprünglichen (bzw. mit Zustimmung des Zuwendungsgebers geänderten) Arbeits-, Zeit- und Ausgabenplanung. Das Vorhaben deckt sich weiterhin mit der ursprünglichen Arbeits- und Ausgabenplanung. 3. Haben sich die Aussichten für die Erreichung der Ziele des Vorhabens innerhalb des angegebenen Berichtszeitraums gegenüber dem ursprünglichen Antrag geändert? Die erfolgreiche Aussicht auf das Erreichen der Ziele besteht unverändert. 4. Sind inzwischen von dritter Seite Ergebnisse bekannt geworden, die für die Durchführung des Vorhabens relevant sind? (Darstellung der aktuellen Informationsrecherchen nach Nr. 2.1 BNBest-BMBF 98 bzw. Nr. 6.1 NKBF 98) Nein. Seite 5

6 5. Sind oder werden Änderungen in der Zielsetzung notwendig? Derzeit sehen wir keinen Bedarf Änderungen an der Zielsetzung vorzunehmen. 6. Fortschreibung des Verwertungsplans. Diese soll, soweit im Einzelfall zutreffend, Angaben zu folgenden Punkten enthalten: Erfindungen/Schutzrechtsanmeldungen und erteilte Schutzrechte, die vom Zuwendungsempfänger oder von am Vorhaben Beteiligten gemacht oder in Anspruch genommen wurden, sowie deren standortbezogene Verwertung (Lizenzen u.a.) und erkennbare weitere Verwertungsmöglichkeiten, Wirtschaftliche Erfolgsaussichten nach Projektende (mit Zeithorizont) - z.b. auch funktionale/wirtschaftliche Vorteile gegenüber Konkurrenzlösungen, Nutzen für verschiedene Anwendergruppen/-industrien am Standort Deutschland, Umsetzungs- und Transferstrategien (Angaben, soweit die Art des Vorhabens dies zulässt), Wissenschaftliche und/oder technische Erfolgsaussichten nach Projektende (mit Zeithorizont) - u.a. wie die geplanten Ergebnisse in anderer Weise (z.b. für öffentliche Aufgaben, Datenbanken, Netzwerke, Transferstellen etc.) genutzt werden können. Dabei ist auch eine etwaige Zusammenarbeit mit anderen Einrichtungen, Firmen, Netzwerken, Forschungsstellen u.a. einzubeziehen Wissenschaftliche und wirtschaftliche Anschlussfähigkeit für eine mögliche notwendige nächste Phase bzw. die nächsten innovatorischen Schritte zur erfolgreichen Umsetzung der Ergebnisse. Die vorgenommenen Entwicklungen fließen in eine zukünftige Version des ecloudmanagers ein. Nach der Integration ist ein Einsatz der Software im Produktionsbetrieb vorgesehen. Seite 6