Protokoll. über das Kickoff-Meeting Instant-Grid am 14. November 2005

Transkript

1 Protokoll über das Kickoff-Meeting Instant-Grid am 14. November 2005 Ort: Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen mbh, Göttingen Beginn: Uhr, Ende: Uhr Anwesende: Christian Boehme, Jochen Breuer, Tim Ehlers, Jan Engelhardt, Andreas Félix, Steffen Franke, Oswald Haan, Andreas Hoheisel, Tibor Kálmán, Sven Laaks, Michael Langer, Ludger Menzel, Ulrich Schwardmann Tagesordnung: 1. Schwardmann: Begrüßung und Allgemeines 2. Boehme/Kálmán: Stand Instant-Grid 3. Hoheisel: Instant-Grid und ERAMAS 4. Felix: Access-Grid 5. Menzel: GridLab 6. Ehlers: Webpräsenz 7. Franke/Breuer: Reduktion Knoppix 8. Sonstiges zu TOP 1: Herr Schwardmann stellt die Anwesenden vor und gibt einen Überblick über die Veranstaltung (Folien Schwardmann). Allgemeines zum Projekt wird angesprochen: Die Zuwendungsbescheide sind am eingetroffen, die Verträge für die Unterauftragnehmer sind zum Meeting noch nicht da, sollen aber zeitgleich eintreffen. Ziel des Projekts ist eine funktionsfähige Vollversion zur e-science Konferenz im November 2006 in Baden-Baden. Es sind inhaltliche Berichte und finanzielle Nachweise zu erstellen: von bis Art vorzulegen am 10/05 12/05 Zwischenbericht /05 12/05 Zwischennachweis /06 06/06 Zwischenbericht /06 12/06 Zwischenbericht /06 12/06 Zwischennachweis /07 06/07 Zwischenbericht /05 09/07 Schlussbericht /05 09/07 Verwendungsnachweis Der Projektplan wird vorgestellt und ist unter einzusehen. Die Schnittstellen zwischen den Einzelaufgaben und den Projektbeteiligten werden angesprochen: Hardwareerkennung (ed-media), Netzwerksetup (GWDG), Globus Toolkit 4 Seite 1 von 6

2 (GWDG), Gridsphere (GWDG), Fraunhofer Jobhandler (FIRST), Fraunhofer Monitor (FIRST), D-Grid Kompatibilität (GWDG), POV-Ray (GWDG), AccessGrid (GWDG), ERAMAS (FIRST), GridLab (FU-Hagen). Die Instant-Grid-CD soll vollautomatisch starten und vollen Funktionsumfang bieten. Eine Internetanbindung wird nicht vorrausgesetzt und eine Festplatteninstallation soll möglich sein. Eine Speicherung der Konfiguration ist auf einer Festplattenpartition oder auf einem USB-Stick durchführbar. Offen bleibt die Frage nach einer Speicherung der Konfiguration auf den Knoten (Nodesicherung). Alle Konfigurationen müssen dokumentiert werden. Der Wunsch nach einer freien Konfiguration mit Hilfe eines Konfigurators wird erwähnt. Alle Beteiligten geben ihre Zustimmung für eine freie Verteilung der beteiligten Software auf der CD. Für das GridLab kommt hierbei eine Lizens zum Tragen, bei der der Sourcecode nicht mitverteilt wird. Offen bleibt die Frage nach einer Verteilungslizens für SUN-Java, eine entsprechende Anfrage wurde bereits an Sun gestellt. Die Dokumentation des Projektes soll zunächst in einem Web-Wiki innerhalb der Webpräsenz (Instant-Grid.de) durchgeführt werden. Eine Überarbeitung und Zusammenführung soll ab dem 2. Quartal 2006 geschehen, ebenso ein Export in statische Seiten, welche auf der CD verfügbar sein sollen. zu TOP 2: Herr Boehme gibt einen Überblick über den Stand des Projektes (Folien Boehme). Das Konzept und der Startvorgang der Instant-Grid-CD wird vorgestellt. Nach einer Anfrage wird darauf hingewiesen, dass die Netzwerkkarten der Clients zu einem Booten über PXE fähig sein müssen. Zu den bereits funktionierenden Teilen des Projekts gehören: Automatisches Setup des Netzwerks, Bereitstellung der benötigten Serverdienste, Start, Registration und Zertifizierung der Clients, sowie Teile des Globus Toolkit 4. Herr Boehme bittet die Anwesenden, die vorhandene CD zu testen und Rückmeldung zu geben. Das Platzproblem wird angesprochen: Die Kapazität einer CD wird vorraussichtlich nicht ausreichen, alle Programmpakete zu beinhalten. Momentan baut die Instant-Grid-CD auf einem reduzierten Knoppix von 240MB auf. Ein Wechsel zu einer DVD wäre möglich. Alle Beteiligten erklären sich bereit, möglichst platzsparend vorzugehen. Eine Grenze von 1GB wird als "Schmerzgrenze" genannt. Eine detailierte Beschreibung des Startvorganges (noppenloader) wird gegeben und soll auf der Webpräsenz vefügbar gemacht werden. Es wird nochmals auf die Wichtigkeit einer aktiven Webpräsenz und Community für die Qualitätssicherung hingewiesen. Herr Kálmán gibt eine Übersicht über das Globus Toolkit 4 (Folien Kálmán). Alle Teile des Toolkits sind installiert, aber noch nicht alle konfiguriert. Die wichtigsten Module sind konfiguriert: Credential Management, Pre-WS Authentication & Authorization, Authentication & Authorization, GridFTP, Reliable File Transfer, Pre-WS Grid Resource Allocation & Management, Grid Resource Allocation & Management und die Common Runtime Module. Die Zertifizierung des Users knoppix ist automatisiert, neue User müssen sich per Hand zertifizieren. Eine Nutzung des Moduls "Workspace Management" für diese Aufgabe ist geplant. Der User knoppix ist ein zweiter root-account, was im Hinterkopf behalten werden sollte. Seite 2 von 6

3 Das Monitoring & Discovery System (MDS2) wird von vielen Anwendungen genutzt, ist jedoch in Zukunft nicht mehr Bestandteil des Globus Toolkits. Die Zertifizierungsprozeduren wurden in der neuen Instant-Grid-Version von einem statischem Zertifikat innerhalb des Boot-Images auf ein dynamisches simpleca Management umgestellt, was wegen der Bedingung eines Betriebes ohne Internetanbindung und aus Sicherheitsgründen nötig war. Mit der neuen Methode generiert der Master bei jedem Start ein eigenes Host- Zertifikat und stellt dies den Knoten über ein Proxy zur Verfügung. Eine Submission von Jobs ist momentan nur von dem Master auf die Knoten möglich. Es ist die Nutzung eines Portals für die Job-Submission geplant. Das Modul hierfür ist bereits konfiguriert. zu TOP 3: Herr Hoheisel stellt das Fraunhofer Resource Grid und ERAMAS vor (Folien Hoheisel). Nach einem kurzen Überblick über das Fraunhofer FIRST und die aktuellen Gridprojekte wird das Fraunhofer Resource Grid vorgestellt. Es handelt sich um ein System zum Management komplexer verteilter Prozessabläufe innerhalb eines Computing-Grid. Die zu Grunde liegende Technik ist das Pre-WS Grid Resource Allocation & Management Modul (GRAM) und GridFTP des Globus Toolkit in der Version 2.4. Des Weiteren ein selbstentwickelter als Web-Service laufender Grid-Job-Handler. Dieser wird über ein Java-Applet names Grid-Job-Builder angesprochen, das jedoch nicht für die Instant- Grid-CD zur Verfügung steht. Die Resourcen des Grids werden mit Hilfe einer Grid-Application-Definition-Language (GADL) erkannt und sind als XML-Dateien als Repository auf einem Apache-Webserver vorhanden. Es handelt sich dabei um eine Kombination aus statischen und mittels des Monitoringsystems Ganglia dynamisch generierten Inhalten. Außerdem ermöglicht die GADL ein Workflowmanagement, welches an Hand zweier Beispiele demonstriert wird. Die Visualisierung erfolgt mittels eines Petri-Netzes. Auf eine Eignung für Parameterstudien insbesondere bei der Applikation POV-Ray wird hingewiesen. Die Applikation "Environmental Risk Analysis and Management System" (ERAMAS) wird vorgestellt. Sie beinhaltet ein Atmosphären- und ein Grundwassermodell zur Berechnung von Schadstoffausbreitungen. Das Atmosphärenmodell kann für die Instant-Grid-CD portiert werden, das Grundwassermodell aus Lizensgründen nicht. Der ERAMAS-Server ist als Portlet innerhalb von GridSphere umgesetzt. Die Simulation wird als Petri-Netz dargestellt. Ebenfalls ist eine Visualisierung mit Vis5D möglich. Die Größen von Beispieldaten liegen im einstelligen MB- Bereich. Für die Instant-Grid-CD müssen bei der Middleware folgende Komponenten angepasst werden: - Grid-Job-Handler: Anpassung an Instant-Grid-Anforderungen (evtl. als Web-Service) und an die verwendete Java-Version. Die Benutzeroberfläche muss überarbeitet werden. - FhRG Resource Broker: Erfassung vorhandener Hardwareresourcen, welche mit Hilfe der GADL dem Grid-Job-Handler zur Verfügung gestellt werden. - FhRG Scheduler: Portierung eines einfachen FhRG Scheduler mit Anschluss an Ganglia zur Verteilung der Lasten an die einzelnen Knoten. - Beispielworkflows wie z.b. Parameterstudien. - Dokumentation Unter Vorraussetzung der Verwendung des Grid-Job-Handlers kann für das Monitoring das Seite 3 von 6

4 Petrinet Monitoring Panel benutzt werden. Dieses stellt den Workflow innerhalb des Grid als Petri-Netz dar und kann als Portlet innerhalb von GridSphere implementiert werden. Für ERAMAS ist eine Anpassung der Benutzeroberfläche notwendig, da die vorhandene aus Lizensgründen nicht verwendet werden kann. Des Weiteren sind Anpassungen bei dem Preprocessing und bei dem eigentlichen Simulationsprogramm nötig. Für die Visualisierung der Daten kann Vis5D eingsetzt werden. Neben der Dokumentation ist eine Qualitätskontrolle der Einzelkomponenten und ein Test des Gesamtsystems innerhalb der Instant-Grid-CD notwendig. Es wird sich darauf geeinigt SUN-Java zu verwenden. Hierbei kommt für den Server die Version 1.5 zum Einsatz. Es soll jedoch darauf geachtet werden, dass die Applets kompatibel zu der Version 1.4 sind. Des Weiteren stimmen alle Beteiligten zu, für ihre Teilprojekte zu überprüfen, ob ein PostgreSQL-Server und ein Tomcat-Server ausreichend sind. Der Wunsch nach einer breiteren Hardwareerkennung, die auch Myrinet und InfiniBand einschließt, wird geäußert. ed-media stimmt zu, dies zu überprüfen. Weitere Vorschläge sind außerdem: Eine Registrierung und Ranking der Instant-Grid- Installationen wie beispielsweise bei Das Erstellen einer selbstlaufenden Live- Demo für Messen und Präsentationen. Eine zusätzliche Anwendung zu implementieren, die eine parallelisierte Konvertierung von Audio- und Videodaten ermöglicht. Als Kontakt zur Community soll zunächst die Webpräsenz dienen, die Vorschläge sollen bei einem nächsten Treffen weiter erörtert werden. Die Webpräsenz dient des Weiteren zur Kommunikation für die Softwareentwicklung, zur Organisation des Projektes (siehe TaskJuggler Projektplan) und für die Dokumentation. Die Dokumentation soll ebenfalls lokal auf der Instant-Grid-CD verfügbar sein. zu TOP 4: Herr Félix gibt einen kurzen Überblick über die Anwendung AccessGrid (Folien Félix). Hierbei handelt es sich um ein System, um virtuelle Konferenzen stattfinden zu lassen. Die Möglichkeiten dieser Applikation, die bei der Instant-Grid-CD zur Anwendung kommen sollen, beinhalten den Austausch von Daten und Text und die gemeinsame Nutzung und Bearbeitung von Daten sowie zur Demonstration von Online-Lehrstunden, beispielweise im Rahmen eines POV-Ray Onlinekurses. Wird ebenfalls der Austausch von Video und Audio gewünscht muss eine Duplexfähige Soundkarte, eine Kamera und ein multicastfähiges Netzwerk vorhanden sein. ed-media versichert, dass die gängigsten Webcams von Knoppix unterstützt werden. AccessGrid setzt auf das Globus Toolkit und auf Python auf. Eine Adaption an Globus Toolkit 4 ist nötig. Eigene AccessGrid Anwendungen können mittels einer API programmiert werden. Eine Verwendung in Kombination mit POV-Ray ist geplant. zu TOP 5: Herr Menzel stellt das GridLab vor. GridLab ist eine Webplatform zur Durchführung fernsteuerbarer Experimente und wird an der FU Hagen für die Durchführung von Praktikumsexperimenten benutzt. Der Zugang erfolgt über ein Webportal, welches eine Seite 4 von 6

5 Hochschule mit Räumen und Schlüssel für dir Zugangsberechtigungen nachbildet. Die Experimente selbst werden per Webcam beobachtet und benötigen Echtzeit. Für die Instant-Grid-CD sollen das System CURE für die Raumverwaltung und Kommunikation, ein Simulator mit Control-Panels, Beispielvideos und URLs zu realen Experimenten zur Verfügung gestellt werden. Da die Instant-Grid-CD auch ohne Internetanbindung funktionieren soll, sollen zunächst nur Simulationen der Experimente erfolgen. Problem: Virtuelle Experimente sind als Web-Applet weit verbreitet und die Möglichkeiten des Grids werden in dieser Konfiguration nicht genutzt. Der Wunsch nach realen Experimenten wird geäußert und der Vorschlag wird gemacht, die Maus als ein Messinstrument zu nutzen (Beispiel Herzkammerumfangmessung). Es wird sich darauf geeinigt, dass das Experiment und seine Durchführung nicht am selben Knoten stattfinden sollen, um dem Gridgedanken gerecht zu werden. Ein API für die Einbindung neuer Experimente ist nicht vorhanden. Des Weiteren läuft das Projekt Ende Februar 2006 aus. Eine Namensänderung in GridLabor wird vorgeschlagen, da ein bekanntes EU-Projekt bereits den Namen GridLab trägt. zu TOP 6: Herr Ehlers präsentiert die Webpräsenz des Instant-Grid Projektes (Instant-Grid Webpräsenz). Die Webpräsenz setzt Drupal ein, das Backend besteht aus einen Apache Webserver und einer MySQL Datenbank. Die Webpräsenz soll zur Kommunikation und Dokumentation des Instant-Grid Projektes dienen. Es soll möglichst offen für Entwickler und Community sein. Das Forum steht nach einer Registrierung per jeden Interessenten offen und wird in einen Bereich "Entwicklung" und einen Bereich "Benutzer" haben. Um Inhalte zu generieren gibt es neben einem normalen Forumeintrag die Möglichkeit, ein Artikel für kurze, nicht zu archivierende Mitteilungen (z.b. Termine) oder ein Buch für lange Inhalte, vorwiegend Dokumentation, zu verfassen. Hierbei stehen Wiki-Funktionalitäten zur Verfügung. Die beteiligten Gruppen werden gebeten, ein Logo zwecks Einbindung in die Webpräsenz zur Verfügung zu stellen. Im Gegenzug wird gebeten, einen Link zu der Drupal-Hilfe zu setzen. Ebenfalls soll die Suchfunktion, die momentan die gesamte Webpräsenz durchsucht, erweitert werden. Vorhandene Dokumentation kann im HTML-Format hochgeladen werden. Die Dokumentation der Instant-Grid-CD soll aus der Webpräsenz generiert werden und als statische Seiten auf der CD zur Verfügung stehen. Vorschläge, um den Kontakt zur Community aufzubauen, bzw. zu verbessern: Downloadstatistiken und ein Hinweis aka "Sites using Instant-Grid: xx". Kein direkter Download, sondern vorher optionale Frage nach adresse, um Kontakt aufzubauen. Dabei soll jedoch keine Hemmschwelle aufgebaut werden. Seite 5 von 6

6 zu TOP 7: Herr Franke und Herr Breuer berichten von der reduzierten Knoppix-Version. Die Größe des Images ist zur Zeit ~240 MB, es sollen 150 MB inklusive X-Windows möglich sein. Die WLAN-Unterstützung soll entfernt werden. Die Möglichkeit, Pakete aus dem Internet nachzuladen, ist gegeben, jedoch durch die RAM-Disk begrenzt. Eine Lösung für das Problem, dass Dateien neu in die RAM-Disk geladen werden, wenn nur das atime-attribut oder Zugriffsrechte geändert werden, kann nicht gegeben werden. Das reduzierte Knoppix basiert auf der Version Ein Entfernen der nicht benötigten Pakete kann nicht automatisiert werden und wird auch bei zukünftigen Knoppix-Releases per Hand durchgeführt. Eine Liste der vorhandenen Komponenten soll erstellt werden. ed-media wird gebeten, den Kernel für Computer mit mehr als 4GB RAM bereitzustellen und möglichst die Hardwareunterstützung zu erweitern (Myrinet, InfiniBand, Webcam, Audio). Eine 3D-Unterstützung soll auf OpenGL-Basis möglich sein (ATI, NVidia). Als Window-Manager soll IceWM zum Einssatz kommen. Als Sprachen sollen Deutsch und Englisch verfügbar sein, wobei die Dokumentation und die Tutorials auf Deutsch, die Applets nach Verfügbarkeit auf Deutsch und/oder Englisch und die Skripte und Fehlermeldungen auf Englisch zu erstellen sind. Der erste Eindruck der Instant-Grid-CD soll deutschsprachig sein, der Rest möglichst international. zu TOP 8: Als Middleware soll Globus Toolkit 4 zum Einsatz kommen. Eine zweite Version der Instant-Grid-CD mit zusätzlicher Fraunhofer Middleware soll ebenfalls zur Verfügung gestellt werden. Das Erstellen der Images ist Aufgabe der GWDG. Die Parteien testen ihre Applikationen, geben eine Integrationsbeschreibung und die GWDG testet das Gesamtpaket. Ein zusätzliches Testen des Gesamtpaketes von allen Beteiligten ist erwünscht. Die Kommunikation und der Datenaustausch sollen über die Webpräsenz erfolgen. Als Java-Umgebung soll Sun JAVA 1.5 zum Einsatz kommen, wobei die Applets kompatibel zu Sun JAVA 1.4 sein sollen. Alle anfallenden Konfigurationen sollen in Hinblick auf größtmögliche Flexibilität und der Verwendung eines Konfigurators durchgeführt werden (nicht statisch). Ein weiteres Treffen findet am Montag, den 13. Februar 2006 in den Räumen der Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen mbh (GWDG) statt. Andreas Félix (Schriftführer) Seite 6 von 6