Protokoll zum dritten Instant-Grid Meeting vom Mai 2006

Transkript

1 Protokoll zum dritten Instant-Grid Meeting vom Mai 2006 Inhaltsverzeichnis 1 Donnerstag, Tagesordnung Ansprache Herr Neumair Aktueller Stand des Projektes Versionskontrolle und Software-Pakete Integration der Fraunhofer-Middleware Stand und Entwicklung der Grid-Applikationen Test-Strategien für die Qualitätssicherung Stand des Projektes beim Projektträger und dem BMBF D-Grid 2nd call: Service Grids für Forschung und Entwicklung Freitag, Schnittstellen zu Gridsphere und Pov-Ray ERAMAS Grid-Search Gridlabs Sonstiges

2 1 Donnerstag, Ort: Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen mbh, Göttingen Beginn Do, : 13:30 Uhr, Ende Do, : 18:00 Uhr Beginn Fr, : 08:30 Uhr, Ende Fr, : 12:30 Uhr Anwesende: Christian Boehme, Jochen Breuer, Tim Ehlers, Steffen Franke, Wolfgang Gentzsch, Oswald Haan, Andreas Hoheisel, Tibor Kálmán, Rüdiger Krahl, Bernhard Neumnair, Ulrich Schwardmann, Dietmar Sommerfeld 1.1 Tagesordnung aktueller Stand des Projektes und der Instant-Grid-CD (Schwardmann) 2. Versionskontrolle und Software-Pakete (Kálmán) 3. Integration der Fraunhofer-Middleware (Hoheisel) 4. Stand und Entwicklung der Grid-Applikationen (alle) 5. Test-Strategien für die Qualitätssicherung (ed-media) 6. Stand des Projektes beim Projektträger und dem BMBF (Krahl) 7. D-Grid 2nd call: Service Grids für Forschung und Entwicklung (Boehme, alle) Schnittstellen und technische Details der Entwicklungen 8. Fraunhofer-Middleware 9. Schnittstellen zu Gridsphere 10. POV-Ray 11. ERAMAS 12. Grid-Search 13. Gridlabs 14. Sonstiges 1.2 Ansprache Herr Neumair Herr Neumair spricht dem Projekt ein Kompliment aus. Auf der ZKI-Frühjahrstagung wurde er überraschend gebeten etwas zum Projekt zu erzählen. Er betont, dass dies ein Beweis sei für die hohe Tragweite des Projektes. 1

3 1.3 Aktueller Stand des Projektes Herr Schwardmann gibt einen Überblick über den Stand des Projektes. Er weist darauf hin, dass die Monitorfunktion fertig ist (MDS, Ganglia). Access-Grid muss erneut zurück gestellt werden. Das Projekt verläuft ansonsten konform mit dem Projektplan. Herr Schwardmann stellt die neue, stabile Version 0.3 vor. Dabei weist er auf bekannte Fehler hin: 1. WebMDS und Gridsphere sind nicht gleichzeitig nutzbar. 2. Anmeldung im Gridsphere ist nur in Englisch möglich. Die letzte Version nach der alten Releasemimik wird die Version sein, deren wesentliche Neuerung in einem Curl-Skript besteht, der automatisch die MDS-Ressourcen im Gridsphere einträgt. Es kommt die Frage auf, ob Globus Toolkit ins Instant-Grid aufgenommen wird. Da es sich hauptsächlich um eine Bugfix-release handelt, wird beschlossen, dass in absehbarer Zeit auf gewechselt wird. Herr Schwardmann zeigt im Anschluss die Download-Statistik der ISOs. Im Januar haben 799 IPs den Download gestartet, davon ca. 33,49% Testing. Im April waren 2149 IPs an IG interessiert, 4,87% haben Testing gedownloaded. Den starken prozentualen Unterschied im Download der Testing-Version wird damit erklärt, dass im Januar ausdrücklich empfohlen wurde Testing zu benutzen. Im April war dieser Hinweis von der Website entfernt. Den vor den Download geschalteten Feedback-Bogen füllten 18 Personen aus. Davon waren 6 an Grid interessiert, 9 wollten IG für Cluster testen, 2 interessiert vorrangig Pov-Ray und 3 passten in keines dieser Klassen. Von den 18 Rückmeldungen waren 14 in englisch und 4 auf deutsch. Die Mitglieder des Projektes nutzen zu verschiedener Gelegenheit die Chance zur Information über das Projekt. Es gibt eine Veröffentlichung bei ICNS 06, Silicon Valley, USA, : Demonstration, Test and Development of Grid Applications with Instant-Grid. Eine weitere Veröffentlichung wurde bei Cluster2006 eingereicht, Barcelona, : Instant-Grid: Fully automated Middleware Deployment Using a Live-CD. Ein zum Treffen paralleler Vortrag wird von Andreas Félix auf dem Linux- Tag 2006 gehalten, Wiesbaden, : Instant-Grid: ein Grid in 15 Minuten. Desweiteren wird an einem Artikel für die c t gearbeitet: Rendern im Grid mit Globus Toolkit. Es gab einem Workshop: Gridsphere und Portlets am mit lokalen Teilnehmern. IG wurde auf dem Linux-Treffen der Max-Planck-Gesellschaft, Leipzig am vorgestellt. Auf dem Workshop Grid-Technologie für den Entwurf technischer Systeme, wurde IG benutzt: MOSILAB-on-InstantGrid-Demonstrator. Im Rahmen des Goe-Grid-Treffen am wurde Instant-Grid ebenfalls präsentiert. Herr Schwardmann weist auf die schon vorhandene Dokumentation unter instant-grid.de hin. Direkt vor dem Treffen wurden noch einige Flash-Videos zur Demonstration auf die Website gelegt. 2

4 Am beginnt eine Kooperation mit FIZ-Chemie GridSearch (Volltext-Indizierung). Das Projekt ist vor kurzem auf ein Versionierungssystem umgestiegen. Dabei gab es einige Probleme und Entscheidungen. Es wurde nicht einfach die gesamte CD unter Versionskontrolle genommen, da SVN damit so nicht umgehen kann. Desweiteren hat die Versionierung einzelner Pakete den Vorteil, dass sie auch getrennt nutzbar sind. Bei Gridsphere wird vor dem Paketierung aus dem SVN eine Kompilation durchgeführt. 1.4 Versionskontrolle und Software-Pakete Herr Kálmán stellt die Umsetzung der Versionskontrolle und die automatische Erstellung der Debian-Pakete dar. Für die Erstellung der Pakete müssen komplexe Abhängigkeiten definiert werden. Aber zunächst beginnt man mit einer reduzierten Knoppix Version. Der Inhalt des ISOs wird als master in einem Verzeichnis (nicht SVN) gelagert. Die darin enthaltene Datei des komprimierten Filesystems (compressed fs) wird ebenfalls extrahiert und als source abgelegt. Im Master-Baum müssen Bootlogo und linuxrc verändert werden. Das Eigentliche passiert im Source-Baum. Zunächst werden in einer chroot-umgebung zusätzliche originale Deb-Pakete installiert. Anschließend werden eigene Pakete wie Globus Toolkit, die einmal kompiliert und konfiguriert wurden, installiert. Diese Pakete kommen aus dem Filesystem repository. Sich oft ändernde Pakete werden dagegen im SVN gehalten (als Dateien) und müssen zur Verwendung ausgecheckt und paketiert werden. Danach können sie ebenfalls installiert werden. Desweiteren gibt es einen kurzen Weg, bei dem auch diese Pakete fertig aus einem Filesystemrepository genommen werden. Dieser Mechanismus ermöglicht eine schnelle Erstellung einer CD. Am Ende entsteht ein IG-ISO im Repository. Es entsteht die Frage, wie die externe Übermittlung von Software ablaufen soll. Es besteht die Möglichkeit das SVN mitzubenutzen, oder die Lieferung fertiger Releases. Ergebnis: da kein Zugriff auf das Filesystemrepository von außen möglich ist, muss alles ins SVN. Die Diskussion wirft noch eine weitere Frage auf: Warum soll nicht alles im SVN gehalten werden? Das wurde deshalb verworfen, weil SVN bei solch riesigen Datenmengen extrem langsam wird. Herr Kálmán beschreibt den Zugriff auf das SVN: Ein Apache ist konfiguriert als Schnittstelle zum lokalen SVN. Zur Zeit dürfen alle nur lesen. Herr Kálmán will aber SVN und Apache so anpassen, dass die Entwickler dann auch schreiben können. Desweiteren möchte er noch SSL im Apache aktivieren, so dass der Zugriff über https möglich wird. Herr Kálmán zeigt einige Client Programme zum Zugriff auf das SVN. Zur Zeit gibt es acht Instant-Grid Pakete, die teilweise Binärdistributionen enthalten, aber auch originale Debianpakete für Instant-Grid konfigurieren (bspw. Ganglia). Die Frage nach der Rückmeldung von Änderungen von Externen kommt auf. Es gäbe die 3

5 Möglichkeit ein diff zu schicken, oder ein geändertes Debian-Paket. Die arbeitsaufwändigste Lösung wäre sich auf eine Liste von Files mit Anleitung zu einigen. Diese Frage wird auf den Folgetag verlegt. 1.5 Integration der Fraunhofer-Middleware Andreas Hoheisel berichtet über die Integration der Fraunhofer-Middleware. Im ursprünglichen Projektantrag stand für den Grid Job Handler Anpassung an die Anforderung von Instant-Grid. Er soll nun auch zusätzliche Kompatibilität zu D-Grid und K-Wf Grid erhalten. Für die Überwachung von Grid-Workflows wurde für das Fraunhofer Resource Grid (FhRG) ein Petrinet Monitor Panel entwickelt, der auch im IG zum Monitoring verwendet werden soll. Dieser übernimmt die Darstellung als Petri-Netz. Allerdings soll er jetzt zusätzlich ein Workflow editor werden. Es gibt zwei Beschreibungssprachen: GWorkflowDL zur Beschreibung des Workflow und GResourceDL zur Beschreibung verfügbarer Ressourcen. Es wird einige Web-Services geben: GWES als Workflow Execution Service, ResMatcher zur Suche passender Ressourcen, einen Scheduler zur optimierten Auswahl der Ressourcen und Exist als XML-Datenbank. Die anwendungsspezifischen Portlets greifen auf das Grid Workflow User Interface (GWUI) zu. Das Vorgehen soll nun sein, möglichst schnell etwas funktionstüchtiges entstehen zu lassen. Dazu soll zunächst GWES, danach Monitoring angepasst werden. GWorkflowDL ist soweit fertig. Mit der GRessourceDL soll bis zum Grid Treffen gewartet werden. In den nächsten vier Wochen sollen ResMatcher und Scheduler folgen. GWES muss Dateien zwischen den Nodes kopieren. Herr Hoheisel möchte klären, ob er auf die IG Lösung des /clusterwork zurückgreifen soll, oder lieber Grid kompatibel GridFTP einsetzen soll. Es wird entschieden, langfristig GridFTP als Ziel anzupeilen, aber für eine kurzfristige Lösung erscheint auch /clusterwork akzeptabel. 1.6 Stand und Entwicklung der Grid-Applikationen Herr Boehme stellt die bisherige Umsetzung der Pov-Ray Applikation vor. Von der Grundstruktur ist die Umsetzung schon korrekt, aber zur Zeit noch auf Basis eines PHP- Skriptes. Herr Boehme zeigt eine Flash-Demo, während eine Diskussion über die Skalierungsmöglichkeiten von Poy-Ray beginnt. Es sollte möglich sein, die Anzahl der Rechner zu bestimmen. Nach Möglichkeit soll der Gewinn durch das verteilte Rechnen erkennbar sein z.b. durch Benchmarkangaben. Der Anfang könnte eine Benchmarkliste auf der Website sein. Es könnte auch eine Bestenliste veröffentlicht werden. Dabei entsteht allerdings das Problem der Vertrauenswürdigkeit. Die fertige Implementation soll dann auch eine ganze Bilderserie oder einen Film auf Knopfdruck rendern können. 4

6 Beim Einbau des AccessGrid besteht das Problem, dass das per Download zur Verfügung gestellte AccessGrid kompatibel zu GT2 ist. Das per CVS verfügbare ist immerhin für GT3. Leider gibt es nichts für GT4. Es besteht die Möglichkeit, auf eine Release für GT4 zu warten, oder die Kompatiblitätsbibliotheken im GT4 für GT2 zu verwenden. Bei GridLabs ist der Status ungeklärt, aber es besteht die Hoffnung, dass der Fortschritt schon sehr weit gediehen ist. GridSearch befindet sich erst seit dem 01. April in der Förderung, bei der es sich am IG Projekt beteiligt. Es besteht noch Klärungsbedarf, wie die Daten dem IG zur Verfügung gestellt werden sollen und die Anforderungen an die Infrastruktur. 1.7 Test-Strategien für die Qualitätssicherung Herr Breuer berichtet über die Tests, die ed-media zur Qualitätssicherung ausgearbeitet und durchgeführt hat. Es wurde in 4 Rechnerpools getestet. Dabei wurde geprüft, ob die Hardware automatisch richtig in Betrieb genommen und konfiguriert wurde. Darüberhinaus wurden auch Usability Tests mit Personen durchgeführt, die zwar keine Computerneulinge sind, aber mit Grid keine Erfahrung haben. Die Tests bestanden aus dem Booten aller beteiligten Rechner (Server und Client) und der Nutzung des Poy-Ray Skripts. Geplant sind weitere Tests in Rechnerpools aus anderen Fachbereichen. Bei den Tests gab es Probleme wegen unzureichender Kommunikation über die Anforderungen von IG an einen Rechnerpool. IG sollte deutlicher herausstellen, dass Adminrechte für die gesamte Infrastruktur des Pools notwendig sind (BIOS, vorhandener DHCP-Server, Switch etc.). Schließlich muss geklärt werden, wie das Feedback formalisiert werden kann (Fragebogen, Bugzilla). Kann IG eine Testsuite bereitstellen, oder eine Checkliste liefern, die die Versuchsperson dann einzeln abarbeiten kann? Die Klärung wird auf den Folgetag verschoben. 1.8 Stand des Projektes beim Projektträger und dem BMBF Herr Krahl berichtet über den Stand des Projektes beim Träger. Die German escience Konferenz wurde von 2006 auf 2007 verschoben. Herr Krahl betont aber, dass trotzdem eine stabile, lauffähige Version im November fertig sein soll. Als Ersatz könnte eine Präsentation beim BMBF stattfinden. Falls dort die technischen Voraussetzungen nicht gegeben sind, könnte die Präsentation auch in Göttingen sein. Es besteht das Problem, dass die 5

7 Förderung für das FIRST nur bis September läuft. Die Präsentation auf der Konferenz in 2007 könnte dann mittels eine live Demonstration ablaufen. Bis zum nächsten Treffen bittet Herr Krahl über weitere Nutzungsszenarien nachzudenken. Im BMBF hat sich die Struktur verändert. Lehre und Forschung an Hochschulen wird jetzt auf Landesebene geregelt. In dem Zusammenhang wird es keine e-learning Projekte mehr geben. Desweiteren existiert das Referat 522 (der Vertragspartner des Projektes) so nicht mehr. Es ist nun für Sicherheitsforschung zuständig mit neuer Mannschaft. Stattdessen ist das Referat 524 zuständig. Für das IG-Projekt bleiben die Ansprechpartner aber gleich. Das Referat 524 ( Softwaresysteme ) konzentriert nun alle Softwarebereiche auf sich. Der Bericht von Herrn Krahl vom letzten Treffen ist positiv im Ministerium aufgenommen worden. 1.9 D-Grid 2nd call: Service Grids für Forschung und Entwicklung Herr Boehme stellt die Brainstorming Ergebnisse zum Second Call vor. Kunden könnten eigene Applikationen in Auftrag geben, die dann entwickelt und auf einer IG CD integriert werden. Dazu müsste das IG eine Plattform bereit stellen, auf der man sich ein individuelles ISO zusammenstellen kann. Die Erfordernisse wären ein neues Paketmanagementsystem auf Basis eines Baukastenkonzepts, welches in Grundzügen schon existiert, aber noch weitgehend perfektioniert werden müsste. Ein mögliches Projekt wäre die Bereitstellung einer Umgebung, die aus einem Zertifikat ein Grid-Proxy-credential erzeugt. Z. Z. wird eine Globus Installation dafür benötigt. Man könnte für den VMware-Player ein Mini-IG bereitstellen, welches dann ein Nutzerinterface bietet um das Zertifikat zu erzeugen. Herr Hoheisel wirft ein, dass es für GT 2.4 ein Javatool gab, was so etwas erzeugt hat. Ob es etwas für GT 4 gibt bleibt aber unklar. Eine weitere Möglichkeit wäre die Entwicklung von Festplatteninstallationsmöglichkeiten. Es soll sich dabei um angepasste Speziallösungen handeln, die in eine vorhandene Linux Distribution integriert werden könnten. Desweiteren könnte das IG um die Öffnung seiner Ressourcen nach außen (ins D-Grid) erweitert werden. Diese Erweiterung müsste zunächst eine Machbarkeitsstudie sein, da noch nicht klar ist, ob die Schwierigkeiten wirklich überwunden werden können (Problem der Zertifizierung). Alternativ könnte eine Möglichkeit des Zusammenschlusses mehrerer IGs erarbeitet werden oder das IG wird zum Satelliten als Plattform für den Zugang ins D-Grid. 6

8 Im Antrag muss klar werden, für wen das IG oder seine Erweiterung sein soll. 2 Freitag, Anwesende: Christian Boehme, Jochen Breuer, Tim Ehlers, Andreas Félix, Steffen Franke, Oswald Haan, Andreas Hoheisel, Tibor Kálmán, Sven Laarks, Ulrich Schwardmann, Dietmar Sommerfeld Herr Schwardmann berichtet, dass Herr Krahl und Herr Gentsch das Projekt positiv sehen und es gute Chancen des weiteren Förderung gibt. Für den Second call muss ein stichhaltiger Vorschlag gemacht werden. Gut sei die Idee des IG als Client fürs D-Grid. Dabei muss aber im Antrag klar werden, welche Personengruppen damit angesprochen werden sollen. Evtl. könnte die Zielgruppe dabei Softwareentwickler sein. 2.1 Schnittstellen zu Gridsphere und Pov-Ray Herr Hoheisel berichtet über die Planung für den Second call am FIRST. Dort sollen Anwendungen für die Medienbranche erarbeitet werden. Er hält diese Überlegungen aber durchaus kombinierbar mit dem IG. Dazu müsste aber mind. eine Partei aus den Medien ins Boot genommen werden. Die Medien benötigen wenig Batch-jobs, es werden vor allem interaktive Jobs benötigt, die mit dem Grid kombiniert werden müssten. IG könnte beispielsweise eine Portallösung bereitstellen, die ein Grid hinter einer Firewall bereit stellt. FIRST wäre für den Second call in solch einem Szenario nicht mehr Unterauftragnehmer. Es gäbe dann ein Konsortium mit allen Partnern. Bis Ende des Monats sollen alle Partner Ideen für den Second call sammeln. Außerdem soll es ein Treffen mit Andreas Hoheisel, Herrn Schwardmann und Alexander Willner in Berlin geben. Herr Schwardmann hat die Idee, dass das Institut für wissenschaftlichen Film evtl. Interesse an einer Partnerschaft mit Medien-Fokus haben könnte. Die Nutzbarkeit für die Medien muss allerdings eingeschränkt gesehen werden. Bspw. Special Effects sind nicht wiederverwertbar und werden speziell für diesen einen Zweck geschrieben. Eine aufwändige Vernetzung lohnt da wahrscheinlich nicht. Für die Übermittlung externer Daten gibt es bei ed-media kein Problem. ed-media wird einfach wie zuvor ein reduziertes Image zur Verfügung stellen, was dann per Hand eingepflegt wird. Bei FIRST ist es nicht so einfach, bspw. benutzt Herr Hoheisel Maven anstelle von ant. Es muss außerdem geklärt werden, welches SVN dann eigentlich zuständig sein soll. Für die tägliche Arbeit wird Herr Hoheisel weiterhin das SVN von Fraunhofer nutzen, für die CD ist allerdings das SVN der GWDG zuständig. Der Abgleich könnte per 7

9 Skript erfolgen. Dann würde die GWDG selbst Pakete erstellen und kompilieren. Oder der Abgleich erfolgt per Hand als fertiges war-archiv, die in das SVN eingepflegt werden. Die Entscheidung fällt zugunsten der händischen Lösung. Herr Hoheisel wird unter einer eigenen User-ID im SVN war-archive ablegen. Es folgt nun eine Diskussion über Portlets. Als Beispiel wird über das Pov-Ray Portlet gesprochen, das als Petri-Netz-Visualisierung die WorkflowDL von Fraunhofer nutzen soll. Browser http? Kommunikation zwischen GWUI und Execution Service Portlet Java Applet GWUI Pov Ray SOAP in PARAM out Pov Ray WS GWES initialise Workflow (XML) WS GRAM Pov Ray pvray.sh input... output... param... (a) Kommunikation zwischen GWUI und Execution Service Anzahl Rechner max. Anzahl Bildteile (b) GWorkflowDL Abbildung 1: Kommunikation zwischen GWUI und Execution Service und GWorkflowDL Pov Pov Preproc Pov Postproc Pov Pov i (a) Erste Möglichkeit der Gestaltung des Workflow (b) Zweite Möglichkeit der Gestaltung des Workflow Abbildung 2: Möglichkeiten der Repräsentation des Workflow Für die Nutzer scheint die erste Möglichkeit der Workflowrepräsentation ansprechender zu sein. Für den Einstieg soll Herr Félix einen Graphen zeichnen, der von Herrn Hoheisel dann in ein XML-Skelett verwandeln wird. Wenn das Portlet irgendwann in der Lage ist Animationen zu berechnen, wird die zweite Repräsentation sinnvoller sein, da das Petri-Netz sonst zu unübersichtlich wird. 2.2 ERAMAS Für Eramas wird ein war-file ins Repository eingestellt und für die Binaries wird ein tar-file übermittelt. Herr Kálmán wird daraus ein deb-paket erzeugen. 8

10 2.3 Grid-Search Herr Langner von Fiz-Chemie konnte leider nicht kommen. Die Diskussion über die Schnittstellen wird verschoben. 2.4 Gridlabs Die Webapplikation Cure ist so gut wie fertig. Sie soll die Simulation von Mikrorechnern übernehmen. Die nötigen Applets, die Webcams simulieren sollen sind ebenfalls fertig. Für das Online-Applet ist die Serverapplikation noch nicht einsatzfähig. Die Übermittlung erfolgt ebenfalls als war-file. Zusätzlich wird eine server.xml mit der Konfiguration für den Tomcat übermittelt. Cure ist etwa 60 MByte groß. Darin enthalten sind allerdings 15 MByte HTML Hilfe, die entfernt werden könnte. Ebenfalls enthalten sind ca MByte pdf-hilfe, die allerdings bleiben soll. Dazu kommen noch Videos, deren Größe noch nicht angegeben werden kann. Cure-Logs können über log4java auf das Portal als Portlet zusammengeführt werden. Das Channel-Applet soll auf Port 8888 hören und ist für die Kommunikation (Chat) zuständig. Desweiteren gibt es einen Remote Manager Port Insgesamt braucht Gridlabs etwa 256 MByte zusätzliches RAM. Das Projekt ist bis Juni/Juli finanziert. 2.5 Sonstiges Im November wird es eine Vorführung beim BMBF geben. Knoppix 5 wird es nicht als CD Version geben, aber ed-media wird aus der DVD Version eine reduzierte Version erstellen. Ed-media will herausfinden, wann beim Start von Knoppix das KNOPPIX-Home erstellt wird. Für die Qualitätssicherung soll eine Checkliste oder ein Workflow erstellt werden. Die Appletprogrammierer sollen für ihr Applet Tests bereit stellen, wenn möglich als Shell- Skript. Ed-media wird dann die definierten Tests regelmäßig mit dem nightly-build durchführen. Es soll eine Instruktionsseite der Tests im Portal stehen. Teile davon sollen auch auf der 9

11 IG-Website erscheinen. Für die Qualitätssicherung bei Pov-Ray könnte man das errechnete Bild mit einem vorberechneten Bild vergleichen (MD5). Für das Demonstationssystem müssen noch Sicherheitsfragen geklärt werden. Evtl. wird das System nicht von CD, sondern von HD gestartet (dazu wird ein Skript für die Festplatteninstallation benötigt) und zusätzlich wird ein Skript für die Härtung des Systems benötigt. Der Termin für das nächste Treffen wird auf Ende August, in die 34. Kalenderwoche gelegt. Es soll wieder 2 Tage dauern. Dabei soll es entweder Di (21.08.) und Mi (22.08.) oder Mi (22.08.) und Do (23.08.) stattfinden. 10