Protokoll zum vierten Instant-Grid Meeting vom August 2006

Transkript

1 Protokoll zum vierten Instant-Grid Meeting vom August 2006 Inhaltsverzeichnis 1 Dienstag, Tagesordnung Agenda Integration Fraunhofer-Middleware Ressourcen-Datenbank und DGRDL POV-Ray Workflow GridLabs GridSearch Knoppix Arbeitsplan bis Projektende Mittwoch, Integr. Fraunhofer-MW, DGRDL GridLabs GridSearch Qualitätssicherung / Knoppix Konferenz GES

2 1 Dienstag, Ort: Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen mbh, Göttingen Beginn Di, : 13:30 Uhr, Ende Di, : 18:30 Uhr Beginn Mi, : 09:00 Uhr, Ende Mi, : 13:15 Uhr Anwesende: Christian Boehme, Jochen Breuer, Tim Ehlers, Jan Engelhardt, Andreas Hoheisel, Tibor Kálmán, Roland Kunze, Michael Langer, Ludger Menzel, Ulrich Schwardmann, Alexander Willner 1.1 Tagesordnung Schnittstellen und technische Details der Entwicklungen 1. Integration Fraunhofer-Middleware (Hoheisel) 2. Ressourcen-Datenbank und DGRDL (Willner) 3. Eramas (Hoheisel) 4. POV-Ray Workflow (Boehme, Schwardmann) 5. GridLabs (Menzel) 6. GridSearch (Langner) 7. Qualitätssicherung / Knoppix5 (ed-media) 8. Arbeitsplan bis Projektende (alle) Stand des Projektes (Schwardmann) Ergebnisse vom Vortag 10. Integr. Fraunhofer-MW, DGRDL (Hoheisel,Willner) 11. GridLabs (Menzel) 12. GridSearch (Langner) 13. Qualitätssicherung / Knoppix5 (ed-media) 14. Planungen Konferenz GES 2007 (alle) 15. Aufstockung des Projektes (alle) 16. Sonstiges (alle) 1.2 Agenda Ulrich Schwardmann begrüßt alle Anwesenden. Die Agenda der zwei Tage sieht vor, dass am ersten Tag über die technischen Details gesprochen wird. Die Ergebnisse des ersten Tages sollen dann am zweiten Tag Herrn Krahl vorgestellt werden. Der zweite Tag soll 1

3 desweiteren dazu dienen die Planung für die German e-science Konferenz zu fixieren und über eine mögliche Aufstockung des Projektes zu diskutieren. 1.3 Integration Fraunhofer-Middleware Andreas Hoheisel stellt die Personen vor, die neben ihm am Instant-Grid Projekt beim FIRST beteiligt sind: Helge Rosé, Armin Wolf und Tilman Linden. Herr Hoheisel berichtet über Neues bei den Komponenten des Grid-Workflow-Management-Systems, welches sich langsam dem Endzustand nähert. Neu implementiert sind der ResourceMatcher, der passende Ressourcen sucht, der Scheduler, der die Auswahl der Ressourcen optimiert, die Linuxtoolbox, die Beispiel-Web-Services und Graph-Layouts bereitstellt und der ResourceUpdater, der die Ressourcenbeschreibung aktualisiert (/proc/cpuinfo etc.). Bei der Grid Workflow Description Language (GWorkflowDL) werden die Daten entweder implizit (automatisch) als WS-GRAM FileStageIn oder explizit als FileTransferService transferiert. Herr Hoheisel stellt in einem Beispiel die GWorkflowDL dar. Der Dezimalwert des Tags Anzahl CPUs Quality ergibt sich durch. Ebenso erklärt er die Funktionsweise des ResourceMatchers. Beim GWES funktionieren nun WS-GRAM und RFT. Der Scheduler ist Load kein eigener Service. Er ist eine Bibliothek im GWES. Das GWUI ist größtenteils aus der Diplomarbeit von Tilman Linden entstanden. Die Benutzerschnittstelle zu ERAMAS wurde durch die Bachelorarbeit von Stefan Hinze entwickelt. Die bekannten Probleme im Instant-Grid 0.4 stellen sich wie folgt dar: Probleme mit GridSphere im selben tomcat GWES log4j.properties werden (manchmal) nicht richtig gelesen GWUI Applet funktioniert (manchmal) nicht auf Instant-Grid Einblenden der Java Applet Console mit /usr/lib/j2sdk1.5-sun/jre/bin/controlpanel funktioniert nicht! Workflow gworkflowdl loop.xml kann auf IG nach Beendigung nicht in exist-datenbank geschrieben werden (Problem mit multiref-element) ResourceMatching funktioniert nicht auf Instant-Grid (0 bids) Herr Hoheisel plant bis Mai 2007 die Entwicklung von weiteren Test-Cases, die zugleich zur Demonstration verwendet werden können. Desweiteren ist die Einbindung des Workflow- Management Systems in das Test-Framework von Instant Grid geplant. Durch Debuggen des Prototyps soll die Zuverlässigkeit des Systems erhöht und der Speicherverbrauch reduziert werden. Skalierbarkeit und Lastverteilung für große Workflows sollten getestet und demonstriert werden. Die Benutzerführung soll verbessert werden. Es soll möglich werden per GWUI Workflows zu editieren. Desweiteren soll ein Tutorial entstehen. 2

4 1.4 Ressourcen-Datenbank und DGRDL Alexander Willner stellt seine Grid-Ressource Datenbank (GRDB) vor. Der Deamon zur Aktualisierung läuft auf jedem Rechner. Die GRDB setzt auf Ganglia oder MDS auf. Das GRDB Portlet konfiguriert den Deamon. Zum Start wird grdbd lokal.sh aufgerufen. Die Funktion zum Austragen eines verschwundenen Clients muss noch implementiert werden. 1.5 POV-Ray Workflow Im Pov-Ray Workflow soll es kleine Schleifen für Fehlerbehandlung geben, damit bei einem Fehler nicht komplett neu begonnen werden muss. Der nächste Schritt soll sein, dass Herr Hoheisel eine XML-Datei aus dem vorhandenen Petri-Netz schreibt. Für die Lastverteilung besteht das Problem, dass die Veränderung der Load nicht zeitnah erkannt wird. Das Pre-Processing wird dann als Shell-Skript realisiert. 1.6 GridLabs GridLabs ist ein Projekt der FernUniversität Hagen im Lehrgebiet Rechnerarchitektur. Die CD-Version wird eine Simulation. Es wird eine Webcam, ein Mikrorechner und Experimente simuliert. Zusätzlich wird es Dokumentation über GridLabs geben. In der Realität laufen Servlets auf Mini-Webservern zur Kommunikation mit der Hardware. Die CD- Version enthält drei Demo-Räume und einen echten Raum, der zu einem echten Raum in Hagen führt, wenn Internetanbindung besteht. Die Simulation des Mikro-Rechners wird mit einem Muces Applet realisiert. Zur Zeit kann nur ein User gleichzeitig im Labor sein. Es ist aber angedacht, einen offenen Raum für alle zu implementieren, ohne Schlüsselvergabe. Herr Menzel hat keine Informationen darüber, ob das Mikrorechner-Applet den Status weitergibt, damit andere die Aktivität sehen. Der Simulator ist frei programmierbar durch händische Eingabe von hexadezimalen Werten. Das Experiment ist fertig, die Räume werden bis Ende September gefüllt sein. Es besteht weiterhin das Problem mit verschiedenen Webapplikationen im gleichen Tomcat. Falls das Problem nicht gelöst werden kann, bleibt die Möglichkeit, zwei Tomcats zu verwenden, die auf verschiedenen Ports laufen oder beim Wechsel der Applikation den Tomcat umkonfiguriert neu zu starten. 1.7 GridSearch Herr Langner stellt GridSearch vor. GridSearch ist eine verteilte Suche im Grid. Im Instant-Grid sollen Festplatten und Hotplug Devices auf den Clients und Server inde- 3

5 xiert werden. Im wesentlichen ist GridSearch ein Wrapper für swish-e. Die Filter für die verschiedenen Formate stecken in der Datei gs dumper. Für IG muss die Frage geklärt werden, ob GridSearch per default starten soll. Dies soll nicht passieren. Der default soll aus sein, aber auf dem Server zentral einschaltbar. Die Indexierung soll dezentral auf dem jeweiligen Rechner selbst passieren. Die erzeugten Index-Files werden dann per NFS auf den Server kopiert. Die Suche läuft dann zentral auf dem Server. CDs und USB-Sticks sollen auf den Klienten generell durchsucht werden. Festplattenpartitionen werden nur durch entsprechende Freischaltung indexiert. Dazu wird ein Verzeichnis GRIDSEARCH angelegt. Anhand der Indexnummer soll es dann möglich sein per Browser über einen http-server auf den Clients an die original-dateien heran zu kommen. Die finale Entscheidung wird aber vertagt. Zunächst muss das Nutzungsszenario geklärt werden. 1.8 Knoppix5 Bisher gibt es keine Lösung für den Test höherer Dienste per Skript. Die derzeitige reduzierte Version 5 ist zu groß mit überflüssigen Paketen. Einige benötigte Pakete fehlen in dieser Version. Ed-Media wird eine neue Version basierend auf der CD Version der Knoppix liefern. Es soll eine Datei (ähnlich /etc/suse-release) geben, die immer die zugrunde liegende Knoppix Version enthält. Zusätzlich wird Ed-Media ein Changelog einführen, wo die Änderungen zur original Knoppix nachvollziehbar werden. 1.9 Arbeitsplan bis Projektende 30. Sep. Ende des Projekts 23. Nov. Gö-Grid Symposium Vortrag mit Demo und Stand für Instant-Grid 30. Nov. Ende GridSearch Mai GES-Konferenz Zielvorgabe: bis Fraunhofer (inkl. ERAMAS)/Gridlabs bis GridSearch Es soll jetzt ein Release mit > 750 MB bis Ende nächster Woche geben. Die Integration von Accessgrid in GT4 ist gescheitert, da die Anpassungen für Version 4 zu groß wären. Stattdessen wird es ein Bündel Software als Ersatz geben: 4

6 gobby, ein kolaborativer Texteditor InkScape mit Kolaborationsfunktion durch jabba VNC Die Dokumentation des Projekts ist schon sehr weit (auf den Web-Seiten). Evtl. muss die Gliederung noch einmal überarbeitet werden. Große Teile sind bereits ins Englische übersetzt. 2 Mittwoch, Anwesende: Christian Boehme, Jochen Breuer, Tim Ehlers, Jan Engelhardt, Oswald Haan, Andreas Hoheisel, Tibor Kálmán, Rüdiger Krahl, Roland Kunze, Michael Langer, Ludger Menzel, Ulrich Schwardmann, Alexander Willner Herr Schwardmann gibt zunächst eine Übersicht über den ersten Tag. Herr Krahl merkt an, dass offen gesprochen werden soll. Umfang und Vorgehensweise muss beim Aufstockungsantrag klar herausgestellt sein. Herr Schwardmann merkt zu den Milestones an, dass die allgemeine Dokumentation zu Grid noch fehlt. Auf der Supercomputing Konferenz war die Werbung nicht so wie angedacht. Der Stand des DGrid war größtenteils unbesetzt und das Instand-Grid Team deshalb als einzige am Stand. Zur Verwertung: Auf dem LinuxTag war das Publikum zwar eher eingeschränkt vertreten, aber sehr interessiert. In der C t wird ein Artikel mit ca. 5 Seiten erscheinen. Arbeitsplan bis Projektende: Im Projekt AccessGrid werden die Kollaborationsanteile nicht weiterentwickelt. Es soll daher eine alternative Lösung für die Kollaboration angestrebt werden. Lösung: Gobby (bis Ende September) als Texeditor Lösung: InkScape (später) als Vektorgrafiktool VNC technisch möglich, konzeptionelle Arbeit nötig 5

7 2.1 Integr. Fraunhofer-MW, DGRDL Herr Hoheisel stellt noch einmal die Fraunhofer-Middleware vor. Herr Willner zeigt die aus seiner Masterarbeit entstandenen GRDB-Portlets. 2.2 GridLabs Herr Menzel beschreibt erneut die Funktionen von GridLab auf der IG-CD. Für eine Aufstockung zur Integration der Gruppenfunktionalität werden nach seiner Einschätzung 6 Mann-Monate benötigt. Herr Krahl sieht Notwendigkeit kollaborativer Elemente und will Rücksprache halten. 2.3 GridSearch Herr Langner stellt das Projekt GridSearch vor. Für die Integration in IG wird ein Dialog- System für den Nutzer benötigt. Die Integration soll bis spätestens Mai 2007 fertig sein. 2.4 Qualitätssicherung / Knoppix5 Herr Breuer stellt die neue Funktion knxsaveback vor, mit der ein definierter Zustand einer Knoppix CD eingefroren werden kann. Herr Schwardmann hält das für eine sinnvolle Erweiterung für die IG-CD. Theoretisch kann diese Funktion auch in einer Festplatteninstallation benutzt werden. Herr Haan merkt an, dass ed-media auch eine Testreihe für die Hardwareerkennung mit der neuen Knoppix Version durchführen sollte. 2.5 Konferenz GES 2007 Bis November Exposés Vorhaben: 1. Live-Demonstation mit Bootvorgang und Verteilung der CD 2. Stand mit Anwesenheit und laufendem IG. Es muss eine Infrastruktur für PXE- Klienten geben. Ggf. soll der Start auch über Diskette/CD als Client möglich sein. Realisierung ist noch offen, Herr Krahl wird Rücksprache halten. Für Herrn Hoheisel ist der Termin im November unglücklich, da eine konkurrierende Veranstaltung für Ihn in Frankreich stattfindet. 6

8 Herr Krahl hält die CD aufgrund des Zwischenberichts für nicht so robust. Herr Schwardmann erklärt, dass der Hinweis im Zwischenbericht bezogen auf Inkompatibilitäten mit Gridsphere war. Herr Krahl macht noch einmal deutlich, dass das Ziel des BMBF ein Grid for Everybody ist. Dabei sei die C t-cd sehr wichtig. Die Zielgruppe der C t sei gemischt, daher sei sie optimal. Im Call for papers sollen folgende Punkte beschrieben werden: Demonstration der Möglichkeiten von Grid-Technologien Präsentation des Startvorgangs Aufzeigen des Herantretens an den Benutzer Ein konkretes Nutzungsszenario aufzeigen Herr Krahl möchte alle Möglichkeiten auch ins Exposé aufgenommen wissen. Ungeklärt bleibt die Frage, ob die Konferenz nur in englischer Sprache stattfindet. Für die Aufstockung des Projekts ist wichtig: Was ist fertig bis zum Was ist anders geworden? Begründung. Was kommt? Ziele, Kosten (inkl. Priorisierung) Dabei sollen auf der GES-CD nur fertige Dinge enthalten sein Argument: Mannschaft muss zur GES noch zur Verfügung stehen Herr Krahl möchte bis Dienstag klare Zielvorgaben. Die Bewilligung wird voraussichtlich bis zum geschehen sein. Mögliche Verbesserungen durch die Aufstockung: ERAMAS wird im September in einem experimentellen Stadium sein Gobby wird bis September integriert sein Testverfahren sind inzwischen nicht mehr nice-to-have, sondern haben Demonstrationscharakter und sind notwendig, wenngleich im bisherigen Auftrag nicht vorhanden. knxsaveback ebenso eine wichtige Ergänzung 7

9 Inkompatibilitäten sind teilweise nicht bis September behoben Speicheroptimierung sehr zeitaufwändig, aber zwingend notwendig Tests der Skalierbarkeit wären ebenso wünschenswert Herr Krahl möchte wissen mit wieviel Personenmonaten die obigen Ziele erreicht werden können. GWDG: 2x6 Mannmonate FIRST: 4-5 Mannmonate GridLab: < 6 Mannmonate ed-media: 3 Mannmonate Die Aufstockung würde dann eine Weiterbeschäftigung der beteiligten Personen bis Ende Mai 2007 bedeuten. Der Antrag soll schnellstmöglich angefertigt werden. Abschließend wird besprochen, dass es ggf. am 07./ ein weiteres Meeting geben könnte und das vorläufige Abschlusstreffen wird auf den festgelegt. Wenn die Aufstockung bewilligt wird, wäre das Abschlusstreffen dann die GES