Instant Grid Stand Mai 2006

Transkript

1 Instant Grid Stand Mai 2006

2 Instant Grid Stand Mai 2006 Projekttreffen 04/ Göttingen Andreas Hoheisel Helge Rosé Tilman Linden Seite 2

3 Integration der Fraunhofer-Middleware (Arbeitspaket 2) Grid Job Handler Projektplan Ziel Workflow-Management von Grid-Anwendungen, Automatisierung der Prozessabläufe Anpassung an die Anforderung von : Erfassung der Anforderungen, Adaption auf die zur Verfügung stehende Java-Version, Überarbeitung der Benutzeroberfläche, ggf. Installation des Grid Job Handlers als Web Service Kompatibilität zu D-Grid und K-Wf Grid erhalten Grid Workflow Execution Service (GWES) + Hilfsdienste Probleme Portierung auf GT4 aufwändiger als geplant + Krankheit, Mitarbeiterwechsel, Industrieprojekte,... Seite 3

4 Monitoring (Arbeitspaket 3) Projektplan Für die Überwachung von Grid-Workflows wurde für das Fraunhofer Resource Grid (FhRG) ein Petrinet Monitor Panel entwickelt, welches den aktuellen Zustand von laufenden Grid-Anwendungen mit einigen Zusatzinformationen als Petrinetz darstellt. Das Petrinet Monitor Panel wird für in die angestrebte GridSphere-Portallösung eingebunden. Voraussetzung hierfür ist der Grid Job Handler aus Arbeitspaket 2. Grid Workflow User Interface (GWUI) Seite 4

5 Basis: Fraunhofer Resource Grid (GT2.4) n User Run Simple Globus Job Run Grid Job Assemble/ Run Grid Job Solve Problem 1 Web Portal Task Mapping GResourceDL l Web Services GResourceDL Repository n GResourceDL (SOAP) Java Application Grid Job Builder GResourceDL (SOAP) <hardware> <software> <data> <user> GJobDL (SOAP) m Grid Job Handler Web Service 1 (Meta) Scheduler RSL (GRAM), GridFTP Globus 2.4 MDS, LDAP Ganglia Seite 5

6 Neu: (GT4) mit Weiterentwicklungen aus K-Wf Grid und DGI n User Run Simple Globus Job Run Workflow Assemble/ Monitor Workflow Run Application Grid Portlet Application Portlet (POV-Ray, ERAMAS) GResourceDL GWorkflowDL Web Service Exist XML DB Grid Portlet Grid Workflow User Interface (GWUI) GWorkflowDL GWorkflowDL Web Services <GResourceDL> <GWorkflowDL> GResourceDL GWorkflowDL GResourceDL Grid Workflow Execution Service (GWES) RSL (WS-GRAM) Resource Matcher Scheduler Ganglia Globus 4 Seite 6

7 Komponenten des Grid-Workflow-Management-Systems XML-Sprachen GWorkflowDL: Workflow-Beschreibungssprache GResourceDL: Ressourcen-Beschreibungssprache Web Services GWES: Grid Workflow Execution Service ResMatcher: Sucht passende Ressourcen Scheduler: Optimiert Auswahl der Ressourcen Exist: XML-Datenbank GridSphere Portlets GWUI: Grid Workflow User Interface Anwendungsspezifische Portlets (POV-Ray, ERAMAS,...) Seite 7

8 GWorkflowDL (Grid Workflow Description Language) Status Spezifikation GWorkflowDL 1.0 Erweiterung von <operation> für WS-GRAM Java-Bibliothek zum Erstellen, Parsen und Analyse von Workflows Konzept Distribution Dokumentation siehe Folien vom letzten Treffen Seite 8

9 GWorkflowDL XML Schema Version 1.0 Seite 9

10 GWorkflowDL Beispiel <workflow xmlns=" xmlns:pe=" ID= sortworkflow"> <place ID="begin"> <token><data><file xsd:type="xsi:anyuri">input1.dat</file></data></token> <token><data><file xsd:type="xsi:anyuri">input2.sat</file></data></token> </place> <place ID="outputData"/> <place ID="hasBeenSorted"/> <transition ID="sort"> <description>sorts strings or numbers</description> <inputplace placeid="begin" edgeexpression="input"/> <outputplace placeid="outputdata" edgeexpression="output"/> <outputplace placeid="hasbeensorted"/> <condition>string-length($input/token)>0</condition> <operation> <pe:programclassexecution softwareclass= sort.xml"> <pe:programexecution software= ~/sort.sh" hardware= node15 quality= 0.9"/> <pe:programexecution software= ~/sort.sh" hardware= node20 quality= 0.3"/> </pe:programmclassexecution> </operation> </transition> </workflow> Seite 10

11 GResourceDL (Grid Resource Description Language) (D-GRDL) Status Spezifikation GResourceDL 2.0 (Warten auf D-Grid-Workshop nächste Woche) Konzept zum finden passender Ressourcen Web Service zum syntaktischen Matching ResMatcher Konzept siehe Vortrag von Armin Wolf (DGI) Seite 11

12 GResourceDL: Trennung zwischen Klassen und Instanzen (und Refs.) Beispiel <recourceclass uri=".../pentiumpc.xml"> <name>pentiumpc</name> <description>die Klasse der Intel-Pentium-PCs</description> <extends> <resourceclassref uri=".../pc.xml"/> <resourceclassref uri=".../intelx86.xml"/> </extends> </recourceclass>... <resource uri=".../harlekin.xml"> <ofclass> <resourceclassref uri=".../pentiumpc.xml"/> </ofclass>... </resource> Seite 12

13 GResourceDL: Anfrage nach einem PC, der ein matlab der Version 2.5 bietet: <resourcerequest uri=".../pc_matlab_request.xml"> <requires> <anyresource> <ofclass><resourceclassref uri=".../pc.xml"/></ofclass> <provides> <anyresource> <ofclass><resourceclassref uri=".../matlab.xml"/></ofclass> <satisfies> <isgreaterequal> <property name="version"/> <constant type="float">2.5</constant> </isgreaterequal> </satisfies> </anyresource> </provides> </anyresource> </requires> </resourcerequest> Seite 13

14 GResourceDL: Eine Antwort auf die Anfrage nach dem PC mit matlab: <resourceoffer uri=".../pc_matlab_request.xml"> <offers> <theresource uri=".../harlekin.xml"> <ofclass> <resourceclassref uri=".../pc.xml"/> </ofclass> <offers> <theresource uri=".../matlab_4_3_2.xml"> <ofclass> <resourceclassref uri=".../matlab.xml"/> </ofclass> </theresource> </offers> </theresource> </offers> </resourceoffer> Seite 14

15 GWES (Grid Workflow Execution Service) Status Version auf Basis von Web Services funktioniert Erste Erfolge mit WS-GRAM (Probleme mit Axis und GT4) Testen und Debugging Integration (Scheduler, ResMatcher, ) Dokumentation Seite 15

16 ResMatcher Ziel Historie Finden von passenden Ressourcen War bisher Bestandteil der Workflow Engine (Grid Job Handler), soll jetzt als eigener Web Service auf Basis der GResourceDL 2.0 implementiert werden Eventuell einfachere Variante für, da dort homogene Softwareumgebung vorhanden Status Grundgerüst vorhanden, Verbindung zu Exist-DB Mitarbeiter: Helge Rosé, Armin Wolf Erstellen von Ressourcenanfragen auf Basis von Workflow-Dokumenten Test + Integration Hinweis: Konkrete Workflows können auch ohne ResMatcher ausgeführt werden! Seite 16

17 Scheduler Ziel Status Einfache Optimierung der Ressourcenauswahl Gleichmäßige Ressourcenauslastung Prototyp aus dem Fraunhofer Resource Grid vorhanden Mitarbeiter: Helge Rosé Portierung, Test, Integration Konzept Berücksichtigung der Ressourcenauslastung und Priorität des Workflows Keine advanced reservation Auswahl der Ressourcen kurz vor der Ausführung (Nur aktivierte Transitionen werden dem Scheduler übergeben) Seite 17

18 Exist XML-Datenbank Ziel Status Repository für Ressourcenbeschreibungen Persistenz von Workflows Testinstallation bei Fraunhofer FIRST läuft Verbindung zu ResMatcher und GWES Füttern mit aktuellen Daten ( Alexander Willner) Ggf. für war-datei abspecken Seite 18

19 GWUI (Grid Workflow User Interface) Ziel Visualisierung/Monitoring laufender Workflows Editieren von Workflows Diplomarbeit von Tilman Linden Status Prototypische Implementierung als Applet Visualisierung von Workflows Editieren von Workflows Test und Integration Seite 19

20 Seite 20

21 Arbeitspaket 4: ERAMAS Benutzerschnittstelle Simulationsprogramm Visualisierung Entwicklung einer einfachen Benutzerschnittstelle zur Auswahl und Konfiguration von Unfallszenarien. Die nun vorhandene Benutzerschnittstelle wurde mittels HTML realisiert und als Portlet in Gridsphere implementiert. Portierung und Bereitstellung des Moduls Schadstoffausbreitung in der Luft (3D-Lagrange- Modell). Die Visualisierung der Outputdaten geschieht derzeit mit dem OpenSource-Visualisierungswerkzeug Gnuplot und Vis5D. Seite 21

22 Arbeitspaket 4: ERAMAS Benutzerschnittstelle Seite 22

23 Grid-Workshop zum Entwurf technischer Systeme in Dresden Hannover-Messe Ein Werkzeug zur Modellierung und Simulation komplexer technischer Systeme Verteilte Ausführung von mosilab auf Thilo Ernst Seite 23

24 Offene Punkte und Anregungen Arbeitsspeicher Scheduler GWES Problem vollaufender Arbeitsspeicher bei Verwendung einer Datenbank unter Knoppix über längere Dauer? Ausnutzen von echtem Festplattenplatz? Information über Auslastung der Ressourcen direkt aus Ganglia oder aus Exist-Datenbank? Alexander Willner Kann gemeinsames Dateisystem vorausgesetzt werden, oder wird GridFTP zur Ausführung von Workflows benötigt? Seite 24

25 Vielen Dank! Kontakt: Seite 25