Instant Grid Stand August 2006

Transkript

1 Instant Grid Stand August 2006

2 Instant Grid Stand August 2006 Projekttreffen 22/ Göttingen Andreas Hoheisel Helge Rosé Armin Wolf Tilman Linden Seite 2

3 Übersicht Fraunhofer-Middleware (AP2) Workflow-Management von Grid-Anwendungen, Automatisierung der Prozessabläufe Monitoring (AP3) ERAMAS (AP4) Visualisierung von Workflows Simulation von Schadstoffausbreitung in der Atmosphäre Seite 3

4 Workflow-Management System für Grid-Anwendungen n User Run Simple Globus Job Run Workflow Assemble/ Monitor Workflow Run Application Grid Portlet Application Portlet (POV-Ray, ERAMAS) D-GRDL GWorkflowDL Web Service Exist XML DB Grid Portlet Grid Workflow User Interface (GWUI) GWorkflowDL GWorkflowDL Web Services D-GRDL GWorkflowDL D-GRDL <D-GRDL> <GWorkflowDL> D-GRDL D-GRDL Grid Workflow Execution Service (GWES) Scheduler Resource Matcher Resource Updater WS-GRAM, RFT, SOAP Globus Toolkit 4, Web Services Ganglia /proc/* Seite 4

5 Nutzeranfrage formal beschreiben Automatische Workflow- Komposition Suche passender Dienste Optimierung der Auswahl Nutzeranfrage Abstrakter Workflow Service-Kandidaten Nutzeranfrage Ich Hier brauche sind diese Daten Service-Instanzen Abbildung auf Ressourcen Ressourcen Seite 5

6 Komponenten des Grid-Workflow-Management-Systems XML-Sprachen GWorkflowDL: Workflow-Beschreibungssprache Web Services GridSphere Portlets D-GRDL: Ressourcen-Beschreibungssprache (GResourceDL) GWES: Grid Workflow Execution Service ResourceMatcher: Sucht passende Ressourcen Scheduler: Optimiert Auswahl der Ressourcen Exist: XML-Datenbank Linuxtoolbox: Beispiel-Web-Services und Graph-Layout GWUI: Grid Workflow User Interface Anwendungsspezifische Portlets (POV-Ray, ERAMAS,...) Daemon ResourceUpdater: Aktualisiert die Ressourcenbeschreibung Seite 6

7 GWorkflowDL (Grid Workflow Description Language) Status! Spezifikation GWorkflowDL 1.0! Erweiterung von <operation> für WS-GRAM! Datentransfer entweder implizit (automatisch) als WS-GRAM FileStageIn oder explizit als FileTransferService (Web Service Kapselung von RFT)! Java-Bibliothek zum Erstellen, Parsen und zur Analyse von Workflows Distribution Dokumentation Seite 7

8 GWorkflowDL Beispiel abstrakt " konkret <workflow xmlns=" ID= NO_ID"> <place ID="begin"> <token><data><file xsi:type="xsd:string"> gsiftp://server:8080/workflows/cat/d25.dat </file></data></token> </place> <place ID="outputData"/> <transition ID="sort"> <inputplace placeid="begin" edgeexpression="input"/> <outputplace placeid="outputdata" edgeexpression="output"/> <condition>string-length($input/gwdl:token)>0</condition> <operation> <pe:programclassexecution softwareclass="urn:dgrdl:software:cat"> <pe:programexecution software="software:cat-fhrg hardware="hardware:server quality= 0.15 /> <pe:programexecution software="software:cat-fhrg hardware="hardware:brasilia quality= 0.95 selected= true /> </pe:programclassexecution> </operation> </transition> </workflow> Scheduler abstrakte Software-Klasse ResourceMatcher Seite 8

9 D-GRDL (D-Grid Resource Description Language) (GResourceDL) Status! Spezifikation XML Schema (reduziert für Instant- Grid)! Konzept zum Finden passender Ressourcen! Web Service zum syntaktischen Matching " ResourceMatcher Seite 9

10 ResourceMatcher Suche passender Ressourcen Software <resource uri="software:cat-fhrg"> <ofclass uri="urn:dgrdl:software:cat"/> <name>cat</name> <description>program that concatenates two files</description> <simpleproperty ident="executable" type="string" unit=""> /home/knoppix/workflows/cat/cat.sh </simpleproperty> </resource> Software-Instanz abstrakte Software-Klasse (" GWorkflowDL) Hardware <resource uri="hardware:server"> Hardware-Instanz <ofclass uri="urn:dgrdl:hardware"/> <name>server</name> <description>server host</description> <provides> Software-Instanz <resourceref uri="software:cat-fhrg"/> </provides> <simpleproperty ident="wsrf.managedjobfactoryservice" type="uri" unit=""> </simpleproperty> <simpleproperty ident="cpucount" type="int" unit="pcs">2</simpleproperty> <simpleproperty ident="cpuload" type="int" unit="percent">10</simpleproperty> </resource> abstrakte Software-Klasse # Hardware-Instanz Hardware-Instanz Hardware-Instanz Software-Instanz Software-Instanz Software-Instanz Seite 10

11 GWES (Grid Workflow Execution Service) Status! Version auf Basis von Web Services funktioniert! WS-GRAM und RFT funktioniert (meistens;-)! Integration: Scheduler (alias Prorater), ResourceMatcher, $ Testen und Debugging für Dokumentation Seite 11

12 Scheduler (alias Prorater) Ziel Status Konzept Einfache Optimierung der Ressourcenauswahl " möglichst vollständige Auslastung der CPUs der zur Verfügung stehenden Rechner (unabhängig von ihrer Leistungsfähigkeit) " Optimierung der Effizienz und damit des Durchsatzes über das gesamte Grid " KEINE Optimierung der Verweilzeit einzelner Aktivitäten bzw. Prozesse.! Portierung, Test, Integration Berücksichtigung der Ressourcenauslastung und Priorität des Workflows Keine advanced reservation Auswahl der Ressourcen kurz vor der Ausführun Alle passenden Rechner mit Load/CPU < 0,2 werden zufallsverteilt aktivierten Transitionen zugeteilt Dokumentation Seite 12

13 Exist XML-Datenbank Ziel Status Repository für Ressourcenbeschreibungen Persistenz von Workflows! Installation auf läuft! Verbindung zu ResourceMatcher und GWES! Füttern mit aktuellen Daten (" ResourceUpdater + Alexander Willner) Seite 13

14 GWUI (Grid Workflow User Interface) Ziel Visualisierung/Monitoring laufender Workflows Editieren von Workflows # Diplomarbeit von Tilman Linden Status! Prototypische Implementierung als Applet! Visualisierung von Workflows $ Editieren von Workflows $ Test und Integration Seite 14

15 Seite 15

16 Arbeitspaket 4: ERAMAS Benutzerschnittstelle Simulationsprogramm Visualisierung # Bachelor Thesis von Stefan Hinze Portierung und Bereitstellung des Moduls Schadstoffausbreitung in der Luft (3D-Lagrange- Modell). Die Visualisierung der Outputdaten geschieht derzeit mit dem OpenSource-Visualisierungswerkzeug Gnuplot und Vis5D. Seite 16

17 Known Bugs (GWES et al. auf 0.4) Probleme mit GridSphere im selben tomcat. GWES log4j.properties werden (manchmal) nicht richtig gelesen GWUI Applet funktioniert (manchmal) nicht auf Einblenden der Java Applet Console mit /usr/lib/j2sdk1.5-sun/jre/bin/controlpanel funktioniert nicht! Workflow gworkflowdl_loop.xml kann auf IG nach Beendigung nicht in exist- Datenbank geschrieben werden (Problem mit multiref-element) ResourceMatching funktioniert nicht auf (0 bids) Seite 17

18 Planung September 2006 Mai 2007 Tests Entwicklung von weiteren Test-Cases, die zugleich zur Demonstration verwendet werden können. Einbindung des Workflow-Management Systems in das Test-Framework von Instant Grid Stabilität + Skalierbarkeit Bedienbarkeit Prototyp debuggen, Zuverlässigkeit des Systems erhöhen, Speicherverbrauch reduzieren, Skalierbarkeit und Lastverteilung für große Workflows testen und demonstrieren Benutzerführung verbessern, Editieren von Workflows per GWUI, Tutorial Verwertung Vorbereitung German E-Science-Konferenz 2007, IBC 2006 in Amsterdam (Bedarf und Anforderungen der Medienindustrie ermitteln), Demonstration von ERAMAS +, Publikationen Seite 18

19 Vielen Dank! Kontakt: Seite 19