Mitglied der Helmholtz-Gemeinschaft Grid Workflow Workshop 2008 Workflows in UNICORE und dem A-WARE Projekt 3. März 2008 Björn Hagemeier
Geschichte UNiform Interface to COmputing Resources nahtlos, sicher und intuitiv Anfängliche Entwicklung in zwei deutschen Projekten, die vom BMBF gefördert wurden 08/1997 12/1999: UNICORE Projekt Ergebnis: wohldefinierte Sicherheitsarchitektur mit X.509 Zertifikaten, einer intuitiven GUI und einer zentralen JobÜberwachung auf Basis von Codine 1/2000 12/2002: UNICORE Plus Projekt Ergebnis: verbesserte Implementierung (Ersatz von Codine durch NJS), erweiterte Job-Kontrolle (Workflows), anwendungsspezifische Benutzerschnittstellen (Plugins) Fortlaufende Entwicklungen in diversen EU-Projekten seit 2002 Seit Sommer 2004 unter Open Source BSD Lizenz verfügbar Folie 2
UNICORE 5 Client Folie 3
Projekte rund um UNICORE SmartLM D-MON PHOSPHORUS Chemomentum edeisa A-WARE OMII-Europe EGEE-II D-Grid IP CoreGRID NextGRID DEISA VIOLA UniGrids OpenMolGRID GRIDSTART GRIP EUROGRID UNICORE Plus UNICORE 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 Folie 4 2011
Design-Prinzipien Sehr gute Anwendungs- und Workflow-Unterstützung Einfach zu bedienende Clients (grafisch, Kommandozeile, Portal) Sicherheit (X.509, Proxy und VO Unterstützung) Einfache Installation and Konfiguration Ünterstützung vieler Betriebs- und Batch-Systeme Offen, Erweiterbar, Interoperabel End-to-End, nahtlos, sicher und intuitiv Einsatz in den goßen EU Infrastrukturen wie DEISA, OMII-Europe, D-Grid, NIC Open source (BSD license): http://www.unicore.eu Folie 5
UNICORE 6 Architektur commandline client Portal client, e.g. GridSphere X.509 Eclipsebased client SOAP WS-RF GPE application client WS-I JSDL Gateway UNICORE Atomic Services Gateway ByteIO OGSA-* BES JSDL Service Registry HPC-P RUS XNJS IDB scientific clients and applications UR UNICORE WS-RF hosting environment XACMLXACML entity UNICORE WS-RF hosting environment X.509 DRMAA Local RMS (e.g. Torque, LL, LSF, etc.) emerging standard interfaces ByteIO OGSA-* BES JSDL HPC-P RUS Grid services hosting UR XUUDB Target System Interface UNICORE Atomic Services authentication SAMLVOMS SAML XNJS IDB XACMLXACML entity UNICORE WS-RF hosting environment job incarnation & authorization Target System Interface DRMAA Local RMS (e.g. Torque, LL, LSF, etc.) parallel scientific jobs of multiple end-users on target systems Folie 6
Standards in UNICORE 6 Sicherheit Vollständige X.509 Zertifikate als Grundlage, XACML basierte Zugangskontrolle Unterstützung von SAML basiertem VOMS & X.509 Proxies in Entwicklung Informationssystem, Überwachung, Abrechnung GLUE 2.0 Informationsdienst in Entwicklung (Zusammenarbeit mit GLUE WG) OGSA-RUS für Abrechnung in Entwicklung (inkl. UR) Job Management OGSA-BES, HPC-P: Erzeugung, Überwachung und Kontrolle von Jobs Job-Definitionen kompatibel mit JSDL (+ JSDL HPC Erweiterung) DRMAA zur Kommunikation mit dem lokalen Ressourcen-Manager Daten Management OGSA-ByteIO für Server-zu-Server Transfers Web-Services (WS-RF 1.2, SOAP, WS-I) stack! Folie 7
Status 6.0 am 10. August 2007 veröffentlicht (über 1800 Downloads) Web services / WSRF core Basis Services (Registry, Jobs, Storage) XNJS zur Jobausführung Grafischer GPE Application Client Flexible Sicherheit mit X.509 Zertifikaten, SAML, XACML Standards: WSRF 1.2, JSDL 1.0, OGSA ByteIO Erweiterbarer Kommandozeilen-Client und Skript-Tools 6.0.1 am 23. Dezember 2007 veröffentlicht Bug fixes Schneller HTTPS basierter File Transfer 6.1 für Mitte März 2008 angekündigt Verbesserte Unterstützung von Workflows Interoperabilität (OGSA-BES) Neues Gateway RC am 22. Februar 2008 veröffentlicht Folie 8
GPE Application Client Folie 9
Rich Client Folie 10
UCC Kommandozeilen-Client Jobs ausführen, Statusabfrage, Ausgaben holen Einzelne Jobs und Batch-Modus Datenübertragung Client zu Server Server zu Server (3rd Party) Administratorfunktionen Jobs auflisten, Löschen, etc. UNICORE Ressourcen mit Groovy Skripts steuern Erweiterbar Neue Befehle, Erweiterung bestehender Befehle Folie 11
High Level API for Grid Applications (HiLA) Ein Interface, mehrere Implementierungen Einfache Entwicklung von Clients Wenige Zeilen für sonst komplexe Funktionen URI Schema UNICORE 5 & 6 OGSA-BES unicore6:/sites/fzj_juggle/storages/home ogsa:/sites/grow/tasks/910c9b56-d497-46f8-960f-eaee43e1af37 list auf allen Ebenen Sicherheit, Sites, Registries, etc. mittels Konfiguration http://www.unicore.eu/community/development/ Task t = HiLAFactory.getInstance().locate( new Location(this.args[0])); List<File> fl = t.getoutcomefiles(); Folie 12
Management und Überwachung Java Management Extensions (JMX) Unterstützung Folie 13
GUI Installer tar.gz basierter Installer weiterhin verfügbar Folie 14
Software, Source Code, Dokumentation, Tutorials, Mailing-Listen, Community: http://www.unicore.eu/ Folie 15
A-WARE An easy Way to Access grid Resources EU Projekt Laufzeit: 24 Monate Folie 16
Ziele Vereinfachung für den Benutzer Verwendung von GridRessourcen (Problemorientiert) Sicht auf Grid-Ressourcen Schließen der Lücke zwischen Middleware und Portalen Abstraktion der Back-Ends Vollständig integrierte Lösung Portal + A-WARE + Middleware Folie 17
Herausforderungen Workflow Management atomarer Aufrufe von Grid Ressourcen Virtualisierung verteilter Ressourcen mittels ESB (JBI) Integration weiterer Services Web-basiertes Design von Workflows Speicherung von Workflows und Metadaten in einem Repository Zugriff auf diverse Middlewares 1. UNICORE 2. g-lite Einsatz in produktiver Umgebung Folie 18
A-WARE Architektur JSR 168 Portal standard compliant (open source) Other consumers Workflow designer application (WDA) BPEL Workflow validation service (WVS) EU-1 technology components BPMN BPEL Workflow orchestrator service (WOS) UAS interface UAS interface Non OGSA middlewares OGSA OGSA interface BASE Workflow repository Service (WRS) Unicore/GS GTK4 glite Other Other LSF PROFILE Os/Storage Folie 19
Standards BPMN Business Process Modeling Notation BPEL 2.0 Business Process Execution Language JBI Java Business Integration SVG Scalable Vector Graphics Folie 20
Technologien Portal EnginFrame AJAX WDA Java Applet JUNG BPMNml WRS Speicher für Daten und Metadaten ASB Apache ServiceMix JBI Implementation Grid Component: UNICORE 5 & 6 WOS Apache ODE 1.1 Supports JBI BPEL 2.0 Folie 21
A-WARE Portal Portal Erste Lösung basierend auf EnginFrame Portal GridSphere als weitere Option XML/XSL AJAX EnginFrame user-friendly and application-oriented HPC job submission, control, monitoring and notification; simple and secure access to computing resources and data; sophisticated data management and monitoring for all stages of job lifetime integrated with all relevant Grid workload management systems. Folie 22
Workflows Design Service Binding Data Mapping Deploy Submit BPMN ABPEL BPEL -- SOAP Folie 23
Workflow Design Folie 24
Workflow Design Tasks from and to involved in data mapping Bounded task List of Activities are retrieved from selected XPATHs ASB Unbounded task BPMN DataFlow Elements WSDL of a service is retrieved from ASB Web form dynamically created from WSDL XML schema of involved messages Generated and List editable of Activity XML services from instance status ASB Folie 25
Weitere Informationen http://www.a-ware-project.eu/ Flyer Folie 26