Mitglied der Helmholtz-Gemeinschaft. Grid Workflow Workshop 2008 Workflows in UNICORE und dem A-WARE Projekt

Transkript

1 Mitglied der Helmholtz-Gemeinschaft Grid Workflow Workshop 2008 Workflows in UNICORE und dem A-WARE Projekt 3. März 2008 Björn Hagemeier

2 Geschichte UNiform Interface to COmputing Resources nahtlos, sicher und intuitiv Anfängliche Entwicklung in zwei deutschen Projekten, die vom BMBF gefördert wurden 08/ /1999: UNICORE Projekt Ergebnis: wohldefinierte Sicherheitsarchitektur mit X.509 Zertifikaten, einer intuitiven GUI und einer zentralen JobÜberwachung auf Basis von Codine 1/ /2002: UNICORE Plus Projekt Ergebnis: verbesserte Implementierung (Ersatz von Codine durch NJS), erweiterte Job-Kontrolle (Workflows), anwendungsspezifische Benutzerschnittstellen (Plugins) Fortlaufende Entwicklungen in diversen EU-Projekten seit 2002 Seit Sommer 2004 unter Open Source BSD Lizenz verfügbar Folie 2

3 UNICORE 5 Client Folie 3

4 Projekte rund um UNICORE SmartLM D-MON PHOSPHORUS Chemomentum edeisa A-WARE OMII-Europe EGEE-II D-Grid IP CoreGRID NextGRID DEISA VIOLA UniGrids OpenMolGRID GRIDSTART GRIP EUROGRID UNICORE Plus UNICORE Folie

5 Design-Prinzipien Sehr gute Anwendungs- und Workflow-Unterstützung Einfach zu bedienende Clients (grafisch, Kommandozeile, Portal) Sicherheit (X.509, Proxy und VO Unterstützung) Einfache Installation and Konfiguration Ünterstützung vieler Betriebs- und Batch-Systeme Offen, Erweiterbar, Interoperabel End-to-End, nahtlos, sicher und intuitiv Einsatz in den goßen EU Infrastrukturen wie DEISA, OMII-Europe, D-Grid, NIC Open source (BSD license): Folie 5

6 UNICORE 6 Architektur commandline client Portal client, e.g. GridSphere X.509 Eclipsebased client SOAP WS-RF GPE application client WS-I JSDL Gateway UNICORE Atomic Services Gateway ByteIO OGSA-* BES JSDL Service Registry HPC-P RUS XNJS IDB scientific clients and applications UR UNICORE WS-RF hosting environment XACMLXACML entity UNICORE WS-RF hosting environment X.509 DRMAA Local RMS (e.g. Torque, LL, LSF, etc.) emerging standard interfaces ByteIO OGSA-* BES JSDL HPC-P RUS Grid services hosting UR XUUDB Target System Interface UNICORE Atomic Services authentication SAMLVOMS SAML XNJS IDB XACMLXACML entity UNICORE WS-RF hosting environment job incarnation & authorization Target System Interface DRMAA Local RMS (e.g. Torque, LL, LSF, etc.) parallel scientific jobs of multiple end-users on target systems Folie 6

7 Standards in UNICORE 6 Sicherheit Vollständige X.509 Zertifikate als Grundlage, XACML basierte Zugangskontrolle Unterstützung von SAML basiertem VOMS & X.509 Proxies in Entwicklung Informationssystem, Überwachung, Abrechnung GLUE 2.0 Informationsdienst in Entwicklung (Zusammenarbeit mit GLUE WG) OGSA-RUS für Abrechnung in Entwicklung (inkl. UR) Job Management OGSA-BES, HPC-P: Erzeugung, Überwachung und Kontrolle von Jobs Job-Definitionen kompatibel mit JSDL (+ JSDL HPC Erweiterung) DRMAA zur Kommunikation mit dem lokalen Ressourcen-Manager Daten Management OGSA-ByteIO für Server-zu-Server Transfers Web-Services (WS-RF 1.2, SOAP, WS-I) stack! Folie 7

8 Status 6.0 am 10. August 2007 veröffentlicht (über 1800 Downloads) Web services / WSRF core Basis Services (Registry, Jobs, Storage) XNJS zur Jobausführung Grafischer GPE Application Client Flexible Sicherheit mit X.509 Zertifikaten, SAML, XACML Standards: WSRF 1.2, JSDL 1.0, OGSA ByteIO Erweiterbarer Kommandozeilen-Client und Skript-Tools am 23. Dezember 2007 veröffentlicht Bug fixes Schneller HTTPS basierter File Transfer 6.1 für Mitte März 2008 angekündigt Verbesserte Unterstützung von Workflows Interoperabilität (OGSA-BES) Neues Gateway RC am 22. Februar 2008 veröffentlicht Folie 8

9 GPE Application Client Folie 9

10 Rich Client Folie 10

11 UCC Kommandozeilen-Client Jobs ausführen, Statusabfrage, Ausgaben holen Einzelne Jobs und Batch-Modus Datenübertragung Client zu Server Server zu Server (3rd Party) Administratorfunktionen Jobs auflisten, Löschen, etc. UNICORE Ressourcen mit Groovy Skripts steuern Erweiterbar Neue Befehle, Erweiterung bestehender Befehle Folie 11

12 High Level API for Grid Applications (HiLA) Ein Interface, mehrere Implementierungen Einfache Entwicklung von Clients Wenige Zeilen für sonst komplexe Funktionen URI Schema UNICORE 5 & 6 OGSA-BES unicore6:/sites/fzj_juggle/storages/home ogsa:/sites/grow/tasks/910c9b56-d497-46f8-960f-eaee43e1af37 list auf allen Ebenen Sicherheit, Sites, Registries, etc. mittels Konfiguration Task t = HiLAFactory.getInstance().locate( new Location(this.args[0])); List<File> fl = t.getoutcomefiles(); Folie 12

13 Management und Überwachung Java Management Extensions (JMX) Unterstützung Folie 13

14 GUI Installer tar.gz basierter Installer weiterhin verfügbar Folie 14

15 Software, Source Code, Dokumentation, Tutorials, Mailing-Listen, Community: Folie 15

16 A-WARE An easy Way to Access grid Resources EU Projekt Laufzeit: 24 Monate Folie 16

17 Ziele Vereinfachung für den Benutzer Verwendung von GridRessourcen (Problemorientiert) Sicht auf Grid-Ressourcen Schließen der Lücke zwischen Middleware und Portalen Abstraktion der Back-Ends Vollständig integrierte Lösung Portal + A-WARE + Middleware Folie 17

18 Herausforderungen Workflow Management atomarer Aufrufe von Grid Ressourcen Virtualisierung verteilter Ressourcen mittels ESB (JBI) Integration weiterer Services Web-basiertes Design von Workflows Speicherung von Workflows und Metadaten in einem Repository Zugriff auf diverse Middlewares 1. UNICORE 2. g-lite Einsatz in produktiver Umgebung Folie 18

19 A-WARE Architektur JSR 168 Portal standard compliant (open source) Other consumers Workflow designer application (WDA) BPEL Workflow validation service (WVS) EU-1 technology components BPMN BPEL Workflow orchestrator service (WOS) UAS interface UAS interface Non OGSA middlewares OGSA OGSA interface BASE Workflow repository Service (WRS) Unicore/GS GTK4 glite Other Other LSF PROFILE Os/Storage Folie 19

20 Standards BPMN Business Process Modeling Notation BPEL 2.0 Business Process Execution Language JBI Java Business Integration SVG Scalable Vector Graphics Folie 20

21 Technologien Portal EnginFrame AJAX WDA Java Applet JUNG BPMNml WRS Speicher für Daten und Metadaten ASB Apache ServiceMix JBI Implementation Grid Component: UNICORE 5 & 6 WOS Apache ODE 1.1 Supports JBI BPEL 2.0 Folie 21

22 A-WARE Portal Portal Erste Lösung basierend auf EnginFrame Portal GridSphere als weitere Option XML/XSL AJAX EnginFrame user-friendly and application-oriented HPC job submission, control, monitoring and notification; simple and secure access to computing resources and data; sophisticated data management and monitoring for all stages of job lifetime integrated with all relevant Grid workload management systems. Folie 22

23 Workflows Design Service Binding Data Mapping Deploy Submit BPMN ABPEL BPEL -- SOAP Folie 23

24 Workflow Design Folie 24

25 Workflow Design Tasks from and to involved in data mapping Bounded task List of Activities are retrieved from selected XPATHs ASB Unbounded task BPMN DataFlow Elements WSDL of a service is retrieved from ASB Web form dynamically created from WSDL XML schema of involved messages Generated and List editable of Activity XML services from instance status ASB Folie 25

26 Weitere Informationen Flyer Folie 26