Möglichkeiten der Orchestrierung von Grid Web Services mit BPEL. Uschi Beck Marko Brosowski

Transkript

1 Möglichkeiten der Orchestrierung von Grid Web Services mit BPEL Uschi Beck Marko Brosowski

2 Gliederung Motivation BPEL Entstehung/Ziele ein kurzes Beispiel Basiskonzepte Probleme BPEL Engines BPEL im Grid Beispiel: Berechnung von Kristallstrukturen Fazit U. Beck, M. Brosowski Folie 2

3 Gliederung Motivation BPEL Entstehung/Ziele ein kurzes Beispiel Basiskonzepte Probleme BPEL Engines BPEL im Grid Beispiel: Berechnung von Kristallstrukturen Fazit U. Beck, M. Brosowski Folie 3

4 Motivation Übergang zu Grid Web Services in Grid Middleware (GT4.x) Services werden in Kombination benötigt z.b. Data Services und Job Management Services Wie kann BPEL zur Kombination dieser Services genutzt werden? wissenschaftliche Prozesse benötigen viele Arbeitsschritte/Jobs Workflows liegen z.t. als Java Programme vor diese sind schwer, umständlich anzupassen CogKit bzw. Karajan ermöglicht das Modellieren und Ausführen von Workflows kein Standard unterstützt nur bestimmte Jobs Eignet sich BPEL zur Modellierung wissenschaftlicher Workflows? U. Beck, M. Brosowski Folie 4

5 BPEL Entstehung/Ziele Business Process Execution Language XML basierte Sprache entstand 2002 als Kombination aus XLANG (Microsoft) und Webservice Flow Language (IBM) seit 2003 OASIS Standard 2007 mit Version 2.0 in WS-BPEL umbenannt Ziel Modellieren von ablauffähigen Geschäftsprozessen Verwendung von Web Services schnelle Reaktionsfähigkeit auf Änderungswünsche vorhandene Services nutzen -> Service Orchestration Verwendete Standards XML Schema, XPath WSDL, WS-Addressing U. Beck, M. Brosowski Folie 5

6 Beispiel für einen einfachen BPEL Prozess Demo Kreditvergabe U. Beck, M. Brosowski Folie 6

7 Eigenschaften von BPEL Bidirektionaler Nachrichtenaustausch geeignet für zustandsbehaftete, langlaufende Interaktionen parallele Ausführung von Aktivitäten kein automatisches Rollback Compensation Handler können definiert werden Koordination mehrerer Aufrufe möglich Correlation Sets Zwischenspeichern von Ergebnissen in Variablen möglich genutzte Services müssen mittels WSDL beschreibbar sein selbst wieder ein Service, in WSDL beschreibbar Zwei Programmiermodelle Choreographie Orchestrierung U. Beck, M. Brosowski Folie 7

8 Orchestrierung und Choreographie Orchestrierung Web Service 1 1: Receive 5: Reply Orchestration Engine 2: Invoke Web Service 2 Web Service 3 3: Invoke (coordinator) 4: Invoke Web Service 4 Choreographie 5: Invoke Web Service 1 1: Invoke Web Service 4 3: Reply Web Service 2 4: Invoke 2: Invoke Web Service 3 U. Beck, M. Brosowski Folie 8

9 Partnerbeziehungen Partner Alle beteiligten Web Services Auch der BPEL Process PartnerLinks Abstrakte Kommunikationsverbindung Synchron: myrole und partnerrole Asynchron: nur eine Role spezifiziert PartnerLinkType Legt Rollen fest Verweist auf porttype aus WSDL des Web Services WebServices bleiben so leicht austauschbar U. Beck, M. Brosowski Folie 9

10 Basiskonzepte von BPEL Einige Basisaktivitäten invoke einen anderen Web Service aufrufen verwendet einen derer porttypes receive Nachricht entgegennehmen implementiert einen der eigenen porttypes kann Instanz erzeugen reply Erhaltene Nachricht beantworten Implementiert ebenfalls einen der eigenen porttypes assign Wertzuweisung an Variablen throw Fehlerbehandlung auslösen wait Prozess blockieren U. Beck, M. Brosowski Folie 10

11 Basiskonzepte von BPEL Strukturierte Aktivitäten sequence sequentielle Ausführung while wiederholte Ausführung switch bedingte Ausführung flow parallele Ausführung enthält links zur Synchronisierung U. Beck, M. Brosowski Folie 11

12 Basiskonzepte in Bild und Schrift - Grundstruktur <?xml version="1.0" encoding="utf-8"?> <bpel:process xmlns:bpel=" xmlns:bpws=" xmlns:lns=" xmlns:xsd=" name="loanapprovalprocess" suppressjoinfailure="yes" targetnamespace=" <bpel:import importtype=" location="loan_approval.wsdl" namespace=" </bpel:process> U. Beck, M. Brosowski Folie 12

13 Basiskonzepte in Bild und Schrift - Partner <bpel:partnerlinks> <bpel:partnerlink myrole="loanservice" name="customer" partnerlinktype="lns:loanpartnerlinktype"/> <bpel:partnerlink name="approver" partnerlinktype="lns:loanapprovallinktype" partnerrole="approver"/> <bpel:partnerlink name="assessor" partnerlinktype="lns:riskassessmentlinktype" partnerrole="assessor"/> </bpel:partnerlinks> U. Beck, M. Brosowski Folie 13

14 Basiskonzepte in Bild und Schrift - flow <bpel:flow> <bpel:invoke inputvariable="request" name="auto-risk-assessor" operation="check" outputvariable="risk" partnerlink="assessor" porttype="lns:riskassessmentpt"> <bpel:invoke inputvariable="request" name="manualjudgement" operation="approve" outputvariable="approval" partnerlink="approver" porttype="lns:loanapprovalpt"> <bpel:reply operation="request" partnerlink="customer" porttype="lns:loanservicept" variable="approval"> </bpel:flow> U. Beck, M. Brosowski Folie 14

15 Basiskonzepte in Bild und Schrift - receive <bpel:receive createinstance="yes" operation="request" partnerlink="customer" porttype="lns:loanservicept" variable="request"> <bpel:sources> <bpel:source linkname="receive-to-assess"> <bpel:transitioncondition>($request.amount < 10000)</bpel:transitionCondition> </bpel:source> <bpel:source linkname="receive-to-approval"> <bpel:transitioncondition>($request.amount >= 10000)</bpel:transitionCondition> </bpel:source> </bpel:sources> </bpel:receive> U. Beck, M. Brosowski Folie 15

16 Basiskonzepte in Bild und Schrift - invoke 1 <bpel:invoke inputvariable="request" name="auto-risk-assessor" operation="check" outputvariable="risk" partnerlink="assessor" porttype="lns:riskassessmentpt"> <bpel:targets> <bpel:target linkname="receive-to-assess"/> </bpel:targets> <bpel:sources> <bpel:source linkname="assess-to-setmessage"> <bpel:transitioncondition>($risk.level = 'low')</bpel:transitioncondition> </bpel:source> <bpel:source linkname="assess-to-approval"> <bpel:transitioncondition>($risk.level!= 'low')</bpel:transitioncondition> </bpel:source> </bpel:sources> </bpel:invoke> U. Beck, M. Brosowski Folie 16

17 Basiskonzepte in Bild und Schrift - invoke 2 <bpel:invoke inputvariable="request" name="manualjudgement" operation="approve" outputvariable="approval" partnerlink="approver" porttype="lns:loanapprovalpt"> <bpel:targets> <bpel:target linkname="receive-to-approval"/> <bpel:target linkname="assess-to-approval"/> </bpel:targets> <bpel:sources> <bpel:source linkname="approval-to-reply"/> </bpel:sources> </bpel:invoke> U. Beck, M. Brosowski Folie 17

18 Basiskonzepte in Bild und Schrift - reply <bpel:reply operation="request" partnerlink="customer" porttype="lns:loanservicept" variable="approval"> <bpel:targets> <bpel:target linkname="setmessage-to-reply"/> <bpel:target linkname="approval-to-reply"/> </bpel:targets> </bpel:reply> U. Beck, M. Brosowski Folie 18

19 Basiskonzepte in Bild und Schrift - assign <bpel:assign> <bpel:targets> <bpel:target linkname="assess-to-setmessage"/> </bpel:targets> <bpel:sources> <bpel:source linkname="setmessage-to-reply"/> </bpel:sources> <bpel:copy> <bpel:from>'yes'</bpel:from> <bpel:to part="accept" variable="approval"/> </bpel:copy> </bpel:assign> U. Beck, M. Brosowski Folie 19

20 Probleme/Nachteile von BPEL Problem: vollautomatisch alle nötigen Parameter müssen bekannt sein kein User Input während der Laufzeit des Workflows möglich Lösungsansatz: BPEL4People Workflow Service und Client, der Benutzer darstellt Problem: XML sehr umständlich und lang niemand mag das selbst schreiben Lösungsansatz: verschiedene Anbieter stellen eigene Modellierungstools zur Verfügung Codegenerierung nur z.t. möglich vorhandene Standards werden nicht unterstützt ( z.b. Ereignisgesteuerte Prozessketten) U. Beck, M. Brosowski Folie 20

21 BPEL Engines BPEL Prozess Business Logic in Form des BPEL Dokuments Beschreibung des BPEL Services als WSDL Dokument optional: XML Dokumente, um Datentypen zu definieren BPEL Engine Deployment Dokument Binding von konkreten Web Services an die Partner Engine-spezifisch Generiert Prozess Instanz wenn entsprechende receive Nachricht eingeht Verwaltung der Prozesse Statusabfragen Active BPEL Engine, Oracle BPEL Process Manager und viele mehr U. Beck, M. Brosowski Folie 21

22 BPEL zusammengefasst XML basierte Sprache um Web Services zu orchestrieren jeder BPEL-Prozess ist selbst wieder ein Web Service BPEL-Prozesse benötigen eine Laufzeitumgebung, in der sie ausgeführt werden Modellierungswerkzeuge unterstützen die Erstellung von Prozessen Generieren XML Herstellerabhängig U. Beck, M. Brosowski Folie 22

23 Gliederung Motivation BPEL Entstehung/Ziele ein kurzes Beispiel Basiskonzepte Probleme BPEL Engines BPEL im Grid Beispiel: Berechnung von Kristallstrukturen Fazit U. Beck, M. Brosowski Folie 23

24 BPEL im Grid Die Aufgabe Die Probleme Die Anforderungen Die Lösung U. Beck, M. Brosowski Folie 24

25 Die Aufgabe Berechnung des Fits von organischen Molekülen in Kristallstrukturen 2 Teilprobleme: Molekül- Packing und Optimierung der Gitterenergie U. Beck, M. Brosowski Folie 25

26 Die Aufgabe II Parametrisierung eines Workflows durch Chemiker Berechnung der Problemgrößen durch MOLPAK ( Packing ) und DMAREL (Gitterenergie) Nach Berechnung: Umrechnung der Werte in Chemical Markup Language (CML) Darstellung auf einem Portal zur Begutachtung der Werte U. Beck, M. Brosowski Folie 26

27 Definition Workflow Workflow: The computerized facilitation or automation of a business process, in whole or part. The Workflow Reference Model. The Workflow Management Coalition, January Übersetzung: Die computerbasierte Erleichterung oder Automation eines Businessprozesses im Ganzen oder in Teilen U. Beck, M. Brosowski Folie 27

28 Die Probleme Ständige Änderungen des Workflows Anzahl parallele DMAREL-Prozesse Anzahl parallele MOLPAK-Prozesse Client Applikation kann nicht von Benutzern angepasst werden U. Beck, M. Brosowski Folie 28

29 Anforderungen: Business Workflows vs. Scientific Workflows parallele Aufrufe Business Workflows: ca. 50 Scientific Workflows: 7600 und mehr produzierte Datenmenge Business Workflows: KB Scientific Workflows: 6 GB und mehr Laufzeiten Business Workflows: Minuten, Tage Scientific Workflows: Monate U. Beck, M. Brosowski Folie 29

30 Anforderungen: Die Workflow Engine Mehrfaches Ausführen desselben Workflows zur gleichen Zeit Gleichzeitiges Ausführen verschiedener Workflows Skalierbarkeit Verwalten großer Datenmengen (6 GB und mehr) Statusabfragen abgeschlossene Aktivitäten laufende Aktivitäten abgebrochene Aktivitäten mit Fehlerursachen U. Beck, M. Brosowski Folie 30

31 Anforderungen auf den Punkt gebracht Ist BPEL geeignet um wissenschaftliche Workflows zu definieren? Ist die Performance, Skalierbarkeit und Zuverlässigkeit einer Open Source Engine ausreichend für derart komplexe Workflows? U. Beck, M. Brosowski Folie 31

32 Ist BPEL geeignet? - Die Lösung Definition von fünf BPEL-Prozessen invokemolpakdmarel invokedmarelindices invokemolpak visualizer gssubmit U. Beck, M. Brosowski Folie 32

33 Ist BPEL geeignet? - Ergebnisse Vorteile Workflow ist explizit anders als z.b. in Java Programmen wiederverwendbar, lesbar einfacher zu modifizieren Probleme Nutzer möchten I.d.R. nicht direkt BPEL schreiben Domain spezifische Erweiterungen für BPEL Tools Bereits vordefinierte Elemente zur Verfügung stellen BPEL Datei wird zu groß (>= 5 MB) Übersicht geht verloren viel redundante Information Abhilfe schaffen indizierte Flows U. Beck, M. Brosowski Folie 33

34 Auswahl der Workflow-Engine Tests auf Single-CPU Maschine, 2 GB physikalischer Speicher, 8GB virtueller Speicher gesamt, Redhat Enterprise Linux 3.0, ActiveBPEL Engine Performance flows können in 3,6s erzeugt werden Performance einer Iteration unabhängig von der Größe des Flows Skalierbarkeit Workflow mit Basis Aktivitäten BPEL Engine kann ca. 50 MB große XML Datei nicht parsen Abhilfe: Splitten des Workflows in mehrere Komponenten Synchrone Kommunikation erfordert Threads Abhilfe 1: Workflow auf mehrere BPEL Engines verteilen Problem: Administrativer Aufwand Abhilfe 2: Asynchrone Kommunikation Nur 40 BPEL Prozesse und 95 Threads benötigt U. Beck, M. Brosowski Folie 34

35 Gliederung Motivation BPEL Entstehung/Ziele ein kurzes Beispiel Basiskonzepte Probleme BPEL Engines BPEL im Grid Beispiel: Berechnung von Kristallstrukturen Fazit U. Beck, M. Brosowski Folie 35

36 Fazit BPEL eignet sich generell zur Orchestrierung von Grid Web Services Standardisiert von großen Firmen (IBM, Microsoft, SAP, BEA) unterstützt Derzeit verfügbare Grid Web Services beziehen sich nur auf Middleware Vorteile von BPEL kommen noch nicht zum Tragen Vision Grid Web Services mit domainspezifischer Funktionalität Orchestrierung dieser Services mit BPEL als neuer Webservice Hierarchische Komposition von BPEL-Prozessen U. Beck, M. Brosowski Folie 36

37 Hierarchische Komposition WS WS WS WS WS WS WS WS BPEL BPEL BPEL BPEL WS WS WS WS BPEL BPEL WS WS BPEL WS U. Beck, M. Brosowski Folie 37

38 Quellen Web Services Business Process Execution Language Version draft- May17.htm Service-orientierte Architekturen mit Web Services, Konzepte-Standards-Praxis,Dostal, W., Jeckle, M., Melzer, I., Zengler, B. ActiveEndpoints. ActiveBPEL Grid Service Orchestration Using the Business Process Execution Language Design and Implementation of a Framework for Testing BPEL Compositions (Philip Mayer, 2006) Design_and_Implementation_of_a_Framework_for_Testing_BPEL_Compositions.pdf BPELSource Eclipse BPEL Project: SOA Best Practices: The BPEL Cookbook: U. Beck, M. Brosowski Folie 38