Einsatz von WSBPEL 2.0 zur Beschreibung komplexer Nachrichtentransformationen, dargestellt am Beispiel von TransConnect

Transkript

1 Einsatz von WSBPEL 2.0 zur Beschreibung komplexer Nachrichtentransformationen, dargestellt am Beispiel von TransConnect DBMS / DSMS und Integrations-Systeme grundverschieden oder doch ähnlicher als man denkt? Matthias Böhm SQL GmbH Dresden Datenbankstammtisch am

2 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

3 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

4 Einleitung und Motivation IBM: Supposed to play the same role to Workflow that SQL played to RDBMS. SAP: "SAP will base the BPM technology on an emerging standard, Business Process Execution Language for Web Services. [ ] Oracle: Eine Service-Orientierte Architektur mit BPEL als Eckpfeiler [...]. Oracle unterstützt SOA analog zu SQL vor 25 Jahren Gartner: Gartner believes that BPEL will emerge as the leading industry standard for Web service orchestration and coordination of business processes. Forrester Research: BPEL is the future of the integration space in my view Why? [ ]

5 Einleitung und Motivation Ausgangssituation WSBPEL hat sich mittlerweile weitestgehend durchgesetzt (Prozessintegration) Zweckentfremdung von Prozessbeschreibungssprachen in Anwendungs- und Informationsintegration Message Broker EAI-Server ETL-Tools Kein anerkanntes Modell / Standard für die Beschreibung datenintensiver Prozesse

6 Einleitung und Motivation Motivation Sowohl in Workflow- als auch in ETL-Beschreibungen sind Aspekte des Kontrollflusses und des Datenflusses abzubilden Workflow-Systeme: Konzentration auf Kontrollfluss ETL-Tools: Konzentration auf Datenfluss EAI: Notwendigkeit der Kombination der Vorteile beider Verarbeitungsmodelle

7 Einleitung und Motivation Motivation Weiterentwicklung TransConnect Konzeptuelles Modell zur Abbildung von Integrationsprozessen Flexibilität bei der Modellierung von Integrationsszenarien Datenunabhängigkeit Unabhängigkeit von konkreten Prozessbeschreibungssprachen Integration einer Prozesssteuerung zur Realisierung des konzeptuellen Modells Integration eines TP-Monitors Transaktionales Verhalten Performancesteigerungen Umfassende Monitoring-Möglichkeiten

8 Einleitung und Motivation Funktionale Anforderungen beliebig viele Quell- und Zielsysteme synchrones und des asynchrones Verarbeitungsmodell Content Based Routing durch eine geeignete Anfragesprache unstrukturierten, semistrukturierten und strukturierten Daten unterschiedlichen Datenmengen bis hin zur Nachrichtenmenge Transformation der Semantik von Nachrichten durch Hinzufügen, Ändern und Entfernen von Attributen einer Nachricht spezifische Methoden der elementaren Nachrichtentransformation Implizite oder explizite Validierung von Nachrichten

9 Einleitung und Motivation Nicht-Funktionale Anforderungen Effiziente Verarbeitung Skalierbare Verarbeitung Datenmenge Parallelität Transaktionales Verhalten Vermeidung Doppelverarbeitung von Nachrichten Vermeidung von Nachrichtenverlust Wiederherstellung von Systemzuständen nach Systemausfall Hohe Flexibilität durch Abstrahierung von konkreten Systemtypen

10 Einleitung und Motivation Beispielszenario ETL-Prozess Teil 1

11 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

12 WSBPEL 2.0 und deren Alternativen Entwicklung von Prozessbeschreibungssprachen

13 WSBPEL 2.0 und deren Alternativen Einordnung WSBPEL XML-basierter Sprachstandard (August 2006) Modellierung von Prozessen mit einem BPEL-Designer Ausführung von Prozessinstanzen in einer BPEL- ProcessEngine Orchestrierung von Dienstaufrufen (Art der Komposition) ( vgl. Mashups )

14 WSBPEL 2.0 und deren Alternativen Alternativen zu WSBPEL Spracherweiterungen für WSBPEL BPELJ (BPEL Extension for Java) BEA und IBM, 2004 BPEL-SPE (WSBPEL Extension for Sub-processes) IBM und SAP, 2005 BPEL4people (WSBPEL Extension for people) IBM und SAP, 2005 II4BPEL (Information Integration for BPEL) - BPEL4SQL IBM, 2005

15 WSBPEL 2.0 und deren Alternativen Aufbau eines WSBPEL-Prozesses Abstrakte Prozesse Ausführbare Prozesse

16 WSBPEL 2.0 und deren Alternativen Überblick WSBPEL-Aktivitäten Kategorie Basisaktivitäten Strukturierte Aktivitäten BPEL4WS 1.1 [BPEL03] <assign> <throw> <terminate> <wait> <empty> <sequence> <switch> <while> <pick> <flow> WSBPEL 2.0 [BPEL06] <assign> <validate> <throw> <exit> <wait> <empty> <sequence> <if> <while> <repeatuntil> <foreach> <pick> <flow>

17 WSBPEL 2.0 und deren Alternativen Überblick WSBPEL-Aktivitäten Kategorie Transaktionsaktivitäten WebService Aktivitäten Erweiterungsmöglichkeit BPEL4WS 1.1 [BPEL03] <scope> <compensate> <receive> <reply> <invoke> WSBPEL 2.0 [BPEL06] <scope> <compensate> <compensatescope> <rethrow> <receive> <reply> <invoke> <extensionactivity> [BPEL06]

18 WSBPEL 2.0 und deren Alternativen Verwaltung von Prozessinstanzen Instanzerzeugung Identifikation von Prozessinstanzen

19 WSBPEL 2.0 und deren Alternativen Fehlerbehandlung in WSBPEL Fehler Kompensationen

20 WSBPEL 2.0 und deren Alternativen Bewertung von WSBPEL SWOT-Analyse positiv negativ Strengths Weaknesses Eintreten gewiss Eintreten ungewiss sehr gute Standardisierung rekursive Verwendung als Web-Service prinzipiell gute Portabilität Abbildung des Kontrollflusses Erweiterbarkeit Opportunities große Produktauswahl Spracherweiterungen für Spezialprobleme schlechte performance by design hohe Komplexität / hoher Detaillierungsgrad Abbildung des Datenflusses Threats schlechte Portabilität bei Verwendung von Erweiterungen Sicherheitsaspekte Transaktionssicherheit

21 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

22 Message Transformation Model (MTM) Ebenen der Nachrichtentransformation nach [HW04] Ebene Inhaltsbezug Erläuterung 3 Datenstrukturen verlustfrei / verlustbehaftet/ angereichert Semantische Abbildung der Transformation von Anwendungsobjekten, unter Beachtung von Beziehungen und Abhängigkeiten. Prozess Komplexe Nachrichtentransformation 2 Datentypen verlustfrei / verlustbehaftet Syntaktische Abbildung der Datenfelder samt Datentypen einer Eingangsnachricht auf die Felder einer Ausgangsnachricht. Prozessschritt elementare Nachrichtentransformation 1 0 Datenrepräsentation Transport verlustfrei verlustfrei Einfache Formatkonvertierungen, Beispiele hierfür sind die Überführung von CSV in XML, aber auch Kompression und Verschlüsselung. Transformation von Nachrichten zum Zwecke der Übertragung mittels bestimmter Transportprotokolle. Adapter formatspezifische/ systemspezifische Transformationen

23 Message Transformation Model (MTM) Einordnung des Modells in eine adaptierte 3-Schichten-Architektur (teilweise angelehnt an: RM, MAD, OEM, YAT, PN, WSBPEL, XML)

24 Message Transformation Model (MTM) Konzeptuelles Nachrichtenmodell

25 Message Transformation Model (MTM) Konzeptuelles Prozessmodell Entwurfsdimensionen Strukturelle Art: graphenorientiert Funktionale Orientierung: anforderungsorientiert Interne Repräsentation: kompiliert

26 Message Transformation Model (MTM) Konzeptuelles Prozessmodell Entwurfsdimensionen Funktionale Orientierung Strukturelle Art Interne Repräsentation

27 Message Transformation Model (MTM) Konzeptuelles Prozessmodell Grundmodell Directed Graph Angelehnt an JBoss Graph Oriented Programming [JGOP06] Graphenorientiert (mit Ausnahme des hierarchischen Prozesses)

28 Message Transformation Model (MTM) Konzeptuelles Prozessmodell Anforderungsorientierte Operatoren (spezialisierte Knoten)

29 Message Transformation Model (MTM) Beispielszenario ETL-Prozess Teil 2 Differenzierung in Teilprozesse

30 Message Transformation Model (MTM) Beispielszenario ETL-Prozess Teil 2 Beispielprozess bs_process1_async (MTM)

31 Message Transformation Model (MTM) Beispielszenario ETL-Prozess Teil 2 Beispielprozesse bs_process2 und bs_process3 (MTM)

32 Message Transformation Model (MTM) Beispielszenario ETL-Prozess Teil 2 Beispielprozess bs_process1_async (WSBPEL)

33 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

34 Integrationsplattform TransConnect Allgemeiner Überblick Architekturentwurf TransConnect

35 Integrationsplattform TransConnect Allgemeiner Überblick Entwurf TransConnect Server (A)

36 Integrationsplattform TransConnect Integration einer Prozesssteuerung Entwurf der WorkflowProcessEngine (WFPE)

37 Integrationsplattform TransConnect Integration einer Prozesssteuerung WFPE - ProcessParser

38 Integrationsplattform TransConnect Integration einer Prozesssteuerung WFPE - ProcessParser Kernkonzept NodeIDs (NID) Instrumentalization Indentifikation von Knoten eines Prozesses Grundlage für Transaktions-Konzept, Recovery-Konzept und SystemMonitoring

39 Integrationsplattform TransConnect Integration einer Prozesssteuerung WFPE - Runtime Environment

40 Integrationsplattform TransConnect Integration einer Prozesssteuerung WFPE - ServiceDictionary

41 Integrationsplattform TransConnect Integration einer Prozesssteuerung Internes Nachrichtenkonzept Attributorientierter, feingranularer Ansatz Alternativen: DeweyID-Konzept, Pre-Post-Order, Pre-Extraction

42 Integrationsplattform TransConnect Integration einer Prozesssteuerung Internes Nachrichtenkonzept Attributorientierter, grobgranularer Ansatz Verwaltung von Parts als XML / BLOB Message Indexing zum effizienten Zugriff auf Einzelwerte

43 Integrationsplattform TransConnect Integration eines TP-Monitors TP-Monitor Teilkomponenten Synchronisation / Serialisierung / Sperrverwaltung Transaktionssicherheit / Recovery System-Monitoring (Monitoring, Analyse -> Self *-Techniken) Ressourcenverwaltung High Availability (HA): Fail-Over, Cluster

44 Integrationsplattform TransConnect Integration eines TP-Monitors CacheManager Erlaubt zentrale Cache- Überwachung Verhindert unnötiges Caching auf unterschiedlichen Systemebenen Baumstruktur ermöglicht effizienten Zugriff Cache-Größe stellt wichtigen Optimierungsparameter dar Unterscheidung der Wichtigkeit (gruppenspezifisch) WeakReference Cache SoftReference Cache Alternative: Use-Frequency-Factor

45 Integrationsplattform TransConnect Integration eines TP-Monitors TransactionManager Zielstellungen Verhinderung der Doppelverarbeitung Verhinderung des Nachrichtenverlustes Zusammenfassung von Interaktionen mit einem Fremdsystem zu einer Transaktion Wiederherstellung von Systemzuständen Kernkonzepte Mehrere Transaktionale Kontexte Stratifizierte Transaktionen TID-Konzept Nutzerdefinierte Transaction-Level

46 Integrationsplattform TransConnect Integration eines TP-Monitors Stratifizierte Transaktionen Trennung Eingangs- und Ausgangsbereich Interaktion auch mit Systemen ohne transaktionalen Kontext

47 Integrationsplattform TransConnect Integration eines TP-Monitors TID-Konzept (Zielsystem-spezifisches Konzept) 1) Verarbeitung der Nachricht Commit der Änderungen Statuspflege in TransConnect Zeit zeitliche Lücke Systemausfall bewirkt Doppelverarbeitung! 2) Feststellen, ob ID bekannt ja Verarbeitung der Nachricht nein Vermerk der ID Commit Statuspflege in TransConnect Zeit

48 Integrationsplattform TransConnect Integration eines TP-Monitors Nutzerdefinierte Transaction-Level (im transaktionalen Kontext Prozessverarbeitung und Ausgangsbereich ) NONE Höchste Performance Keine hinreichende Transaktionssicherheit USER_DEFINED Explizites Anlegen von UNDO-Images (SAVEPOINT) TID-Handling FULL Implizite Anlegen von UNDO-Images (lesende und schreibende Interaktionen mit Fremdsystemen) Explizites Anlegen von UNDO-Images (SAVEPOINT) TID-Handling

49 Integrationsplattform TransConnect Integration eines TP-Monitors SystemMonitor Monitoring von Verarbeitungszeiten als Grundlage der workloadbasierten Optimierung Beispielanfrage (durchschnittliche Ausführungszeit eines Prozesstypen) SELECT AVG(EndTime - StartTime)/ FROM ProcessingPerformance WHERE NID = -1 --Knotentyp Prozess AND PID IN ( SELECT PID FROM Process WHERE PTID = (SELECT PTID FROM ProcessType WHERE Name= bs_process1 ) )

50 Integrationsplattform TransConnect Optimierung von MTM-Prozessen SystemMonitor Zeitraum-Monitoring / kontinuierliches Monitoring Monitor-Level: EMPTY, TRANSIENT, PERSISTENT Erkennung von suboptimalen Prozessplänen Rekompilierung von Prozessplänen Initiiert vom Nutzer / Administrator Automatisiert -> Self-Optimization MAX_BUFFER_SIZE ANALYSIS_INTERVALL Self-Optimization (nach dem IBM-MAPE-Konzept) Monitor Analyse Plan Execute

51 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über regelbasierte Optimierungsaspekte Redundante Kontrollflüsse Nicht erreichbare Kontrollflüsse Inline-Kompilierung von lokalen Prozessaufrufen Doppelte Variablendefinition Unnötige Variablendefinition Unnötige Variablendeklaration 2-Phase-Transformation Unnötige Switch-Pfade Wiederholte Validierungen

52 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über regelbasierte Optimierungsaspekte Ausgewähltes Beispiel: Redundante Kontrollflüsse

53 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über workload-basierte Optimierungsaspekte Definition eines Kostenmodells für die workload-basierte Optimierung A Kommunikationskosten B Verarbeitungskosten C Kosten der internen Verwaltung

54 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über workload-basierte Optimierungsaspekte Message Indexing Zugriff auf extrahierte Einzelwerte Wiederverwendung von statisch erzeugten Nachrichten

55 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über workload-basierte Optimierungsaspekte FORK-Optimization Kindprozesse sollten absteigend sortiert nach den Kosten ihrer Verarbeitung gestartet werden Falls die Verwaltung der parallelen Verarbeitung teurer ist als die vermiedenen Wartezeiten, sollte eine sequentielle Verarbeitung präferiert werden

56 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über workload-basierte Optimierungsaspekte SWITCH-Optimization (disjunkt)

57 Integrationsplattform TransConnect Optimierung von MTM-Prozessen Überblick über workload-basierte Optimierungsaspekte SWITCH-Optimization (disjunkt)

58 Integrationsplattform TransConnect Gemeinsamkeiten mit anderen Systemtypen Eine abstrakte Sicht auf DBMS und DSMS

59 Integrationsplattform TransConnect Gemeinsamkeiten mit anderen Systemtypen Gemeinsamkeiten DBMS und Integrations-Systeme Transaktionssicherheit, Synchronization Wiederherstellbarkeit von System-Zuständen Optimierungsaspekte Regel-basierte Optimierung Workload-basierte Optimierung Self-Optimization Anfrageaufbereitung DBMS: Compilierung von Stored Procedures Integrations-Systeme: Überführung von Prozessplänen

60 Integrationsplattform TransConnect Gemeinsamkeiten mit anderen Systemtypen Gemeinsamkeiten DSMS und Integrations-Systeme Hauptgemeinsamkeiten Gespeicherte Anfragen ( Standing Queries ) Dynamischer Datenaspekt (Inbound Data Streams) Ähnliche Restriktionen Main Memory-Grenzen Serialisierung von Ereignissen Ähnliche Konzepte Synchrones / asynchrones (jitter, mq) Verarbeitungsmodell Scheduling-Algorithmen Verarbeitung von Datenströmen Transaktionssicherheit, Synchronization

61 Integrationsplattform TransConnect Gemeinsamkeiten mit anderen Systemtypen Unterschiede DSMS und Integrations-Systeme Verarbeitete Datenströme DSMS Continuous data streams (CS) Discontinuous data streams (DS) Event data streams (ES) Integrations-Systeme Message Streams (MS), vergleichbar mit ES Persistenz der verarbeiteten Daten DSMS: transient Integrations-Systeme: persistent Zeitlich begrenzte Wiederherstellbarkeit Skalierbarkeit

62 Gliederung Einleitung und Motivation WSBPEL 2.0 und alternative Prozessbeschreibungssprachen Message Transformation Model (MTM) Erweiterung der Integrationsplattform TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Optimierung von MTM-Prozessen Gemeinsamkeiten DSMS / DBMS Integration Systeme Zusammenfassung und Ausblick

63 Zusammenfassung und Ausblick Allgemeine Zusammenfassung Definition des Message Transformation Model (MTM) Datenunabhängigkeit Multi-Lingualität (Prozessbeschreibungssprachenunabhängigkeit) Beschreibung des MTM mit WSBPEL Prinzipiell sehr gut für Nachrichtentransformationen geeignet Notwendigkeit der Erweiterung der Sprache Erweiterung von TransConnect Integration einer Prozesssteuerung Integration eines TP-Monitors Adaption bewährter Konzepte der DSMS/DBMS

64 Zusammenfassung und Ausblick DBMS/DSMS und Integrations-Systeme grundverschieden oder doch ähnlicher als man denkt? Einige Thesen: DSMS und EAI-Server weisen insbesondere im Hinblick auf Verarbeitungskonzepte viele Gemeinsamkeiten auf (jedoch auf unterschiedlichen Abstraktionsniveaus) DBMS und EAI-Server weisen durchaus Gemeinsamkeiten auf (besonders Anfrageaufbereitung und Transaktionssicherheit) Der Schwerpunkt des Interesses wird sich weiter von den zu Grunde liegenden Systemen entfernen und hin zu den Integrations-Systemen (Message Broker, EAI-Server, Subskriptionssysteme, Mediatoren, ) verschieben Modellierung von Integrationsprozessen Optimierung von Integrationsprozessen Verarbeitung von Integrationsprozessen

65 Zusammenfassung und Ausblick Ausblick auf Veröffentlichungen: 1 st Paper (BTW 2007), to be published Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias Böhm, Uwe Wloka, Dirk Habich, Jürgen Bittner, Wolfgang Lehner 2 nd Paper (SSDBM 2007), to be accepted A Prototypical Implementation of the Message Transformation Model for Complex Transformation Processes in Data Centric Application Scenarios Matthias Böhm, Uwe Wloka, Dirk Habich, Jürgen Bittner, Wolfgang Lehner 3 rd Paper (ADBIS 2007), to be submitted Self-Optimization of Message Transformation Model (MTM) Processes, Using Optimization Rules and Workload Characteristics Matthias Böhm, Uwe Wloka, Dirk Habich, Jürgen Bittner, Wolfgang Lehner

66 Danke für die Aufmerksamkeit! Fragen? Anmerkungen? Diskussionsbedarf? Kontakt SQL GmbH Dresden Franklinstraße 25a Dresden Telefon (0351) Telefax (0351)

67 Backup BPEL Extension for Java (BPELJ)

68 Backup BPEL Extension for People (BPEL4people)

69 Backup BPEL Extension for Sub-processes (BPEL-SPE)

70 Backup BPEL Extension for SQL (BPEL4SQL) [Information Integration for BPEL (II4BPEL)]

71 Backup Web Service Choreography Description Language (WS-CDL)

72 Backup ebxml Business Process Specification Schema (ebbp)

73 Backup SWITCH-Optimization (nicht disjunkt)

74 Backup SWITCH-Optimization (nicht disjunkt)

75 Backup SWITCH-Optimization Algorithmus (switch path statistics analysis) SELECT -- Berechnung der absoluten Kosten der SWITCH-Path-Expression (SELECT AVG((pp2.StartTime - pp1.endtime) / ) FROM ProcessingPerformance pp1, ProcessingPerformance pp2 WHERE pp1.nid - 1 AND pp2.nid AND pp1.pid = pp2.pid AND pp1.pid IN (SELECT PID FROM Process WHERE PTID = (SELECT PTID FROM ProcessType WHERE Name='optimization'))) AS Cabs, -- Berechnung der Wahrscheinlichkeit ((SELECT count(*) FROM ProcessingPerformance WHERE NID AND PID IN (SELECT PID FROM Process WHERE PTID = (SELECT PTID FROM ProcessType WHERE Name='optimization'))) / (SELECT count(*) FROM ProcessingPerformance WHERE NID - 1 AND PID IN (SELECT PID FROM Process WHERE PTID = (SELECT PTID FROM ProcessType WHERE Name='optimization')))) AS P, -- Berechnung der relativen Kosten der SWITCH-Path-Expression (Cabs / P) AS Crel