Evaluierung der Open Source Software Apache Active MQ

Transkript

1 Anhang A Evaluierung der Open Source Software Apache Active MQ Was leistet eine Message Queue Servertechnologie (MQ)? Ein Message Queue System ermöglicht den asynchronen Austausch von Nachrichten zwischen Softwareapplikationen aller Art. Aus dieser Schlüsselfunktion resultiert eine erheblich verbesserte Datenverfügbarkeit, da die einzelnen Applikationen nicht gleichzeitig ihre Dienste anbieten müssen, sondern die Daten dann verarbeiten können, wenn sie dazu bereit sind. Parallel dazu ist auch der synchrone Datenaustausch zwischen Applikationen möglich. Weitere herausragende Fähigkeiten einer MessageQueue Technologie sind u.a.: Die sehr hohe Verarbeitungsperformance im Vergleich zum Datenaustausch über eine Datenbank. Die Möglichkeit benutzerdefinierte Prozesse aufzurufen und Daten an diese zur Verarbeitung zu übergeben, sowie nach der Verarbeitung die Daten für andere Applikationen vorzuhalten. Die Möglichkeit zur Gestaltung von Workflows (Geschäftsprozessen) durch Enterprise Integration Patterns (EIP). Unterstützung einer Serviceorientierten Architektur (SOA). Übersicht über die häufig am Markt eingesetzten Message Queue Server: Verfügbares Produkt: Open Source basiert auf Microsoft Message Queue Server nein MSMQ IBM WebSphere Message Queue Server nein IBM WS MQ Apache Active Message Queue Server ja ActiveMQ Fuse Message Broker ja ActiveMQ Desweiteren finden sich MQ Server als Bestandteil verschiedener Enterprise Service Bus (ESB) Implementationen und in Java Applikationsservern. Diese integrierten MQ Dienste basieren zum größten Teil auf den zuvor genannten MQ Technologien. Das Apache Active MQ Projekt Der Apache Active MQ Server (ActiveMQ) ist ein unter der GPL veröffentlichter MQ Server, welcher sich durch die Unterstützung von Clients in verschiedensten Programmier- und Skriptsprachen (z.b. C++, C#,.NET, Java, EJB, Javascript (Ajax), PHP, Perl) und durch Konnektivität über eine große Anzahl von Transportprotokollen (z.b. OpenWire, REST, STOMP, RSS, XMPP) auszeichnet. ActiveMQ ist hochskalierbar und unterstützt ebenso Einzelinstallationen, wie auch Clustering und BrokerNetworks. Daneben werden Transaktionen, Persistenz und Routing (EIP) durch ActiveMQ möglich. Zur Administration bietet sich eine Webadministrationsoberfläche und ein JMX-Konnektor an. Der ActiveMQ kann sowohl über entsprechende Softwareapplikationen konfigurierte Embedded Broker, als auch über Spring XML Konfiguration eingerichtete Broker verwalten. Durch die Integration von Active Camel kann zwischen definierten Endpunkten (URI) innerhalb einer Spring XML Datei geroutet werden und somit die EIP umgesetzt werden. Eine Kombination aus Active Camel und JavaDSL ist möglich. Der Active MQ ist für verschiedene Betriebssystemplattformen (z.b. MS Windows (ab NT5), Ubuntu Linux, RHEL, u.a.) verfügbar und mit der SUN JVM ab Version 1.5 lauffähig. Der Fuse Message Broker Die Firma IONA bietet einen MessageQueue-Server auf Basis der Apache Active MQ Server Technologie und bietet dafür auch kostenpflichtige Supportverträge. Die Supportverträge gestalten sich dabei individuell, je nach Unternehmensbedarf auch 24/7 Support. Der FUSE MQ bietet geprüfte Programmroutinen, aufeinander abgestimmte Bibliotheken und die Einbettung in ein von IONA entwickeltes Überwachungskonzept für Netzwerkdienste (IONA HQ kostenpflichtig). Desweiteren veranstaltet IONA Workshops, Lehrveranstaltungen und Webseminare zur MessageQueue Technologie und ist an der Entwicklung des Apache Active MQ Projekts aktiv beteiligt. Andreas Braumann Seite 1 von 10

2 Anhang B Konfigurationsdatei für FUSE MQ Server in Spring XML <beans xmlns=" xmlns:amq=" xmlns:xsi=" xsi:schemalocation=" <bean class="org.springframework.beans.factory.config.propertyplaceholderconfigurer"> <property name="locations"> <value>file:///${activemq.base/conf/credentials.properties</value> </property> <broker xmlns=" brokername="localhost" datadirectory="${activemq.base/data" usejmx="true"> <destinationpolicy> <policymap> <policyentries> <policyentry queue=">" memorylimit="400mb"/> <policyentry topic=">" memorylimit="400mb"/> </policyentries> </policymap> </destinationpolicy> <managementcontext> <managementcontext createconnector="false"/> </managementcontext> <persistenceadapter> <amqpersistenceadapter synconwrite="false" directory="${activemq.base/data" maxfilelength="200 mb"/> </persistenceadapter> <sslcontext> <sslcontext keystore="file:${activemq.base/conf/broker.ks" keystorepassword="mypass" truststore="file:${activemq.base/conf/broker.ts" truststorepassword="mypass"/> </sslcontext> <systemusage> <systemusage> <memoryusage> <memoryusage limit="200 mb"/> </memoryusage> <storeusage> <storeusage limit="10 gb" name="foo"/> </storeusage> <tempusage> <tempusage limit="1 gb"/> </tempusage> </systemusage> </systemusage> <transportconnectors> <transportconnector name="openwire" uri="tcp://localhost:61616" /> <transportconnector name="ssl" uri="ssl://localhost:61617"/> <transportconnector name="stomp" uri="stomp://localhost:61613"/> <transportconnector name="xmpp" uri="xmpp://localhost:61222"/> </transportconnectors> <destinations> <queue physicalname="reseted" /> </destinations> </broker> Andreas Braumann Seite 2 von 10

3 Anhang B <camelcontext id="camel" xmlns=" <package>airberlin</package> <route> <from uri="remotefactory:sita" /> <to uri="activemq:sita.in " /> </route> <route> <from uri="pop3://my @ ?password=mypass&deleteprocessedmessages=tru e&consumer.delay=60000" /> <to uri="activemq:mail.in" /> </route> <route> <from uri="activemq:mail.in" /> <multicast> <to uri="activemq:popqueue1" /> <to uri="activemq:popqueue2" /> </multicast> </route> </camelcontext> <bean id="activemq" class="org.apache.activemq.camel.component.activemqcomponent" > <property name="connectionfactory"> <bean class="org.apache.activemq.activemqconnectionfactory"> <property name="brokerurl" value="vm://localhost?create=false&waitforstart=10000" /> <property name="username" value="${activemq.username"/> <property name="password" value="${activemq.password"/> </property> <bean id="messagerouter" class="airberlin.messagerouter"> <bean id="routerbean" class="airberlin.routerbean"> <bean id="remotefactory" class="org.apache.camel.component.jms.jmscomponent"> <property name="connectionfactory" ref="myproxyconnectionfactory"/> <bean id="myproxyconnectionfactory" class="org.springframework.jms.connection.usercredentialsconnectionfactoryadapter"> <property name="targetconnectionfactory" ref="mqconfactory"/> <property name="username" value="myibmuser"/> <property name="password" value="mysecret"/> <bean id="mqconfactory" class="com.ibm.mq.jms.mqqueueconnectionfactory"> <property name="hostname" value=" "/> <property name="port" value="1414"/> <property name="queuemanager" value="airberlin"/> <property name="channel" value="airclt"/> <property name="transporttype" value="1"/> <jetty xmlns=" <connectors><nioconnector port="8161"/></connectors> <handlers> <webappcontext contextpath="/admin" resourcebase="${activemq.base/webapps/admin" logurlonstart="true"/> <webappcontext contextpath="/demo" resourcebase="${activemq.base/webapps/demo" logurlonstart="true"/> <webappcontext contextpath="/fileserver" resourcebase="${activemq.base/webapps/fileserver" logurlonstart="true"/> <webappcontext contextpath="/console" resourcebase="${activemq.base/webapps/console" logurlonstart="true" /> </handlers> </jetty> </beans> Andreas Braumann Seite 3 von 10

4 Anhang C Listing 1, Enterprise Java Bean, Klasse airberlin.messagerouter package airberlin; import org.apache.camel.builder.routebuilder; public class MessageRouter extends RouteBuilder { public void configure() { from("activemq:sita.in").beanref("routerbean", "route"); Listing 2, Enterprise Java Bean, Klasse airberlin.routerbean package airberlin; import org.apache.camel.recipientlist; public class RouterBean public String route(string body) { MessageConfigManager configmanager = MessageConfigManager.getInstance(); if (body.equals("refreshfile")) { configmanager.refresh(); return "activemq:reseted"; else { String[][] routinginfo = configmanager.getroutinginformation(); int ok = 0; String targetqueue = ""; for (String[] info : routinginfo) { String regex = info[0]; if (body.matches(regex)) { ok++; targetqueue = info[1]; if (ok!= 1) { return "activemq:sita.typeb.in.unkown"; else { return "activemq:" + targetqueue; Listing 3, Enterprise Java Bean, Klasse airberlin.messageconfigmanager package airberlin; import java.io.*; import java.util.arraylist; public class MessageConfigManager { private static MessageConfigManager instance = null; private ArrayList<String> lines = new ArrayList<String>(); private String[][] values = null; private MessageConfigManager() { BufferedReader buffer = null; FileReader file = null; try { file = new FileReader("/FUSE/fuse-message-broker /conf/Messagetypes.csv"); buffer = new BufferedReader(file); String line; while ((line = buffer.readline())!= null) { lines.add(line); Andreas Braumann Seite 4 von 10

5 Anhang C catch (Exception e) { e.printstacktrace(); finally { try { buffer.close(); file.close(); catch (IOException e) { e.printstacktrace(); values = new String[lines.size()][3]; int cnt = 0; for (String line : lines) { String[] erg = line.split(";"); values[cnt][0] = erg[1]; values[cnt][1] = erg[2]; cnt++; public static MessageConfigManager getinstance() { if (instance == null) { instance = new MessageConfigManager(); return instance; public String[][] getroutinginformation() { return values; public void refresh() { instance = null; Listing 4, Inhalt der Datei: Messagetypes.csv FTL;(?si).*\x0D\x0AFTL\x0D\x0A.*;SITA.IN.FTL PFS;(?si).*\x0D\x0APFS\x0D\x0A.*;SITA.IN.PFS ETL;(?si).*\x0D\x0AETL\x0D\x0A.*;SITA.IN.ETL PRL;(?si).*\x0D\x0APRL\x0D\x0A.*;SITA.IN.PRL AVS;(?si).*\x0D\x0AAVS\x0D\x0A.*;SITA.IN.AVS SVC;(?si).*\x0D\x0ASVC\x0D\x0A.*;SITA.IN.SVC RFI;(?si).*\x0D\x0ARFI\x0D\x0A.*;SITA.IN.RFI FWD;(?si).*\x0D\x0AFWD\x0D\x0A.*;SITA.IN.FWD Syntaktischer Aufbau der Datei: Messagetypes.csv Art_der_Nachricht;RegEx;Name_der_Zielqueue Beispiel: Eine Nachricht mit folgendem Inhalt würde an die Queue SITA.IN.FTL geschickt werden. TXLMQAB.DMERMS FTL AB7869/19JAN DME PART1 ENDFTL Optionen werden bei regulären Ausdrücken in Klammern mit einem Fragezeichen eingeleitet. Die Option s bedeutet das der Punkt jedes Zeichen ersetzen kann und die Option i bedeutet das zwischen Groß- & Kleinschreibung nicht unterschieden wird. Die Datei wird in folgendem Verzeichnis erwartet: /FUSE/fuse-message-broker /conf/ Andreas Braumann Seite 5 von 10

6 Anhang D Aufstellung der durchzuführenden Systemtests: Um eine Freigabe für die Installation des FUSE MQ in einer Produktionsumgebung zu erhalten, müssen folgende Tests erfolgreich am Testsystem durchgeführt werden: Systemtest 1: Serverstart mit dem mitgelieferten Beispiel Spring-XML Skript mit aktivierter Debugmeldungsausgabe in eine Log-Datei Damit wird die korrekte Basisinstallation des FUSE MQ Servers getestet. Der Test ist dann bestanden, wenn es keine Fehlermeldungen (ERROR - Exceptions) gibt. Systemtest 2: Serverstart mit dem konfigurierten Spring-XML Skript mit aktivierter Debugmeldungsausgabe in eine Log-Datei Damit wird die korrekte Einbindung der URI-Endpunkte, der Routen aus der Spring-XML Datei, die Erweiterung des Camelkontext durch die Einbindung der Klasse airberlin.messagerouter, die Erstellung der statischen Queues und die Einbindung der EJBs getestet. Der Test ist dann bestanden, wenn es keine Fehlermeldungen (ERROR - Exceptions) gibt. Systemtest 3: Test des Routings von eingehenden Nachrichten in der Queue MAIL.IN an die beiden Queues POPQueue1 und POPQueue2. Dieser Test zeigt die korrekte Abbildung der EIP Recipient List. Der Test ist bestanden, wenn in beide Zielqueues auch jeweils alle Nachrichten dupliziert worden sind. Systemtest 4: Test des Routings von eingehenden Nachrichten in der Queue SITA.IN an den benutzerdefinierten Prozess (airberlin.routerbean), das dadurch veranlasste Einlesen der Datei MessageTypes.csv, das Vergleichen der eingelesenen regulären Ausdrücke und letztendlich das korrekte Weiterleiten an die entsprechende Zielqueue. Hierbei sind jeweils mindestens 5 Nachrichten der Nachrichtenarten FTL, PFS, BFX, ETL, PRL, SVC, RFI, FWD in gemischter Reihenfolge in die Queue SITA.IN über das Webinterface des FUSE MQ einzuspeisen. Zusätzlich werden 5 Nachrichten in diese Queue eingespeist, welche keine Übereinstimmung erzielen und 5 Nachrichten, welche mehrere Übereinstimmungen erzielen werden. Der Test ist dann erfolgreich, wenn in jeder Zielqueue jeweils die 5 Nachrichten vorhanden sind, welche dem der Zielqueue zugeordenten RegEx entsprechen. Zusätzlich müssen in der Queue SITA.UNKOWN die 10 Nachrichten vorhanden sein, welche keinem RegEx oder mehreren RegEx entsprechen, da sie nicht eindeutig definiert sind. Systemtest 5: Test der dynamischen Aktualisierung der CSV-Daten ohne den Server neuzustarten. Dazu wird der Server gestartet, eine auf den Test-RegEx abgestimmte Nachricht in die Queue SITA.IN gespeist (dadurch wird eine Instanz von airberlin.messageconfigmanager erzeugt) und diese sollte dann in die Queue SITA.UNKOWN geleitet werden. Jetzt wird die Datei MessageTypes.csv geöffnet und folgender Eintrag in einer neuen Zeile hinter dem letzten Zeichen hinzugefügt: TEST;(?si).*\x0D\x0A\TEST\x0D\x0A.*;SITA.IN.TEST Danach wird die Datei wieder ordnungsgemäß gespeichert und geschlossen. Als nächster Schritt wird in die Queue SITA.IN eine Nachricht, deren Body folgende Zeichenfolge enthält, eingefügt: refreshfile (ohne Leerzeichen oder Zeilenumbrüche,etc.) Andreas Braumann Seite 6 von 10

7 Anhang D Jetzt sollte die Instanz von airberlin.messageconfigmanager zerstört worden sein und die Nachricht mit dem Inhalt refreshfile sollte in der Queue reseted vorhanden sein. Abschliessend wird nun die erste Nachricht (welche auf den Test-RegEx abgestimmt ist) in die Queue SITA.IN eingefügt und damit im Hintergrund ein neues Objekt von airberlin.messageconfigmanager erzeugt, welches den Inhalt der CSV-Datei neu einliest. Dadurch sollte die Nachricht, welche vor der refreshfile Nachricht nicht erkannt wurde, jetzt aber erkannt werden und in der Queue SITA.IN.TEST vorzufinden sein. Der Test ist bestanden, wenn die auf den Test-RegEx abgestimmte Nachricht beim ersten Einspeisen in der Queue SITA.UNKOWN und beim zweiten Einspeisen in der Queue SITA.IN.TEST abgelegt wurde, ohne den Server neuzustarten. Systemtest 6: Testen das korrekte Abholen der Nachrichten vom IBM WebSphereMQ und deren Weiterleitung an die Queue SITA.IN. Über den IBM Warteschlangenmanager wird eine Testnachricht auf die Queue SITA des IBM WSMQ eingefügt. Der Test ist dann bestanden, wenn die Nachricht erfolgreich vom FUSE MQ automatisch am IBM WSMQ abgeholt wird und dann an die Queue SITA.IN des FUSE MQ weitergeleitet wurde. (Hierbei darf nicht vergessen werden, das in SITA.IN eingehende Nachrichten sofort ausgelesen und geparst werden. Die im IBM eingespeiste Nachricht findet sich so je nach Inhalt in einer entsprechenden Zielqueue.) Systemtest 7: Testen das korrekte Abholen der Nachrichten vom MS Exchange und deren Weiterleitung an die Queue MAIL.IN. Von einem beliebigen server wird eine eine Testnachricht an das zur Abholung konfigurierte konto my @airberlin.com gesendet. Der Test ist dann bestanden, wenn die Nachricht erfolgreich vom FUSE MQ automatisch am MS Exchange abgeholt wird und dann an die Queue MAIL.IN des FUSE MQ weitergeleitet wurde. (Hierbei darf nicht vergessen werden, das in MAIL.IN eingehende Nachrichten sofort ausgelesen und weiterverarbeitet werden. Die -Nachricht findet sich so je einmal in POPQueue1 und POPQueue2 wieder.) Durchführungsprotokoll der Systemtests in der Testumgebung: Test-Nr durchgeführt am: Ergebnis: (ok / Fehlerbeschreibung) :17 ok :22 ok :27 ok :39 ok :52 ok :04 ok :10 ok Alle Systemtests wurden wie geplant durchgeführt. Das Testsystem hat alle Systemtests erfolgreich abgeschlossen. Die vorliegende FUSE MQ Serverinstallation ist freigegeben für eine Installation im Produktionsumfeld. Andreas Braumann Seite 7 von 10

8 Anhang E Checkliste zur Installation des FUSE MQ Preinstallations: Ausgeführt Geprüft Dedizierten Benutzer mit Passwort anlegen Benutzername und Passwort dokumentieren Dediziertes Verzeichnis /FUSE_JRE erstellen Download der JRE 1.6.0_11 Installation der JRE Umbennen der Datei java im Verzeichnis /FUSE_JRE/bin Erweitern der PATH-Variablen auf /FUSE_JRE/bin Installation: Dediziertes Verzeichnis /FUSE erstellen Download des Pakets fuse-message-broker unix.bin Installation des FUSE MQ im Konsolenmodus (Option i console) Zusatzbibliotheken in <fuse-install>/lib kopieren & Version prüfen com.ibm.mq.jar (IBM WS SDK Version 7.0) com.ibm.mq.jmqi.jar (IBM WS SDK Version 7.0) com.ibm.mqjms.jar (IBM WS SDK Version 7.0) com.ibm.mq.jms.nojndi.jar (IBM WS SDK Version 7.0) com.ibm.mq.soap.jar (IBM WS SDK Version 7.0) commons-logging-1.1.jar (IBM WS SDK Version 7.0) connector.jar (IBM WS SDK Version 7.0) dhbcore.jar (IBM WS SDK Version 7.0) fscontext.jar (IBM WS SDK Version 7.0) jms.jar (IBM WS SDK Version 7.0) jndi.jar (IBM WS SDK Version 7.0) mail.jar (SUN Java Mail Version 1.4.1) spring.jar (Spring Framework Version 2.5.5) camel-core.jar (Apache Camel Version 1.5.0) airberlin.jar enthält das Package airberlin Beispielkonfigurationen folgender Dateien sichern <fuse-install>/conf/activemq.xml -> activemq.xml.bsp <fuse-install>/bin/activemq -> activemq.bsp <fuse-install>/bin/activemq-admin -> activemq-admin.bsp Konfigurationsdateien anpassen <fuse-install>/conf/activemq.xml <fuse-install>/bin/activemq <fuse-install>/bin/activemq-admin AT - Startskript erstellen <fuse-install>/conf/messagetypes.csv erstellen Andreas Braumann Seite 8 von 10

9 Anhang F Andreas Braumann Seite 9 von 10

10 Anhang G Quellennachweis Für die Erstellung des Teilprojekts: Evaluierung, Entwurf, Test, Integration und Konfiguration eines MessageQueue-Systems (MQ) auf Open Source Basis wurden folgende Informationsquellen genutzt: Quellen im Internet: Für die Evaluierung: Für die Einführung in die Thematik: Active MQ in Action MEAP Edition (Vorabversion vor Drucklegung) Bruce Snyder, Dejan Bosanac, and Rob Davies MEAP Release: August 2008 Softbound print: October 2009 (est.) 375 pages Manning Publications Co., ISBN: Für die Lösungsentwicklung: Andreas Braumann Seite 10 von 10