JobScheduler - Job Execution and Scheduling System Software Open Source

Transkript

1 JobScheduler - Job Execution and Scheduling System März 2015 März 2015 Seite: 1

2 Impressum Impressum Software- und Organisations-Service GmbH Giesebrechtstr. 15 D Berlin Germany Telefon +49 (0) Telefax +49 (0) Mail info@sos-berlin.com Web Letzte Aktualisierung: 03/13/ :06 PM Diese Dokumentation basiert auf der JobScheduler Version Copyright SOS GmbH Berlin. All rights reserved. All trademarks or registered trademarks are the property of their respective holders. Alle Informationen in diesem Dokument können ohne vorherige Ankündigung verändert werden. This product includes software developed by the Apache Software Foundation ( We would appreciate any feedback you have, or suggestions for changes and improvements; please forward your comments to info@sos-berlin.com. März 2015 Seite: 2

3 Inhaltsverzeichnis Inhaltsverzeichnis Glossar März 2015 Seite: 3

4 1 März 2015 Seite: 4

5 2 shiro will be configured with the file shiro.ini found in the class_path. This file specifies the realm with which the authentication and the authorization will be done. Authentication The authentication will be done by a user name password combination. Authentication method There are three available authentication methods authentication against a database authentication against ldap authentication against a shiro.ini file Configuration with Hibernate To enable the Hibernate Realm, the following shiro.ini must be found in the classpath [main] hibernaterealm = com.sos.dialog.auth.soshibernateauthorizingrealm hibernaterealm.hibernateconfigurationfile=c:\users\nn\documents\sos-berlin.com\jobscheduler\scheduler_current\config\hi bernate.cfg.xml securitymanager.realms = $hibernaterealm cachemanager = org.apache.shiro.cache.memoryconstrainedcachemanager securitymanager.cachemanager = $cachemanager The information containing users, roles and right are stored in the following tables März 2015 Seite: 5

6 Table with user and passwords. CREATE TABLE SOS_USER ( "ID" NUMBER(9,0), "SOS_USER_NAME" VARCHAR2(250 BYTE), "SOS_USER_PASSWORD" VARCHAR2(250 BYTE), primaray key("id") ) /*MD5 Hash*/ Directly assigned rights to roles or users. CREATE TABLE SOS_USER_RIGHT ( "ID" NUMBER(9,0), "ROLE_ID" NUMBER(9,0), "USER_ID" NUMBER(9,0), "SOS_USER_RIGHT" VARCHAR2(250), primaray key("id") ) Table with roles CREATE TABLE SOS_USER_ROLE ( "ID" NUMBER(9,0), "SOS_USER_ROLE" VARCHAR2(250 BYTE), primaray key("id") ) Assignment of roles to users CREATE TABLE SOS_USER2ROLE ( "ID" NUMBER(9,0), "USER_ID" NUMBER(9,0), "ROLE_ID" NUMBER(9,0), primaray key("id") ) Configuration with LDAP To enable the Realm LDAP, the following shiro.ini must be found in the classpath In the LDAP Realm it is not possible to assign rights directly to an user. The user in LDAP will have a password which is be used for authentication. The user also will be assigned to shiro role. The mapping between shiro role and permissions is specified in the shiro.ini file. The [roles] section specifies the assignment of rights to roles März 2015 Seite: 6

7 [main] ldaprealm = com.sos.dialog.auth.sosldapauthorizingrealm ldaprealm.userdntemplate = cn={0},ou=ehp,cn=manager,dc=my-domain,dc=com ldaprealm.searchbase = ou=ehp,cn=manager,dc=my-domain,dc=com ldaprealm.contextfactory.url = ldap://<server>:<port> ldaprealm.groupnameattribute=cn ldaprealm.usernameattribute=sn #Mapping of a ldap group to roles. You can assign more than one role with the seperator sign ldaprealm.grouprolesmap = "<user1>":"<role1> <role2>", \ "<user2>":"<role>" rolepermissionresolver = com.sos.dialog.auth.sospermissionresolveradapter rolepermissionresolver.ini = $inirealm ldaprealm.rolepermissionresolver = $rolepermissionresolver securitymanager.realms = $ldaprealm cachemanager = org.apache.shiro.cache.memoryconstrainedcachemanager securitymanager.cachemanager = $cachemanager securitymanager.sessionmanager.globalsessiontimeout = [roles] <role1> = <permission1>, <permission2> <role2> = <permission1>, <permission2> Configuration with Ini File It is possible to specify users, roles and passwords in the shiro.ini file without using ldap or a database. The list of users in the section [users] asssigns each user a password (first item after assign sign) and a list of roles. In the section [roles] is a list of roles which have a comma seperated list of permissions. März 2015 Seite: 7

8 [users] root = secret, jobscheduler_dashboard_admin ur = ur, joc, joe joe = joe, joe, jid guest = guest [roles] admin = sos:products:jid:joe,sos:products:jid:joc,sos:products:jid:events jobscheduler_dashboard_admin = sos:products:jid:* joc = sos:products:jid:joc joc_admin = sos:products:jid:joc:* joe = sos:products:jid:joe events = sos:products:jid:events jobnet = sos:products:jid:jobnet März 2015 Seite: 8

9 3 März 2015 Seite: 9

10 4 When the JobScheduler command Restservice is enabled you can execute commands using rest service urls with http post. The command executer needs a valid login done in the SOS Security server. T h e c o m m a n d e x e c u t e r p l u g i n w i l l b e i n s t a l l e d b y a d d i n g t h e p l u g i n i n t h e f i l e $scheduler_data/config/scheduler.xml <plugin java_class="com.sos.jobscheduler.tools.webservices.soscommandsecurityplugin"> <plugin.config/> </plugin> Here is a list of known commands /plugin/security/login /plugin/security/logout /plugin/security/is_enabled /plugin/security/start_job /plugin/security/modify_order /plugin/security/add_order /plugin/security/job_chain /plugin/security/job_chain_modify /plugin/security/job_chain_node_modify /plugin/security/kill_task /plugin/security/modify_job /plugin/security/modify_spooler /plugin/security/process_class /plugin/security/process_class_remove /plugin/security/consumes /plugin/security/remove_job_chain /plugin/security/remove_order /plugin/security/lock /plugin/security/lock_remove /plugin/security/terminate Parameters März 2015 Seite: 10

11 Command: /start_job job at force name params Command: /modify_order job_chain order action at end_state priority setback state suspended title params runtime Command: /add_order job_chain order at end_state priority replace state title web_service params runtime Command: /job_chain distributed max_orders name orders_recoverable title visible Command: /job_chain_modify job_chain state Command: /job_chain_node_modify job_chain action state Command: /kill_task id immediately job Command: /modify_job job cmd Command: /modify_spooler cmd März 2015 Seite: 11

12 timeout Command: /process_class scheduler_id name remote_scheduler replace max_processes Command: /process_class_remove process_class Command: /remove_job_chain job_chain Command: /remove_order job_chain order Command: /lock max_non_exclusive name Command: /lock_remove lock Command: /terminate all_schedulers continue_exclusive_operation restart timeout Command: /login user password Command: /logout The command executer uses the security server configured with the param security_server_address in the file $scheduler_data/config/scheduler.xml The answer of the command executer is xml <sos_security_webservice_answer> <isenabled>true</isenabled> <jobscheduleranswer/> <message> user: root, password: ********, resource: --> authenticated </message> <resource> </resource> <sessionid>607932d aa4c-d a61a</sessionid> <user>root</user> </sos_security_webservice_answer> The login provides a session id which must be used with all commands to get the authorization for the command März 2015 Seite: 12

13 Glossar Glossar Auftrag Job Job-Kette Ein Auftrag aktiviert die Verarbeitung einer Job-Kette. Der Auftrag enthält die Parameter für die Jobs einer Job-Kette. Jeder Job der Job-Kette hat Zugriff auf die Parameter eines Auftrags. Auftrag-Parameter überschreiben gleichnamige Job-Parameter. Ein Auftrag kann eine Zeitsteuerung enthalten. Ein Auftrag durchläuft nacheinander die Jobs einer Job-Kette. Tritt ein Verarbeitungsfehler in einem Job auf, dann kann konfiguriert werden, dass der Auftrag... aus der Job-Kette entfernt wird. von einem weiteren Job der Kette ausgeführt wird. vom fehlerhaften Job wiederholt ausgeführt wird. in der Kette am fehlerhaften Job stehen bleibt, dass heißt die Verarbeitung des Auftrag wird ausgesetzt, bis dieser wieder manuell fortgesetzt wird. Programme und Skripte, die vom JobScheduler ausgeführt werden sollen, müssen in Jobs eingebettet werden. Jobs können beliebige ausführbare Dateien starten oder Job-Skripte enthalten, die die Programmschnittstelle des JobScheduler verwenden. Jobs können in mehreren Instanzen (Tasks) ablaufen, wenn dies zur Skalierung der Leistung gewünscht ist. Es wird zwischen Standalone-Jobs und Auftrags-Jobs unterschieden. Während Auftrags-Jobs durch Aufträge innerhalb einer Job-Kette gestartet werden, können Standalone-Jobs davon unabhängig gestartet werden, dass heißt manuell, durch eine Zeitsteuerung oder per Verzeichnis-Überwachung. Standalone-Jobs können nicht in Job-Ketten eingereiht werden. Eine Reihe von Jobs, die nacheinander Aufträge verarbeiten. Der JobScheduler startet die Jobs einer Job-Kette automatisch, wenn ein Auftrag eintrifft. Job-Ketten bieten die Möglichkeit mehrere Aufträge parallel zu verarbeiten, indem die Jobs in mehreren Instanzen (Tasks) gestartet werden. JOC (JobScheduler Operations Center) JOC (JobScheduler Operations Center) ist die Oberfläche des JobScheduler zur Überwachung und Steuerung der JobScheduler Objekte, also zum Beispiel Jobs, Job-Ketten und Aufträge. _JOC öffnen Sie im Browser mit wobei [scheduler_host] und [scheduler_port] der Hostname und die Nummer des TCP Ports des JobScheduler sind (z.b. JOE (JobScheduler Object Editor) JOE ist der JobScheduler Object Editor. Mit ihm können die JobScheduler Objekte (Jobs, Job-Ketten, Aufträge, Schedules, Prozess-Klassen, Sperren) konfiguriert werden. Gestartet wird JOE mit dem Skript: $SCHEDULER_HOME \bin\jobeditor.cmd (Windows ) $SCHEDULER_HOME /bin/jobeditor.sh (Unix ) März 2015 Seite: 13

14 Glossar Schedule Die Zeitsteuerung eines Jobs oder Auftrags kann direkt am Job oder Auftrag angegeben oder in einem Schedule ausgelagert werden. Dem Job oder Auftrag wird dann lediglich der Schedule zugewiesen. Falls mehrere Jobs oder Aufträge die gleiche Zeitsteuerung haben sollen, braucht man diese so nur einmal zu formulieren. Überdies können Schedules für einen bestimmten Zeitraum andere Schedules ersetzen. So erreicht man in der Verwendung von Schedules noch mehr Flexibilität bei der Zeitsteuerung. März 2015 Seite: 14