Der Control-M Application Integrator im Projekt

Transkript

1 Der Control-M Application Integrator im Projekt Dominik Wittig 1

2 Das Projekt Den Application Integrator hat ATICS im Zuge eines großen Projekts in der Finanzbranche eingesetzt Projektrahmen Übernahme einer dezentralen Umgebung Einführung von verschiedenen neuen Softwareprodukten Unter anderem ein dezentrales Control-M Unter anderem eine Docker Umgebung Integration in ein Hyperkonvergentes Rechenzentrumskonzept Die Steuerung der einzelnen Applikationen soll über Control-M erfolgen Die Applikationen laufen alle in eigenen Containern Auch Control-M mit seinen Agenten läuft in Containern 2

3 Die zu integrierende Applikation Aus dem Projekt entstanden unterschiedliche Anforderungen an den Workload Automation Manager Steuerung alle Jobs und Abläufe über das Workload Automation Tool Die Abläufe sollen in Control-M integriert werden Es soll einen Single-Point-of-Control und einen Single-Pointof-Failure geben Zentralisierung aller Workload relevanten Themen an einer Stelle Steuerung der Applikationen über den Container Manager Docker Die Applikationen sollen alle in eigenen Containern laufen Die Steuerung erfolgt über Docker Alle Container sollen Basisobjekte darstellen Jede Applikation läuft in einem eigenen Container Jeder Container enthält (im Idealfall) nur eine Applikation 3

4 Die zu integrierende Applikation Aus dem Projekt entstanden unterschiedliche Anforderungen an den Workload Automation Manager Verwaltung aller Skripte und Jobs über ein internes Git Repository Alle ausgeführten Skripte und Jobs sollen über ein eigenes, internes Git Repository verwaltet werden Die Verwaltung soll damit von den anderen Tools losgelöst werden Die Skripte und Jobs sollen damit auch durch die Fachabteilung verwaltbar bleiben 4

5 Der Application Integrator Der Application Integrator ist eine Erweiterung für bestehende Control-M Installationen Mit dem Application Integrator kann jede Applikation in Control-M direkt integriert werden Die Applikation muss für die Integration lediglich eine von zwei Schnittstellen anbieten Zugriff auf die Applikation als Web Service Zugriff auf die Applikation via Command Line Vorteil des Application Integrator sind einheitlichere Abläufe Die Applikationen bekommen einen eigenen Jobtyp Das Template des Job Typs gibt die Optionen und Funktionalitäten der Jobs vor Die Überwachung der Abläufe kann stark vereinfacht werden 5

6 Application Integrator Aufruf Der Login zum Application Integrator (AI) erfolgt über eine Web Gui Der AI gehört damit zu den Web Komponenten von Control-M 6

7 Application Integrator Integration Nach dem Login können neue Jobtypen erstellt werden Es werden als Erstes Basisdaten abgefragt 7

8 Application Integrator Integration Jeder Job besteht aus verschiedenen Teilen Bei einem Command Line Interface können Vor- und Nachverarbeitungen festgelegt werden 8

9 Application Integrator Integration Jeder Job besteht aus verschiedenen Teilen Ein Job kann beliebig viele Steps enthalten Der Inhalt der Steps kann unterschiedlich sein 9

10 Application Integrator Integration (Steps) Es gibt für jeden Job eine allgemeine Vor- und Nachverarbeitung Hier können Prüfungen hinterlegt werden, die für alle Jobsteps Gültigkeit haben Die Prüfung kann Auswirkungen auf den Returncode des Jobs haben Die Ergebnisse können auch im Output protokolliert werden Jeder Step kann eine einzelne Prüfung auf vollständige und korrekte Verarbeitung erhalten Auch hier kann gewählt werden, ob der Output angehängt werden soll oder nicht Für die Prüfung der korrekten Verarbeitung muss ein Extra Kommando definiert werden Diese Prüfung läuft damit komplett Benutzerdefiniert ab Es gibt keine vordefinierten Standardverfahren zu Auswahl 10

11 Application Integrator Integration Jeder Job besteht aus verschiedenen Teilen Jeder Job kann mit Feldern und einem Connection Profile definiert werden 11

12 Application Integrator Parameter Dem Job können Funktionsfelder hinzugefügt werden Jedes Feld enthält einen Parameter 12

13 Application Integrator Parameter (Felder) Jeder neue Jobtyp kann im Application Integrator mit Funktionsfeldern zur Interatkion vordefiniert werden Ein Funktionsfeld kann unterschiedlich aussehen Dropdown Menü Freitextfelder (Felder und große Felder/Areas) Textfelder mit Load Funktion Auswahlfelder (Checkbox) Passwortfelder... Das Funktionsfeld kann Bestandteil von zwei Objekten sein Für den expliziten Job alleine Beispiel: Checkbox bei Datensicherungen für Full oder Incremental Backup Eines Connection Profile für alle Jobs eines Typs Beispiel: Server, Benutzername und Passwort für den Login einer Applikation 13

14 Application Integrator Parameter (Felder) Der Anwender hat auch die Möglichkeit Funktionsfelder zur Überwachung zu definieren Diese Funktionsfelder dienen der Überwachung eines Steps Die Ergebnisse der Felder können im Jobtyp abgefragt werden Je nach Abfrage können Monitoring Events gesteuert werden 14

15 Application Integrator Parameter (Variablen) Neben Funktionsfeldern können auch Variablen in der Jobtypdefinition verwendet werden Verschiedne Felder/Parameter lassen die Verwendung von Variablen zu Es können alle Werte aus existierenden Feldern als Variable verwendet werden Damit lassen sich Beispielsweise Vorbelegungen aus dem Connection Profile realisieren Es können auch Pre- und Postfixe für Felder definiert werden Die Variablen werden in doppelte {} gesetzt 15

16 Application Integrator Parameter Der Inhalt eines Feldes kann begrenzt und validiert werden Damit können Sonderzeichen ausgeschlossen werden 16

17 Application Integrator Output Aus jedem Step kann der Output analysiert werden Es lassen sich unterschiedliche Zeilen extrahieren Diese können in einer speziellen Variablen abgelegt werden Eine Analyse kann danach in der Nachverarbeitung erfolgen 17

18 Application Integrator Returncodes Zu einem kompletten Step gehört auch eine Returncode Behandlung Die Returncodes können direkt im Jobtyp abgefangen werden Hier gelten die gleichen Regeln wie in der normalen Nachverarbeitung von Control-M Jobs Auch ein RC=0 kann als Fehler gewertet werden 18

19 Application Integrator Fertiger Step Ein fertiger Step mit variabler Ausführung Die Variablen können auch direkt im Command verwendet werden 19

20 Application Integrator Deployment Im Deployment werden alle Agenten mit der AI Erweiterung angezeigt 20

21 Application Integrator Deployment Durch den Deploy der fertigen Definition werden verschiedene Aufgaben durchgeführt Das neue Template für den Job Typ wird auf den entsprechend ausgewählten Agenten installiert Nur Agenten auf denen des neue Formular installiert ist können diesen Job Typ auch ausführen Die Installation wird durch den Deploy angestossen Das Template wird in den Enterprise Manager integriert Das Template kann nach einer erfolgten Integration aus den Jobtypen im Enterprise Manager gewählt werden Die Definition eines Jobs mit dem neuen Jobtyp erfolgt wie bei allen anderen Jobs auch Achtung: Gegebenenfalls muss die Gui neu gestartet werden, damit der Job Typ angezeigt wird 21

22 Application Integrator Verwaltung Die Verwaltung der einzelnen Connection Profiles findet im CCM statt 22

23 Application Integrator Verwaltung Die Verwaltung der einzelnen Connection Profiles findet im CCM statt Die Verwaltung erfolgt analog zu allen anderen Erweiterungen AFT/MFT Database Etc... Erreicht werden die Profile über den Agenten und den entsprechenden Namen des Moduls Es können alle Felder belegt werden, die im Designprozess definiert wurden 23

24 Application Integrator Job Defintion Die neuen Job Typen können in der Planning Domain ausgewählt werden Die zuvor definierten Felder werden in der Job Definition angezeigt Der AI hat im Hintergrund eine entsprechende XML Vorlage generiert Diese wurde beim Deploy verteilt und auf den Agenten installiert 24

25 Problemstellungen der Integration Ein großes Problem im Projekt war die Vielzahl an neuen Produktion und Verfahren die eingeführt werden sollten Im dezentralen Bereich wurden zeitgleich verschiedene neue Produkte eingeführt Ein Workload Automation Tool (Control-M) Eine Betriebssystemautomation (Ansible) Eine Containerverwaltung (Docker) Ein zentrales Repository (GitLab) In der Entwicklungsphase wurde hier wenig Zeit in eine Analyse von bereits bestehenden Verfahren und der Interoperabilität der neuen Produkte investiert 25

26 Problemstellungen der Integration Ein weiteres Problem war die Umstellung der Mitarbeiter auf die neuen Verfahren Bei vielen Mitarbeitern fehlte entsprechendes Wissen zu den Produkten Zusammen mit den Produkten kamen auch neue Herangehensweisen an Probleme dazu Interne Abläufe und Worflows müssen angepasst und neu abgestimmt werden 26

27 Problemstellungen der Integration Neben den Problemen im Projekt gab es auch technische Hürden Das Update auf die aktuellen FixPacks des AI waren komplexer als gedacht Die Teile für den Enterprise Manager konnten am Anfang nicht korrekt installiert werden Ein Problem war die konsequente Trennung zwischen Agenten und Enterprise Manager Benutzer 27

28 Noch Fragen? Vielen Dank für Ihre Aufmerksamkeit 28