Hauptanforderungen an eine Lösung für Job Scheduling und Workload Automation Die herkömmliche Planung für Batch-Jobs ist unzureichend.

Transkript

1 Hauptanforderungen an eine Lösung für Job Scheduling und Workload Automation Die herkömmliche Planung für Batch-Jobs ist unzureichend. Kurzanleitung

2 Überwinden Sie die Job-Scheduling-Herausforderungen von heute Obwohl das herkömmliche Batch-Job-Scheduling noch in vielen Unternehmen seinen Platz hat, stellen mehrere verschiedene IT-Plattformen und -umgebungen sowie rund um die Uhr einsatzbereite Geschäftsprozesse eine viel komplexere Herausforderung als früher dar. Außerdem sind häufig komplexe Prozesswechselbeziehungen und eine dynamische Steuerung für den Bearbeitungsstart der Jobs auf Basis der sich ändernden Bedingungen zu berücksichtigen. Es ist klar, dass sich die bisherigen Forderungen an einen gewöhnlichen Job Scheduler zu umfangreicheren Forderungen an die Workload- Automatisierung weiter entwickelt haben, um die heutigen komplexen Forderungen zu erfüllen. Welche Hauptmerkmale benötigen Sie, um die heutigen Anforderungen an eine Unternehmenslösung für Job Scheduling und Workload Automation zu erfüllen? In den vergangenen 15 Jahren haben wir die wichtigsten Forderungen globaler Unternehmen zusammengestellt. Alle haben erfolgreich ihre Kernprozesse in den Rechenzentren automatisiert, um so ihre wichtigsten Unternehmensapplikationen und Dienste zu unterstützen. So konnten sie ihre IT-Prozesszeit um 70 % zu reduzieren, 90 % aller IT-Prozessfehler beseitigen und den manuellen Aufwand um 90 % reduzieren. Das können Sie jetzt auch schaffen! Wir zeigen Ihnen im Folgenden, wie es geht. 1. Die Lösung muss ein effektives Job Scheduling gewährleisten. Obwohl sich die Anforderungen an Job-Scheduler mit der Zeit erhöht haben, bleibt die Grundwahrheit bestehen, dass dieser auch heute eine effektive Job-Planung zu gewährleisten hat. Job Scheduling ist, um es ganz einfach zu sagen, die ordnungsgemäße und zuverlässige Ausführung von Batch-Programmen in der richtigen Reihenfolge. Um diese Aufgabe ordnungsgemäß zu erfüllen, muss ein Job Scheduler über ein Sortiment an Merkmalen verfügen, die eine effektive Planung verteilter Workloads in Übereinstimmung mit den Betriebszielen gewährleisten. Alle Unternehmen verwenden zum Beispiel einen oder mehrere Geschäftskalender als Grundlage. Diese Kalender legen wichtige Termine z. B. für die Gehaltsabrechnung, die Geschäftsberichte und die Monats- und Quartalsabschlüsse fest. Die Hauptprobleme solcher Kalendern und Zeitplaner sind Flexibilität und Zuverlässigkeit: kann der Zeitplaner auf veränderte Unternehmensbedürfnisse reagieren und doch stets berechenbare Ergebnisse liefern? 2

3 Außerdem müssen die Programme und Applikationen zu bestimmten Zeitpunkten in der vorgegebenen Reihenfolge mit verschiedenen Ressourcen- und Prioritätsanforderungen auf verschiedenen Plattformen laufen. Die Zeitplaner müssen flexibel genug sein, um diese breite Vielfalt an technologischen, geschäftlichen und Ressourcenanforderungen zu erfüllen. Wenn der Job Scheduler in der Lage ist, die Prozesse in der erforderlichen Reihenfolge zu planen und Ressourcenkonflikte zu lösen, wird die Ausführung der Applikationen schneller und berechenbarer und der Datendurchsatz beim Scheduling wird erhöht. Leider konzentrieren sich die meisten Scheduling-Produkte auf sequenzielle Aktivitäten und ignorieren die Möglichkeiten zum Ausgleich und zur Priorisierung der Workloads. 2. Integrierte Managed File Transfers Die meisten IT-Prozesse im Unternehmen - Datenübertragungen zwischen entfernten Standorten, externen Geschäftspartnern oder betriebsinternen Systemen - sind auf einen schnellen und sicheren Dateitransfer angewiesen. Bei einer getrennten, integrationslosen und unkoordinierten File-Transfer-Lösung handelt es sich um eine Form des Dateitransfers, die als Unmanaged bezeichnet wird und nur ein weiteres verbindungsloses Tool, eine neue Automatisierungsinsel schafft. Damit wird eine weitere Schwachstelle in der Prozesskette geschaffen, auf deren Basis der gesamte Unternehmensprozess läuft. Die Verwaltung des Dateitransfers beruht normalerweise auf einer manuellen Koordinierung oder Zeitplanung, die nicht nur unwirtschaftlich ist, sondern auch teilweise inkorrekte und unvollständige Daten in den Prozess einbringt. Ein unternehmensweite Job-Scheduler- oder Workload-Automatisierungslösung muss einen integrierten Managed File Transfer beinhalten, damit sie den Prozessfluss verbessert und die Qualität der Daten in allen Unternehmensprozessen erhöht. Ein voll automatisierter und kontrollierter File Transfer mit Koordinierung sorgt für konsistente und zuverlässige, direkte IT-Abläufe, die Ihr Unternehmen prognostizierbarer machen und weniger Fehler zulassen. 3. Zentrale, skalierbare und mandantenfähige Architektur Eine Job-Scheduler- bzw. Workload-Unternehmenslösung mit Zentralarchitektur nutzt den Vorteil aus, dass die Daten in einem zentralen Datenbanksystem gespeichert werden. Sämtliche Daten, einschließlich der JCL-Daten, sind stets zentral verfügbar. Dadurch wird ein umfassender Überblick über alle vergangenen, gegenwärtigen und zukünftigen 3

4 IT-Vorgänge geboten und eine maximale Betriebssicherheit gewährleistet. Eine zentralisierte Kontrolle reduziert den Wartungsaufwand auf ein absolutes Minimum. Weil viele Produkte immer noch auf einer einzigen Engine beruhen und keine Active-Active- Konfiguration haben, erlauben sie in Spitzenbelastungszeiten keine Skalierung. Das heißt, Sie müssen neue Hardware kaufen oder ein zusätzliches Scheduler- bzw. Workload- System einrichten, um die zusätzliche Workload verarbeiten zu können. Ein weiterer relevanter Faktor ist die Programmiersprache der Automation Engine. Mit Java entwickelte Engines haben bei hohen Workloads häufig Probleme mit der Performance und verlangen zusätzliche Hardware. Eine mandantenfähige Architektur reduziert die Hardware- und Administrationskosten und verringert somit die Gesamtbetriebskosten (TCO) Die Mandantenfähigkeit bezieht sich auf ein Verfahren der Softwarearchitektur, bei der eine einzige Softwareinstanz gleichzeitig mehrere Kundenunternehmen (Mandanten) bedient. Bei einer mandantenfähigen Architektur partitioniert die Softwareapplikation ihre Daten und Konfiguration für die einzelnen Mandanten, so dass jedes Unternehmen mit einer kundenspezifischen logischen Instanz dieser Applikation arbeitet. Weil man die IT heute als Dienstleistung betrachtet, ist es wichtig, eine logische Trennung zwischen verschiedenen Kunden bzw. Unternehmen herbeiführen zu können, weil dies das Berichtswesen und die Rückberechnung erbrachter Dienstleistungen an die betreffenden Abteilungen vereinfacht. Diese Trennung trägt auch zur Verbesserung der Sicherheit bei. 4. Objektorientierung zur Ermöglichung schneller, flexibler Implementierungen Ein objektorientiertes Design besitzt ein enormes Zeiteinsparungspotenzial, weil Sie damit eine einzige generische Job-Definition für Jobs mit unterschiedlichen Parametern auf hunderten verschiedenen Zielsystemen verwenden können. Dieses Verfahren beruht auf dem Modularkonzept. Beispiel: Stellen Sie sich einen Backup-Prozess vor, der auf allen UNIX- Servern Ihres Rechenzentrums einmal pro Woche als volles Backup und jeden zweiten Tag als inkrementelles Backup laufen muss. Bei Lösungen ohne Objektorientierung würden Sie hunderte Job-Definitionen dafür benötigen. Außerdem würde dieser Ansatz zu einem echten Wartungsalptraum führen, 4

5 da sämtliche Änderungen für hunderte einzelner Job-Definitionen vorgenommen werden müssten. Im Gegensatz dazu beschleunigt die Objektorientierung die Implementierung und schafft eine flexible Plattform, die schnelle Änderungen in der IT-Umgebung ermöglicht. 5. Nativer Applikationssupport Ob es sich nun um selbst entwickelte oder gekaufte Applikationen handelt - auf jeden Fall verlangen sie nach Job Scheduling. Historisch gesehen wurde beim Job Scheduling und Systemmanagement immer das Management der verschiedenen IT-Infrastrukturkomponenten in den Vordergrund gestellt. Die Netzwerke, CPUs, Datenbanken, Controller, Programme, Festplatten und weitere Komponenten erfordern Management, Überwachung und Scheduling. Das Ziel eines modernen Job Schedulers besteht in der Administration der gesamten Applikation und nicht nur der unterstützenden Komponenten. Der besondere Service einer IT-Abteilung für die anderen Unternehmensteile besteht in der Administration und Überwachung der geschäftlichen Kernapplikationen und der kontinuierlichen Einhaltung der Service Level Agreements auf Basis dieser Applikationen. Die meisten Applikationspakete verfügen über einen bestimmten Typ eines Application Program Interfaces (APIs), das zur Verwendung durch Programmierund anderes technisches Personal vorgesehen ist und es dem Scheduler erlaubt, direkt mit den Applikationspaketen zu kommunizieren, um Jobs zu starten und zu überwachen. Design besitzt ein enormes Zeiteinsparungspotenzial, weil Sie damit eine einzige generische Job-Definition für Jobs mit unterschiedlichen Parametern auf hunderten verschiedenen Zielsystemen verwenden können. Ihre Lösung muss eine native Integration der vielen Einzelapplikationen in Ihrer IT-Umgebung in einen umfassenden und nahtlosen Prozessfluss herbeiführen können. Sie sollte die Verwaltung externer Schnittstellen vereinfachen, so dass die Applikationen effektiver Daten miteinander austauschen können. Außerdem sollte sie den Bedarf an kundenspezifischen Programmierarbeiten und manuellen Routineüberprüfungen zwischen den Prozessschritten beseitigen, und Ihnen so Zeiteinsparungen und Fehlerreduzierungen bieten. 5

6 6. Dynamische, ereignisbasierte Automation Herkömmliche Scheduler ignorieren die Applikationen als Datenquelle zur Automatisierung der Unternehmensprozesse. Dadurch verschenken sie die Möglichkeit zur Beseitigung von Latenzen und zu dynamischen Reaktionen auf veränderte Unternehmensbedürfnisse. Deshalb können einfache Job Scheduler die heutigen, steigenden Anforderungen an die Automatisierung, Integration und Beschleunigung komplexer Geschäftsprozesse nicht erfüllen. Die Applikationsdaten in Flat Files, Berichten und relationalen Datenbanken repräsentieren den aktuellen Unternehmensstatus. Der Cash Flow schwankt, die Bestände erhöhen oder verringern sich und Rechnungen werden täglich und stündlich beglichen. Um eine beschleunigte Verarbeitung der Applikationsdaten zu ermöglichen, müssen die Automatisierungsprodukte auf Basis der aktuellen Unternehmensdaten dynamisch auf einen sich ändernden Unternehmensstatus reagieren. Nehmen wir zum Beispiel an, der Bestand eines bestimmten Teiles sei unter das Nachbestellniveau gesunken. Eine normale Vorgehensweise beim Scheduling bestünde darin, in bestimmten regelmäßigen Abständen - einmal täglich oder wöchentlich - die Bestände zu ermitteln. Zur Beschleunigung dieses Prozesses müsste im Unternehmen ein Programm zur Überprüfung der Nachbestellmenge geschrieben und anschließend eine bestimmte Handlung vollzogen werden - nämlich mehr Teile zu bestellen. Je nach Applikation kann dies an verschiedenen Programmen Modifikationen verlangen, was zu einem bedeutenden zeitlichen und finanziellen Aufwand führt. Ein moderner Job Scheduler muss diesen Applikationsprozess beschleunigen können. Mit geringstem Aufwand muss er die Prozessabläufe so konfigurieren, dass die sich ändernden Applikationsdaten analysiert und anschießend auf Basis dieser Daten entsprechende Ereignisse ausgelöst werden. Die Design-Tools müssen eine Abfrage und Statusprüfung der Datenwerte erlauben, um entweder sofort oder zu einem definierten späteren Zeitpunkt Ereignisse auszulösen. Dadurch wird das IT-Personal in die Lage versetzt, die Durchführung der Geschäftsprozesse ohne kostspielige Modifikationen der Quellcodes beschleunigen zu können. Die Möglichkeit zur Einbeziehung komplexer IT-Prozesse mit Konditionslogik muss ebenfalls vorhanden sein, um kundenspezifische Lösungen zu schaffen, die eine weitergehende Automatisierung und Integration der geschäftlichen Unternehmensprozesse herbeiführen. Eine dynamische Applikationsautomatisierung steht im Gegensatz zu den Möglichkeiten typischer Job-Scheduling-Tools, die lediglich eine feste Planung von Systemereignissen oder Scripts durchführen. Wie bereits ausgeführt, 6

7 muss eine echte Unternehmensautomatisierung in Interaktion mit den Applikationen und den ihnen zu Grunde liegenden Daten treten, um eine Komplettlösung zu verkörpern. 7. Bedingte Geschäftsregeln Eine weitere wichtige Forderung an den Job Scheduler ist das Anlegen bedingter Geschäftsregeln für die Unternehmensprozesse. Diese Regeln können auf Basis der Applikationsdaten oder auf Basis anderer Faktoren aufgestellt werden. Zur Modellierung bedingter Geschäftsregeln benötigt man leistungsfähige Tools. Bei der Implementierung von Unternehmensregeln werden logische Operatoren, wie größer als, kleiner als, ist gleich, ist ähnlich wie usw. dazu verwendet, um eine Reihe verschiedener Bedingungen im Geschäftsablauf zu prüfen. Eine breite Vielfalt bedingter Operatoren zur Abfrage von Datenwerten und zur Entscheidungsfindung auf Ergebnisbasis ist bereitzustellen. Diese bedingten Operationen müssen sich einfach anlegen lassen und durch eine Benutzerschnittstelle mit natürlicher Sprache unterstützt werden, damit auch nichttechnische Mitarbeiter ohne Programmierung diese Geschäftsregeln anlegen können. Einige einfache Beispiele für die Verwendung logischer Bedingungsabfragen sind: Wenn der Wert in Zeile x der Tabelle y größer als 100 ist, starte Prozess A. Wenn mehr als 50 Transaktionen in Tabelle y vorhanden sind, starte Prozess A. Durch das Hinzufügen weiterer logischer Operatoren wie AND und OR lassen sich komplexere Unternehmensregeln zur Modellierung der geschäftlichen Abläufe leicht konstruieren. Diese Konditionslogik vor, während und nach der Durchführung eines Jobs anwenden zu können, ist kritisch, weil sie bei der Modellierung komplexer Geschäftsprozesse eine enorme Flexibilität bietet. Dadurch kann jeder Prozess überprüft werden, um sicherzustellen, dass alle früheren und aktuellen Ausführungs- und Folgebedingungen gültig sind. Häufig macht diese Konditionslogik manuelle Eingriffe und Programmierungen überflüssig. Ein einfaches Beispiel ist die Prüfung, ob eine bestimmte Aufgabe abgeschlossen ist oder die Voraussetzung für einen Programmstart erfüllt ist. Wie lange ein aktueller Job bereits läuft, um anschließend zu entscheiden, ober er bei Überschreitung der vorgesehenen Ausführungsdauer abgebrochen wird, kann ebenfalls geprüft werden. Unter Einbeziehung zahlreicher Eingangsgrößen, temporärer Konditionen und Ereignisse ist der Aufbau weitaus komplexerer Prozesse möglich. 7

8 8. Lastenausgleich - Workload Balancing Die Applikationsverarbeitung lässt sich heute nicht mehr vom Konzept des Lastenausgleichs trennen. Ein Lastenausgleich sorgt dafür, dass den konkurrierenden Aufgaben und Applikationen die knappen IT-Ressourcen nur im benötigten Umfang zugewiesen werden. Durch eine Missachtung der Ressourcengrenzen kann es zu einer schweren Beeinträchtigung der IT und letztlich zu Service-Level-Problemen kommen. Wirkungsvolle Workload-Automation-Produkte müssen technologische Lösungen zum Ressourcenmanagement bereitstellen. Workload Balancing erlaubt Ihnen außer der Prioritätensetzung auch das Anlegen mehrerer Warteschlangen, in denen die Jobs mit ähnlicher Priorität in Gruppen geordnet und gemäß eines vorher festgelegten Algorithmus durchgeführt werden. Außerdem müssen sich die Prioritäten und Warteschlangen leicht ändern lassen, um diese an die sich ändernden Bedürfnisse im Unternehmen anzupassen. Eine moderne Job- Scheduler- oder Workload-Automatisierungslösung muss das Anlegen und Verwalten von Warteschlangen, die Änderung der Warteschlangenprioritäten sowie die Zuweisung von Prioritäten für Prozesse und Zeitpläne als Leistungsmerkmale enthalten. Diese Fähigkeiten optimieren den Datendurchsatz der Applikation und sorgen für einen Lastenausgleich zwischen allen Systemen und Applikationen. 9. Management der Endnutzer und deren Einbeziehung Viele moderne Unternehmensapplikationen sind zur Erweiterung der Endnutzermöglichkeiten geschaffen worden. Die Endnutzer können als Nutznießer dieser Entwicklung Dienste anfordern, eigene Berichte generieren und rund um die Uhr Forderungen an das System stellen. Dies stellt für das IT-Personal ein Problem dar, weil die Benutzeranfragen Schwankungen der Systemlast verursachen, die einen Einfluss auf die Performance des gesamten Systems haben. Diese Lastschwankungen sind oft so stark, dass das IT-Personal die vorgesehenen Service Level nicht mehr einhalten kann. Einige Benutzeranfragen kollidieren außerdem mit anderen missionskritischen Geschäftsprozessen. Die Herausforderung besteht darin, den Endnutzern auch weiterhin die Freiheit zu geben, ihre Systemnutzung zu maximieren, während gleichzeitig die Einhaltung einer vernünftigen Systemlast und das Management der Ressourcenbeschränkungen realisiert werden muss. Genau wie die Unternehmensapplikationen selbst muss auch das Job-Scheduler- oder Workload-Automation- Produkt flexibel und nutzerfreundlich sein, damit der Endnutzer 8

9 die Produktmerkmale voll ausschöpfen kann. Die Endnutzer wissen, wie sie ihre Geschäftsprozesse beschleunigen oder optimieren können. Deshalb ist es kritisch, einen Self Service vorzusehen, der den Endnutzern die Anforderung und Überwachung von Jobs oder Prozessen bis hin zu deren Fertigstellung erlaubt. Der Schlüssel zur Umsetzung all dieser Anforderungen im Unternehmen liegt in der Fähigkeit, die richtigen Verarbeitungs- und Priorisierungsgrundsätze zur Behandlung aller von den Nutzern angeforderten Jobs aufzustellen. Das IT-Personal kann Prozesswarteschlangen, Prioritäten und Endnutzerprofile anlegen und pflegen. Zur Beseitigung unnötiger Systemlasten und Ressourcenengpässe können die Parameter feiner abgestimmt werden. Die Warteschlangen können Sie so anlegen, dass während bestimmter Tageszeiten nur bestimmte Klassen an Service- und/oder Verarbeitungsanforderungen behandelt werden. Dadurch geben Sie den Nutzern die Freiheit, ihre Jobanforderungen ungeachtet der tatsächlichen Ausführungszeit und ohne Involvierung des IT-Personals abzuschicken. Die Endnutzer gewinnen so aus ihrer Sicht ein unübertroffenes Niveau an Kontrolle und Sichtbarkeit. Start, Überwachung und Abbruch von Vorgängen können ohne Eingreifen des IT-Personals durchgeführt werden. Damit wird das IT-Personal von der unnötigen Belastung befreit, Ad-hoc-Anforderungen der Nutzer per Telefon oder zu behandeln. Außerdem können keine kostspieligen Fehler oder Missverständnisse bei der Übermittlung der Serviceanforderung an die IT-Abteilung mehr auftreten. Letztendlich werden auch die einfachen aber kostspieligen Fehler vermieden, die bei der Bearbeitung von Ad-hoc-Serviceanforderungen aufgrund fehlerhafter Daten entstehen würden, weil die Eingangsdaten direkt zum Zeitpunkt der Nutzeranforderung validiert werden. 9

10 10. Datensicherheit und Compliance Wenn die Lohnabrechnungs- oder Banküberweisungsprogramme gemeinsam mit ihren Datenausgaben auf demselben Server gespeichert werden, kann sich jeder Administrator oder Hacker unbefugt und unbemerkt Zugang zu diesen virtuellen Maschinen verschaffen und Änderungen vornehmen. Diese Situation stellt ein hohes Sicherheitsrisiko dar und kann einen sehr negativen Einfluss auf Ihr Geschäft haben. Um dieses Risiko zu vermeiden, müssen Sie folgende Forderungen einhalten: Alle Programme und Programmcodes werden in einer zentralen Datenbank gespeichert und verschlüsselt, für die nur einige wenige autorisierte Personen Benutzerrechte haben. Alle Programme und Programmcodes werden in einer zentralen Datenbank gespeichert und verschlüsselt, für die nur einige wenige autorisierte Personen Benutzerrechte haben. Jede Datenbankänderung wird dokumentiert, um Verursacher gespeichert und verschlüsselt, für die nur einige wenige autorisierte Personen Benutzerrechte haben. Sie müssen über einen Archivierungsmechanismus verfügen, der es Ihnen erlaubt, schnell Einblick in Ihre historischen Daten erhalten zu können. Die Kommunikation zwischen Ihren Systemkomponenten muss mit hohem Verschlüsselungsgrad erfolgen, damit niemand Einblick in die Ausgabedaten vertraulicher Prozesse wie z. B. der Gehaltsabrechnung nehmen kann (ohne sichere Verschlüsselungsverfahren können sich Hacker leicht Zugang zu diesen Informationen verschaffen, indem sie z. B. Netzwerk-Sniffer verwenden). Allein durch die Realisierung der oben genannten Maßnahmen können Sie eine volle Auditkonformität gewährleisten. 10

11 Short Guide Fazit Wenn Sie nach einer Job-Scheduler- oder Workload-Automation-Lösung suchen, welche die anspruchsvollen Forderungen des heutigen, modernen Tagesgeschäfts erfüllen kann, sollten Sie folgende Hauptmerkmale berücksichtigen: 1. Die Lösung muss ein effektives Job Scheduling gewährleisten. 2. Sie muss über einen integrierten Managed File Transfer verfügen. 3. Zentrale, skalierbare und mandantenfähige Architektur. 4. Objektorientierung zur Ermöglichung schneller, flexibler Implementierungen. 5. Bereitstellung eines nativen Applikationssupports. 6. Unterstützung einer dynamischen, ereignisbasierten Automation. 7. Fähigkeit zur Einbettung bedingter Geschäftsregeln. 8. Unterstützung für hochentwickelten Lastenausgleich. 9. Self-Service-Bereitstellung zur effektiven Einbeziehung der Endnutzer. 10. Hohe Datensicherheit und Compliance im gesamten Unternehmen. Obwohl es neben den oben genannten viele weitere Faktoren gibt, deren Berücksichtigung ebenfalls wichtig ist, können Sie sich bei Einbindung der obigen Hauptmerkmale in Ihre Lösung sicher sein, die ständig steigenden Anforderungen an Ihr Unternehmen erfüllen zu können. Weitere Informationen oder Produkt-Demos finden Sie unter: Automic ist ein führendes Unternehmen im Bereich Business Automation. Es hilft Unternehmen durch die Automatisierung ihrer IT-Landschaft Wettbewerbsvorteile zu generieren von Anwendungen, die im eigenen Rechenzentrum betrieben werden, bis zu Cloud Services; von Big Data-Lösungen bis zum Internet der Dinge. Automic hat Niederlassungen weltweit und unterstützt mehr als Kunden, darunter Bosch, Netflix, ebay, AMC Theatres, Carphone Warehouse, ExxonMobil, BT Global Services, Société Générale, NHS SBS, General Electric und Swisscom. Automic befindet sich im Besitz von EQT. Weitere Informationen unter