J A D E JADE - JS AdvancedDataExchange

Transkript

1 JobScheduler - Job Execution and Scheduling System J A D E JADE - JS AdvancedDataExchange Parameter-Referenz Dezember 2012 Dezember 2012 J A D E Seite: 1

2 J A D E - Impressum Impressum Software- und Organisations-Service GmbH Giesebrechtstr. 15 D Berlin Germany Telefon +49 (0) Telefax +49 (0) Mail info@sos-berlin.com Web Letzte Aktualisierung: 12/03/ :55 PM Diese Dokumentation basiert auf der JobScheduler Version Copyright SOS GmbH Berlin. All rights reserved. All trademarks or registered trademarks are the property of their respective holders. Alle Informationen in diesem Dokument können ohne vorherige Ankündigung verändert werden. This product includes software developed by the Apache Software Foundation ( We would appreciate any feedback you have, or suggestions for changes and improvements; please forward your comments to info@sos-berlin.com. Dezember 2012 J A D E Seite: 2

3 J A D E - Inhaltsverzeichnis Inhaltsverzeichnis Parameter des JADE-Client Parameter für ein Transfer-Profil settings - Name der Konfigurationsdatei mit den Profilen profile - Der Name eines auszuführenden Transfer-Profils in der Konfigurationsdatei operation - Die auszuführende Operation verbose - Granularität der Protokollierung von (Debug-)Meldungen protocol - Art des Datenübertragungsprotokolls Verbindungs-Parameter host - Host-Name port - zu verwendende Port-Nummer des Protokolls protocol - Art des Datenübertragungsprotokolls Proxy-Parameter alternative_host alternative_port Parameter zur Authentifizierung user - Kennung/Identifikation des Nutzers password - Das zur Nutzerkennung passende Kennwort Alternative Authentifizierung alternative_user alternative_password Parameter für SSH auth_file auth_method strict_hostkey_checking - SSH Prüfung des HostKeys SSH proxy parameter Auswahl der Transfer-Objekte file_path file_spec - Dateinamens-Filter mit regulären Ausdruck file_list_name - Name einer Datei mit einer Dateiliste Transaktionsorientierter Transfer transactional - Transaktions orientierter Transfer atomic_suffix - Suffix für den Namen der Target Transfer Datei atomic_prefix - Präfix für den Namen der Target Transfer Datei Atomistische Übertragung atomic_suffix - Suffix für den Namen der Target Transfer Datei atomic_prefix - Präfix für den Namen der Target Transfer Datei Operationen mit den Objekten Parameter für parallele Übertragung concurrent_transfer - Parallele Übertragung aktivieren max_concurrent_transfers - Maximale Anzahl gleichzeitiger Übertragungen Dateien komprimieren compress_files compressed_file_extension - Dateinamenendung für komprimierte Dateien decompress_after_transfer - Dateien nach der Übertragung entpacken Parameter für die Kumulierung von Dateien cumulate_files - Dateien kumulieren Dezember 2012 J A D E Seite: 3

4 J A D E - Inhaltsverzeichnis cumulative_filename - Dateien kumulieren cumulative_file_separator - Dateien kumulieren cumulative_file_delete - Dateien kumulieren Dateinamen modifizieren replacing - Regulärer Ausdruck für Umbenennen der Dateien replacement - Zeichenkette für Substitution Beispiele zur Kumulierung von Dateien Encoding file_name_encoding - Set the encoding-type of a file name control_encoding - Specify the encoding-type used by the server Parameter für die Data-Source force_files recursive - Unterverzeichnisse durchsuchen local_dir - local_dir remove_files zero_byte_transfer - Dateien mit null byte Größe übertragen Dateinamen modifizieren replacing - Regulärer Ausdruck für Umbenennen der Dateien replacement - Zeichenkette für Substitution Beispiele zur Kumulierung von Dateien Prüfung auf Vollständigkeit aller Dateien check_steady_state_for_files - Vollständigkeit einer Datei prüfen steady_state_count - Anzahl Checkpoints check_steady_state_interval - zeitlicher Abstand zwischen Checkpoints Parameter für das Data-Target transactional - Transaktions orientierter Transfer append_files - Dateiinhalt an eine existierende Datei anhängen overwrite_files - Vorhandene Dateien überschreiben atomic_prefix - Präfix für den Namen der Target Transfer Datei atomic_suffix - Suffix für den Namen der Target Transfer Datei remote_dir - Name des Ziel-Verzeichnisses alternative_remote_dir strict_hostkey_checking - SSH Prüfung des HostKeys Dateinamen modifizieren replacing - Regulärer Ausdruck für Umbenennen der Dateien replacement - Zeichenkette für Substitution Beispiele zur Kumulierung von Dateien Parameter für die Kumulierung von Dateien cumulate_files - Dateien kumulieren cumulative_filename - Dateien kumulieren cumulative_file_separator - Dateien kumulieren cumulative_file_delete - Dateien kumulieren Beispiele zur Kumulierung von Dateien Parameter für Pre- und Post-Verarbeitung Kommandos für den Transfer pre_transfer_commmands - pre_transfer_commmands post_transfer_commmands - Am Ende eines Transfers auszuführende Kommandos Parameter für die Kumulierung von Dateien Dateien komprimieren Kommandos für jedes Objekt Pre_Command - Vor einem Transfer auszuführendes Kommando Post_Command - Nach einem Transfer auszuführendes Kommando Dezember 2012 J A D E Seite: 4

5 J A D E - Inhaltsverzeichnis 2.11 Parameter speziell für FTP account - Abrechnungsinformation passive_mode - passive_mode transfer_mode - Art der Zeichencodierung alternative_account - Abrechnungsinformation alternative_passive_mode alternative_transfer_mode check_server_features - Liste der Server Erweiterungen anfordern Parameter für SSH auth_file auth_method strict_hostkey_checking - SSH Prüfung des HostKeys SSH proxy parameter ssh_proxy_host ssh_proxy_port - Proxie Port Nummer ssh_proxy_user - Benutzerkennung am Proxy-Server ssh_proxy_password - Passwort am Proxy-Server Parameter zur Steuerung der Transfer-History Parameter des Background Services scheduler_host scheduler_job_chain scheduler_port send_transfer_history - send transfer history to the background service scheduler_transfer_method - Kommunikation mit dem Background-Service Parameter für die Historien Datei history history_entries - additional entries for the transfer history history_repeat history_repeat_interval mandator Parameter das Warten auf Dateien poll_interval - Wartezeit zwischen zwei polling-aktionen poll_minfiles - Mindestanzahl erwarteter Dateien poll_timeout poll_keep_connection - Keep connection while polling waiting_for_late_comers - waiting for late comers poll_error_state - Auszuführender Job-Knoten bei fehlenden Dateien Parameter des Virtuellen Datei Systems load_class_name - Data-Provider Klasse bestimmen java_class_path - Klassen-Pfad ergänzen buffer_size - Maximale Größe eines transferierten Daten-Blocks Globale Parameter buffer_size - Maximale Größe eines transferierten Daten-Blocks log_filename - Der Name (und Pfadname) der Protokoll-Datei log4jpropertyfilename - Der Name der Log4J Konfigurationsdatei verbose - Granularität der Protokollierung von (Debug-)Meldungen Parameter der JobScheduler JADE-Jobs Verbindungs-Parameter jump_host jump_port jump_protocol Proxy-Parameter Dezember 2012 J A D E Seite: 5

6 J A D E - Inhaltsverzeichnis Autorisierungs-Parameter jump_user jump_password Proxy-Parameter jump_proxy_password jump_proxy_user Shell Parameter jump_command - shell-kommando String jump_command_delimiter - Trennzeichen zwischen mehreren shell-kommandos jump_command_script - Auszuführende shell-kommando Datei jump_command_script_file Secure Shell (SSH) Parameter jump_ssh_auth_file jump_ssh_auth_method jump_ignore_error jump_ignore_signal jump_ignore_stderr jump_simulate_shell jump_simulate_shell_inactivity_timeout jump_simulate_shell_login_timeout jump_simulate_shell_prompt_trigger Parameter für eine Benachrichtigung via ftp_file_notification_to - Empfänger einer Benachrichtigung ftp_file_notification_cc - Benachrichtigung: Kopie an ftp_file_notification_bcc - Bcc Empfänger ftp_file_notification_subject - Betreffzeile einer -benachrichtigung ftp_file_notification_body - Textkörper Parameter des JobScheduler JADE-Jobs Datei-Aufträge Datei-Auftrags-Erzeugung create_order - Datei-Auftrag (File-Order) erzeugen create_orders_for_all_files - Für jede Datei der Ergebnisliste eine File-Order erstellen order_jobchain_name - Der Name der mit dem Auftrag auszuführenden Jobkette next_state - Der erste auszuführende Job-Knoten einer Job-Kette merge_order_parameter - aktuelle Parameter in den zu erzeugenden Auftrag übernehmen File Order Parameter scheduler_file_path - Zu verarbeitende Datei des Datei-Auftrages scheduler_file_parent - Pfadname der zu verarbeitenden Datei des Datei-Auftrages scheduler_file_name - Name der zu verarbeitenden Datei des Datei-Auftrages Ergebnismenge on_empty_result_set - Nächsten auszuführenden Job-Knoten bestimmen expected_size_of_result_set - Erwartete Anzahl Treffer in der Ergebnisliste raise_error_if_result_set_is - Fehler auslösen abhängig von Größe der Ergebnisliste result_list_file - Dateiname der Ergebnisliste Return-Parameter Parameter scheduler_sosfileoperations_resultset - Eine Liste aller Dateinamen scheduler_sosfileoperations_resultsetsize - Die Anzahl Elemente in der Ergebnis-Liste scheduler_sosfileoperations_file_count - Liefert die Anzahl Einträge in einem Result-Set Stichwortverzeichnis Dezember 2012 J A D E Seite: 6

7 J A D E - 1 Dezember 2012 J A D E Seite: 7

8 2 Parameter des JADE-Client Parameter des JADE-Client 2.1 Parameter für ein Transfer-Profil settings - Name der Konfigurationsdatei mit den Profilen Bei Verwendung einer Konfigurationsdatei werden Profile als Sektionen eingerichtet und einzelne Parameter als Paare aus Namen und Wert in einem einfach Textformat aufgeführt: [sample_transfer] protocol = ftp host = localhost port = 21 source_dir = /tmp... Profile "sample_transfer" In diesem Beispiel wird ein Profile mit dem Namen "sample_transfer" definiert. An der Kommandozeile wird der Name der Konfigurationsdatei und des Profils angegeben: jade.sh -settings=settings.ini -profile=sample_transfer... jade.cmd -settings=settings.ini -profile=sample_transfer... JADE client starten mit profile-konfiguration Hier wird der JADE-Client gestartet und als Parameter werden der Name der Konfigurationsdatei sowie der Name für den Profile angegeben. Ein Profil kann den Inhalt anderer Profile wie folgt referenzieren: [default] history = /jade/transfer_history.csv mandator = SOS scheduler_host = localhost scheduler_port = 4444 [sample_transfer] include = default protocol = ftp host = vulcan.sos port = 21 source_dir = /tmp... Beispiel für die Verwendung von "include" In diesem Beispiel referenziert das Profil sample_transfer mittels include das Profil mit dem Namen default und übernimmt damit ebenfalls die Einstellungen für die Historienverarbeitung. Dezember 2012 J A D E Seite: 8

9 Die include-directive erlaubt es, mehrere, durch Komma getrennte, Namen von Profilen, in das Profile temporär einzufügen, welches die include-direktive verwendet. Die Werte von gleichnamigen Parametern werden dabei überschrieben. Der "letzte" Parameter gewinnt. Datentyp: SOSOptionIniFileName Der default-wert dieses Parameters ist./settings.ini profile - Der Name eines auszuführenden Transfer-Profils in der Konfigurationsdatei Bei Verwendung einer Konfigurationsdatei (siehe Parameter settings) bezeichnet der Wert dieses Parameters einen Abschnitt, d.h. ein Profil, der Konfigurationsdatei. Profile (auch Abschnitte oder Sektionen genannt) enthalten, zeilenweise organisiert, Parameter als Paare aus Namen und Wert und beschreiben insgesamt einen Transfer. An der Kommandozeile wird der Name der Konfigurationsdatei und des zu verwendenden Transfer- Profils wie folgt angegeben: jade.sh -settings=settings.ini -profile=sample_transfer... jade.cmd -settings=settings.ini -profile=sample_transfer... JADE client starten mit profile-konfiguration Hier wird der JADE-Client gestartet und als Parameter werden der Name der Konfigurationsdatei sowie der Name für den Profile angegeben operation - Die auszuführende Operation send, receive, remove, execute oder install. send - Dateien mit FTP/SFTP versenden receive - Dateien mit FTP/SFTP empfangen remove - Dateien mit FTP/SFTP auf einem anderen Server-System entfernen execute - Kommando per SSH auf einem anderen Server-System ausführen install - SOSFTP-Client auf einem anderen Server-System installieren ValueList Der default-wert dieses Parameters ist send. Dieser Parameter ist erforderlich verbose - Granularität der Protokollierung von (Debug-)Meldungen Der verbosity level bestimmt die Intensität der Protokollierung. Als Wert kann eine Zahl zwischen 1 und 9 angegeben werden. Höhere Werte erzeugen detailliertere Protokollausgaben. Die Protokollausgabe erfolgt nach stdout bzw. in die mit dem Parameter log_filename angegebene Datei. Datentyp: SOSOptionInteger Der default-wert dieses Parameters ist 10. Dezember 2012 J A D E Seite: 9

10 2.1.5 protocol - Art des Datenübertragungsprotokolls Der Parameter nimmt die Werte ftp, sftp oder ftps an. Bei Verwendung von sftp werden auch die ssh_*-parameter ausgewertet. ValueList Der default-wert dieses Parameters ist ftp. Dieser Parameter ist erforderlich. 2.2 Verbindungs-Parameter Verbindungs-Parameter können mit dem Präfix "source_" oder "target_" feiner spezifiziert werden host - Host-Name Der Parameter benennt den Hostnamen (z.b. wilma.sos) oder die IP-Adresse (z.b. IPv ) des (FTP, SFTP, SSH, SMTP, etc.) Servers, zu dem eine Verbindung hergestellt werden soll. Datentyp: SOSOptionHostName Dieser Parameter ist erforderlich port - zu verwendende Port-Nummer des Protokolls Port, über den Dateien gesendet werden. Für FTP meist Port 21, für SFTP meist Port 22. Datentyp: SOSOptionPortNumber Der default-wert dieses Parameters ist 21. Dieser Parameter ist erforderlich protocol - Art des Datenübertragungsprotokolls Der Parameter nimmt die Werte ftp, sftp oder ftps an. Bei Verwendung von sftp werden auch die ssh_*-parameter ausgewertet. ValueList Der default-wert dieses Parameters ist ftp. Dieser Parameter ist erforderlich Proxy-Parameter Dezember 2012 J A D E Seite: 10

11 alternative_host Alternativer Parameter für den primären Parameter host. Die alternativen Parameter werden nur verwendet, wenn die Verbindung zum (FTP/SFTP) Server fehlschlägt, z.b. der Server nicht verfügbar ist, die Zugangsdaten ungültig sind etc. Datentyp: SOSOptionHostName alternative_port Alternativer Parameter für den primären Parameter port. Die alternativen Parameter werden nur verwendet, wenn die Verbindung zum (FTP/SFTP) Server fehlschlägt, z.b. der Server nicht verfügbar ist, die Zugangsdaten ungültig sind etc. Datentyp: SOSOptionPortNumber 2.3 Parameter zur Authentifizierung Parameter zur Autentifizierung user - Kennung/Identifikation des Nutzers Benutzername zur Anmeldung am (FTP/SFTP) Server. Datentyp: SOSOptionUserName Der default-wert dieses Parameters ist anonymous. Dieser Parameter ist erforderlich password - Das zur Nutzerkennung passende Kennwort Kennwort zur Anmeldung am FTP/SFTP Server. Falls SSH/SFTP Verbindungen mit private/public key Authentifizierung verwendet werden, dann spezifiziert dieser Parameter die Passphrase, mit der ggf. ein privater Schlüssel geschützt ist. Datentyp: SOSOptionPassword Alternative Authentifizierung Dezember 2012 J A D E Seite: 11

12 alternative_user Alternativer Parameter für den primären Parameter user. Die alternativen Parameter werden nur verwendet, wenn die Verbindung zum (FTP/SFTP) Server fehlschlägt, z.b. der Server nicht verfügbar ist, die Zugangsdaten ungültig sind etc. Datentyp: SOSOptionUserName Der default-wert dieses Parameters ist anonymous alternative_password Alternativer Parameter für den primären Parameter password. Die alternativen Parameter werden nur verwendet, wenn die Verbindung zum (FTP/SFTP) Server fehlschlägt, z.b. der Server nicht verfügbar ist, die Zugangsdaten ungültig sind etc. Datentyp: Parameter für SSH auth_file Der Wert des Parameters bestimmt den Pfad und den Namen einer Datei mit dem privaten Schlüssel (private key) des Benutzers, mit dem die Anmeldung am SSH Server erfolgt. Der Parameter muss angegeben werden, wenn mit dem Parameter auth_method die Authentifizierungsmethode publickey bestimmt wurde. Falls die Datei mit einem Kennwort geschützt ist, muß dies mit dem Parameter password angegeben werden. Datentyp: auth_method Der Parameter spezifiziert die zu verwendende Authentifizierungsmethode des SSH Protokolls. Unterstützt werden publickey und password. Die Methode "Keyboard-Interactive" wird im Batch nicht untersützt. Empfohlen wird die Methode "publickey". Bei Verwendung der Authentifizierungsmethode publickey muss im Parameter auth_file der Pfad der Datei mit dem privatem Schlüssel ("Private Key") des Benutzers angegeben werden. Ist diese Datei mit einem Kennwort geschützt, dann muss es mit dem Parameter password angegeben werden. Bei Verwendung der Authentifizierungsmethode password wird das Kennwort des Benutzers mit dem Parameter password angegeben. Welche Authentifizierungsmethoden unterstützt werden, ist am SSH Server konfiguriert. Nicht alle SSH Server unterstützen die Authentifizierungsmethode password. Falls der Server die Methode unterstützt ist darauf zu achten, dass diese nicht voreingestellt ist. U.U. muß in der Datei /etc/ssh_conf der Parameter auf "yes" gesetzt werden. Datentyp: Dezember 2012 J A D E Seite: 12

13 strict_hostkey_checking - SSH Prüfung des HostKeys Wenn der Wert des Parameters mit "yes" angegeben wurde, dann wird die Anwendung niemals einen hostkey automatisch in die Datei $HOME/.ssh/known_hosts eintragen und alle Verbindungsversuche zu hosts, deren hostkey nicht in dieser Datei enthalten ist, strikt ablehnen. Mit diesem Parameter wird erzwungen, daß der Nutzer den hostkey manuell für alle neuen, unbekannten Hosts pflegt. Wenn der Wert des Parameters auf "no" gesetzt ist, so wird die Applikation einen neuen, unbekannten, key automatisch in die Datei des Nutzers mit den bekannten hostkeys aufnehmen. Meistens eine extrem schlechte Wahl. Wenn der Wert des Parameters auf "ask" gesetzt ist, so wird ein neuer hostkey nur dann akzeptiert und in die Datei der akzeptierten Keys aufgenommen, wenn der Nutzer dies bestätigt hat. Läuft die Applikation im Batch so wirkt "ask" wie "yes". Ist der Wert dieser Option auf "yes" gesetzt so wird ein maximaler Schutz gegen Angriffe durch trojanische Pferde erreicht. Siehe hierzu auch Der default-wert dieses Parameters ist no SSH proxy parameter ssh_proxy_host Der Wert des Parameters ist der Hostname oder die IP-Adresse eines Proxies, über den die Verbindung zum SSH Server hergestellt wird. Die Verwendung von Proxies ist optional. Datentyp: ssh_proxy_port - Proxie Port Nummer Der Wert des Parameters ist der Port des Proxies, über den eine Verbindung, zum Beipiel zum SSH Server, hergestellt werden soll. Datentyp: ssh_proxy_user - Benutzerkennung am Proxy-Server Der Wert des Parameters enthält den Namen einer Benutzerkennung zur Autorisierung am Proxy Server, wenn die Verbindung zum SSH Server über einen Proxy hergestellt wird. Datentyp: Dezember 2012 J A D E Seite: 13

14 ssh_proxy_password - Passwort am Proxy-Server Der Wert des Parameters enthält das Kennwort einer Benutzerkennung zur Autorisierung am Proxy Server, wenn die Verbindung, zum Beispiel zum SSH Server, über einen Proxy hergestellt werden soll. Datentyp: 2.4 Auswahl der Transfer-Objekte Mit den in diesem Kapitel beschriebenen Parameter werden Kriterien für die Auswahl der zu transferierenden Objekte festgelegt file_path Der Parameter wird alternativ zum Parameter file_spec verwendet und benennt eine oder mehrere Dateien für den Transfer. Werden mehrere Dateinamen angegeben, so sind diese jeweils durch ein Semikolon voneinander zu trennen. Der Dateipfad kann entweder absolut angegeben werden oder der Dateipfad kann mit dem Parameter dir zusammen gebildet werden. Beim Empfang von Dateien gilt: Name und Pfad der Datei am FTP/SFTP Server, die übertragen wird. Der Dateiname muss als Bestandteil den Pfad am FTP/SFTP Server enthalten. Die Datei wird unter ihrem Namen in dem mit dem Parameter dir angegebenen Verzeichnis abgelegt. Folgende Parameter werden mit der Angabe dieses Parameters ignoriert: file_spec und remote_dir. Für das Senden von Dateien gilt: Der Parameter nimmt den absoluten Namen und Pfad einer Datei auf, die übertragen wird. Der Dateipfad muss absolut angegeben sein. Die Datei wird unter ihrem Namen in dem Verzeichnis am FTP/SFTP Server abgelegt, das mit dem Parameter remote_dir angegeben ist. Folgende Parameter werden mit der Angabe dieses Parameters ignoriert: file_spec und local_dir file_spec - Dateinamens-Filter mit regulären Ausdruck Mit diesem Parameter wird ein regulärer Ausdruck spezifiziert. Alle Dateinamen, die dem spezifizierten regulären Ausdruck entsprechen, werden in eine Ergebnis-Liste übernommen. Alle in der Ergebnis-Liste enthaltenen Dateien werden transferiert. Einige Anmerkungen und Erklärungen zur Technik und Verwendung der regulären Ausdrücke. Dezember 2012 J A D E Seite: 14

15 Ein regulärer Ausdruck ist keine wildcard. Um einen ersten Eindruck bezüglich des Unterschiedes zwischen einem "regulären Ausdruck" und einer "wildcard" zu bekommen, vergleichen Sie die Bedeutung der wildcard "*.txt" mit dem regulären Ausdruck "^.*\.txt$". Beide Ausdrücke erlauben die Selektion aller Dateinamen, die mit einer beliebigen Zeichenfolge beginnen und dann mit ".txt" enden. Der reguläre Ausdruck erfüllt in diesem Beispiel die gleichen Anforderungen, ist aber wesentlich mächtiger, sobald komplexere Kriterien abgebildet werden müssen. Die generelle Syntax eines regulären Ausdrucks, auch bezeichnet als regex oder regexp, ist hier beschrieben. Es weicht ab von anderen Definitionen der regulären Ausdrücke, zum Beispiel wie sie in Perl verwendet werden. Für weitere Informationen über reguläre Ausdrücke siehe java.util.regex.pattern Datentyp: SOSOptionRegExp Der default-wert dieses Parameters ist.* file_list_name - Name einer Datei mit einer Dateiliste Datentyp: SOSOptionInFileName Der default-wert dieses Parameters ist. 2.5 Transaktionsorientierter Transfer transactional - Transaktions orientierter Transfer Der Parameter bestimmt, ob ob die Dateiübertragung innerhalb einer Transaktion abläuft, d.h. es werden entweder alle Dateien erfolgreich übertragen oder keine. Tritt bei der Übertragung einer Datei ein Fehler auf, dann werden die Übertragungen aller bis dahin übertragenen Dateien rückgängig gemacht ("zurückgerollt"). Wird der Parameter mit dem Wert "true" verwendet, dann wirken folgende Parameter: Der Parameter atomic_suffix oder atomic_prefix muss angegeben sein. Ist die Übertragung einer von mehreren Dateien nicht erfolgreich, dann wird keine Datei in den Zieldateinamen umbenannt, stattdessen werden die temporär erzeugten Dateien vom Zielsystem wieder gelöscht. Der Parameter remove_files wirkt nur dann, wenn alle Dateien erfolgreich übertragen worden sind. Datentyp: SOSOptionBoolean Der default-wert dieses Parameters ist false. Benutze den Parameter zusammen mit den Parametern: atomic_prefix, atomic_suffix atomic_suffix - Suffix für den Namen der Target Transfer Datei Der Parameter bestimmt, ob Zieldateien zunächst mit einem Suffix, z.b. "~", erzeugt und nach vollständiger Übertragung in den Zieldateinamen umbenannt werden, damit die Dateien atomar im Verzeichnis erscheinen. Dezember 2012 J A D E Seite: 15

16 Als Wert des Parameters ist das temporäre Suffix anzugeben. Diese Einstellung wird empfohlen, falls das Zielverzeichniss von einer Applikation oder vom JobScheduler überwacht wird atomic_prefix - Präfix für den Namen der Target Transfer Datei Der Parameter bestimmt, ob der Name der Zieldatei (Target-Transfer-Dateiname) zunächst mit einem Präfix, z.b. "~", erzeugt wird. Nach vollständiger und fehlerfreier Übertragung wird dieser Name dann in den endgültigen Zieldateinamen (Target-Dateiname) geändert. Dies stellt sicher, dass die Datei "atomar" im Ziel (-Verzeichnis) angelegt wird. Als Wert des Parameters ist eine Zeichenfolge (mit mindestens einem Zeichen) für den Präfix anzugeben. Die Verwendung des Präfix wird empfohlen, wenn das Zielverzeichniss von einer Applikation oder vom JobScheduler (für Dateiaufträge) überwacht wird. Insbesondere bei der Übertragung großer Dateien wird dadurch vermieden, daß eine Dateiüberwachung noch während der Übertragung die Verarbeitung der Datei beginnt. 2.6 Atomistische Übertragung Der Name eines zu übertragenden Objekts (Datei) kann während des Transfers verändert werden, indem ein Präfix vorangestellt und/oder ein Suffix an den Objektnamen angehängt wird (Target Transfer Dateiname). Dieser Mechanismus schützt eine Datei zum Beispiel vor dem Zugriff durch ein Überwachungsprogramm, welches die Verarbeitung einer Datei startet, sobald der (gesuchte) Dateiname im überwachten Verzeichnis erkannt wird. Das Objekt wird nach der erfolgreichen Übertragung in den endgültigen Namen, den Target-Dateinamen, umbenannt. Existiert bereits eine Datei mit dem Target-Dateinamen, so wird die existierende Datei nach der erfolgreichen Übertragung umbenannt in den Target Dateinamen. Endet die Übertragung mit einem Fehler, so wird das Target transfer Objekt gelöscht. Bei einem atomic transfer wird der Name jeder Datei einzeln, nach jeder erfolgreichen Übertragung, umbenannt in den Target Dateinamen. Im Gegensatz dazu wird bei einer transaktionalen Verarbeitung erst nach dem erfolgreichen Übertragen aller Dateien die Umbenennung vorgenommen. This functionality protects the objects during the transfer, e.g. prevents the processing of the objects by a watching program. This prefix will be added to the beginning of the name, the suffix to the end, of the target transfer file to be transferred, until the transfer is successfully completed. This ensures that even if the target file is of the same name and the transfer profile is configured to overwrite such files, that file will not be overwritten until the file transfer is successful completed atomic_suffix - Suffix für den Namen der Target Transfer Datei Der Parameter bestimmt, ob Zieldateien zunächst mit einem Suffix, z.b. "~", erzeugt und nach vollständiger Übertragung in den Zieldateinamen umbenannt werden, damit die Dateien atomar im Verzeichnis erscheinen. Dezember 2012 J A D E Seite: 16

17 Als Wert des Parameters ist das temporäre Suffix anzugeben. Diese Einstellung wird empfohlen, falls das Zielverzeichniss von einer Applikation oder vom JobScheduler überwacht wird atomic_prefix - Präfix für den Namen der Target Transfer Datei Der Parameter bestimmt, ob der Name der Zieldatei (Target-Transfer-Dateiname) zunächst mit einem Präfix, z.b. "~", erzeugt wird. Nach vollständiger und fehlerfreier Übertragung wird dieser Name dann in den endgültigen Zieldateinamen (Target-Dateiname) geändert. Dies stellt sicher, dass die Datei "atomar" im Ziel (-Verzeichnis) angelegt wird. Als Wert des Parameters ist eine Zeichenfolge (mit mindestens einem Zeichen) für den Präfix anzugeben. Die Verwendung des Präfix wird empfohlen, wenn das Zielverzeichniss von einer Applikation oder vom JobScheduler (für Dateiaufträge) überwacht wird. Insbesondere bei der Übertragung großer Dateien wird dadurch vermieden, daß eine Dateiüberwachung noch während der Übertragung die Verarbeitung der Datei beginnt. 2.7 Operationen mit den Objekten Operationen mit den Objekten Parameter für parallele Übertragung Parameter für parallele Übertragung concurrent_transfer - Parallele Übertragung aktivieren Der default-wert dieses Parameters ist false. Benutze den Parameter zusammen mit den Parametern: max_concurrent_transfers max_concurrent_transfers - Maximale Anzahl gleichzeitiger Übertragungen Datentyp: SOSOptionInteger Der default-wert dieses Parameters ist 3. Benutze den Parameter zusammen mit den Parametern: concurrent_transfer Dezember 2012 J A D E Seite: 17

18 2.7.2 Dateien komprimieren Dateien komprimieren compress_files Mit diesem Parameter wird festgelegt, ob der Inhalt der Dateien "gezippt", also komprimiert wird. Der Parameter wird beim Senden von Daten ausgewertet und falls auf "true" gesetzt, werden die zu sendenden Datei(en) vor dem Senden komprimiert mit einem Zip-kompatiblen Verfahren. Datentyp: SOSOptionBoolean Der default-wert dieses Parameters ist false compressed_file_extension - Dateinamenendung für komprimierte Dateien Der Parameter bestimmt die Endung des Dateinamens, falls eine Komprimierung mit dem Parameter compress_files durchgeführt wird. Die Endung wird an an eine evtl. bereits vorhandene Dateinamensendung angehängt. Der default-wert dieses Parameters ist.gz decompress_after_transfer - Dateien nach der Übertragung entpacken Der default-wert dieses Parameters ist false Parameter für die Kumulierung von Dateien Mit den in diesem Kapitel beschriebenen Optionen kann festgelegt werden, daß die Dateien aus der Ergebnisliste zwar einzeln transferiert werden sollen, aber auf dem Target Server in einer anderen, weiteren, Datei hintereinander zusammengefasst (kumuliert) werden sollen. Der Name der Datei wird mit dem Parameter cumulative_filename festgelegt. Mit dem Parameter cumulative_file_separator wird ein Text festgelegt, der zwischen den einzelnen Dateien in der Zieldatei eingefügt wird. Die Dateien können nach dem Transfer gelöscht werden. Dies wird mit dem Parameter cumulative_file_delete bestimmt. Dezember 2012 J A D E Seite: 18

19 cumulate_files - Dateien kumulieren Mit dieser Option wird festgelegt, daß die Dateien aus der Ergebnisliste zwar einzeln tranferiert werden sollen, aber auf dem Ziel in einer Datei hintereinander zusammengefasst, kumuliert, werden sollen. Der Name der Datei wird mit dem Parameter cumulative_filename festgelegt. Um den Inhalt der einzelnen Dateien separieren zu können wird mit dem Parameter cumulative_file_separator ein Text bestimmt, der zwischen den einzelnen Dateien in der Zieldatei eingefügt wird. Die Dateien können nach dem Transfer gelöscht werden. Dies wird mit dem Parameter cumulative_file_delete oder mit dem Parameter remove_files bestimmt. Datentyp: SOSOptionBoolean Der default-wert dieses Parameters ist false cumulative_filename - Dateien kumulieren Mit dieser Option wird festgelegt, daß die Dateien aus der Ergebnisliste nicht einzeln tranferiert werden sollen, sondern vor dem Transfer in einer Datei hintereinander zusammengefasst werden sollen. Der Name der Datei wird mit dem Parameter cumulative_filename festgelegt. Um den Inhalt der einzelnen Dateien separieren zu können wird mit dem Parameter cumulative_file_separator ein Text bestimmt, der zwischen den einzelnen Dateien in der Zieldatei eingefügt wird. Die Dateien können nach dem Transfer gelöscht werden. Dies wird mit dem Parameter cumulative_file_delete bestimmt. Datentyp: SOSOptionOutFileName Der default-wert dieses Parameters ist. Benutze den Parameter zusammen mit den Parametern: cumulative_file_separator, cumulative_file_delete, cumulate_files cumulative_file_separator - Dateien kumulieren Mit dieser Option wird festgelegt, daß die Dateien aus der Ergebnisliste nicht einzeln tranferiert werden sollen, sondern vor dem Transfer in einer Datei hintereinander zusammengefasst werden sollen. Der Name der Datei wird mit dem Parameter cumulative_filename festgelegt. Um den Inhalt der einzelnen Dateien separieren zu können wird mit dem Parameter cumulative_file_separator ein Text bestimmt, der zwischen den einzelnen Dateien in der Zieldatei eingefügt wird. Die Dateien können nach dem Transfer gelöscht werden. Dies wird mit dem Parameter cumulative_file_delete bestimmt. Der default-wert dieses Parameters ist. Benutze den Parameter zusammen mit den Parametern: cumulative_filename, cumulative_file_separator, cumulative_file_delete, cumulate_files Dezember 2012 J A D E Seite: 19

20 cumulative_file_delete - Dateien kumulieren Mit dieser Option wird festgelegt, daß die Dateien aus der Ergebnisliste nicht einzeln transferiert werden sollen, sondern vor dem Transfer in einer Datei hintereinander zusammengefasst werden sollen. Der Name der Datei wird mit dem Parameter cumulative_filename festgelegt. Um den Inhalt der einzelnen Dateien separieren zu können wird mit dem Parameter cumulative_file_separator ein Text bestimmt, der zwischen den einzelnen Dateien in der Zieldatei eingefügt wird. Die Dateien können nach dem Transfer gelöscht werden. Dies wird mit dem Parameter cumulative_file_delete bestimmt. Der default-wert dieses Parameters ist. Benutze den Parameter zusammen mit den Parametern: cumulative_filename, cumulative_file_separator, cumulative_file_delete, cumulate_files Dateinamen modifizieren In diesem Kapitel werden Möglichkeiten zur Veränderung der Objekt-Namen (Dateinamen) beschrieben. Dateinamen können sowohl in der Source als auch im Target verändert werden replacing - Regulärer Ausdruck für Umbenennen der Dateien Regulärer Ausdruck für Dateinamensersetzung mit dem Wert des Parameters replacement. Wenn der Ausdruck im Dateinamen gefunden wird, werden die gefundenen Gruppen ersetzt. a) Für die Ersetzung werden "capturing groups" verwendet. D.h. nur der Inhalt der Gruppen wird ersetzt. Ersetzungszeichenfolgen werden mit einem Semikolon ";" getrennt. Beispiel: replacing = (1)abc(12)def(.*) replacement = A;BB;CCC Name der Eingabedatei: 1abc12def123.txt Daraus gebildeter Name der Ausgabedatei: AabcBBdefCCC b) Werden keine "capturing groups" angegeben, dann wird die gesamte Übereinstimmung ersetzt. Beispiel: replacing = Hallo replacement = 1234 Name der Eingabedatei: Hallo_Welt.txt Daraus gebildeter Name der Ausgabedatei: 1234_Welt.txt Erfordert den Parameter replacement. Dezember 2012 J A D E Seite: 20