Lobster_data das Handbuch für Einsteiger

Transkript

1 Lobster_data das Handbuch für Einsteiger

2 Lobster_data das Handbuch für Einsteiger Text: Andrea Bienhaus im Auftrag der Lobster GmbH Änderungen sind ohne vorhergehende Benachrichtigung vorbehalten. Der Hersteller oder Wiederverkäufer kann für Fehler oder Auslassungen in diesem Anwendungshandbuch nicht haftbar gemacht werden und lehnt, auch für Folgeschäden, die auf die Benutzung dieses Handbuchs zurückzuführen sind, jede Haftbarkeit ab. Die Angaben und Informationen in diesem Anwendungshandbuch sind durch Urheberrecht geschützt. Vervielfältigungen und Verbreitung bedürfen einer vorherigen schriftlichen Zustimmung des Rechteinhabers. Pöcking, Mai 2015 Lobster GmbH Alle Rechte vorbehalten Lobster GmbH Hindenburgstraße 15 D Pöcking Tel

3 Inhaltsverzeichnis Inhaltsverzeichnis 3 Abbildungsverzeichnis 6 Tabellenverzeichnis 10 Listings 11 1 Lobster data - ein Überblick Lobster data und Lobster IntegrationServer (IS) Die AdminKonsole Lobster data und und die zugehörige graphische Benutzeroberfläche (GUI) Anmeldung an Lobster data Ein Profil und seine Jobs - Eingangsagenten Wie ist die Verarbeitung von Daten mit Lobster data organisiert? Die einzelnen Schritte eines Jobs Menüpunkt Profilübersicht Profilverwaltung Gruppe anlegen Profil anlegen Vorhandenes Profil kopieren/löschen Vorhandenes Profil bearbeiten Vorhandenes Profil exportieren/importieren Profil-Report eines vorhandenen Profils Die 7 Schritte der Profilentwicklung Das erste Beispiel: Datenpumpe (Phasen 1 und 6) Phase 1: Die Daten werden in Empfang genommen Unterscheidung aktive vs. reaktive Eingangsagenten Phase 6: Die Daten werden weitergeleitet Das Profil wird zum ersten Mal gestartet Das ControlCenter Backup der Quelldaten eines Jobs Mehrere Jobs pro Cronjob-Start Die Partnerverwaltung Anlegen eines Partners Anlegen eines FTP-Kanals zum Senden Anlegen eines FTP-Kanals zum Empfangen Lobster_data für Einsteiger 3

4 3.4 Dokumentenarten/Parser (Phase 2) Ein CSV-Beispiel Quellstruktur Quellknoten Quellfeld Die Quelldaten werden eingelesen Definition Satzarterkennung Parser-Log Trennzeichen Mapping (Phase 3) Das Mapping-Fenster Vorlagen für Quell- und Zielstruktur Das 1:1-Mapping Mapping-Beispiel Quellstruktur mit Oberknoten Testdaten laden Zielstruktur Pfade zum Ersten Bedingung für das Erzeugen eines Zielknotens Wie werden Filter eingefügt? Testdaten mit Profil verknüpfen Mapping-Beispiel Schritt 1: Pro Artikel nur ein Zielknoten - Liste Schritt 2: Aufaddieren Mengen - Map Schritt 3: Ermitteln Gesamtsumme - Variable Schritt 4: Formatvorlage festlegen Pfade zum Zweiten Filter Konfigurationsmaske für Filter Filter-Dokumentation Schreiben in Datenbank-Tabelle(n) (Phase 4) Anlegen einer Tabelle Ein Datenbank-Beispiel Zuordnung von Alias und Tabelle in einem Datenbank-Knoten (Dynamisches) Freischalten von Phase Neudurchlauf mit Phase Eigenschaften eines Datenbank-Knotens IntegrationUnit (IU) (Phase 5) Zielformate CSV, XML, FixRecord, Excel ohne IU result CSV.txt result XML.xml result FixRecord.txt result Excel.xls Zielformat CSV mit CSVWithHeaderUnit result CSVWithHeaderUnit.csv Zielformat XML mit XMLMemSaveTemplateParserUnit Erzeugen der Vorlage Lobster_data für Einsteiger 4

5 Eintragen der Vorlage result XMLMemSaveTemplateParserUnit.xml Wo liegt der Nutzen der IU? Zielformat EDIFACT mit EDICreationUnit result EDICreationUnit.edi Menüpunkt ControlCenter Tabreiter Info Tabreiter Logs Tabreiter Übersicht Profile Tabreiter Übersicht Jobs Filter set display column(a,b,c) Tabreiter Allgemeine Meldungen Tabreiter Konfiguration Allgemeines Logging Profil-Logging - Tracing - Beispiel Profil-Logging - Tracing - Beispiel Tabreiter Jobs Tabreiter Unresolved Tabreiter Server-Logs Menüpunkt Partnerverwaltung Ihre Anmeldung beim Partner Anmeldung Ihres Partners an Lobster data Menüpunkt Plugins Menüpunkte Mandantenverwaltung und Benutzerverwaltung Default-Mandant Eigenschaften eines Mandanten Fehler- s für die Phasen 1 bis Zugriff auf Resourcen Hinzufügen eines weiteren Mandanten Zusammenfassungen und Ausblicke Kontextbezogene Hilfe Backups Profil-Backup Quelldaten-Backup Zieldaten-Backup Job-Backup Eigene Klasse BackupResponse Datenbank-Backup Neudurchlauf Konfiguration von Lobster data (startup.xml) Vorhaltezeit für Quelldaten-Backups Vorhaltezeit für Job-Logs Reorganisations-Lauf Lobster_data für Einsteiger 5

6 8.5 Suchen Suche in Profilübersicht Schnellübersicht/QuickView Expertensuche Suche im Mapping Suche in Quell- und Zielstruktur Filter-Suche Suche im ControlCenter Suche in indizierten Quelldaten-Backups Fehler- s Unterscheidung externe/interne -Empfänger Konfiguration des SMTP-Servers Sollen die Eingangsdaten mitgesendet werden? Weitere Möglichkeiten zur Versendung einer Anhang A - Welche Dokumentationen gibt es noch? Anhang B - Filter Top Anhang C - Mapping-Aufgaben Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe Aufgabe Anhang D - Beispiel-Profile 159 Lobster_data für Einsteiger 6

7 Abbildungsverzeichnis 1.1 Lobster data mit IS und Benutzeroberfläche (GUI) Lobster IS AdminKonsole Login-Dialog Fehlermeldung, wenn Lobster IS nicht zur Verfügung steht Hauptfenster der Benutzeroberfläche von Lobster data Hauptfenster: Menüpunkt Applikationen Profilübersicht zum Ersten Profilübersicht: Gruppenverwaltung Phase Hauptfenster: Menüpunkt Fenster Profilübersicht zum Zweiten Phase 1: Im- und Export eines Profils Die 7 Schritte zum Profil Phase 1: Die Eingangsagenten eines Profils, z.t. alphabetisch aufgelistet Phase 1: Konfigurationsmaske für den Agenten Cron:Datei - Einstellungen Phase 1: Konfigurationsmaske für den Agenten Cron:Datei - Zeiten Phase 2: Eigenschaften für eine Datenpumpe Phase 6: Antwortweg-Typen Phase 6: Ein Antwortweg vom Typ Datei Phase 6: Antwortweg-Inhalt (Zielformat) für Typ Datei Neudurchlauf: Cron starten ControlCenter (Logs): Übersicht Jobs - Kein Job ControlCenter (Logs): Allgemeine Meldungen ControlCenter (Logs): Übersicht Jobs - Fehler im Job AdminKonsole (Umgebung/Tools): Wo sind die Backupdateien des Jobs? Neudurchlauf: Backupdatei ControlCenter (Logs): Übersicht Jobs - Erfolgreicher Job ControlCenter (Logs): Übersicht Jobs - Mehrere Jobs pro CronJob Phase 6: Ein Antwortweg vom Typ FTP ControlCenter (Logs): Übersicht Jobs - UnknownHostException Partnerverwaltung: Anlegen Partner mit Kanal ausgehend Phase 6: Antwortweg deaktivieren Phase 6: Ein Antwortweg vom Typ FTP mit Kanal ControlCenter (Jobs): Ein laufender Job Partnerverwaltung: Kanal eingehend Phase 2: Eigenschaften Teil Phase 2: Eigenschaften Teil 2 und Phase 2: Quellstruktur mit zwei Knoten Lobster_data für Einsteiger 7

8 3.34 Phase 2: Eigenschaften Quellstruktur - Name Phase 2: Quellstruktur mit Knoten, Feldern, eigenen Namen Phase 2: Einstellungsfehler Phase 2: Are section identifiers missing? Phase 2: Definition der Satzarterkennung Phase 2: Quellknoten mit Satzarterkennung Phase 2: Parser-Log Phase 2: Parser-Log - Zeilen filtern Phase 2: Quellbaum ohne Trennzeichen Phase 2: Quellbaum mit Trennzeichen Phase 3: Das Mapping-Fenster Phase 3: Das 1:1-Mapping Phase 3: Oberknoten Phase 3: Neuer Knoten mit Strg+n Phase 3: Testdaten laden Phase 3: Knoten verschieben Phase 3: Mapping-Beispiel 1 - Zielbaum Phase 3: Pfade zum Ersten Phase 3: Filter einfügen Phase 3: Filter einfügen Phase 3: Testdaten mit Profil verknüpfen Phase 3: Mapping-Beispiel 1 - Zielbaum Phase 3: Mapper-Log - Filter Phase 3: Definition eines Listennamens Phase 3: Filter add to list Phase 3: Ist Artikel noch nicht in der Liste? Phase 3: Notiz-Zettel mit Filterkette Phase 3: Mapping-Beispiel 2 - Zielbaum Phase 3: Definition eines Mapnamens Phase 3: Vorlaufknoten mit Berechnungsfeld Phase 3: Vorlaufknoten mit Berechnungsfeld Phase 3: Definition einer Variablen Phase 3: Initialisierung von Liste und Map Phase 3: Fixwert Phase 3: Mapping-Beispiel 2 - Zielbaum Phase 3: Mapping-Beispiel 2 - Formatvorlage #.##0, Phase 3: Mapping-Beispiel 2 - Zielbaum Phase 3: Pfade zum Zweiten Phase 3: Konfigurationsmaske für Filter Phase 3: Filter-Dokumentation - Überblick Phase 3: Filter-Dokumentation - Filter is in list Phase 4: Zu befüllende Tabelle Phase 4: Auswahl der Tabelle für einen Datenbank-Knoten Phase 4: Ein Datenbank-Knoten mit Feldern Phase 4: Zielbaum Phase 4: Mapper-Log - Phase 4 geskippt Phase 4: freischalten Lobster_data für Einsteiger 8

9 3.81 Phase 4: Mapper-Log - Phase 4 freigeschaltet ControlCenter (Logs): Übersicht Jobs - Job-Log mit Phase AdminKonsole (Umgebung/Tools): SQL Monitor Phase 4: Eigenschaften eines Datenbank-Knotens Phase 4: Eigenschaft Gilt nur für SQL Phase 3: Inaktiver Zielknoten Phase 5: Zielformate mit NoActionUnit Phase 5: Zielformat mit NoActionUnit - CSV Phase 5: Zielformat mit NoActionUnit - XML Phase 5: Zielformat mit NoActionUnit - FixRecord Phase 5: Zielformat mit NoActionUnit - Excel Phase 5: CSVWithHeaderUnit Phase 5: Antwortweg mit CSVWithHeaderUnit Phase 5: Ergebnis mit CSVWithHeaderUnit Phase 5: XMLMemSaveTemplateParserUnit - Erzeugen der XML-Vorlage Phase 5: XMLMemSaveTemplateParserUnit - Eintragen der XML-Vorlage Phase 5: Ergebnis mit XMLMemSaveUnit - Vergleich mit Vorlage Phase 5: Zielfeld mit Suffix attr Phase 5: Vorlage und Ergebnis mit Suffix attr Phase 5: Zielfeld mit Suffix val Phase 5: Vorlage und Ergebnis mit Suffix val Phase 5: Vorlage und Ergebnis mit einer Variablen Phase 5: EDIfact Mapping-Fenster Phase 5: EDICreationUnit Phase 5: Ergebnis mit EDICreationUnit ControlCenter (Info) ControlCenter (Logs) - Übersicht Profile ControlCenter (Logs) - Übersicht Jobs: Belegung der Spalten Anzeige ControlCenter (Logs) - Konfiguration: Allgemeines Logging ControlCenter (Logs) - Konfiguration: Profil-Logging ControlCenter (Logs) - Konfiguration: Profil-Logging mit Tracing Phase ControlCenter (Logs) - Konfiguration: Profil-Logging mit Tracing Phase ControlCenter (Server-Logs) Partnerverwaltung: Eigene Daten Partnerverwaltung: Partnerzugang Plugins Benutzerverwaltung: Zuordnung eines Mandanten Mandantenverwaltung Mandantenverwaltung: Eigenschaften eines Mandanten Hilfe-Button Hilfe-Texte im Browser Phase 1: Laden eines Profil-Backups Phase 1: Import eines Profil-Package Phase 6: Ist Backup der Zieldaten Lobster_data für Einsteiger 9

10 8.6 ControlCenter (Logs) - Übersicht Jobs: Zieldatei ansehen Backups: Eigene Klasse BackupResponse Neudurchlauf: Hochladen Suche: Suchfenster mit Lupen-Symbol Suche: Profilübersicht zum Dritten - QuickView Suche: Eigene Tags Suche: Expertensuche Suche: Expertensuche - Ergebnis Suche: Filter Fehler- extern: Rückmeldung an Dateneinsteller Fehler- intern: Mailempfänger bei Fehler Ziel Aufgabe Lobster_data für Einsteiger 10

11 Tabellenverzeichnis 9.1 Weiterführende Dokumentationen Beispiel-Profile Lobster_data für Einsteiger 11

12 Listings 8.1 Konfiguration Lobster data in der startup.xml Konfiguration Haltedauer Quelldaten-Backups in der startup.xml Konfiguration Haltedauer Job-Logs in der startup.xml Konfiguration Zeitpunkt des Reorganisations-Laufs in der startup.xml Lobster_data für Einsteiger 12

13 1 Lobster data - ein Überblick Liebe Leserin, lieber Leser, Sie haben gerade Ihre erste Lobster data-installation erhalten mit der dazugehörigen Anwender- Schulung? Sie möchten die Schulungsinhalte einmal nachvollziehen? Oder Sie haben als Anwender eine Lobster data-installation geerbt, ohne eine Schulung? Dann gehören Sie zur Zielgruppe dieser Dokumentation! Lobster data (im Folgenden auch abgekürzt LD) ist in erster Linie ein Datenkonverter, dessen grundlegende Aufgabe es ist, Daten entgegenzunehmen, sie gegebenenfalls durch Reduzieren, Anreichern und/oder Umstrukturieren zu manipulieren (Mapping) und andernorts wieder abzulegen. 1.1 Lobster data und Lobster IntegrationServer (IS) Abbildung 1.1: Lobster_data mit IS und Benutzeroberfläche (GUI) Lobster data wird als Anwendung des Lobster IntegrationServers (IS) ausgeführt, siehe Abbildung 1.1. Lobster_data für Einsteiger 13

14 Der Lobster IntegrationServer ist in Java implementiert und betriebssystemunabhängig. Auf dem Rechner muss ein Java-JDK (nur die Runtime JRE reicht nicht!) installiert sein. Ein wesentlicher Teil der Installation ist die angegliederte transaktionsfähige Repository-Datenbank, in der die für den Betrieb notwendigen systeminternen Daten aber auch Anwender-Daten gehalten werden. Auch hier ist der Datenbank-Hersteller prinzipiell offen, häufig sind MySql, MS-SQL und ORACLE im Einsatz; im Allgemeinen (aber nicht notwendigerweise) ist das Datenbanksystem auf demselben Rechner installiert wie der IS Die AdminKonsole Der Lobster IntegrationServer kann über die sogenannte AdminKonsole (auch AdminTools genannt) administriert werden. Abbildung 1.2: Lobster IS AdminKonsole Die AdminKonsole ist eine HTML-basierte, über Port 9000 erreichbare Applikation, die in einem Browser mit der URL sowie Benutzername/Passwort aufgerufen werden kann, sobald der IS gestartet ist (Abbildung 1.2). Lobster_data für Einsteiger 14

15 Hinweis: Der Parameter /?locale=de ermöglicht den Zugriff auf die deutsche Version. Hinweis: Die Default-Zugangsdaten bei der Auslieferung sind admin/admin. Im Kapitel 7.2 des Referenzhandbuchs der Lobster IntegrationServer AdminKonsole steht dazu mehr (siehe Anhang A - Welche Dokumentationen gibt es noch?). 1.2 Lobster data und und die zugehörige graphische Benutzeroberfläche (GUI) Sie als Anwender kommunizieren mit Lobster data über eine graphische Benutzeroberfläche (GUI - Graphical User Interface), die sowohl lokal auf demselben Rechner wie Lobster IS/LD, aber auch auf einem entfernten Rechner laufen kann. Lobster data ist in diesem Zusammenhang der Server, der GUI-Prozess fungiert als Client, siehe Abbildung 1.1. Diese graphische Benutzeroberfläche ist Gegenstand des vorliegenden Handbuchs. Hinweis: Es können gleichzeitig mehrere Anwender an Lobster data angemeldet sein. Hinweis: Im Folgenden wird nicht immer zwischen der Lobster data-benutzeroberfläche und Lobster data selbst unterschieden. Hinweis: Bereits hier sei verwiesen auf weiterführende Dokumentationen, insbesondere das Referenzhandbuch von Lobster data (siehe Anhang A - Welche Dokumentationen gibt es noch?) Anmeldung an Lobster data Allgemeiner Hinweis vorab: In diesem Handbuch wird auf ein Unterverzeichnis des IS-Installationsverzeichnisses (auch HUB_HOME ) referenziert mit./<unterverzeichnis-name>. Voraussetzung: Bevor Sie sich über die Benutzeroberfläche anmelden können, muss der Lobster IS samt Lobster data auf dem Lobster-IS-Rechner gestartet sein. (Falls Sie einen entsprechenden Account haben, können Sie das über die AdminKonsole prüfen, siehe Abschnitt Die AdminKonsole oben.) Außerdem müssen Sie die betriebssystemabhängige Software der Benutzeroberfläche bereitstellen; sie läuft gegenwärtig auf Windows-, Linux- und MacOSX-Betriebssystemen. Sie finden sie im Verzeichnis als Linux.zip MacOSX.zip./webapps/root/dw/boot Lobster_data für Einsteiger 15

16 Windows.zip passend für Ihr Betriebssystem. Sie können sie über folgende URL (auch von einem entfernten Rechner) herunterladen: Hinweis: Die URL ist case-sensitive, Sie müssen also beispielsweise _W_indows.zip angeben, _w_indows.zip wird nicht gefunden. Hinweis: Die folgenden Ausführungen beziehen sich auf die Windows-Version der Benutzeroberfläche von Lobster data. Nach dem Entpacken der Zip-Datei im Installationsverzeichnis der Benutzeroberfläche (das ist ein leerer Ordner Ihrer Wahl) finden Sie im Unterordner DW3 die ausführbare Datei Lobster_data.3.exe Per Doppelklick darauf können Sie jetzt die Benutzeroberfläche starten. Es erscheint zunächst der Login-Dialog (Abbildung 1.3): Abbildung 1.3: Login-Dialog Nach der Auslieferung steht ein Benutzer-Account für die Benutzeroberfläche zur Verfügung mit den Zugangsdaten admin/admin. Vielleicht wurde für Sie bereits ein individueller Account eingerichtet (siehe Kapitel 7 Menüpunkte Mandantenverwaltung und Benutzerverwaltung ). Bitte geben Sie an Servername oder -IP (wenn Sie sich auf dem Lobster-IS-Rechner befinden, localhost, ansonsten die IP des entfernten Lobster-IS-Rechners), die konfigurierte Portnummer (default: 80) und Ihre Zugangsdaten (Benutzername und Kennwort). Lobster_data für Einsteiger 16

17 Mit einem Klick auf den Anmelden -Button sollte die Benutzeroberfläche, also der Client, gestartet werden. Hinweis: Sollte der Lobster IS (mit den angegebenen Werten) noch nicht/nicht mehr zur Verfügung stehen, erhalten Sie eine Fehlermeldung, siehe Abbildung 1.4; dann muss der IS-Administrator herangezogen werden. Abbildung 1.4: Fehlermeldung, wenn Lobster IS nicht zur Verfügung steht Hinweis: Ein Decompression error deutet auf ein Verbindungsproblem zwischen Lobster data und Benutzeroberfläche hin. Ansonsten erscheint das Hauptfenster der Benutzeroberfläche auf Ihrem Bildschirm (Abbildung 1.5) Abbildung 1.5: Hauptfenster der Benutzeroberfläche von Lobster_data mit den Haupt-Menüpunkten Applikationen Fenster Hilfe Lobster_data für Einsteiger 17

18 Bitte klicken Sie einmal auf den Haupt-Menüpunkt Hilfe, dann sehen Sie folgende Untermenüpunkte: Handbuch (das Referenzhandbuch Lobster data, siehe Anhang A - Welche Dokumentationen gibt es noch?) Zusätzliche Dokumentation Support (Möglichkeit, mit dem Lobster Support Kontakt aufzunehmen) Über Lobster_data.3 (Informationen über Ihre Installation, die u.a. der Support von Ihnen erfragt) Die Untermenüpunkte des Haupt-Menüpunkts Applikationen sollen in den folgenden Kapiteln genauer besprochen werden. Lobster_data für Einsteiger 18

19 2 Ein Profil und seine Jobs - Eingangsagenten Zuvor soll aber noch auf die grundlegenden Lobster data-spezifischen Begriffe Eingangsagent, Profil und Job eingegangen werden: 2.1 Wie ist die Verarbeitung von Daten mit Lobster data organisiert? Die Verarbeitung von entgegengenommenen Daten, der sogenannten Quelldaten, geschieht in Jobs, die an jeweils ein Profil gekoppelt sind. Ein Profil ist eine Handlungsanweisung für Lobster data, wie aus den Quelldaten die sogenannten Zieldaten zu erstellen sind. Profile werden in der o.g. Datenbank in verschlüsselter Form gehalten. Lobster data nimmt Daten Ihrer Partner über unterschiedliche sogenannte Eingangsagenten entgegen und ein Profil ist immer einem davon zugeordnet. Beispielsweise gibt es FTP-Profile, Mail- Profile, AS2-Profile usw. Natürlich werden nicht sämtliche Daten, die z.b. der Lobster data-ftp-server empfängt, mit demselben Profil verarbeitet. Deshalb gibt es für jeden Eingangsagenten-Typ spezifische weitere Angaben im Profil, damit Lobster data das jeweils passende Profil zuordnen kann. Ein FTP-Profil etwa gilt als zugeordnet, wenn die von Ihrem Partner verwendete Benutzer-Kennung sowie Dateinamen und Zielverzeichnis mit den im Profil spezifizierten Angaben übereinstimmen. Sollten mehrere Profile bereit sein, eine konkrete Nachricht anzunehmen, weil die Bedingungen sich überschneiden, entscheidet das Profil-Scoring, siehe Referenzhandbuch Kapitel 2.24 Profil- Scoring. Daten, die von einem Eingangsagenten entgegen genommen wurden, aber keinem Profil zugeordnet werden können, werden im sogenannten unresolved-verzeichnis, einem Unterverzeichnis des Backup-Verzeichnisses, per default abgelegt (s.u.)../datawizard/backup/unresolved Lobster data generiert einen Job, sobald über einen Eingangsagenten ein Datenpaket, bestehend aus einer oder mehreren Dateien, eintrifft und ein dazu passendes Verarbeitungsprofil vohanden Lobster_data für Einsteiger 19

20 ist. Es kann also sein, dass pro eingehendem Datenpaket mehrere Jobs entstehen, z.b. wenn per FTP mehrere Dateien in einer Sitzung übertragen wurden. 2.2 Die einzelnen Schritte eines Jobs Sobald feststeht, welche Daten mit welchem Profil verarbeitet werden sollen, laufen folgende Schritte ab: 1. Die Quelldaten werden im Backup-Verzeichnis des Profils gesichert (siehe Abschnitt Quelldaten-Backup). 2. Ein Job mit systemweit eindeutiger Jobnummer wird erzeugt. 3. Der Job wird, abhängig vom Eingangsagenten, entweder in die sogenannte Jobqueue gestellt oder sofort abgearbeitet. Die Aufgabe von Lobster data ist es also, Jobs auszuführen, die beschrieben sind durch jeweils eine Datei sowie ein dazu passendes Verarbeitungs-Profil mit seinem Eingangsagenten. Ihre Aufgabe als Anwenderin ist es, über die Lobster data-benutzeroberfläche Profile zu entwickeln und zu pflegen, siehe Kapitel 3 Menüpunkt Profilübersicht Jobs zu überwachen, siehe Kapitel 4 Menüpunkt ControlCenter Anmerkung: Die Begriffe Profil und Job werden oft synonym verwendet. Lobster_data für Einsteiger 20

21 3 Menüpunkt Profilübersicht Öffnen Sie im Hauptfenster der Lobster data-benutzeroberfläche den Haupt-Menüpunkt Applikationen (Abbildung 3.1). Abbildung 3.1: Hauptfenster: Menüpunkt Applikationen Klicken Sie auf den ersten Menüpunkt Profilübersicht ➀. Lobster_data für Einsteiger 21

22 3.1 Profilverwaltung Sie sehen das Fenster Profilübersicht, in dem alle vorhandenen Profile aufgelistet sind und mit dem Sie Profile verwalten können (Abbildung 3.2). Abbildung 3.2: Profilübersicht zum Ersten Gruppe anlegen Jedes Profil muss einer sogenannten Gruppe zugeordnet sein. Eine Gruppe erkennen Sie am Ordner-Symbol. Als erstes sollten Sie eine Gruppe anlegen für die im Folgenden anzulegenden Profile. Klicken Sie dazu auf den Button Gruppenverwaltung ➀. Es öffnet sich das Fenster Gruppen, das die Baumstruktur der bereits vorhandenen Gruppen anzeigt. Eventuelle Untergruppen können mit dem Symbol aufgeklappt werden. (Abbildung 3.3). Mit einem Rechtsklick auf das Wurzelelement können Sie über Neu... Ihre Gruppe z.b. Beginner anlegen. Übernehmen Sie sie und schließen Sie das Fenster. Die Gruppe Beginner wird nun in der Profilübersicht angezeigt. Hinweis: Eine bereits vorhandene Gruppe können Sie ebenfalls per Rechtsklick umbenennen und löschen (letzteres nur, wenn sie kein Profil enthält). Lobster_data für Einsteiger 22

23 Abbildung 3.3: Profilübersicht: Gruppenverwaltung Profil anlegen Als nächstes soll ein Profil in der Gruppe Beginner angelegt werden. Dazu markieren Sie die Gruppe in der Profilübersicht und klicken Sie auf den Button Profil anlegen ➁. Mit Neues Profil anlegen öffnet sich unten links unter der Überschrift Profil- Eigenschaften eine Konfigurationsmaske mit dem (vorläufigen) Profil-Namen New Profile ; rechts neben dem Button Gruppe... steht die bereits vorgewählte ➂. Sie könnten sich über diesen Button jetzt oder später auch für eine andere Gruppe entscheiden. Nennen Sie Ihr Profil LD MeinErstesProfil, im Textfeld Beschreibung vermerken Sie z.b. Lobster data.3 für Einsteiger ➃. Einträge hier können bei einer späteren Suche ausgewertet werden, siehe Abschnitt 8.5 Suchen. Gehen Sie auf Bearbeiten ➄. Es öffnet sich das erste von mehreren Fenstern für dieses Profil mit seinem Namen in der Titelzeile (➀ in Abbildung 3.4). Für ein Profil müssen mehrere sogenannte Phasen konfiguriert werden, siehe Abschnitt 3.2 Die 7 Schritte der Profilentwicklung. Nach dem Öffnen wird zu Beginn das Phase-1-Fenster angezeigt ➁. Über den Disketten-Button ➂ können Sie ein Profil (in jeder Phase) anlegen/speichern. Bevor Sie dieses Profil endgültig anlegen können, müssen Sie aber zunächst noch eine Standard- Einstellung ändern: Gehen Sie einfach Weiter ➃. Im nun sich öffnenden Fenster (Phase 2) wählen Sie bitte die Option Lobster_data für Einsteiger 23

24 Abbildung 3.4: Phase 1 Lobster_data für Einsteiger 24

25 Kein Mapping (siehe auch Abbildung 3.12). Jetzt können Sie das Profil über den Disketten- Button (nach einer Sicherheitsabfrage) abspeichern. Mit dem Shortcut Strg+1 gelangen Sie wieder zur Profilübersicht. Das Profil bleibt dabei geöffnet. Hinweis: Einzelne Menüpunkte sind von allen Fenstern aus immer über Shortcuts erreichbar, die Profilübersicht z.b. über Strg+1 (siehe auch Abbildung 3.1). Dort sehen Sie nun in der sogenannten Änderungshistorie des Profils den ersten Eintrag (➅ in Abbildung 3.2). Hier wird jeweils festgehalten, zu welchem Zeitpunkt welcher Benutzer das Profil abgespeichert hat. Und im Profilbaum ist nun auch das Profil innerhalb seiner Gruppe mit dem Profil-Symbol zu sehen ➆. Im rechten Teil der Profilübersicht sehen Sie u.a. folgende Angaben zu Ihrem Profil ➇: Profil Eindeutiger Name des Profils. Gültig ab/bis Gültigkeitszeitraum. Lobster data vergibt bei neuen Profilen automatisch eine Gültigkeitsdauer von 20 Jahren ab dem Tag der Anlage. Status Ein Profil kann aktiv oder inaktiv sein. Nur aktive Profile sind bereit, Daten entgegenzunehmen. Ihr Profil ist aktiv, weil Sie beim Anlegen die Option Profil freischalten ➈ nicht deaktiviert haben. Außerhalb des Gültigkeitszeitraums wird ein Profil automatisch deaktiviert. Gesperrt von Ist ein Profil zur Bearbeitung geöffnet, wird hier der Benutzername des betreffenden Benutzers angezeigt. Tip: Sie können die Spaltenbreiten verändern Vorhandenes Profil kopieren/löschen Probieren Sie den Button Kopie erstellen und danach Löschen... ➉ aus! Vorhandenes Profil bearbeiten Gehen Sie wieder zu Ihrem (noch geöffneten) Profil zurück. Am einfachsten geht das übers Lobster data-hauptfenster, Haupt-Menüpunkt Fenster ; dort können Sie seinen Name anklicken (➀ in Abbildung 3.5). Abbildung 3.5: Hauptfenster: Menüpunkt Fenster Lobster_data für Einsteiger 25

26 Schließen Sie zunächst das Profil über den Button Abbrechen. Gehen Sie in die Profilübersicht und aktualisieren Sie sie über den Aktualisieren-Button (➀ in Abbildung 3.6). Abbildung 3.6: Profilübersicht zum Zweiten Nun sollte, nachdem Sie Ihr Profil markiert haben, die Spalte Gesperrt von keinen Eintrag mehr haben ➁. Tip: Ihr Eintrag bei Beschreibung erscheint als Tooltip! Wie können Sie es wieder zur Bearbeitung öffnen? Hier gibt es mehrere Möglichkeiten: Mit der Tastenkombination Strg+e kommen Sie direkt in den Bearbeitungs-Modus. Noch schneller geht es mit einem Doppelklick auf den Profilnamen. Das Ändern von Name, Status, Gruppe oder Gültigkeitszeitaum geschieht in der Profilübersicht. Öffnen Sie dazu das Profil mit einem Klick auf das Schloss-Symbol ➂. Falls Sie den Zeitraum ändern möchten, können Sie dies mit Hilfe der Kalender-Symbole ➃ tun. Deaktivieren Sie einmal die Option Profil freischalten ➄ und bestätigen Sie die Änderung mit dem Button Status/Gruppe speichern ➅. Der Profil-Eintrag zeigt nun den Status inaktiv und der Profil-Name ist rot ➆! Lobster_data für Einsteiger 26

27 Mit dem Lupen-Symbol ➇ können Sie das Profil im Nur-anschauen-Modus öffnen (siehe Tooltip) Vorhandenes Profil exportieren/importieren Um ein Profil von einer Lobster data-installation zu einer anderen transportieren zu können, kann es als Datei in der einen Installation exportiert und anschließend in der anderen wieder importiert werden. Der Export ist in der Profilübersicht möglich über den Button Exportieren... ➈. Wenn Sie darauf klicken, können Sie wählen zwischen Export (nur) des Profils als.obj-datei, Export des Profils samt zugehöriger Dateien (z.b. Testdaten, siehe Abschnitt Testdaten mit Profil verknüpfen, und/oder Vorlagen, siehe Abschnitt Eintragen der Vorlage) als sogenanntes Package (.pak-datei), Export im XML-Format. Dies soll einen Profilvergleich (diff) unterstützen. Ein Import aus XML ist jedoch nicht möglich. Exportieren Sie einmal Ihr Profil als.obj-datei in einem Verzeichnis Ihrer Wahl. Sie erhält den Namen Profile-LD MeinErstesProfil.obj. Um diese Profil-Datei wieder zu importieren, legen Sie ein Profil an und geben ihm z.b. den Namen LD Import. Im Fenster Phase 1 können Sie nun über den Button Importieren.../Version 3.X (.obj)... diese Profil-Datei wieder importieren (➀ in Abbildung 3.7). Der Import wird mit der Meldung Die Einstellungen wurden übernommen abgeschlossen. Hinweis: Hier besteht ebenfalls die Möglichkeit, ein Profil zu exportieren ➁! Speichern Sie das Profil - es sollte sich nun auch (nach einer Aktualisierung) in der Profilübersicht finden lassen. Siehe dazu auch Abschnitt Profil-Backup sowie das Kapitel 1.9 Transport von Profilen im Referenzhandbuch. Hinweis: Sobald mehr als ein Profil geöffnet ist, sehen Sie das Register der geöffneten Profile - rot gekennzeichnet und in der Kopfzeile mit vollständigem Namen das aktuell angezeigte ➂. Es können bis zu 5 Profile geöffnet sein und bearbeitet werden. Mit einem Rechtsklick auf seinen Profilnamen kann über In einem neuen Fenster öffnen ➃ ein Profil in einem separaten Fenster geöffnet werden. Damit können mehrere Profile gleichzeitig nebeneinander betrachtet werden. Lobster_data für Einsteiger 27

28 Abbildung 3.7: Phase 1: Im- und Export eines Profils Lobster_data für Einsteiger 28

29 3.1.6 Profil-Report eines vorhandenen Profils Über den Button Report.../Profil Report erzeugen... ➉ können Sie eine umfassende Dokumentation für ein einzelnes Profil als OpenOffice-Dokument im.odt-format erhalten. Es entstehen oft mehrere hundert Seiten mit Hypertext-Verweisen. Probieren Sie es einfach mal aus! Das ausführliche Kapitel dazu im Referenzhandbuch ist Reports erzeugen. 3.2 Die 7 Schritte der Profilentwicklung Bei der Entwicklung eines Profils müssen mehrere Phasen konfiguriert werden, siehe Abbildung 3.8 Die 7 Schritte zum Profil. Zunächst sollen Sie einen Überblick über diese Schritte erhalten, bevor danach zu jeder Phase Profil-Beispiele vorgestellt werden: Öffnen Sie Ihr Profil LD MeinErstesProfil und klicken Sie sich parallel zu den folgenden Ausführungen durch die Schritte mit dem Weiter -Button. Die Reihenfolge hier entspricht der Reihenfolge bei der späteren Abarbeitung während eines Jobs, wenn das fertige Profil startet bzw. gestartet wird (siehe dazu Abschnitt 8.3 Neudurchlauf). Phase 1 Hier wird der Eingangsagent festgelegt, der die zu verarbeitenden Quelldaten (andernorts Eingangsdaten) entgegegennimmt, siehe dazu Abschnitt Phase 1: Die Daten werden in Empfang genommen. Phase 2 Hier wird die Dokumentenart festgelegt, z.b. CSV, Excel, XML, Feste Länge, DB (Datenbank), EDIfact, SAP IDOC, X.12, BWA, API, JSON. Die Dokumentenart bestimmt den Parser. Außerdem wird in dieser Phase die zu den Quelldaten passende Quellstruktur festgelegt, siehe dazu Abschnitt 3.4 Dokumentenarten/Parser (Phase 2). Anmerkung: Zu den folgenden Phasen 3 bis 5 gelangen Sie nur, wenn in Phase 2 die Option Kein Mapping deaktiviert ist! (Siehe auch Abbildung 3.12.) Phase 3 Hier wird die gewünschte Zielstruktur sowie der Zusammenhang zwischen Quell- und Zielstruktur, das sogenannte Mapping, konfiguriert, also die Zieldaten (andernorts Ausgangsdaten) erzeugt. Siehe dazu Abschnitt 3.5 Mapping (Phase 3). Phase 4 Hier wird bestimmt, ob und wenn ja welche Zieldaten in welche Datenbank-Tabelle(n) geschrieben werden, siehe dazu Abschnitt 3.6 Schreiben in Datenbank-Tabelle(n) (Phase 4). Phase 5 Hier kann/muss eine IntegrationUnit konfiguriert werden, die die Zieldaten noch einmal bearbeitet, bevor sie dann ausgegeben werden, siehe dazu Abschnitt 3.7 IntegrationUnit (IU) (Phase 5). Lobster_data für Einsteiger 29

30 Abbildung 3.8: Die 7 Schritte zum Profil Lobster_data für Einsteiger 30

31 Phase 6 Hier werden Ziel- und/oder Quelldaten auf einem oder mehreren Antwortwegen ausgegeben. Siehe dazu Abschnitt Phase 6: Die Daten werden weitergeleitet. Außerdem können hier Folgeprofile angestoßen und damit Profilketten erzeugt werden. (Siehe dazu im Referenzhandbuch den Abschnitt 7.15 Anworttyp Message.) LetzteSeite Falls bei einem Job des Profils ein Fehler in einer der Phasen 2 bis 6 aufgetreten ist, kann eine an einen oder mehrere Adressaten gesendet werden. Die Eingangsdaten können als Anlage angehängt werden. Siehe dazu Abschnitt 8.6 Fehler- s und im Referenzhandbuch 7.24 Rückmeldung an Sender. Anmerkung: Wird das Profil auf dieser Seite ge speichert, wird es geschlossen und eine Profil-Backup-Datei erzeugt, siehe Abschnitt Profil-Backup. 3.3 Das erste Beispiel: Datenpumpe (Phasen 1 und 6) Als Datenpumpe wird ein Profil (Job) bezeichnet, das Daten lediglich entgegennimmt (Phase 1) und inhaltlich unverändert über einen oder auch mehrere sogenannte Antwortwege (auch Ausgangswege) weiterleitet (Phase 6); ein Mapping (Phase 3) findet also z.b. nicht statt. Folgende Datenpumpe soll implementiert werden: Eine Datei soll zu vorgegebenen Zeiten aus einem (lokalen) Dateiverzeichnis abgeholt und unter einem anderen Namen zuerst in einem anderen Verzeichnis abgelegt, dann per FTP an einen Partner verschickt werden. Legen Sie dazu über die Profilübersicht ein Profil namens LD Datenpumpe in Ihrer Gruppe an (siehe Abschnitt 3.1 Profilverwaltung ). Die Eingabemaske für Phase 1 wird angezeigt Phase 1: Die Daten werden in Empfang genommen Zunächst müssen Sie den Eingangsagenten festlegen (Abbildung 3.9): Unterscheidung aktive vs. reaktive Eingangsagenten Lobster data bietet prinzipiell zwei Möglichkeiten in Phase 1: 1. Entweder soll das Profil darauf warten, dass ein Partner zu verarbeitende Daten anliefert (ereignisgesteuert, reaktiv), 2. oder es soll sich solche Daten (aktiv) beim Partner abholen (einmalig oder wiederkehrend). Im Hinblick auf den Empfang der Daten fungiert Lobster data also entweder als Server (Punkt 1), andernfalls als Client (Punkt 2). Für letzteren Fall ist der Eingangsagent CronJob zuständig, je nach Protokoll z.b. als Cron:FTP, Cron:X.400,... Lobster_data für Einsteiger 31

32 Abbildung 3.9: Phase 1: Die Eingangsagenten eines Profils, z.t. alphabetisch aufgelistet Alle anderen Eingangsagenten verhalten sich reaktiv, ereignisgesteuert. Eine Sonderrolle spielt der Eingangsagent Manuell Hochladen. Er dient dazu, während der Profil-Entwicklungsphase Mapping-Testdaten einzuspielen, siehe Abschnitt 8.3 Neudurchlauf. Hinweis: Der Stern * zeigt an, welcher Agent für das Profil zuständig ist; defaultmäßig ist das bei einem neuen Profil Manuell Hochladen. Markieren Sie nun den Eingangsagenten CronJob (die Daten für die Datenpumpe sollen ja aktiv abgeholt werden) und klicken Sie auf Konfigurieren. Sie sehen die Konfigurationsmaske Einstellungen für: Cron Job, siehe Abbildung Der Agent Cron:Datei (andernorts auch Cron:File ) ist der erste in der Tabreiter-Liste und den wollen Sie ja auch verwenden. (Schauen Sie sich ruhig auch mal die anderen Eingangsagenten von FTP bis HTTP an, indem Sie sich durch die Tabreiter klicken... Hinweis: Wenn Sie Daten aus einer Datenbank lesen möchten, müssen Sie den Cron:DB oder eine Klasse aus Cron:API verwenden, wie z.b. DefaultSQLCron. Siehe auch Referenzhandbuch.) Zurück zum Dateiabholen. Sie müssen nun zumindest angeben, welche Datei(en) Sie wo abholen wollen. Dies geschieht im Tabreiter Einstellungen : Übernehmen Sie bitte die Angaben für die beiden Quelldatei-Muster und das Quellverzeichnis. Beim Tabreiter Zeiten wird dann noch festgelegt, wann das Profil arbeiten soll; legen Sie ein Intervall Ihrer Wahl fest, z.b. alle 5 Minuten (Abbildung 3.11). Lobster_data für Einsteiger 32

33 Abbildung 3.10: Phase 1: Konfigurationsmaske für den Agenten Cron:Datei - Einstellungen Zu den übrigen Möglichkeiten der Zeitensteuerung siehe Referenzhandbuch Kapitel Zeiten. Abbildung 3.11: Phase 1: Konfigurationsmaske für den Agenten Cron:Datei - Zeiten Übernehmen Sie Ihre Eingaben und kommen Sie dann mit Weiter zur Maske der Phase 2, Tabreiter Eigenschaften (Abbildung 3.12). Hier müssen Sie für eine Datenpumpe die Option Kein Mapping anwählen; die Dokumentenart spielt dann keine Rolle. Die Option Profil freischalten sollten Sie vorerst abwählen, sonst startet das Profil womöglich alle 5 Minuten, obwohl es noch nicht fertiggestellt ist... (es sei denn, Sie haben den Haken Profil freischalten bereits in der Profilübersicht beim Erstellen dieses Profils entfernt.) Nun können Sie das Profil ein erstes Mal abspeichern (Klicken Sie auf den Disketten-Button ganz unten im Fenster!). Lobster_data für Einsteiger 33

34 Abbildung 3.12: Phase 2: Eigenschaften für eine Datenpumpe Wenn Sie zurück gehen, sehen Sie, dass der den Eingangsagenten markierende Stern * jetzt auf CronJob gewechselt hat, und mit Weiter kommen Sie direkt zur Maske für Phase Phase 6: Die Daten werden weitergeleitet Hier werden ein oder mehrere Antwortwege eingerichtet (siehe Abschnitt 3.2 Die 7 Schritte der Profilentwicklung). Es muss jeweils sowohl der Typ des Antwortweges festgelegt werden (siehe Abbildung 3.13) als auch das (davon teilweise abhängige!) Format der auszugebenden Daten (s.u.). Abbildung 3.13: Phase 6: Antwortweg-Typen Legen Sie zunächst über den Button Neu... einen ersten Antwortweg vom Typ Datei an (➀ und ➁ in Abbildung 3.14): Im Feld Datei werden Zielverzeichnis und Name der zu erzeugenden Zieldatei konfiguriert ➂. Lobster_data für Einsteiger 34

35 Abbildung 3.14: Phase 6: Ein Antwortweg vom Typ Datei Sie sehen, dass die Zieldatei im Zielverzeichnis./conf/Beginner/dest abgelegt werden soll; ihr Dateiname soll sich zusammensetzen aus dem Originaldateinamen sowie (nach einem Unterstrich) dem aktuellen Datum. Die Erweiterung soll.txt sein. Den Originaldateinamen hat Lobster data in der abgelegt, die Sie sich über den Fragezeichen-?-Button holen können ➃. Für vertiefendere Angaben dazu sei verwiesen auf das Referenzhandbuch Kapitel 10.1 Filenamen generieren, dort die Ausführungen zu Platzhaltern für Jahr/Monat/Tag und auch Pfadangaben. Das Zielverzeichnis soll bereits vorhanden sein ➄. Entscheidend ist die Angabe im Feld Inhalt ➅: Hier wird das Format der auszugebenden Daten bestimmt (siehe Abbildung 3.15 für den Typ Datei ). Für eine Datenpumpe müssen Sie wie empfangen einstellen. Übernehmen Sie Ihre Eingaben und speichern Sie das Profil abschließend erneut Das Profil wird zum ersten Mal gestartet Nun kann das Profil arbeiten! Da es inaktiv ist (schauen Sie in der Profilübersicht nach - mit Strg+1, über Haupt-Menüpunkt Fenster oder dem entsprechenden Unter-Menüpunkt von Applikationen ), Lobster_data für Einsteiger 35

36 Abbildung 3.15: Phase 6: Antwortweg-Inhalt (Zielformat) für Typ Datei müssen Sie es manuell starten. Dies können Sie in der Profilübersicht tun, indem Sie das Profil markieren und auf den Button Neudurchlauf... klicken (links unten); das Neudurchlauf-Fenster für das Profil LD Datenpumpe öffnet sich (siehe dazu auch Kapitel 8.3 Neudurchlauf): Abbildung 3.16: Neudurchlauf: Cron starten Klicken Sie auf Cron starten - dieser Button ist nur bei einem Cron-Profil aktiviert - und Sie erhalten die Meldung Der Auftrag wurde erfolgreich eingestellt! (Abbildung 3.16). Wie können Sie das prüfen? Das ControlCenter Bitte öffnen Sie das ControlCenter mit Strg+3 oder dem entsprechenden Unter-Menüpunkt von Applikationen. Das ControlCenter bietet Einsicht in alle für den laufenden Betrieb von Lobster data relevanten Informationen zur Laufzeit. Es ist die zentrale Stelle, innerhalb derer Sie die Abarbeitung von Jobs überwachen und gegebenenfalls eingreifen können. Lobster_data für Einsteiger 36

37 Wählen Sie nun den Tabreiter Logs. Wenn ein Job ausgeführt worden ist, wird er hier unter Übersicht Jobs angeführt. Die Vorauswahl Heute, letzte Stunde ist für dieses Beispiel die richtige; klicken Sie auf Suchen (das ist immer nötig, wenn Autorefresh aus ist). Wie Sie sehen, sehen Sie nichts (Abbildung 3.17). Ja, die Meldung Der Auftrag wurde erfolgreich eingestellt! bedeutet lediglich, dass der Lobster data-server die Aufforderung, den CronJob zu starten, erfolgreich entgegengenommen hat. Abbildung 3.17: ControlCenter (Logs): Übersicht Jobs - Kein Job Wo erhalten Sie nun weitere Auskunft? Gehen Sie weiter zu den Allgemeinen Meldungen und dort wieder auf Suchen mit Heute, letzte Stunde. An dieser Stelle sehen Sie Log-Meldungen, die nicht einem bestimmten Job zugeordnet werden können (Abbildung 3.18). Jetzt sehen Sie mehr; studieren Sie einmal den gesamten Text, und zwar von unten nach oben (siehe Zeitstempel in der linken Spalte), auch wenn er eventuell erst einmal abschreckend wirkt - in den allermeisten Fällen werden Sie hier die Antwort auf Ihre Fragen finden, hier also: Weshalb ist die Datenpumpe nicht gelaufen? 1. Zunächst wurde zweimal eine Profiländerung protokolliert ➀ (Sie haben das Profil zweimal abgespeichert). 2. Manueller Start des CronJobs ➁. 3. Bereits jetzt: Directory./conf/Beginner does not exist ➂, also das in Phase 1 des Profils spezifizierte Quellverzeichnis existiert gar nicht! (Es sei denn, Sie hätten das bereits erledigt... ) 4. Dann kommt eine DataRetrieveException: Unable to access directory./conf/beginner ➃, 5. und noch ein zweites Mal mit dem Ergebnis Exception while processing cron job LD Datenpumpe ➄. Die Stacktraces liefern Hinweise nach Caused by: Zum Schluss dann die endgültige Meldung DATAWIZARDCRON, finished work. Got no data ➅. Das Got no data weist immer darauf hin, dass kein Job entstehen konnte, weil keine Daten zum Verarbeiten vorlagen. Lobster_data für Einsteiger 37

38 Abbildung 3.18: ControlCenter (Logs): Allgemeine Meldungen Lobster_data für Einsteiger 38

39 Sie wissen ja, weshalb, also erzeugen Sie das betreffende Verzeichnis und stellen eine Datei ein namens FuerDatenpumpe 1.txt (dies passt zum gewünschten Dateimuster des Profils). Die Datei sollte 40 Zeichen enthalten, z.b. den Text Das ist die Datei FuerDatenpumpe 1.txt. Nach einem abermaligen Neudurchlauft ist nun ein Eintrag unter Logs/Übersicht Jobs mit einem sogenannten Job-Log unter Meldungen zu sehen (Abbildung 3.19), das heißt, es ist ein Job entstanden (hier mit der Jobnummer 11625, bei Ihnen natürlich eine andere), jedoch ein fehlerhafter (drei rote Ausrufezeichen!!!) ➀. In Spalte Datei sehen Sie, welcher Datei dieser Job gilt ➁. Abbildung 3.19: ControlCenter (Logs): Übersicht Jobs - Fehler im Job Lobster_data für Einsteiger 39

40 Die Meldungen im Einzelnen, diesmal von oben nach unten: ➂ Phase 1: Die Datei FuerDatenpumpe 1.txt (mit 40 Zeichen) wird aus dem spezifizierten Verzeichnis abgeholt. (Sehen Sie, dass der Pfad im Profil verändert worden ist??? - Bitte tragen Sie die Änderung ebenfalls nach!) ➃ Die Phasen 2 bis 5 werden übersprungen, da sie im Profil ja nicht konfiguriert sind. ➄ Phase 6 beginnt (mit einem Antwortweg). ➅ Antwortweg Nr. 1 (seine Spezifikation wird nochmal angezeigt). ➆ Der generierte Dateiname wird angezeigt:./conf/beginner/dest/fuerdatenpumpe 1.txt txt ➇ Hier wird der Fehler benannt: Das gewünschte Zielverzeichnis existiert nicht (Sie hatten spezifiziert, dass es bereits vorhanden sein solle... ). Weiter unten ist noch ausgeführt, dass Response nr.1 by File... failed, und damit ist der Job mit einem Fehler beendet: Request may NOT be processed - see error log for more details.finished.. Hinweis 1: Sie können solche Job-Log-Meldungen jederzeit In die Zwischenablage kopieren, z.b. um sie einem Editor oder dem Support zukommen zu lassen. Hinweis 2: Mit dem Kontextmenü (Mausklick rechts auf den Job-Eintrag) können Sie sich die Quelldaten anschauen mittels Datei ansehen.... Hinweis 3: Mit Strg+c und Strg+v kann die Jobnummer in die Zwischenablage kopiert und von dort wieder entnommen werden. Backup der Quelldaten eines Jobs Bitte schauen Sie einmal in Ihr Quellverzeichnis - die Datei ist verschwunden, obwohl doch ihre Verarbeitung fehlgeschlagen ist. Aber: Bei jedem Job wird ja ein Backup der Quelldaten erzeugt, siehe Kapitel 2.2 Die einzelnen Schritte eines Jobs. (Bei einem Cron:Datei wird die eingelesene Datei sofort nach der Erstellung des Backups gelöscht; dies kann in Phase 1 jedoch auch anders konfiguriert werden.) Wo finden Sie dieses Backup? In der AdminKonsole (Abschnitt 1.1.1) gibt es unter Umgebung/Tools die data.3 Tools. Dort können Sie den Profil-Namen LD Datenpumpe aus der alphabetisch sortierten Liste auswählen und die Jobnummer eingeben (siehe Hinweis 3 weiter oben), und mit Berechnen werden Ihnen das Backup-Verzeichnis dieses Profils sowie die dort abgelegten Backupdateien angezeigt (Abbildung 3.20). Siehe dazu auch Abschnitt Quelldaten-Backup. Die Quelldaten für den Job wurden unter Job abgelegt, deren sogenanntes Environment, wie z.b. ihr Dateiname unter ENV Bitte prüfen Sie das einmal nach. Lobster_data für Einsteiger 40

41 Abbildung 3.20: AdminKonsole (Umgebung/Tools): Wo sind die Backupdateien des Jobs? Quelldaten können Sie über diese Backups im Neudurchlauf rekonstruieren (siehe Abschnitt 8.3 Neudurchlauf). Nun können Sie entweder das Zielverzeichnis anlegen oder aber im Profil die Forderung Zielverzeichnis muss vorhanden sein (Abbildung 3.14 Phase 6: Ein Antwortweg vom Typ Datei ➃) fallen lassen. Bitte tun Sie Letzteres und ändern Sie auch noch den Zielpfad in Phase 6 analog zu Phase 1 in./conf/dokumentation/beginner/dest (Übernehmen und Speichern nicht vergessen!). Wenn Sie nun wieder in den Neudurchlauf gehen, sehen Sie den Job zu diesem Profil ➀ einschließlich der Backupdatei, die Sie sich auch hier Ansehen... können, sobald Sie den Job markiert haben. Wenn Sie die Option Original Dateinamen anzeigen abwählen ➁ und nochmal Suchen klicken, sehen Sie in der Spalte Datei den Namen der Backupdatei, also Job (Abbildung 3.21). Sie können diesmal den Job markieren und einen Job mit der Backupdatei erneut laufen lassen per > Starten. Jetzt ist im Job-Log ein fehlerfreier Job (11627) für die Datei FuerDatenpumpe 1.txt zu sehen (Abbildung 3.22). Das Zielverzeichnis wurde kreiert Created folder structure... und die Datei steht als FuerDatenpumpe 1.txt txt in./conf/dokumentation/beginner/dest. Mit Request finished in 279 ms wird der erfolgreiche Lauf abgeschlossen. Lobster_data für Einsteiger 41

42 Abbildung 3.21: Neudurchlauf: Backupdatei Abbildung 3.22: ControlCenter (Logs): Übersicht Jobs - Erfolgreicher Job Lobster_data für Einsteiger 42

43 Mehrere Jobs pro Cronjob-Start Stellen Sie nun ins (jetzt wieder leere) Quellverzeichnis 2 Dateien FuerDatenpumpe 2.txt und FuerDatenpumpe 2.csv und starten den CronJob erneut: Jetzt werden zwei Jobs erzeugt (11628 und 11629), siehe Abbildung Abbildung 3.23: ControlCenter (Logs): Übersicht Jobs - Mehrere Jobs pro CronJob Hinweis: Auch in den Allgemeinen Meldungen können Sie diesen Ablauf nachvollziehen; geben Sie einmal ins Suchfeld (rechts oben mit der Lupe) den Suchstring got ein Die Partnerverwaltung Die Aufgabenstellung für die Datenpumpe enthält ja auch die Forderung, die Quelldaten noch per FTP an einen Partner zu senden. Dies wird im Profil in Phase 6 über einen weiteren Antwortweg konfiguriert. Legen Sie also dort mit Neu... einen zweiten Antwortweg vom Typ FTP an und tragen Sie die Pflichtangaben für eine FTP-Verbindung ein (Abbildung 3.24): 1. Name oder IP des FTP-Servers mit Portnummer ➀, 2. die Zugangsdaten, die Ihr Partner für Sie eingerichtet hat (Benutzername und Kennwort - muss wiederholt werden) ➁, 3. den Namen, den die Datei auf dem FTP-Server erhalten soll ➂ Die Angabe im Feld Inhalt ist wie im ersten Antwortweg wie empfangen. Übernehmen Sie Ihre Eingaben und speichern Sie das Profil ab. Lobster_data für Einsteiger 43

44 Abbildung 3.24: Phase 6: Ein Antwortweg vom Typ FTP Lobster_data für Einsteiger 44

45 Wenn Sie jetzt das Profil über den Neudurchlauf z.b. mit der Backupdatei FuerDatenpumpe 1.txt starten, erhalten Sie folgendes Job-Log (Abbildung 3.25): Abbildung 3.25: ControlCenter (Logs): Übersicht Jobs - UnknownHostException ➀ Restart mit Backupdatei des Jobs ➁ Erfolgreiches Durchlaufen des Antwortweg 1 ➂ Der Dateiname für den FTP-Server wurde noch richtig gebildet, jedoch scheitert der Antwortweg 2 wegen UnknownHostException ; der Host FTP-Server-des-Partners ist unbekannt, wie Sie sicher erwartet haben... Sie müssen die Angaben also durch richtige Werte ersetzen. Stellen Sie sich vor, dass Sie mit einem Partner auch über weitere Profile kommunizieren möchten, gar irgendwann von ihm Daten erhalten, evtl. auch über , X.400, AS2, usw. Oder dass sich beispielsweise die Pflichtangaben ändern. Dann wäre es sinnvoll, diese Kontaktdaten zentral zu verwalten - dazu dient die Partnerverwaltung (siehe auch Kapitel 5 Menüpunkt Partnerverwaltung ). Bitte öffnen Sie die Partnerverwaltung mit Strg+9 oder dem entsprechenden Unter-Menüpunkt von Applikationen. Dort werden sogenannte Partner angelegt, darin die erforderlichen sogenannten Kanäle für die einzelnen Kommunikationstypen (Abbildung 3.26). Anlegen eines Partners Klicken Sie auf das Symbol ➀, geben oben rechts einen Partnernamen Doku Lobster.Beginner an und speichern den Partner über den Button Partner speichern ➁. Er erscheint jetzt in der Liste aller Partner ➂; seine Liste der definierten Kanäle ist (noch) leer. Lobster_data für Einsteiger 45

46 Abbildung 3.26: Partnerverwaltung: Anlegen Partner mit Kanal ausgehend Lobster_data für Einsteiger 46

47 Anlegen eines FTP-Kanals zum Senden Nun soll ein ausgehender FTP-Kanal angelegt werden: Klicken Sie auf das zweite Symbol ➃ und wählen aus der Liste FTP aus; geben Sie dem Kanal einen Namen ( FTP ausgehend ) ➄. Nun legen Sie die Datenrichtung fest und setzen den Haken bei ausgehend ➅. Für diese Richtung ist der Tabreiter Eigene Daten zuständig ➆; dort geben Sie Ihre Zugangsdaten an, die Ihr Partner für Sie eingerichtet hat. Der IS hat ja einen integrierten FTP-Server, der soll für dieses Beispiel nun verwendet werden. Also geben Sie die Werte wie im Antwortweg oben ein ➇ Eigene Kennung: siehe ➁ in Abbildung ➈ Eigenes Kennwort: siehe ➁ in Abbildung ➉ Partner Adresse: siehe ➀ in Abbildung Sie können localhost angeben, wenn Sie sich auf dem Lobster-IS-Rechner befinden, ansonsten die IP des entfernten Lobster-IS-Rechners. Der Tooltip zeigt an, dass die Adresse auf jeden Fall mit ftp(s):// beginnen muss. Speichern Sie den Kanal und gehen Sie wieder ins Datenpumpenprofil zurück. (Am einfachsten geht das übers Lobster data-hauptfenster, Menüpunkt Fenster ; dort können Sie, sollten Sie das Profil-Fenster geöffnet haben, seinen Name anklicken.) Nun sollten Sie 1. den bisherigen FTP-Antwortweg deaktivieren und 2. einen neuen einrichten, der sich auf den soeben erzeugten FTP-Kanal bezieht. ad 1: Markieren Sie Antwortweg 2. Sie können das sogenannte Beschreiten eines Antwortweges von Bedingungen abhängig machen, z.b. Beschreite diesen Antwortweg, wenn False = True. Weil das nie der Fall ist, wird dieser Antwortweg nie beschritten. Dazu wählen Sie die Option Falls Variable an ➀ und holen sich für das nächste Feld mit Hilfe des Fragezeichen-?-Button den Wert False herein ➁. Übernehmen Sie den geänderten Antwortweg. Sie sehen nun in der Antwortweg-Liste bei Nr. 2 den Zusatz [Variable: False] ➂ (Abbildung 3.27). ad 2: Legen Sie nun einen neuen FTP-Antwortweg an. Statt wie zuvor die FTP-Kenndaten einzutragen, wählen Sie den betreffenden Kanal aus über den Button Wählen... neben dem Komm.-Kanal: der bisher Nicht zugewiesen ist. Es öffnet sich die Partnerverwaltung. Markieren Sie den Partner Doku Lobster. Beginner und dort den Kanal FTP ausgehend. Jetzt erscheint der Button Kanal auswählen links neben dem Symbol. Klicken Sie darauf, und Sie landen wieder im Profil, wo nun der soeben gewählte Kanal angeführt ist ➀. (Ziehen Sie das Fenster größer... ) Die dort spezifizierten Felder haben die Farbe grün (und Sie könnten sie bei Bedarf überschreiben). Sie müssen wieder einen Zieldateinamen angeben ➁ und können dann den Antwortweg übernehmen (Abbildung 3.28). Lobster_data für Einsteiger 47

48 Abbildung 3.27: Phase 6: Antwortweg deaktivieren Abbildung 3.28: Phase 6: Ein Antwortweg vom Typ FTP mit Kanal Lobster_data für Einsteiger 48

49 Starten Sie das Profil erneut. Wenn Sie schnell genug auf den Tabreiter Jobs im ControlCenter gehen, können Sie den laufenden Job sehen, wie er in Phase 6 bei Antwortweg 3 versucht, den FTP-Befehl abzusetzen (Abbildung 3.29). Abbildung 3.29: ControlCenter (Jobs): Ein laufender Job Sobald der Job beendet ist, schauen Sie sich das Job-Log an: 1. Phase 1: DATAWIZARDRESTARTTHREAD (Re-)start of file FuerDatenpumpe 1.txt of orig. job by user admin, length=40 2. Überspringen Phasen 2-5 ( not needed ) 3. Phase 6: sending response(s) (3) 4. Start to send response nr. 1 by File Skipping response nr. 2 (Ftp [always] [Variable: False]... (sic!) 6. Start to send response nr. 3 by FTP (Ftp [always] Comm.Channel=Doku Lobster.Beginner:FTP ausgehend, Host=, file=@var FILENAME PREFIX@.txt) 7. Und dann die Fehlermeldung Error while sending file FuerDatenpumpe 1.txt by FTP to host localhost (login failed)... Dies war zu erwarten, denn der Lobster FTP-Server weiß ja bis jetzt nichts von dem im Kanal FTP ausgehend genannten Benutzer. Den muss er nun für Sie zur Verfügung stellen, wiederum in der Partnerverwaltung (Strg+9) (Abbildung 3.30). Anlegen eines FTP-Kanals zum Empfangen Wählen Sie Ihren Partner aus, erzeugen einen weiteren FTP-Kanal und nennen ihn FTP eingehend ➀. Diesmal müssen Sie bei Datenrichtung den Haken bei eingehend setzen ➁ und der Tabreiter Partnerzugang ist zuständig ➂. Lobster_data für Einsteiger 49

50 Abbildung 3.30: Partnerverwaltung: Kanal eingehend Lobster_data für Einsteiger 50

51 Weil Sie im Rahmen dieses Beispiels Ihr eigener Partner sind, geben Sie dort die Zugangsdaten an, die Sie ja bereits verwendet haben: ➃ Partner Kennung: meinbenutzername, und ➄ Partner Kennwort: Ihr Kennwort. (Im richtigen Leben kämen hier jeweils natürlich die Angaben für den externen Partner hinein.) ➅ Benutzer-Verzeichnis: Außerdem legt ein FTP-Server für jeden Benutzer das Home- Verzeichnis fest, in dem dessen eingehende Daten landen - im Kanal wird dies hier angegeben. Sie könnten das voreingestellte.transfer so übernehmen, sinnvoll wäre es aber, die verschiedenen Typen und Datenrichtungen sowie die Partner zu unterscheiden. Ändern Sie die Vorgabe also z.b. in./transfer/ftp/myself/in. Abspeichern nicht vergessen! Starten Sie das Profil erneut. Die betreffende Datei sollte danach im angegebenen Homeverzeichnis stehen. Anmerkung: Die Trennung in einen Kanal für Datenein- und einen für Datenausgang ist nicht nötig. Stattdessen können Sie für jeden Kanaltyp Ihres Partners einen Kanal anlegen, der beide Richtungen bedient. Dazu müssen bei der Datenrichtung die Haken sowohl bei eingehend als auch bei ausgehend gesetzt werden. Im Tabreiter Eigene Daten tragen Sie die Daten ein, die Sie vom Partner erhalten haben, um sich bei ihm anzumelden (im Lobster data-zusammenhang also per Antwortweg zum Senden oder aber auch per CronJob zum Abholen). Im Tabreiter Partnerzugang legen Sie fest, mit welchen Daten Ihr Partner sich bei Lobster data anmelden soll, wenn er Ihnen Daten senden will. Damit ist die Datenpumpe fertig. (Eine Übersicht über alle hier vorgeführten Beispiele finden Sie im Anhang D - Beispiel-Profile). Hinweis: Im Referenzhandbuch gibt es ebenfalls einen Abschnitt zum Thema Datenpumpe ( Arbeit mit rein binären Eingangsdaten ). 3.4 Dokumentenarten/Parser (Phase 2) Nachdem in Phase 1 die Daten in Empfang genommen wurden, müssen Sie Lobster data nun mitteilen, wie diese aussehen. Danach richtet sich die Auswahl des Parsers, der sie dann einliest. Bitte legen Sie ein neues Profil an ( LD Phase2 CSV ), übernehmen Sie den Eingangsagenten Manuell Hochladen und gehen Sie zu Phase 2, Tabreiter Eigenschaften. Lobster_data für Einsteiger 51

52 Schauen Sie sich einmal die verfügbaren Dokumentenarten an. Es gibt also einen CSV-Parser, einen Excel-Parser, einen XML-Parser, usw. (Die Dokumentenart DB gibt es nur beim Eingangsagenten Cron:DB - probieren Sie es aus.) Sie werden feststellen, dass die jeweiligen Eingabemasken in drei Bereiche geteilt sind: Der obere Teil 1 enthält Angaben, die für alle Formate gleich sind (abgesehen von der Zeichenkodierung, die es bei Excel nicht gibt, weil es ein Binärformat ist) und sich nicht nur auf das Format beziehen, sondern auch darauf, wie das Profil als Ganzes arbeiten soll (Abbildung 3.31). Im mittleren Teil 2 werden formatspezifische Angaben konfiguriert, die es so nur beim betreffenden Format gibt, wie z.b. bei CSV das CSV-Quoting, bei Excel die Datenblätter, Schemadateien bei XML usf. Im unteren Teil 3 sind Angaben zusammengestellt, die bei mehreren Formaten vorkommen können, wie z.b. die Komprimierung (siehe z.b. Abbildung 3.32 für CSV). Abbildung 3.31: Phase 2: Eigenschaften Teil Ein CSV-Beispiel Die verschiedenen Parser arbeiten unterschiedlich, hier soll der CSV-Parser genauer angeschaut werden. CSV ist die Abkürzung für Comma Separated Values ; in einer CSV-Datei sind also Werte abgelegt, die durch Kommata (, ) getrennt sind. Ein Auftrag soll bestehen aus einem Auftragskopf mit Auftragsnummer, Kundennummer und Auftragsdatum 1-n Auftragspositionen mit jeweils Positionsnummer, Artikelnummer, Menge und Einzelpreis In Ihrer CSV-Datei kann es 1-n solcher Aufträge geben. Lobster_data für Einsteiger 52

53 Es gibt also zwei unterschiedliche sogenannte Satzarten (Auftragskopf und Auftragsposition), die in je einer Zeile stehen sollen. Der Parser liest die Datei zeilenweise ein. Damit er erkennen kann, um welche Satzart es sich gerade handelt, werden bei einem Auftragskopf ein AK und bei einer Auftragsposition ein AP als weiterer Wert an den Zeilenanfang gestellt. AK und AP sind die sogenannten Satzarterkennungen, englisch section identifiers andernorts auch matchcodes. Bitte erzeugen Sie sich mit Hilfe eines Editors die Datei Testdaten 1.csv mit folgendem Inhalt (Zeilen, die mit # beginnen, sind Kommentarzeilen): # Auftrag 1 - Auftragskopf AK,4711,0815, # Auftragspositionen AP,1,Artikel a,10, 2000,99 AP,2,Artikel b,100, 200,99 AP,3,Artikel c,1000, 20,99 # Auftrag 2 - Auftragskopf AK,4712,0815, # Auftragspositionen AP,1,Artikel x,1, 5000,99 AP,2,Artikel y,10, 500,99 AP,3,Artikel z,100, 50,99 # Auftrag 3 - Auftragskopf AK,4713,0815, # Auftragspositionen AP,1,Artikel a,1, 2000,99 AP,2,Artikel z,10, 50,99 Bitte beachten Sie, dass der Preis (vierter Wert einer Position) jeweils in sogenannte Quoting- Zeichen ( ) gesetzt ist, damit der Parser den Wert 2000,99 nicht als zwei durch Komma getrennte Werte interpretiert. Sie können nun die Vorgaben der CSV-Maske übernehmen (Abbildung 3.32) ➀ Zeilenweise Anordnung (es gäbe auch die Möglichkeit der spaltenweisen Anordnung) ➁ Quoting mit und weiter gehen zur nächsten Maske. Lobster_data für Einsteiger 53

54 Abbildung 3.32: Phase 2: Eigenschaften Teil 2 und 3 Dieses Fenster (Phase 2/3/4) ist zentral für ein Profil mit Mapping. Hier wird u.a. die Phase 2 weiter konfiguriert (Siehe Abschnitt Das Mapping-Fenster) Quellstruktur Zunächst werden weitere Angaben für den Parser benötigt in der sogenannten Quellstruktur, einer Baumstruktur auf der linken Seite. Quellknoten Hier wird die Struktur der Quelldaten abgebildet in sogenannten Knoten. Für Ihr Beispiel gibt es zwei Knotenarten (nämlich Auftragskopf und -position.) Klicken Sie rechts auf den bereits vorhandenen Wurzelknoten Datenstruktur und wählen Sie den Punkt Mehrere neue Knoten... des Kontextmenüs, dann bei der Frage nach der Anzahl der zu erzeugenden Elemente eine 2. Es entststehen zwei Knoten, erkennbar am Ordner-Symbol ➀, mit den automatisch vergebenen Namen Node-1 und Node-2. Die Anzahl der Knoten wird ebenfalls angezeigt ➁ (Abbildung 3.33). Hinweis: Zur Bedeutung der Symbole siehe auch Referenzhandbuch Abschnitt 4.1 Mappingfenster. Quellfeld Nun werden zu den Knoten sogenannte Felder angelegt, die dann vom Parser mit den Werten einer Satzart befüllt werden sollen. Lobster_data für Einsteiger 54

55 Abbildung 3.33: Phase 2: Quellstruktur mit zwei Knoten Im Beispiel also beim Auftrags-Knoten vier Felder (für Satzarterkennung, Auftragsnummer, Kundennummer und Auftragsdatum), beim Positions-Knoten fünf Felder (für Satzarterkennung, Positionsnummer, Artikelnummer, Menge und Einzelpreis). Wählen Sie nacheinander bei beiden Knoten aus dem Kontextmenü Mehrere neue Felder... und erzeugen Sie vier bzw. fünf Felder. Es werden die Namen Field-3 bis Field-11 vergeben. Auch die Zahl der Felder pro Knoten wird rechts vom Knotennamen angezeigt. Die automatisch vergebenen Namen der Knoten und Felder sollten Sie durch sprechendere ersetzen. Dazu markieren Sie den Knoten/das Feld und gehen zur Liste Eigenschaften Eingangsfeld/Knoten rechts oben, dort auf das Feld Name. Mit Enter oder Doppelklick wird ein Editor geöffnet und Sie können eigene Namen vergeben (Abbildung 3.34). Die Eingabe muss mit der Enter -Taste bestätigt werden. Abbildung 3.34: Phase 2: Eigenschaften Quellstruktur - Name Das Ergebnis sollte etwa folgendermaßen aussehen; SAE steht für Satzarterkennung (Abbildung 3.35): Die Quelldaten werden eingelesen Nun können Sie einmal versuchen, Ihre Datei einzulesen. Klicken Sie auf den Button Test... und dort auf Neuer Test.... Leider erhalten Sie den Einstellungsfehler No elements in output tree defined (Abbildung 3.36). Lobster_data für Einsteiger 55

56 Abbildung 3.35: Phase 2: Quellstruktur mit Knoten, Feldern, eigenen Namen Abbildung 3.36: Phase 2: Einstellungsfehler Lobster_data für Einsteiger 56

57 Lobster data erwartet, dass auch der Zielbaum Elemente enthält. Das geht am einfachsten, indem Sie den 1:1 Mapping -Button drücken (siehe hierzu auch Abschnitt Das 1:1-Mapping). (Jetzt könnten und sollten Sie Ihr Profil einmal abspeichern!) Dann können Sie wieder Testen.... Jetzt werden Sie im UploadManager nach Testdaten gefragt. Laden Sie sich per Einfaches Hochladen... Ihre zuvor erstellte Datei hoch. Wieder ein Fehler! Diesmal im Log-Tab des Tests. Wenn Sie nach oben scrollen, sehen Sie (Abbildung 3.37): Abbildung 3.37: Phase 2: Are section identifiers missing? Der CSV-Parser hat seine Arbeit aufgenommen (Zeilen 1 und 2), danach holt er sich zunächst Konfigurationsdaten der Phase 2 (Zeilen 3 und 4). Jetzt geht er zum ersten Knoten der Quellstruktur und stellt ab Zeile 5 fest, dass er gar nicht weiß, für welche Satzart der überhaupt zuständig ist: are section identifiers missing? ➀ Definition Satzarterkennung Was ist zu tun? Schließen Sie den Test-Dialog und markieren Sie im Profil den Knoten Auftragskopf. Mit dem Kontextmenü-Punkt Satzart-Erkennung definieren... (Shortcut Strg+m) erscheint das Fenster, in dem für den Knoten die Satzarterkennung angegeben werden muss. Wenn Sie die Liste einmal herunterklappen, sehen Sie, welche Möglichkeiten es dazu gibt. Für dieses Beispiel genügt ein einfaches Beginnt mit AK (Abbildung 3.38). Lobster_data für Einsteiger 57

58 Hinweis: Mit dem Symbol können bei Bedarf weitere Bedingungen erzeugt werden, die dann per ODER verknüpft würden. Das Symbol löscht wieder. Abbildung 3.38: Phase 2: Definition der Satzarterkennung Übernehmen Sie und schauen Sie, was sich in der Quellstruktur geändert hat (Abbildung 3.39). Abbildung 3.39: Phase 2: Quellknoten mit Satzarterkennung Das Knoten-Symbol hat ein Ausrufezeichen erhalten ➀. Klicken Sie doppelt auf das runde i-symbol und Sie sehen (neben Minimum- und Maximum-Angaben) die definierte Satzarterkennung Matchcode:startsWith = AK. (Erneuter Doppelklick schließt die Ansicht wieder.) Geben Sie auch dem zweiten Knoten seine passende Satzarterkennung und wiederholen Sie den Test. Dieses Mal sollte es klappen! Parser-Log Gehen Sie bitte zum Tabreiter Log des Tests und verfolgen Sie die Schritte, die der Parser durchläuft, das sind die Zeilen bis zum Aufruf des Mappers, der mit ############ gekennzeichnet ist. (Abbildung 3.40). Lobster_data für Einsteiger 58

59 Abbildung 3.40: Phase 2: Parser-Log Lobster_data für Einsteiger 59

60 line=1 Sie sehen, dass als erstes die Zeile 1 der CSV-Datei (die Kommentarzeile # Auftrag 1 - Auftragskopf ) übersprungen wird, weil es keinen Knoten gibt, der dazu passt ( no matching node found ) ➀. line=2, Auftragskopf Die zweite Zeile (auch sie wird vollständig angezeigt!) wird dem Knoten Auftragskopf zugeteilt, weil sie mit AK beginnt. Die Daten werden zugewiesen ➁. line=4, Auftragsposition Entsprechend gehört die Zeile 4 zum Knoten Auftragsposition, ebenso die Zeilen 5 und 6 ➂. line=8 Leere Zeile wird übersprungen ➃. line=9 Ein neues sogenanntes Datenblatt (englisch Record) wird erzeugt, weil Daten für einen Auftragskopf erkannt wurden ➄. Dasselbe nochmal für Zeile 16. Schreiben Sie einmal den Suchstring creating ins Suchfeld (das mit der Lupe) und wählen Sie Zeilen filtern! (Abbildung 3.41) Abbildung 3.41: Phase 2: Parser-Log - Zeilen filtern Hinweis: Im Referenzhandbuch gibt es einen Abschnitt Wann beginnt der Parser ein neues Datenblatt? Hinweis: Der Begriff message wird gleichbedeutend zu record verwendet. Nun gehen Sie auf den Tabreiter Ergebnis und klicken Sie auf Quellbaum anzeigen. Sie sehen die drei Datenblätter (Records) (Abbildung 3.42 ➀-➂) und beim Klick auf das erste Symbol sehen Sie die für den ersten Auftrag erzeugten Knoten - wie erwartet ein Auftragskopf und drei Auftragspositionen Trennzeichen Klicken Sie auf das Symbol des Auftragskopfes - dieses Ergebnis haben Sie sicher nicht erwartet (Abbildung 3.42). Hinweis: Was es mit den grünen Feldern auf sich hat, wird in Abschnitt Das 1:1-Mapping erläutert. Der Parser konnte zwar den sogenannten Quellbaum mit drei Datenblättern anhand der Quellstruktur über die Satzarten der Quelldaten richtig erzeugen, hat aber die Werte der einzelnen Quelldaten-Sätze nicht richtig in die vorgesehenen Felder gefüllt. Wie kommt das? Der Parser weiß noch nicht, welches Trennzeichen innerhalb der CSV-Datei verwendet wird. Lobster_data für Einsteiger 60

61 Abbildung 3.42: Phase 2: Quellbaum ohne Trennzeichen Dies müssen Sie ihm bekanntmachen im Feld Trennzeichen Spalte/Datensatz rechts bei den Knoten-Eigenschaften. Es werden angeboten ; (Semikolon),, (Komma), TAB (Horizontaler Tabulator), NL (New Line/Zeilenvorschub) und CR (Carriage Return/Wagenrücklauf). Wählen Sie das Komma für beide Knoten und wiederholen Sie den Test. Bitte schließen Sie zuvor das Test-Fenster, da der Quellbaum nicht nachgeladen wird. Nun sollte das Parser-Ergebnis Ihren Erwartungen entsprechen (Abbildung 3.43). Schauen Sie sich auch das Log dazu an: Jetzt werden tatsächlich die einzelnen Werte den zugehörigen Feldern zugewiesen, z.b. [line=2,sae AK] Parsed, assigned value AK. Vor der Definition der Trennzeichen wurde in diesem Feld die gesamte Zeile abgelegt. Damit ist das CSV-Parser-Beispiel fertig; bitte speichern Sie das Profil LD Phase2 CSV ab. 3.5 Mapping (Phase 3) Hier wird zum einen die Zielstruktur festgelegt, die analog zur Quellstruktur eine Baumstruktur aus Knoten mit dazugehörigen Feldern ist. Beim Mapping wird daraus der Zielbaum erzeugt. Quelldaten können dabei über sogenannte Zuordnungen vom Quellbaum in den Zielbaum übernommen werden. Zum anderen können die zugeordneten Zieldaten wie bereits erwähnt über sogenannte Filter(ketten) manipuliert werden. Derzeit gibt es mehr als 300 Filter, die beliebig komplexe Mappings ermöglichen, z.b. auch mit Hilfe von Variablen, Listen und Maps. Dazu gibt es im Folgenden zwei Beispiele (s.u.). Lobster_data für Einsteiger 61

62 Abbildung 3.43: Phase 2: Quellbaum mit Trennzeichen Zunächst soll aber das sogenannte Mapping-Fenster genauer angeschaut werden Das Mapping-Fenster Bitte legen Sie ein Profil LD Phase3 Mapping-Fenster an und gehen Sie weiter bis zum Mapping-Fenster (unten links gekennzeichnet mit Phase 2/3/4 ). Das Mapping-Fenster enthält mehrere Bereiche (Abbildung 3.44): ➀ Quellstruktur und ➁ Eigenschaften ihrer Knoten/Felder ➂ Zielstruktur und ➃ Eigenschaften ihrer Knoten/Felder. Außerdem erfolgt hier der Zugang zu den Filtern über die Tabreiter Filter, Liste und Favoriten. ➄ 1:1 Mapping ➅ ➆ siehe nächster Abschnitt Das 1:1-Mapping. Hier werden die oben erwähnten Zuordnungen von Quell- nach Zielfeldern aufgelistet. Eine Zuordnung bewirkt, dass beim Erstellen des Zielbaums der Wert des Quellfelds ins Zielfeld gemappt (übernommen) wird. Hier können Variablen und Konstanten definiert werden, siehe Abschnitt Mapping- Beispiel 2. ➇ Test... für den Mapping-Test bei der Profil-Entwicklung. Lobster_data für Einsteiger 62

63 Abbildung 3.44: Phase 3: Das Mapping-Fenster Lobster_data für Einsteiger 63

64 ➈ Disketten-Button Speichern des Profils (ohne Profil-Backup - siehe Tooltip!). Anmerkung: Wenn Sie ein Profil heute schon einmal gespeichert haben, wird in einem Tooltip hier der Zeitpunkt angezeigt: Zuletzt gespeichert um... Anmerkung: Wenn Sie Abbrechen, wird das Profil geschlossen, und nicht gespeicherte Änderungen gehen verloren. Vorlagen für Quell- und Zielstruktur Sowohl die Quell- als auch die Zielstruktur kann bequem mit Hilfe von mitgelieferten/selbst erstellten Vorlagen über den Button Struktur... / Vorlage laden... erzeugt werden. Es stehen bereits Vorlagen für die Dokumentenarten CSV, Feste Länge (Fortras, VDA), EDIFACT, XML, IDOC, X.12 und BWA zur Verfügung. (Siehe dazu auch das Referenzhandbuch Kapitel 9 Arbeit mit Vorlagen.) Das 1:1-Mapping Beim 1:1-Mapping wird die Quellstruktur unverändert auf die Zielstruktur abgebildet (auch die Namen von Knoten und Feldern werden übernommen). Außerdem werden alle Quellfelder den entsprechenden Zielfeldern zugeordnet, erkennbar daran, dass sie nun grün gefärbt sind (Abbildung 3.45). Abbildung 3.45: Phase 3: Das 1:1-Mapping Im unteren Teil des Fensters sind sämtliche Zuordnungen aufgelistet ➀. Sobald Sie auf eine der Zeilen klicken, werden im oberen Teil die betreffenden Felder markiert ➁. Lobster_data für Einsteiger 64

65 Per Felder zuordnen ➂ können Sie manuell zwei beliebige in Quell- und Zielstruktur markierte Felder einander zuordnen. Eine Zuordnung ist eine 1:n-Relation, d.h. ein Quellfeld kann mehreren Zielfeldern zugeordnet werden. Das Kontextmenü eines Quellfeldes bietet die Möglichkeit, das erste diesem Feld zugeordnete Zielfeld zu finden ( Erste Zuordnung finden ). Über das Kontextmenü eines Zielfeldes kann die Zuordnung über Zuordnung finden gefunden werden. (Es kann maximal eine vorhanden sein). Mit Zuordnung löschen wird sie wieder gelöscht Mapping-Beispiel 1 Hier ein erstes Beispiel (es führt das CSV-Parser-Beispiel fort). Ein Auftrag soll dieses Mal bestehen aus einem Auftragskopf mit Auftragsnummer, Kundennummer und Auftragsdatum, 1-n Auftragspositionen mit jeweils einem Positions-Text mit Positionsnummer, Artikelnummer, Menge und Einzelpreis, und anschließend optional einem Positions-Zusatz mit einer Ergänzung zur Position Am Ende eines Auftrags kann für jeden Artikel eine Artikel-Info mit Artikelbezeichnung und Artikelbeschreibung stehen. Der Zusammenhang zwischen Artikel-Info und Artikel wird über die Artikelnummer als Referenz hergestellt. In der Quelldatei kann es 1-n solcher Aufträge geben. Hier gibt also drei unterschiedliche Satzarten (Auftragskopf, Auftragsposition und Artikel-Info), wobei die Auftragsposition wiederum aus zwei Satzarten (Positions-Text und -Zusatz) besteht. Die Satzarterkennungen sollen sein K PT und PZ I das Trennzeichen dieses Mal ein Semikolon (;), Quoting nun mit einfachem Hochkomma ( ). Lobster_data für Einsteiger 65

66 Bitte erzeugen Sie sich die Datei Testdaten 2.txt mit folgendem Inhalt: # Auftrag 1 - Auftragskopf K;4711;0815; # Auftragspositionen mit Positions-Text und -Zusatzinfo PT;1;Artikel a;1; 100,00 PT;2;Artikel b;10; 200,00 PZ;Übergröße PT;3;Artikel c;100; 200,00 PZ;Einzeln verpacken # Informationen zu den Artikeln I;Artikel a;suse Linux 11.0;Endlich ein Betriebssystem! I;Artikel c;core i7-4770k;cpu Intel Core i7 # Auftrag 2 - Auftragskopf K;4712;0815; # Auftragspositionen PT;1;Artikel x;10003; 29,99 PZ;Mit Werbeaufdruck Lobster PT;2;Artikel y;10; 500,99 PT;3;Artikel z;100; 50,99 # Informationen zu den Artikeln I;Artikel x;usb Stick 32 GB;USB Stick mit 32 GB Kapazität Legen Sie dafür ein neues Profil namens LD Phase3 1 an (oder erzeugen eine Kopie von LD Phase2 CSV, die Sie umbenennen - siehe CSV-Parser-Beispiel in Abschnitt 3.4 Dokumentenarten/Parser (Phase 2)). Passen Sie die Angaben in der Maske Phase 2/Eigenschaften sowie in der Quellstruktur an das Beispiel an. Quellstruktur mit Oberknoten Die Knoten für Positions-Text und -Zusatz werden als Kindknoten des Positionsknotens angelegt oder anders ausgedrückt: Der Positionsknoten ist ein sogenannter Oberknoten mit zwei sogenannten Unterknoten. Die Quellstruktur sollte dann so aussehen (Abbildung 3.46): Bitte beachten Sie hierzu, dass der Oberknoten Position die Satzarterkennungen seiner Unterknoten PositionsText und PositionsZusatz bekommen muss. Dies können Sie manuell eintragen oder Sie können über das Kontextmenü Satzarterkennungen vererben bei beiden Unterknoten deren Satzarterkennung jeweils nach oben weiterreichen. Lobster_data für Einsteiger 66

67 Abbildung 3.46: Phase 3: Oberknoten Wichtiger Hinweis: Ein Oberknoten wie Position darf, wenn er nur Knoten als Kinder hat, kein Trennzeichen bekommen! Hinweis: Wenn Sie nur einen neuen Quellknoten erzeugen möchten (z.b. mit Strg+n - n steht für Node), erscheint folgendes Fenster, mit dem Sie die Merkmale Name, Trennzeichen und Satzarterkennung bequem in einer Aktion angeben können (Abbildung 3.47). Abbildung 3.47: Phase 3: Neuer Knoten mit Strg+n Testdaten laden Ein sehr hilfreiches Feature ist Testdaten laden aus dem Kontextmenü der Quellstruktur. Hiermit werden die jeweils zuerst eingelesenen Werte einer Satzart den Feldern zugeordnet. Damit können Sie einen ersten Überblick darüber erhalten, ob die Felder richtig bestückt werden (Abbildung 3.48). Bitte beachten Sie, dass dabei der Zusammenhang innerhalb der Quelldaten verlorengehen kann (Artikel a hat keine Übergröße, die gehört zu Artikel b... )! Hinweis: Die Werte sind in Hochkommata eingefasst zur Darstellung eventueller Leerzeichen. Lobster_data für Einsteiger 67

68 Abbildung 3.48: Phase 3: Testdaten laden Zielstruktur Nun zum Mapping. Die Zieldaten sollen so aufgebaut sein, dass nach jeder Position die Artikel- Info ausgegeben werden soll, sofern zum betreffenden Artikel eine vorhanden ist. Da die Zielstruktur der Quellstruktur sehr ähnlich ist, klicken Sie einmal auf 1:1 Mapping. Der Knoten Info soll aber nun zum Unterknoten des Knotens Position werden. Dazu klicken Sie auf den Knoten Info und schieben ihn bei gehaltener Maustaste zum Knoten Position ; nach einer Rückfrage wird er dann ans Ende der Unterknoten-Reihe gesetzt (Abbildung 3.49). Abbildung 3.49: Phase 3: Knoten verschieben Anmerkung: Für das Verschieben von Knoten und Feldern auf gleicher Ebene können Sie auch die Verschiebe-Symbole ➀ in Quell-und Zielstruktur verwenden. Lobster_data für Einsteiger 68

69 Wenn Sie nun einen Mapping-Test durchführen (klicken Sie auf Test... ), erhalten Sie folgenden ersten Zielbaum (Abbildung 3.50): Abbildung 3.50: Phase 3: Mapping-Beispiel 1 - Zielbaum 1 Lobster_data für Einsteiger 69

70 Der Baum enthält wie erwartet zwei Datenblätter (Record 1 und Record 2). Für Datenblatt 1 werden vier Knoten gezählt (der Auftragskopf und drei Positionen) ➀. Der erste Positionsknoten hat drei Unterknoten (einen PositionsText, zwei Info) ➁. Der zweite und dritte Positionsknoten haben je vier Unterknoten (einen PositionsText, einen PositionsZusatz und ebenfalls zwei Info ➂, ➃). Was noch nicht stimmt: Die Positionen enthalten jeweils alle vorhandenen (also zwei) Info-Knoten (für Artikel a und Artikel c) ➄, ➅. Das Ziel ist aber z.b. für die erste Position, dass dort nur die Info ➄ zum Artikel a ➆ ausgegeben wird. Wie ist dieser Zielbaum entstanden? Bitte klicken Sie in der Zielstruktur auf die runden i-symbole der Zielknoten (Abbildung 3.51). Abbildung 3.51: Phase 3: Pfade zum Ersten Pfade zum Ersten Damit der Mapper weiß, welche Knoten zusammengehören, gibt es das Konstrukt des sogenannten Pfades, englisch Path, das wesentlich die Funktionsweise des Mappings von Lobster data bestimmt. Ein Pfad weist dann von einem Zielknoten auf einen Quellknoten, also z.b. von ➀ auf ➁. Beim 1:1-Mapping werden alle Zielknoten automatisch mit den korrespondierenden Quellknoten verbunden ( Path:Auftragskopf... Path:Info ). In den Zielknoten-Eigenschaften wird ein Pfad im Feld Pfad vermerkt ➂. Außerdem können Sie erkennen, dass ein Pfad gesetzt ist, wenn das i-symbol gefüllt ist. Lobster_data für Einsteiger 70

71 Ein Pfad kann manuell per Doppelklick ins Feld Pfad und anschließender Auswahl des gewünschten Quellknotens gesetzt werden oder auch durch Ziehen des entsprechenden Knotens in der Quellstruktur auf den Knoten der Zielstruktur. Über das Kontextmenü eines Knotens kann ein Pfad gefunden/gelöscht werden. Mit einer solchen Pfadangabe wird die Wiederholung eines Zielknotens im späteren Zielbaum in Abhängigkeit von der Anzahl des zugeordneten Knotens im Quellbaum gesteuert. Betrachten Sie den Pfad vom Zielknoten Info auf den Quellknoten Info. Betritt der Mapper im ersten Datenblatt innerhalb des Knotens Position seinen letzten Unterknoten Info, so erzeugt er im Zielbaum wegen der Pfadangabe zwei Info -Knoten, denn so viele gibt es im Quellbaum des ersten Datenblatts (➇ in Abbildung 3.50). Hinweis: Mehrere Zielknoten-Pfade können auf denselben Quellknoten weisen. Ein Pfad ist jeweils innerhalb eines Datenblatts wirksam. Siehe auch Abschnitt Pfade zum Zweiten. Bedingung für das Erzeugen eines Zielknotens Der Zielknoten Info soll aber maximal einmal erzeugt werden, nämlich nur, wenn er zur aktuellen Position passt, was hier heißt, die Artikelnummern stimmen überein. Hierzu wird der Zielknoten mit einem Filter belegt, und zwar mit einer Abfrage, deren Ergebnis entweder true oder false ist. Generell gilt: Nur beim Ergebnis true wird der Knoten im Zielbaum erzeugt, ansonsten nicht. Mit Filterbedingungen kann die Anzahl von Wiederholungen lediglich vermindert, nicht erhöht werden. Wie werden Filter eingefügt? (Siehe dazu auch Abschnitt Filter!) Die Abfrage für den Knoten Info lautet also: Stimmt der bereits gemappte Wert im Zielfeld Art-Nr mit dem noch zu mappenden Wert im Quellfeld Art-Nr I überein? Bitte führen Sie folgende Schritte aus (Abbildung 3.52): 1. Markieren Sie den Zielknoten Info ➀. 2. Wählen Sie im Eigenschaften-Teil für die Zielstruktur den Tabreiter Liste ➁. Damit bekommen Sie die alphabetisch sortierte Liste aller verfügbaren Filter angezeigt. Geben Sie im Suchfeld den Suchstring equal ein und markieren Sie den Filter a equals b ➂ (beachten Sie den Tooltip! ➃). Lobster_data für Einsteiger 71

72 Abbildung 3.52: Phase 3: Filter einfügen 1 Lobster_data für Einsteiger 72

73 3. Nach einem Klick auf das Symbol des sogenannten Filterdialogs in der letzten Zeile ( Hängt den Filter am Ende an ) ➄ oder auch per Doppelklick wird der Filter im unteren Teil mit der laufenden Nummer 1 angelegt ➅. Gleichzeitig erhält das Knoten-Symbol des Info -Zielknotens ein Filter-Icon ➆. Dieser Filter benötigt die Angabe von zwei sogenannten Parametern (a und b). Der sogenannte Parametertyp steht zunächst bei beiden auf Wert ➇. Nun müssen Sie die beiden Parameter spezifizieren (Abbildung 3.53): Abbildung 3.53: Phase 3: Filter einfügen 2 1. Parameter a: Ziehen Sie den Namen des Zielfeldes Art-Nr ➀ von der Zielstruktur in das Feld für den Parameter a. Sie sehen, dass sich damit der Parametertyp von Wert nach Zielfeld ändert ➁. 2. Parameter b: Ziehen Sie den Namen des Quellfeldes Art-Nr I ➂ von der Quellstruktur in das Feld für den Parameter b. Der Parametertyp wechselt von Wert nach Feld ➃. 3. Abschließend müssen Sie auf das Ändern-Symbol des Filterdialogs ➄ klicken. Damit ist der Filter fertig konfiguriert. Anmerkung: Alternativ können Sie für die Parameter-Spezifikation auch erst den passenden Parametertyp einstellen und dann mit einem Rechtsklick ins Parameterfeld über ein Auswahlfenster das gewünschte Feld wählen. Wie wirkt sich dieser Filter auf den Zielbaum aus? Gehen Sie auf Test.../Neuer Test... Das UploadManager-Fenster kennen Sie bereits. Lobster_data für Einsteiger 73

74 Testdaten mit Profil verknüpfen Um nicht dieselbe Datei jedes Mal erneut hochladen zu müssen, können Sie sie fest mit dem Profil verknüpfen. Klicken Sie also auf das Symbol, wählen Sie die Datei Testdaten 2.txt aus und sie wird, eventuell von Ihnen mit einer Bemerkung versehen und zusammen mit einer Größenangabe, in die Testdaten-Liste eingetragen (Abbildung 3.54): Abbildung 3.54: Phase 3: Testdaten mit Profil verknüpfen Sie wird im Backup-Verzeichnis des Profils unter /samples abgelegt. Über das Kontextmenü kann die Bemerkung geändert werden, und die Datei kann über den integrierten Editor angesehen sowie lokal gespeichert werden. Auf diese Weise können mehrere Dateien mit dem Profil verknüpft werden. Sollte das Profil als Package exportiert werden, kommen diese Dateien ebenfalls ins Package und können andernorts importiert werden (siehe Abschnitt Vorhandenes Profil exportieren/importieren). Mit einem Doppelklick auf die soeben verknüpfte Datei wird der Mapping-Test gestartet. Jetzt erhalten Sie den gewünschten Zielbaum mit der passenden Info für die erste Position (prüfen Sie nach!), keine Info für die zweite und eine Info für die dritte Position; auch im zweiten Auftrag sollte nun alles wie gewünscht vorhanden sein (Abbildung 3.55). Verfolgen Sie auch das Mapper-Log dazu; filtern Sie einmal die Zeilen mit equals, um zu sehen, wie der Filter abgearbeitet wird (Abbildung 3.56). Damit ist das Mapping-Beispiel 1 mit dem Profil LD Phase3 1 fertig. Lobster_data für Einsteiger 74

75 Abbildung 3.55: Phase 3: Mapping-Beispiel 1 - Zielbaum 2 Abbildung 3.56: Phase 3: Mapper-Log - Filter Lobster_data für Einsteiger 75

76 3.5.4 Mapping-Beispiel 2 Im zweiten Beispiel sollen weitere Filter sowie der Umgang mit sogenannten Variablen, Listen und Maps gezeigt werden. Grundlage sei folgende Quelldatei: # Kopf mit Kundennummer und Land K,9999,D # Positionen mit Artikelnummer, Anzahl und Einzelpreis P,4711,3, 10,00 P,4712,2, 100,00 P,4711,5, 10,00 Das Ziel soll sein eine Verdichtung, so dass ein Artikel nur einmal aufgeführt und dabei gegebenenfalls die Mengen aufaddiert werden (hier bei Artikel 4711). Zusätzlich soll am Ende die Gesamtsumme aller Artikel unter der Satzart S angegeben werden. Die Zieldatei soll folgendermaßen aussehen: K;9999;D P;4711;8;10,00 P;4712;2;100,00 S;280,00 Legen Sie die Quelldatei Testdaten 3.txt und ein Profil LD Phase3 2 Verdichten an und erzeugen Sie die passende Quellstruktur sowie zunächst ein 1:1-Mapping. Schritt 1: Pro Artikel nur ein Zielknoten - Liste Als erstes soll dafür gesorgt werden, dass ein Artikel im Zielbaum nur einmal ausgegeben wird. Der Zielknoten Position hat einen Pfad auf den Quellknoten Position. Hier soll bei jedem Durchlauf die Artikelnummer in eine sogenannte Liste geschrieben werden. Wenn beim nächsten Durchlauf die Abfrage Ist der Artikel (schon) in der Liste mit true beantwortet wird, soll der Knoten nicht nochmal ausgegeben werden. Bitte führen Sie folgende Aktionen aus: 1. Definieren des Listennamens (Abbildung 3.57) Klicken Sie im Mapping-Fenster auf den Variablen... -Button (➆ in Abbildung 3.44), danach in der Auswahl auf den Tabreiter Konstante. Im Feld Wert legen Sie den Namen der Liste fest ➀. Er soll das Präfix list bekommen und eine Angabe, was in der Liste abgelegt wird: list ArtNr. Mit dem Symbol ➁ wird der Listename (also eine Konstante) erzeugt ➂. Lobster_data für Einsteiger 76

77 Abbildung 3.57: Phase 3: Definition eines Listennamens 2. Hinzufügen der Artikelnummer zur Liste (Abbildung 3.58) Markieren Sie das Zielfeld ArtikelNr ➀. Hier soll der Eintrag in eine Liste mit dem oben gewählten Namen erfolgen. Klicken Sie im Eigenschaften-Teil der Zielstruktur auf den Tabreiter Liste und geben Sie als Suchstring list ein ➁. Wählen Sie den Filter add to list(value a, name of list b) per Doppelklick aus ➂. (Beachten Sie den Tooltip: adds value a to list b and returns a!) Für Parameter a (Tooltip Value to be added ) können Sie den zugeordneten Wert des Feldes übernehmen; ändern Sie einfach den Parametertyp auf Zuordnung ➃. Als Parameter b (Tooltip Name of list ➄) wird der Listenname verlangt. Mit einem Rechtsklick ins Parameterfeld erhalten Sie die Liste aller vorhandenen Konstanten. Wählen Sie Ihre list ArtNr und übernehmen Sie ➅. Mit dem Ändern-Symbol müssen Sie die Parameter-Konfiguration abschließen ➆. Das Feld- Symbol des Zielfelds ArtikelNr hat nun ein Filter-Icon ➀. 3. Abfragen der Liste (Abbildung 3.59) Dies geschieht, wie bereits beschrieben, auf dem Zielknoten Position ➀, und zwar mit dem Filter is in list(value a, name of list b...) (Tooltip: returns true if list b contains value a ) ➁. Für Parameter a ziehen Sie das Quellfeld ArtikelNr herein, für Parameter b wählen Sie analog zu Punkt 2 den Listennamen aus und übernehmen die Filterkonfiguration. Da der Knoten betreten wird, wenn das Ergbnis true ist, muss hier noch ein Boole scher logical-not -Filter hinzugfügt werden, der das Ergebnis des ersten Filters negiert. Der einzige Parameter a bezieht sich auf das Ergebnis des Filters Nr. 1 ➂. Lobster_data für Einsteiger 77

78 Abbildung 3.58: Phase 3: Filter add to list Lobster_data für Einsteiger 78

79 Abbildung 3.59: Phase 3: Ist Artikel noch nicht in der Liste? Lobster_data für Einsteiger 79

80 Hinweis: Bei längeren solchen sogenannten Filterketten ist es hilfreich, einen Überblick zu bekommen. Diesen erhalten Sie mit Hilfe des Notiz-Zettel-Symbols ➃ (Tooltip Zeigt die Filterkette an ). Abbildung 3.60 zeigt die Filterkette des Knotens Position. Abbildung 3.60: Phase 3: Notiz-Zettel mit Filterkette Dort können Sie auch Texte hinterlegen. Sobald Sie die Notiz übernehmen, wird das Symbol grün. Hinweis: Ihre Lieblingsfilter können Sie mit dem Favoriten-Stern ➄ in die Filter-Favoriten-Liste ➅ eintragen. Gelöscht wird ein Filter-Favorit über sein Kontextmenü. Das Ergebnis sehen Sie in Abbildung 3.61: Es gibt nur noch zwei Positionen (für die Artikel 4711 und 4712). Hinweis: Hier war vor dem Testlauf der Knoten Position markiert, so dass im Zielbaum der Fokus dort liegt ➀. Mit der Enter -Taste können Sie sich durch die Positionen klicken. Mit einem Rechtsklick wird der zughörige Logeintrag angezeigt ➁. Die Mengenangabe bei Artikel 4711 stimmt noch nicht, dies soll im zweiten Schritt angegangen werden. Lobster_data für Einsteiger 80

81 Abbildung 3.61: Phase 3: Mapping-Beispiel 2 - Zielbaum 1 Schritt 2: Aufaddieren Mengen - Map Die Mengenangabe bei Artikel 4711 ist die des ersten Durchlaufs (ein zweiter hat ja nicht mehr stattgefunden). Die Mengen müssen vorab in einem separaten Lauf über alle Positionsknoten, getrennt nach Artikelnummern, aufaddiert werden. Dazu eignet sich eine sogenannte Map. Eine Map bildet eine Zuordnung von einem eindeutigen Schlüssel (englisch Key) zu einem Wert ab. In diesem Beispiel soll eine Map namens map ArtikelMitAnzahl erzeugt werden, in der zu jedem Artikel die Gesamtmenge abgelegt wird: 4711 = = 2 Diese Werte sollen dann beim Erzeugen der beiden Positionsknoten jeweils aus der Map ausgelesen werden. Bitte führen Sie folgende Aktionen aus: 1. Definieren des Mapnamens (Abbildung 3.62) Legen Sie über den Variablen/Konstanten -Dialog den Mapnamen map ArtikelMitAnzahl analog zum Listenamen an. In der Beschreibung können Sie festhalten, welche Zuordnung in der Map gehalten wird. 2. Aufaddieren der Mengen (Abbildung 3.63) Legen Sie einen Knoten Vorlauf an und plazieren Sie ihn mit Hilfe des Verschiebe-Symbols ➀ zwischen Kopf und Position. Geben Sie ihm einen Pfad auf Position. Legen Sie ein Feld AufaddierenMengeProArtikel an ➁. Lobster_data für Einsteiger 81

82 Abbildung 3.62: Phase 3: Definition eines Mapnamens Abbildung 3.63: Phase 3: Vorlaufknoten mit Berechnungsfeld Lobster_data für Einsteiger 82

83 Da dieses Feld später in der Ausgabe nicht erscheinen soll, wird es als sogenanntes Berechnungsfeld geführt: Mit einem Doppelklick auf das betreffende Eigenschaftsfeld geben Sie ihm den Wert true ➂. Im Feld-Symbol erscheint ein Sigma-Icon ➃. Im Berechnungsfeld werden folgende Schritte durchgeführt: a) Lesen der (bereits abgelegten) Summe zu diesem Artikel b) Addieren des aktuellen Werts c) Schreiben der neuen Summe Der Notiz-Zettel der Filterkette dazu würde dann so aussehen: 1) get value from map(key a, name of map b, delimiter c, item d) a field: ArtikelNr b constant: map ArtikelMitAnzahl c constant: d constant: 2) a + b a result: 1 b field: Menge 3) add to map(key a, value b, name of map c) a field: ArtikelNr b result: 2 c constant: map ArtikelMitAnzahl (Hinweis: Wäre zu einem Schlüssel bereits ein Wert vorhanden, würde er hier überschrieben werden!) 3. Auslesen der Map Im Feld Menge wird dann nur noch die jeweilige Summe ausgelesen: 1) get value from map(key a, name of map b, delimiter c, item d) a field: ArtikelNr b constant: map ArtikelMitAnzahl c constant: d constant: Legen Sie die Filter wie beschrieben an und schauen Sie sich den Zielbaum an! Hinweis: Sehr hilfreich sind hier die Filter dump map (a,b) (vor allem während der Profilentwicklung) und dump list(list a, delimiter b). Schauen Sie sich die Filter-Dokumentation dieser Filter an! Jetzt fehlt noch die gewünschte Gesamtsumme im Summensatz: Lobster_data für Einsteiger 83

84 Schritt 3: Ermitteln Gesamtsumme - Variable Die Summe wird in einer sogenannten Variablen aufaddiert. Dies geschieht im bereits implementierten Vorlauf der Übersichtlichkeit wegen in einem zweiten Berechnungsfeld AufaddierenPositionsSummen (Abbildung 3.64) Bitte führen Sie folgende Aktionen aus: Abbildung 3.64: Phase 3: Vorlaufknoten mit Berechnungsfeld 2 1. Definieren der Variablen (Abbildung 3.65) Über den Variablen... -Button (➆ in Abbildung 3.44) kommen Sie zur Liste aller im Profil definierten Variablen. Sie sehen, dass bereits einige sogenannte Systemvariablen, beginnend mit VAR vorhanden sind (siehe auch Referenzhandbuch Kapitel 10.2 Variablen ). Hier können Sie über das Symbol weitere eigene Variablen mit frei wählbaren Namen definieren. Wenn Sie Ihre Namen mit var (also mit zwei Unterstrichen) beginnen lassen, kommen die Variablen an den Listenbeginn und sind sofort von den Systemvariablen zu unterscheiden. Legen Sie also die Variable var Auftragssumme an. Sie sollte (für den Filter im nächsten Schritt) den Typ BigDecimal bekommen ➀ und wird automatisch mit dem Wert 0 vorbelegt (initialisiert) ➁. Hinweis: Dieses Beispiel hat nur ein Datenblatt. Bei mehrereren Datenblättern müsste der Haken Variable bei neuem Datenblatt zurücksetzen ➂ gesetzt werden, damit bei jedem neuen Datenblatt die Variable mit dem unter ➁ eingetragenen Wert erneut initialisiert wird. Außerdem müssten die Liste und die Map mit den Filtern clear list(name of list a) und clear map(name of map a) zu Beginn eines Datenblatts gelöscht werden, etwa in einem Knoten Initialisierung zu Beginn eines Datenblatts (Abbildung 3.66). Beachten Sie, dass der Knoten keinen Pfad hat (das blaue i-icon ist nicht ausgefüllt)! Im Folgenden wird auf die Initialisierung verzichtet, wenngleich es auch gute Praxis ist, sie grundsätzlich durchzuführen. Lobster_data für Einsteiger 84

85 Abbildung 3.65: Phase 3: Definition einer Variablen Abbildung 3.66: Phase 3: Initialisierung von Liste und Map Lobster_data für Einsteiger 85

86 2. Aufaddieren der Positions-Summen Im Berechnungsfeld AufaddierenPositionsSummen wird zunächst mit dem Filter a*b das Produkt aus Menge und Einzelpreis gebildet. Hier können Sie die beiden Quellfelder angeben oder auch eines der beiden Felder, z.b. Menge zuordnen und über den Parametertyp Zuordnung arbeiten. Beachten Sie das Feld-Symbol ➀ in Abbildung 3.64! Mit dem Filter calculate and save variable(a,b,c,d,[e]) erledigen Sie gleich drei Dinge: Lesen des aktuellen Variablenwertes, Durchführen der gewünschten Rechenoperation (hier Addition des Ergebnisses von Filter Nr. 1) und Zurückschreiben des Ergebnisses in die Variable. Besonderheit bei Parameter a ( Variable name ): Um den Variablennamen bequem mittels Rechtsklick aus der Variablen-Liste auswählen zu können (und das empfiehlt sich, um Schreibfehler von vornherein auszuschließen!), muss zunächst der Parametertyp auf Variable eingestellt werden. Nach der Auswahl wechselt der Typ dann wieder zurück auf Wert. Filterkette hierzu: 1) a * b a linked field: b field: EinzelPreis 2) calculate and save variable(a,b,c,d,[e]) a constant: var Auftragssumme b constant: + c result: 1 d constant: e constant: Hinweis: Prüfen Sie Ihre Ergebnisse immer mal wieder mit einem Mapping-Test und vergessen Sie nicht, das Profil zwischendurch abzuspeichern! 3. Erzeugen eines Summensatzes und auslesen der Gesamtsumme (Abbildung 3.67) Legen Sie den Knoten GesamtSumme als letzten Knoten der Zielstruktur an mit zwei Feldern SAE S und Summe. Das Feld für die Satzart erhält einen sogenannten Fixwert ➀, im Feld-Symbol kenntlich gemacht mit einem eigenen Symbol ➁. (Siehe dazu auch Referenzhandbuch Priorität der Wertzuweisungen.) Im Summenfeld wird mit dem Filter copy(field/value/variable) der Wert der Variablen ausgelesen: 1) copy(field/value/variable) a variable: var Auftragssumme Lobster_data für Einsteiger 86

87 Abbildung 3.67: Phase 3: Fixwert Schritt 4: Formatvorlage festlegen Wenn Sie sich den Zielbaum nun ansehen (Abbildung 3.68), sehen Sie, dass das Format der Gesamtsumme noch nicht stimmt - es sollte ein Komma, nicht den Punkt als Dezimal-Trennzeichen haben ➀. Abbildung 3.68: Phase 3: Mapping-Beispiel 2 - Zielbaum 2 Dazu geben Sie dem Zielfeld Summe eine Formatvorlage im Eigenschaftsfeld Vorlage, und zwar die in der Liste bereits vohandene #.##0,00, wenn Sie auch einen Tausender-Trenner möchten. Das Eigenschaftsfeld Vorlage verwenden ➀ wechselt automatisch auf true (Abbildung 3.69). Lobster_data für Einsteiger 87

88 Abbildung 3.69: Phase 3: Mapping-Beispiel 2 - Formatvorlage #.##0,00 Der Zielbaum liefert nun das gewünschte Komma (Abbildung 3.70): Abbildung 3.70: Phase 3: Mapping-Beispiel 2 - Zielbaum 3 Damit ist das Mapping-Beispiel 2 mit dem Profil LD Phase3 2 Verdichten fertig. Lobster_data für Einsteiger 88

89 Pfade zum Zweiten Wie oft ein Knoten im Zielbaum erscheint, muss nicht von einer Quellknoten-Anzahl abhängen (siehe Abschnitt Pfade zum Ersten). Es gibt Fälle, in denen stattdessen die erforderliche Anzahl der Wiederholungen eines Zielknotens im Mapping berechnet und in einer Integer-Variablen gespeichert wird (z.b. mit dem Filter calculate and save variable(a,b,c,d,[e]) ). Diese Variable kann dann für die Zielknoten- Eigenschaft Pfad angegeben werden. Per Doppelklick auf das Eigenschaftsfeld Pfad erscheint das Auswahlfenster mit den vorhandenen Variablen. Die markierte Variable wird übernommen; der Variablename ist -Zeichen gestellt (Abbildung 3.71). Abbildung 3.71: Phase 3: Pfade zum Zweiten Häufig ist die Ausgabe eines Knotens abhängig von der Anzahl der Einträge in einer Liste oder einer Map. Diese Anzahl kann spezifiziert werden. Siehe dazu im Referenzhandbuch den Abschnitt Berechnete Anzahl von Wiederholungen. Lobster_data für Einsteiger 89

90 3.5.5 Filter Abbildung 3.72 zeigt einen zusammenfassenden Überblick über den Umgang mit Filtern. Siehe dazu auch den Abschnitt Filter-Suche. Abbildung 3.72: Phase 3: Konfigurationsmaske für Filter Konfigurationsmaske für Filter Zugang zu den Filtern erhalten Sie von einem Zielknoten oder -feld aus über die Tabreiter ➀ Filter (nach Gruppen sortiert) Liste (alphabetisch sortiert) Favoriten (für Ihre Lieblingsfilter) Am unteren Rand stehen die Symbole des sogenannten Filterdialogs; bitte schauen Sie sich die jeweiligen Tooltips an - Sie kennen sie z.t bereits aus den Mapping-Beispielen! Filter können sowohl Knoten als auch Feldern zugeordnet werden. Jeder Filter hat einen sogenannten Rückgabewert, englisch Result. Bei einem Knoten kann damit sein Erzeugen gesteuert werden (siehe Bedingung für das Erzeugen eines Zielknotens). Mehrere Filter bilden eine sogenannte Filterkette, innerhalb derer Sie sich auf Rückgabewerte vorangegangener Filter beziehen können. Im Tabreiter Liste gibt es zu jedem Filter einen Tooltip mit einer kurzen Funktionsbeschreibung ➁. Sobald Sie einen Filter markieren, wird eine Eingabemaske für seine sogenannten Parameter geöffnet ➂. Die Parameter haben Namen a..z. Lobster_data für Einsteiger 90

91 Jeder Parameter hat einen Typ; wenn Sie die Liste aufklappen, sehen Sie folgende sogenannte Parametertypen: Wert Feld (entspricht Quellfeld) Ergebnis Variable Zuordnung Zielfeld Mit dem Typ wird festgelegt, wie der Parameter im nachfolgenden Parameterfeld vom Filter zu interpretieren ist (siehe Referenzhandbuch Kapitel Adressierung der verschiedenen Parametertypen ). Mit Doppelklick (bzw. dem Hinzufügen-Symbol) wird der markierte Filter ans Ende der Filterkette angefügt. Sie können einen weiteren Filter auch innerhalb einer Kette vor einer gewünschten Position einfügen (Tooltip Fügt den Filter vor einer Position an ) - die laufenden Nummern werden dann angepasst ➃. Wichtiger Hinweis: Das Einfügen oder Ändern eines Filters müssen Sie immer mit einem Klick auf das Ändern-Symbol ➄ des Filterdialogs (Tooltip Ändert den gewählten Filter ) abschließen! Über die Verschieben-Symbole ➅ können Sie einen markierten Filter innerhalb einer Filterkette nach oben oder unten verschieben. Über Kontextmenüs können Filter gelöscht, kopiert/eingefügt werden. Filter-Dokumentation Beim Klick auf den Hilfe-Button ➆ mit dem Tooltip Filter Hilfe wird in Ihrem Browser die Filter-Dokumentation geöffnet. Hier wird jeder Filter ausführlich beschrieben. Siehe dazu auch den Abschnitt Filter-Suche. Wenn Sie noch keinen Filter markiert hatten, öffnet sich die Überblick-Seite (Abbildung 3.73). Dort sind die Filter nach ihren Gruppen sortiert angeführt (BIC..XML); ihre Beschreibung können Sie per Klick auf den betreffenden Link einsehen. Rechts oben finden Sie ein Inhaltsverzeichnis ➀. An dessen Ende ist ein Verweis auf die Begriffserklärungen ➁ für Lobster data-spezifische Begriffe. Vielleicht interessiert Sie, was dort zu den in diesem Kapitel bereits erwähnten Mengen (Liste, Map) und Datentyp (BigDecimal) steht? Wenn Sie schon einen Filter markiert hatten, öffnet sich beim Klick auf den Hilfe-Button gleich die Seite mit dessen Beschreibung, hier zum bereits verwendeten Filter is in list (Abbildung 3.74). Lobster_data für Einsteiger 91

92 Abbildung 3.73: Phase 3: Filter-Dokumentation - Überblick Lobster_data für Einsteiger 92

93 Abbildung 3.74: Phase 3: Filter-Dokumentation - Filter is in list Lobster_data für Einsteiger 93

94 Eine solche Filter-Beschreibung enthält neben dem Filter-Namen inklusive Parameterliste, der Gruppenzugehörigkeit, Anzahl der Parameter und dem Filter-Tooltip i.a. folgende Bereiche: Allgemeine Funktion mit Rückgabewert, z.t. mit Verweisen auf die Begriffserklärungen Parameterbeschreibung der einzelnen Parameter a..z Beispiel(e) Verwandte Filter unter Siehe auch Tip: Von einer Filter-Beschreibung kommen Sie zur Überblick-Seite über den Verweis bei Gruppe ➀. Hinweis: Eine Zusammenstellung von oft benötigten Basis-Filtern finden Sie im Kapitel Anhang B - Filter Top Schreiben in Datenbank-Tabelle(n) (Phase 4) In Phase 4 können Werte von Zielfeldern in einer Datenbank-Tabelle abgelegt werden. Voraussetzung ist, dass die betreffende Tabelle in einem Lobster data bekannten Schema (auch Katalog) angelegt ist. Ein solches Schema wird über einen Alias angesprochen, siehe dazu das Referenzhandbuch der Lobster IntegrationSever AdminKonsole, Kapitel 3.9 DatabaseService und Anhang A - Welche Dokumentationen gibt es noch?. Der Einfachheit halber soll hier der bereits vorgegebene Alias hub verwendet werden Anlegen einer Tabelle Legen Sie mittels eines CREATE TABLE -Befehls im Schema hub eine Tabelle ld beginner an mit drei Spalten (Abbildung 3.75): Abbildung 3.75: Phase 4: Zu befüllende Tabelle Hinweis: Sie können hierzu Ihr eigenes Datenbank-Tool verwenden oder auch die AdminKonsole (Umgebung/Tools, dort SQL Monitor). Hinweis: Dieses Beispiel bezieht sich auf eine MySQL-Datenbank! Lobster_data für Einsteiger 94

95 3.6.2 Ein Datenbank-Beispiel Ziel: Es sollen die Werte Auftragsnummer, Kundennummer und Auftragsdatum aus dem CSV-Parser-Beispiel (Abschnitt 3.4) in diese Tabelle geschrieben werden. Legen Sie dazu eine Kopie des Profils LD Phase2 CSV an und nennen Sie sie LD Phase4. Die Vorgaben für Phase 4 erfolgen im Mapping-Fenster (das ja den Untertitel Phase 2/3/4 trägt... ). Gehen Sie also zum Mapping-Fenster und löschen Sie den (nicht benötigten) Zielbaum. Zuordnung von Alias und Tabelle in einem Datenbank-Knoten Nun muss zunächst in der Zielstruktur eine Verbindung zwischen Zielfeldern und den Spalten der oben angelegten Tabelle hergestellt werden. Dies müssen Sie nicht manuell tun, sondern Lobster data bietet dazu eine bequeme Möglichkeit: Gehen Sie im Kontextmenü des Ziel-Wurzel-Knotens zu Neuer Datenbank-Knoten... - es öffnet sich ein Auswahl-Fenster (Abbildung 3.76): Abbildung 3.76: Phase 4: Auswahl der Tabelle für einen Datenbank-Knoten Zunächst muss der DB-Alias ausgewählt werden (hier also hub ). Über den Werkzeug-Button ➀ lassen Sie sich alle Tabellen des Alias anzeigen; über den Suchstring ld ➁ können Sie die Liste einschränken. Lobster_data für Einsteiger 95

96 Wählen Sie Ihre Tabelle ld beginner aus ➂ und übernehmen Sie sie. Damit wird ein sogenannter Datenbank-Knoten für diese Tabelle mit einem entsprechenden Namen (Präfix SQL-Table_ ) ➀ in der Zielstruktur erzeugt, der für jede Spalte der ausgewählten Tabelle ein Feld zur Verfügung stellt. Die Feldnamen entsprechen den Spaltennamen ➁ (die eigentliche Verknüpfung erfolgt im Eigenschaftsfeld SQL Spaltenname ) ➂ und haben schon die passenden Datentypen ➃! (Abbildung 3.77) Abbildung 3.77: Phase 4: Ein Datenbank-Knoten mit Feldern Nun müssen Sie nur noch die entsprechenden Felder einander zuordnen. Für das Datumsfeld müssen Sie noch eine Umwandlung vom Typ String in den Typ Date vornehmen. Dies erreichen Sie mit dem Filter create date(value a, template b) ➁: 1) create date(value a, template b) a linked field: b constant: dd.mm.yyyy Ein Mapping-Test mit der Testdatei Testdaten 1.csv liefert den Zielbaum in Abbildung Schauen Sie ins Mapper-Log (Abbildung 3.79): Dort sehen Sie, dass nach Ende der Mapping-Phase die SQL-Operationen nicht ausgeführt werden ( Skipping sql operation, not needed ). (Dynamisches) Freischalten von Phase 4 Sie müssen noch über die Optionen im Mapping-Fenster die Phase 4 explizit freischalten, indem Sie den Haken bei SQL ausführen setzen (➀ in Abbildung 3.80). Sie können außerdem hier eine - auch selbst definierte - Boole sche Variable eintragen. Mit ihr kann das Freischalten dynamisch wieder deaktiviert werden. Die Variable muss dann zum Ende der Phase 3 den Wert false haben. Lobster_data für Einsteiger 96

97 Abbildung 3.78: Phase 4: Zielbaum Abbildung 3.79: Phase 4: Mapper-Log - Phase 4 geskippt Abbildung 3.80: Phase 4: freischalten Lobster_data für Einsteiger 97

98 Die Freischaltung liefert jetzt das Mapper-Log in Abbildung 3.81 mit folgenden Schritten: Abbildung 3.81: Phase 4: Mapper-Log - Phase 4 freigeschaltet Phase 4 wird gestartet Start sql operations - extended version. Der Datenbank-Knoten wird betreten, die einzelnen SQL-Statements werden erzeugt und angezeigt (Präfix SQL-Debug: ); sie können also bereits hier überprüft werden ➀. Es würden INSERTs ausgeführt; die zeigen eine laufende Nummer und den Typ des Parameters an (s..string, i..integer, d..date). Die Parameter-Werte werden angezeigt. Phase 4 wird bei einem Mapping-Test noch nicht ausgeführt Finished sql operations (0 sql statements in total,...) Neudurchlauf mit Phase 4 Die SQL-Statements werden erst in einem Neudurchlauf tatsächlich ausgeführt. Speichern Sie nun das Profil und führen Sie einen Neudurchlauf aus. Das Job-Log im ControlCenter zeigt, dass drei SQL-Statements auf dem Alias hub durchgeführt worden sind (➀ in Abbildung 3.82): Über die AdminKonsole - Umgebung/Tools - SQL Monitor können Sie mit einem SELECT prüfen, ob die INSERTs geklappt haben (Abbildung 3.83). Lobster_data für Einsteiger 98

99 Abbildung 3.82: ControlCenter (Logs): Übersicht Jobs - Job-Log mit Phase 4 Abbildung 3.83: AdminKonsole (Umgebung/Tools): SQL Monitor Lobster_data für Einsteiger 99

100 Eigenschaften eines Datenbank-Knotens Bitte schauen Sie sich die Eigenschaften des Datenbank-Knotens an (Abbildung 3.84). Abbildung 3.84: Phase 4: Eigenschaften eines Datenbank-Knotens Hier werden der Alias ➀ und der Tabellenname ➁ eingetragen und machen den Knoten zu einem Datenbank-Knoten. Wenn Sie den Job ein zweites Mal laufen lassen, sehen Sie, dass die Daten noch einmal in die Tabelle eingetragen werden (sofern die Tabelle, wie hier, keinen Primärschlüssel hat... ). Setzen Sie einmal die Eigenschaft Tabelle leeren auf true ➂, speichern Sie das Profil ab und starten es erneut (z.b. über den Neudurchlauf -Button im Mapping-Fenster) - der Tabelleninhalt wird beim ersten Betreten des Knotens gelöscht! Zu den verschiedenen SQL Modi ➃ siehe Referenzhandbuch Kapitel Phase 4: Daten in DB schreiben. Hier kommt dann noch die Feldeigenschaft Ist SQL Schlüssel ➄ in Abbildung 3.77 ins Spiel. Beachten Sie insbesondere auch die Eigenschaft Gilt nur für SQL ➄. Steht sie auf true, erhält der Knoten ein sql-symbol und seine Daten werden nach Abschluss der Phase 4 entfernt, d.h. sie erscheinen nicht in der Ausgabe (Abbildung 3.85). Abbildung 3.85: Phase 4: Eigenschaft Gilt nur für SQL Das entspricht etwa der Wirkung, die ein Ziel-Feld mit der Eigenschaft Berechnungsfeld = true hat. Deshalb werden solche Knoten manchmal auch als Berechnungsknoten bezeichnet. Der Unterschied zum Inaktiven Knoten (Ziel-Knoten mit der Eigenschaft Inaktiv = true ): Der wird beim Mapping vollständig ignoriert (Abbildung 3.86). Probieren Sie es aus! Abbildung 3.86: Phase 3: Inaktiver Zielknoten Lobster_data für Einsteiger 100

101 3.7 IntegrationUnit (IU) (Phase 5) Sobald in Phase 2/Eigenschaften das Mapping aktiviert ist (Sie erinnern sich: Für die Datenpumpe wurde es deaktiviert), kann der beim Mapping entstandene Zielbaum in Phase 6 über ein oder mehrere Antwortwege ausgegeben werden, wobei (neben den bereits betrachteten Typen) jeweils auch unterschiedliche Datenformate für den Inhalt zur Verfügung stehen (Sie erinnern sich: Bei der Datenpumpe wurde die Quelldatei unverändert wie empfangen ausgegeben). Zunächst sollen diese Zielformate betrachtet werden: Zielformate CSV, XML, FixRecord, Excel ohne IU Legen Sie dazu eine Kopie des Profils LD Phase3 2 Verdichten an und nennen Sie sie LD Phase5 NoActionUnit. Tip: Wenn Sie mit gedrückter Shift-Taste Weiter gehen, kommen Sie sofort auf das Antwortwege- Fenster der Phase 6. Neben dem bereits bekannten Zielformat wie empfangen werden im Feld Inhalt weitere angeboten (➀ in Abbildung 3.87). Abbildung 3.87: Phase 5: Zielformate mit NoActionUnit Lobster_data für Einsteiger 101

102 Legen Sie vier Antwortwege vom Typ Datei an mit den Zielformaten 1. CSV 2. XML 3. FixRecord und 4. Excel ➁. Die Zieldateien sollen alle im gleichen Verzeichnis abgelegt werden../conf/dokumentation/beginner/dest/phase5 Dieser Verzeichnis-Name kann als sogenannter Basis-Dateiname einmalig für alle Antwortwege formuliert werden ➂. Dort wird er dann mit <basefile> referenziert ➃. Tip: Verwenden Sie für die Antwortwege 2-4 den Kopie -Button ➄! Speichern Sie das Profil ab und starten Sie einen Neudurchlauf. Folgende Dateien sollten entstehen: result CSV.txt Abbildung 3.88: Phase 5: Zielformat mit NoActionUnit - CSV Lobster_data für Einsteiger 102

103 result XML.xml Abbildung 3.89: Phase 5: Zielformat mit NoActionUnit - XML result FixRecord.txt Abbildung 3.90: Phase 5: Zielformat mit NoActionUnit - FixRecord Lobster_data für Einsteiger 103

104 result Excel.xls Abbildung 3.91: Phase 5: Zielformat mit NoActionUnit - Excel Es gibt nun Fälle, in denen für das im Antwortweg zur Verfügung stehende Zielformat eine zusätzliche Bearbeitung benötigt wird. Hierzu dienen die sogenannten IntegrationUnits, abgekürzt IU. In einem Profil kann eine IU angewählt werden, die im Anschluss an Phase 3 arbeitet und deren Ergebnis in Phase 6 in einem oder mehreren Antwortwegen mit der Inhaltsangabe Ausgabe von IU abgerufen wird. Siehe dazu auch Referenzhandbuch Kapitel 6 Phase 5: IntegrationUnit - IU. Im Folgenden sollen Sie drei dieser IUs (für CSV, XML und EDIFACT) kennenlernen: Zielformat CSV mit CSVWithHeaderUnit Legen Sie dazu eine Kopie des Profils LD Phase5 NoActionUnit an und nennen Sie sie LD Phase5 CSVWithHeaderUnit. Gehen Sie zur Phase 5 und wählen Sie aus der Liste der IntegrationUnits die CSVWithHeaderUnit aus ➀ (Abbildung 3.92). Ändern Sie folgende IU-Parameter ➁: always quote auf true per Doppelklick ➂ (das Quoting-Zeichen wird mit csv quote festgelegt ➃) csv delimiter auf Komma, per Markierung des Parameters, Eingabe im Editierfeld ➄ und Quittierung am Symbol ➅ Wichtig beim Antwortweg ist hier, sich beim Inhalt auf das Ergebnis der IU zu beziehen (➀ in Abbildung 3.93)! Lobster_data für Einsteiger 104

105 Abbildung 3.92: Phase 5: CSVWithHeaderUnit Abbildung 3.93: Phase 5: Antwortweg mit CSVWithHeaderUnit Lobster_data für Einsteiger 105

106 Sie sollten damit nach einem Neudurchlauf folgendes Ergebnis erhalten: result CSVWithHeaderUnit.csv Hier sehen Sie, weshalb die IU ihren Namen trägt: Sie hat eine Kopfzeile erzeugt aus den Feldnamen des ersten Knotens der Zielstruktur ➀. Quoting und Trennzeichen sind wie angegeben. Abbildung 3.94: Phase 5: Ergebnis mit CSVWithHeaderUnit Weitere IUs für Format CSV sind CSVWithoutQuotesIU FixValueUnit Zielformat XML mit XMLMemSaveTemplateParserUnit Diese IU bezieht sich auf eine sogenannte XML-Vorlage (englisch XML-Template), in welche die Werte des Zielbaums eingetragen werden, was sich anbietet, da sowohl XML als auch die Zielstruktur eine Baumstruktur besitzen. Das XML-Format besteht aus sogenannten Tags mit jeweils End-Tag und optionalem Inhalt: Tags können beliebig verschachtelt werden. <Tag>Inhalt</Tag> Die Namen der Tags entsprechen den Knoten- und Feldnamen der Zielstruktur, und die Inhalte werden dann aus dem Zielbaum übernommen. Dies konnten Sie bereits in Abbildung 3.89 sehen. Legen Sie bitte eine Kopie des Profils LD Phase5 NoActionUnit an und nennen Sie sie LD Phase5 XMLMemSaveTemplateParserUnit. Gehen Sie zum Mapping-Fenster. Erzeugen der Vorlage Die benötigte XML-Vorlage kann bequem automatisch aus der Zielstruktur erzeugt werden über den Button Struktur.../XML-Vorlage für IU erzeugen ➀. (Abbildung 3.95) Ein Auswahlfenster öffnet sich; tragen Sie in das Editierfeld./conf/Dokumentation/Beginner/Vorlagen/LD Phase5 XMLMemSave.xml ein und klicken Sie auf Vorlage erstellen. Nach der Bestätigung schließen Sie den Dialog. Lobster_data für Einsteiger 106

107 Abbildung 3.95: Phase 5: XMLMemSaveTemplateParserUnit - Erzeugen der XML-Vorlage Eintragen der Vorlage Gehen Sie weiter zu Phase 5 und wählen Sie die XMLMemSaveTemplateParserUnit aus. Hier müssen Sie die soeben erstellte Vorlage beim Parameter template-file eintragen. Dies geht am einfachsten über das Ordner-Symbol ➀ (Abbildung 3.96). Abbildung 3.96: Phase 5: XMLMemSaveTemplateParserUnit - Eintragen der XML-Vorlage Über den Editor-Button ➁ können Sie sich die Vorlage anschauen und bearbeiten. Sollte das Profil als Package exportiert werden, kommt diese Vorlage ebenfalls ins Package (siehe Abschnitt Vorhandenes Profil exportieren/importieren). Ändern Sie den Namen der Zieldatei im Antwortweg auf result XMLMemSaveTemplateParserUnit.xml, speichern Sie das Profil und starten Sie einen Neudurchlauf. Lobster_data für Einsteiger 107

108 result XMLMemSaveTemplateParserUnit.xml Vergleichen Sie das Ergebnis mit der Vorlage (Abbildung 3.97). Abbildung 3.97: Phase 5: Ergebnis mit XMLMemSaveUnit - Vergleich mit Vorlage ➀ ➁ ➂ ➃ XML-Vorlagen haben ein UTF-8-Encoding Es wird immer vorsorglich ein sogenanntes Wurzelelement (englisch Root-Tag) namens DataWizardDummyRoot erzeugt, um valides XML sicherzustellen. Es kann gelöscht werden, wenn nicht benötigt (hier muss es bleiben!). Für jeden Zielknoten wird eine sogenannte DataWizardSection mit einem Tag erzeugt, hier also für Kopf, Position und GesamtSumme. Für jedes Zielfeld innerhalb eines Knotens wird ein zugehöriges Tag erzeugt. Als Platzhalter für die späteren Zielbaum-Werte dienen die mit geklammerten Feldnamen, So wird mittels der DataWizardSection-Tags die Struktur des Zielbaumes nachgebildet, d.h. sie sind genauso verschachtelt. Wenn Sie dieses IU-Ergebnis mit dem aus Abbildung 3.89 vergleichen, sehen Sie (abgesehen vom Encoding) keinen Unterschied. Wo liegt der Nutzen der IU? Feldwert als Attribut: Schauen Sie sich einmal das Tag <DataWizardSection node= Kopf > in der Vorlage an. Es hat ein sogenanntes Attribut node mit dem Wert Kopf (für die DataWizardSection wird das automatisch eingefügt, damit die IU weiß, zu welchem Knoten die Section gehört). Lobster_data für Einsteiger 108

109 Solche Attribute mit Wert-Angabe können jedem Tag zugeordnet werden. Z.B. soll das Feld SAE K nicht mehr mit Inhalt in einem eigenen Tag wie bei <SAE K>K</SAE K> ausgegeben, sondern als Attribut des zugehörigen Knotens, also im Kopf -Tag verwendet werden: <Kopf SAE K = K > Dazu muss der Feldname SAE K das Suffix attr bekommen (Abbildung 3.98). Das Ergebnis sehen Sie in Abbildung Hinweis: Natürlich müssen Sie bei jeder Zielstruktur-Änderung die zugehörige Vorlage ebenfalls anpassen! Abbildung 3.98: Phase 5: Zielfeld mit Suffix _attr Abbildung 3.99: Phase 5: Vorlage und Ergebnis mit Suffix _attr Feldwert als Inhalt des zugehörigen Knoten-Tags: Der Wert des Feldes Land soll als Inhalt des Kopf -Tags ausgegeben werden (bis jetzt hat es noch gar keinen Inhalt... ). Für die Ausgabe eines Feldwerts als Inhalt gibt es das Suffix val. Achtung: Der Teil des Namens vor dem Suffix val muss mit dem Namen des Knotens übereinstimmen, als dessen Inhalt es erscheinen soll. Das Feld Land muss also zuvor noch umbenannt werden in Kopf, heißt letztendlich dann Kopf val. Die Satzarterkennung soll gar nicht mehr erscheinen; dazu müssen Sie das Feld SAE K zum Berechnungsfeld machen oder manuell aus der Vorlage entfernen. Stattdessen soll jetzt der Wert des Feldes KundenNummer als Attribut ausgegeben werden, also erhält der Feldname KundenNummer jetzt das Suffix attr. (Abbildung 3.100). Das Ergebnis sehen Sie in Abbildung Lobster_data für Einsteiger 109

110 Abbildung 3.100: Phase 5: Zielfeld mit Suffix _val Abbildung 3.101: Phase 5: Vorlage und Ergebnis mit Suffix _val Variablen: Außerhalb jeder DataWizardSection, also speziell im Wurzelelement können für Attributwerte oder Feldwerte auch Variablen, die im Profil definiert sind, in der Notation verwendet werden. Die Variablennamen müssen mit VAR in beliebiger Groß-/Kleinschreibweise beginnen. Ein Eintrag z.b. einer Systemvariablen wie in die Vorlage führt zu Abbildung Abbildung 3.102: Phase 5: Vorlage und Ergebnis mit einer Variablen Weitere IUs für Format XML sind XMLTemplateParserUnit XMLNoTemplateUnit XSLTExternalMappingIU InjectXmlDataIU Lobster_data für Einsteiger 110

111 3.7.4 Zielformat EDIFACT mit EDICreationUnit Wenn Sie EDIFACT-Daten erzeugen wollen, müssen Sie eine IU verwenden. Legen Sie dazu eine Kopie des Profils LD Phase5 NoActionUnit an und nennen Sie sie LD Phase5 EDICreationUnit. Wählen Sie in Phase 2 die Dokumentenart EDIfact und gehen Sie ins Mapping-Fenster. Der Einfachheit halber sollen Zieldaten über das 1:1-Mapping von z.b. DESADV-Quelldaten erzeugt werden. Wählen Sie über den Button Struktur.../Vorlage laden... die DESADV D01B-Vorlage aus (hilfreich ist auch hier das Suchfeld!) - die passende Quellstruktur wird erzeugt. Ein 1:1-Mapping liefert dann auch die Zielstruktur. (Abbildung 3.103). Abbildung 3.103: Phase 5: EDIfact Mapping-Fenster Der Vorlagen-Name wurde in das Quellstruktur -Editierfeld übernommen ➀. In den Eigenschaftsfeldern Beschreibung stehen die vorgegebenen Erklärungen ➁. Lobster_data für Einsteiger 111

112 Tip: Über das Kontextmenü/ Information... eines Quellknotens/-Feldes erhalten Sie weitere Angaben ➂. Beim Navigieren im Baum aktualisiert sich auch das Fenster. Als Testdaten können Sie z.b. folgende verwenden: UNA:+.? UNB+UNOC:3+SSSSSSSSSSSSS:14+RRRRRRRRRRR: : UNH+1+DESADV:D:01B:UN:EAN007 BGM DTM+137: :102 DTM+200: :102 RFF+TI: NAD+MS+SSSSSSSSSSSSS::9 NAD+MR+RRRRRRRRRRR::9 NAD+DP+DDDDDDDDDDDDD::9 CPS+1 PAC+1 PCI+3 GIN+BN LIN+1++1:AA PIA+1+HOS:GU::ZZZ IMD+F++OPL:::HOSE BLAU 52 QTY+12:1:PCE LOC ::9+A62+A LIN+2++2:AA PIA+1+BLU:GU::ZZZ IMD+F++OPL:::BLUSE 3/4 ARM QTY+12:1:PCE LOC ::9+A62+A UNT+34+1 UNZ Anmerkung: Das UNT-Segment stimmt nicht: Dort sollte die Gesamtzahl der Segmente stehen (von UNH- bis UNT-Segment, jeweils einschließlich). Richtig wäre also 23 statt 34. Gehen Sie zur Phase 5 und wählen Sie die EDICreationUnit aus. (Abbildung 3.104). Den Parameter Cut line after 80 chars sollten Sie auf false setzten ➀. Lobster_data für Einsteiger 112

113 Abbildung 3.104: Phase 5: EDICreationUnit result EDICreationUnit.edi Wenn Sie nun den Antwortweg wieder anpassen, sollten Sie folgendes Ergebnis erhalten (Abbildung 3.105): Abbildung 3.105: Phase 5: Ergebnis mit EDICreationUnit Beachten Sie, dass die IU den Segment-Zähler des UNT-Segments neu berechnet (und er jetzt stimmt: 23 statt 34) ➀! Lobster_data für Einsteiger 113

114 Weitere IUs für Format EDIFACT sind CharsetAwareEDICreationUnit SchenkerEDICreationUnit TradaComsCreationUnit Lobster_data für Einsteiger 114

115 4 Menüpunkt ControlCenter Sie haben das ControlCenter bereits kennengelernt in den Abschnitten 3.3.4, und Hier soll ein zusammenfassender Überblick über einige seiner Teilbereiche gegeben werden. Im Referenzhandbuch gibt es zu diesem Thema das ausführlichere Kapitel 12 ControlCenter - CC. Bitte öffnen Sie das ControlCenter (über den Haupt-Menüpunkt Applikationen oder mit Strg+3). 4.1 Tabreiter Info Hier finden Sie u.a. folgende Informationen über Ihre Lobster data-installation in jeweils eigenen Teilfenstern (Abbildung 4.1): Abbildung 4.1: ControlCenter (Info) Mandant ➀: Siehe dazu Kapitel 7 Menüpunkte Mandantenverwaltung und Benutzerverwaltung Angemeldete Benutzer ➁: Zeigt alle derzeit an Lobster data angemeldeten Benutzer an. Ein Administrator kann einen markierten Benutzer abmelden ➂. System-Info ➃: Zeigt u.a. den freien Arbeitsspeicher an. Mit einem Klick auf das > Symbol erhalten Sie eine graphische Anzeige. Lobster_data für Einsteiger 115

116 Für jedes der Teilfenster gibt es einen eigenen Button zur Aktualisierung des betreffenden Inhalts, siehe z.b. ➄. 4.2 Tabreiter Logs In diesem Bereich sind weitreichende Such- und Recherchefunktionen über die Log-Meldungen von Lobster data zusammengefasst. Der Bereich enthält u.a. folgende Unterbereiche: Tabreiter Übersicht Profile Hier werden Job-Logs eines zuvor ausgewählten Profils angezeigt (Abbildung 4.2): Abbildung 4.2: ControlCenter (Logs) - Übersicht Profile 1. Wahlen Sie ein Zeitfenster ➀. 2. Suchen Sie ein Profil, entweder über das Suchfeld ➁ oder den Profilbaum ➂. 3. Markieren Sie das Profil ➃. Lobster_data für Einsteiger 116

117 4. Die Jobs dieses Profils werden angezeigt ➄. Diese Liste kann bei Bedarf anhand des Quell- Dateinamens eingeschränkt werden ➅. Hinweis: Die Anzahl der angezeigten Jobs erfahren Sie, wenn Sie in das Suchfeld klicken. 5. Markieren Sie einen Job: Das Job-Log des Jobs wird unter Meldungen angezeigt ➆. 6. Auch ein Neudurchlauf dieses Profils ist hier möglich ➇. Hinweis: Bitte beachten Sie, dass die Vorhaltezeit von Log-Einträgen beschränkt ist und sie deshalb gegebenenfalls nicht angezeigt werden Tabreiter Übersicht Jobs Hier werden Job-Logs auf der Basis der gelaufenen Jobs angezeigt. Siehe dazu Abschnitt Das ControlCenter. Filter set display column(a,b,c) Die drei Spalten Anzeige 1 bis Anzeige 3 können in Phase 3 mit Hilfe des Filters set display column(a,b,c) belegt werden. Versuchen Sie einmal, Ihr Profil LD Phase5 EDICreationUnit so zu ergänzen, dass es folgende Ausgabe erzeugt ( ➀ in Abbildung 4.3): Abbildung 4.3: ControlCenter (Logs) - Übersicht Jobs: Belegung der Spalten Anzeige Tabreiter Allgemeine Meldungen Hier sehen Sie Log-Meldungen, die nicht einem bestimmten Job zugeordnet werden können und daher nicht in den anderen Bereichen erscheinen. Siehe dazu Abschnitt Das ControlCenter Tabreiter Konfiguration Hier können Sie für jede Phase eines Jobs konfigurieren, in welchem Umfang Meldungen geloggt werden sollen. Dabei wird unterschieden zwischen Allgemeinem Logging als Basis für alle Jobs und Lobster_data für Einsteiger 117

118 Profil-Logging, das für die Jobs eines jeden Profils individuell eingerichtet werden kann. Allgemeines Logging Es werden die Einstellungen für alle Profile angezeigt, die kein Profil-Logging haben (➀ in Abbildung 4.4): Abbildung 4.4: ControlCenter (Logs) - Konfiguration: Allgemeines Logging Sie sehen, dass der Eintritt (bzw. Nicht-Eintritt) in jede Phase vermerkt werden soll, außerdem in Phase 6 erzeugte Dateinamen ➁. In Abbildung 3.22 konnten Sie ein solches Logging sehen. Sollten Sie an der Konfiguration etwas ändern, müssen Sie die Änderung mit dem Anwenden - Button ➂ bestätigen. Profil-Logging - Tracing - Beispiel 1 Wechseln Sie zum Profil-Logging (➀ in Abbildung 4.5). Lobster_data für Einsteiger 118

119 Abbildung 4.5: ControlCenter (Logs) - Konfiguration: Profil-Logging Lobster_data für Einsteiger 119

120 Jetzt ist der Profilbaum nicht mehr ausgeblendet. Wählen Sie hierüber oder über das Suchfenster Ihr Profil LD Phase4 aus und markieren Sie es ➁. Setzten Sie alle Haken bei Phase 5 ➂ und bestätigen Sie die Änderungen ➃. Starten Sie das Profil über Neudurchlauf. Schauen Sie das Job-Log an und vergleichen Sie es mit Abbildung Sie sehen, dass das Job-Log nun erheblich ausführlicher ist (Abbildung 4.6). Abbildung 4.6: ControlCenter (Logs) - Konfiguration: Profil-Logging mit Tracing Phase 4 Profil-Logging - Tracing - Beispiel 2 Setzen Sie für Ihr Datenpumpen-Profil in Phase 6 die Trace Meldungen und den Haken bei FTP ( Anwenden nicht vergessen!), siehe Abbildung 4.7 Abbildung 4.7: ControlCenter (Logs) - Konfiguration: Profil-Logging mit Tracing Phase 6 Versorgen Sie das Eingangsverzeichnis mit einer passenden Datei, z.b. FuerDatenpumpe 1.txt und starten Sie den CronJob. Jetzt wird ein FTP-Client-Log unter./logs/ftplog/<jobnummer>_client.log abgelegt, folgendermaßen angekündigt im JobLog [LD Datenpumpe] Opened trace log as./logs/ftplog/12090 client.log : Lobster_data für Einsteiger 120

121 *** Time taken: 0ms > USER meinbenutzername < 331 Password required for meinbenutzername (655d7277d8ae0b34). > PASS meinkennwort < 230 User meinbenutzername logged in. ** Time taken: 830ms > TYPE I < 200 Type set to I. > PASV < 227 Entering Passive Mode (127,0,0,1,193,4) > STOR FuerDatenpumpe 1.txt < 150 Binary data connection for /FuerDatenpumpe 1.txt ( ,49412). < 226 Binary transfer complete. ** Time taken: 355ms ** Time taken (commlog entry): 35ms > QUIT < 221 Goodbye. ** Time taken: 2ms Hinweis 1: Mit dem Button ➄ können Sie sich alle Profile mit Profil-Logging anzeigen lassen. Hinweis 2: Ein ausführliches Logging ist vor allem während der Entwicklungsphase eines Profils hilfreich, sollte dann aber wieder zurückgefahren werden. Dies gilt insbesondere für die Trace- Meldungen! Hinweis 3: Wie Sie bei der Gelegenheit sehen, werden im Log-Verzeichnis des FTP-Service auch dessen message.log und error.log abgelegt. Dies gilt analog für alle anderen Services. 4.3 Tabreiter Jobs Hier werden die aktuell laufenden Jobs angezeigt und Sie können auf sie Einfluss nehmen. Siehe dazu auch Abschnitt Das ControlCenter. 4.4 Tabreiter Unresolved Daten, die von einem Eingangsagenten entgegen genommen wurden, für die aber kein passendes Verarbeitungsprofil gefunden wurde, werden im unresolved-verzeichnis abgelegt, siehe Kapitel 2 Ein Profil und seine Jobs - Eingangsagenten. Hier werden solche Daten angezeigt. Lobster_data für Einsteiger 121

122 4.5 Tabreiter Server-Logs Hier werden ausgewählte Logfiles aus dem Verzeichnis./logs und seinen Unterverzeichnissen angezeigt. Mit einem Doppelklick kann der per Lese die letzten gewünschte Teil einer Logdatei angezeigt werden (➀ in Abbildung 4.8). Abbildung 4.8: ControlCenter (Server-Logs) Sie sehen, weshalb das Tracing so bald wie möglich wieder abgeschaltet werden soll??? Lobster_data für Einsteiger 122

123 5 Menüpunkt Partnerverwaltung Sie haben die Partnerverwaltung bereits kennengelernt im Abschnitt beim Datenpumpen- Beispiel. Hier soll ein zusammenfassender Überblick über die Funktion der Partnerverwaltung gegeben werden. Im Referenzhandbuch gibt es zu diesem Thema das ausführlichere Kapitel 11 Partnerverwaltung. Zur Partnerverwaltung gelangen Sie über den Haupt-Menüpunkt Applikationen bzw. mit Strg+9 oder innerhalb eines Profils in den Phasen 1 und 6 zur Anbindung eines Kommunikationskanals. Bitte öffnen Sie die Partnerverwaltung. Mit Hilfe der Partnerverwaltung können Sie die Kontaktdaten, über die Ihre Profile mit Ihren Partnern kommunizieren, zentral verwalten. Solche Kontaktdaten werden in sogenannten Kommunikationskanälen erfasst. Sie sehen, es gibt Kommunikationskanäle mit folgenden Typen (➀ in Abbildung 5.1): AS2 Fax FTP(S) HTTP(S) Mail (also SMTP, POP3, IMAP) OFTP SMB SSH (für SCP und SFTP) X.400 Für jeden Ihrer Kommunikations-Partner (z.b. Firmen, mit denen Sie Daten austauschen) legen Sie einen sogenannten Partner an, dem die für diesen Partner benötigten Kommunikations-Daten in beliebig vielen Kommunikationskanälen zugeordnet werden. Sie wissen schon, wie Sie einen Partner anlegen können. Außerdem haben Sie bereits Kommunikationskanäle zu einem Partner angelegt und Sie wissen, wie Sie sich in einem Profil auf einen Kanal beziehen. Lobster_data für Einsteiger 123

124 Abbildung 5.1: Partnerverwaltung: Eigene Daten Lobster_data für Einsteiger 124

125 Sie sehen hier den beim Datenpumpen-Beispiel bereits erwähnten FTP-Kanal, der Kontaktdaten sowohl für Ihre Anmeldung beim Partner als auch die Anmeldung Ihres Partners bei Ihnen enthält ( Datenrichtung eingehend und ausgehend ). Er trägt den Namen FTP ein und ausgehend ➁. 5.1 Ihre Anmeldung beim Partner Diese Kommunikation wird unter Eigene Daten ➂ konfiguriert. Sie wird sowohl beim (aktiven) Eingang per Eingangsagent CronJob als auch beim Ausgang per Antwortweg benötigt: Eigene Kennung: Der Anmeldename, den Sie vom Partner bekommen haben ➃. Eigenes Kennwort: Das Passwort, das Sie vom Partner bekommen haben ➄. Tip: Mit einem Rechtsklick auf das Feld kann ein Administrator das Passwort lesen ➅ [sofern dies nicht per Konfiguration ausgeschlossen wurde... ]. Partner Adresse: IP-Adresse oder Rechnername des Partnersystems inklusive des Protokoll- Präfixes (siehe Tooltip!) ➆. 5.2 Anmeldung Ihres Partners an Lobster data Diese Kommunikation wird unter Partnerzugang ➀ konfiguriert. Sie wird beim (passiven) Eingang per ereignisgesteuertem Eingangsagent benötigt (Abbildung 5.2). Partner Kennung: Der Anmeldename, den Sie dem Partner gegeben haben (so soll er sich bei Ihnen anmelden) ➁. Partner Kennwort: Das Passwort, das Sie dem Partner gegeben haben ➂. Tip: Mit einem Rechtsklick auf das Feld kann ein Administrator das Passwort lesen [sofern dies nicht per Konfiguration ausgeschlossen wurde... ]. Benutzer-Verzeichnis: Bei Kanälen vom Typ FTP oder SSH das Home-Verzeichnis, in dem die eintreffenden Dateien des Partners abgelegt werden ➆. Anmerkung: In der hier gezeigten Installation ist das systemweit gültige Home-Verzeichnis mit in der Konfigurationsdatei <Set name= defaultroothome >./transfer</set>./etc/startup.xml definiert. Siehe dazu den Abschnitt 8.4 Konfiguration von Lobster data (startup.xml). Lobster_data für Einsteiger 125

126 Abbildung 5.2: Partnerverwaltung: Partnerzugang Lobster_data für Einsteiger 126

127 6 Menüpunkt Plugins Lobster data bietet unter diesem Menüpunkt drei sogenannte Plugins an, die Ihnen bei der Arbeit Hilfestellung geben können (➀ in Abbildung 6.1): Abbildung 6.1: Plugins - File-Encoding... Zeichenkodierung (Zeichensatz) einer Datei mit Hilfe von darin enthaltenen Sonderzeichen, z.b. Umlauten, finden. - XML2XSD... Erzeugen einer XSD-Schema-Datei aus einer XML-Datei, um damit eine Quell-/Zielstruktur zu erstellen. - Regular expression... Testen, ob ein Text einen Regulären Ausdruck trifft. Lobster_data für Einsteiger 127

128 Bitte lesen Sie dazu im Referenzhandbuch Kapitel 10.7 Plugins die Anleitung PlugIns.pdf und zum Thema Reguläre Ausdrücke die Übersicht Regular-expressions-cheat-sheet.pdf (Siehe Anhang A - Welche Dokumentationen gibt es noch?) Lobster_data für Einsteiger 128

129 7 Menüpunkte Mandantenverwaltung und Benutzerverwaltung Jede Lobster data-installation wird mit einem Benutzer-Account mit Administrator-Rechten ausgeliefert. Ein Administrator kann über die Benutzerverwaltung weitere Benutzer mit gegebenenfalls eingeschränkten Rechten anlegen. Siehe dazu das Referenzhandbuch Kapitel 16 Benutzerverwaltung. Parallel dazu gibt es sogenannte Mandanten. Jeder Benutzer muss mindestens einem Mandanten zugeordnet sein. Hat sich ein Benutzer angemeldet, findet die Bearbeitung von Profilen (Profilübersicht) und die Überwachung von Jobs (ControlCenter) immer im Kontext eines Mandanten statt. 7.1 Default-Mandant Bei der Auslieferung wird dafür der sogenannte Default-Mandant namens Default client bereitgestellt, der jedem neuen Benutzer automatisch zugewiesen wird. Er hat die sogenannte Mandanten-ID -1. Die Zuweisung eines oder mehrerer Mandanten erfolgt in der o.g. Benutzerverwaltung (➀ in Abbildung 7.1 zeigt die Zuordnung des (einzigen) Mandanten zum Administrator-Benutzer). Abbildung 7.1: Benutzerverwaltung: Zuordnung eines Mandanten Von einem Administrator-Benutzer können Mandanten über die Mandantenverwaltung bearbeitet werden. Lobster_data für Einsteiger 129

130 Sind Sie also ein Administrator, öffnen Sie bitte einmal die Mandantenverwaltung und parallel dazu die Profilübersicht (Abbildung 7.2). Abbildung 7.2: Mandantenverwaltung Sie sehen, dass es hier nur den Default-Mandanten gibt, am Stern * in der Spalte Default erkennbar ➀ (sein ursprünglicher Name wurde bereits verändert), der auch (zwangsläufig) ausgewählt ist, siehe Gewählter Mandant ➁. Deswegen sehen Sie, wenn Sie die Profilübersicht öffnen, die unter diesem Mandanten erzeugten Profile ➂. 7.2 Eigenschaften eines Mandanten Mit einem Klick auf das Schloss-Symbol öffnet sich die Konfigurationsmaske des (zuvor markierten) Mandanten (Abbildung 7.3). Hier kann der Name des Mandanten editiert werden ➀, und die Festlegung auf den Default- Mandanten findet statt ➁. Es muss ein Default-Mandant vorhanden sein (mit dem Stern * gekennzeichnet). Nur ein Mandant kann der Default-Mandant sein. Lobster_data für Einsteiger 130

131 Abbildung 7.3: Mandantenverwaltung: Eigenschaften eines Mandanten Fehler- s für die Phasen 1 bis 6 Hier können für jede Phase eines Jobs -Adressen angeben werden ➂, an die im Fehlerfall eine Nachricht gesendet wird. Mehrere -Adressen sind mit einem Semikolon ; zu trennen Zugriff auf Resourcen Wenn die Option Resourcen-Verwaltung angewählt ist ➃, kann der Zugriff auf die Resourcen Partner der Partnerverwaltung SAP-Anbindungen Datenbank-Anbindungen der Installation verwaltet werden ➄. Siehe hierzu auch das Referenzhandbuch Kapitel 17 Mandantenverwaltung. 7.3 Hinzufügen eines weiteren Mandanten Weitere Mandanten können bei Bedarf und entsprechender Lizenzierung hinzugefügt werden. Sie erhalten ebenfalls eine eigene Mandanten-ID und ein eigenes Verzeichnis im Verzeichnis./datawizard/settings. Lobster_data für Einsteiger 131

132 8 Zusammenfassungen und Ausblicke 8.1 Kontextbezogene Hilfe Für Lobster data-eigene Objekte gibt es jeweils kontextbezogene Hilfe, die Sie über den Hilfe- Button erreichen, siehe z.b. ➀ in Abbildung 8.1 für die IntegrationUnits. Abbildung 8.1: Hilfe-Button Sie finden den Hilfe-Button an mehreren Stellen in der Benutzeroberfläche (schauen Sie nach!): In Phase 1: Cron:API-Klassen In Phase 2/Tabreiter Erweitert: Vorverarbeitung durch (Preparser) In Phase 3: Filterdialog In Phase 5: IUs In Phase 6: Post Execution-Klassen In Phase 6: Antwortweg-Typ Eigene Klasse Wenn Sie den Button drücken, öffnet sich der entsprechende Hilfe-Text in Ihrem Browser. In Abbildung 8.2 sehen Sie die Links zu den Hilfe-Texten für die Eigenen Klassen im Antwortweg. Dort gibt es z.b. die Klasse BackupResponse, die in Abschnitt Eigene Klasse BackupResponse besprochen wird. Von dort erreichen Sie auch diejenigen der anderen Objekte unter Siehe auch ➀. Der Hilfe-Button ist im übrigen nicht zu verwechseln mit dem Fragezeichen-?-Button. Lobster_data für Einsteiger 132

133 Abbildung 8.2: Hilfe-Texte im Browser Lobster_data für Einsteiger 133

134 8.2 Backups Profil-Backup Ein Profil-Backup kann an mehreren Stellen erzeugt werden: Sie können ein Profil (als.obj - oder.pak -Datei) exportieren (siehe Abschnitt Vorhandenes Profil exportieren/importieren). Ex- und importieren Sie einmal Ihr Profil LD Phase3 2 Verdichten als Package. Auf der LetztenSeite eines Profils wird per Button Speichern ein Profil-Backup mit einer Versions-Nummer und einem Zeitstempel im Verzeichnis./datawizard/settings/<Mandanten-ID> erzeugt; die Dateinamenerweiterung ist.profile. Speichern Sie z.b. einmal Ihr Profil LD Datenpumpe auf der LetztenSeite. Siehe dazu Kapitel 3.2 Die 7 Schritte der Profilentwicklung und Kapitel 7 Menüpunkte Mandantenverwaltung und Benutzerverwaltung. Abbildung 8.3: Phase 1: Laden eines Profil-Backups Eine solche Profil-Backup-Datei kann in Phase 1 geladen werden (Abbildung 8.3 ➀). Es werden alle verfügbaren Profil-Backups angezeigt. Sie können die Liste über das Suchfenster beeinflussen ➁ - probieren Sie es aus! Lobster_data für Einsteiger 134

135 8.2.2 Quelldaten-Backup Sie wissen bereits, dass die Quelldaten eines Jobs im Backup-Verzeichnis des betreffenden Profils gehalten werden. Dieses Profil-Verzeichnis ist per default ein Unterverzeichnis von./datawizard/backup mit einem langen kryptischen Verzeichnis Namen, wie z.b. 20ff1c63_1466afee227_7267.1b7e5955c26b51de_20ff1c63_1466afe4492_-7ff8. Dort werden sie unter ihrer Jobnummer mit dem Präfix Job abgelegt. (Siehe auch Abschnitt Backup der Quelldaten eines Jobs.) Zur Haltedauer dieser Backups siehe Abschnitt Vorhaltezeit für Quelldaten-Backups weiter unten Zieldaten-Backup Die Daten, nach Abschluss der Phase3 und gegebenenfalls Phase4 generiert sind, können Sie als Zieldaten-Backup ablegen, die dann im ControlCenter beim betreffenden Job einsehbar sind. Dies sei an folgendem Beispiel demonstriert: Falls Sie es noch nicht getan haben, exportieren Sie bitte einmal Ihr Profil LD Phase3 2 Verdichten als Package und importieren Sie es in einem neuen Profil LD Phase6 Zieldaten Backup (➀ in Abbildung 8.4). Im Migration-Tool-Dialog übernehmen Sie insbesondere die Testdaten-Datei ➁, bevor Sie mit dem Button Importieren... abschließen. Im nächsten Fenster sehen Sie dann das Ergebnis des Imports... und nach Drücken des Button Fertig den Hinweis Die Einstellungen wurden übernommen. Gehen Sie direkt zu Phase 6 (zur Erinnerung: Mit gedrückter Shift-Taste auf Weiter ). Dort erzeugen Sie einen Antwortweg vom Typ Datei ➀ und wählen die Option Ist Backup der Zieldaten ➁. Das Feld Datei erhält den Eintrag Backup ➂ (Abbildung 8.5). Bei einem Neudurchlauf (mit der importierten Testdatei) wird mit diesem Antwortweg ein Zieldaten- Backup mit dem Präfix ARC im Backup-Verzeichnis des Profils erzeugt. Dies können Sie sehen, wenn Sie (z.b. mit Strg+3) das ControlCenter öffnen und den betreffenden Job Suchen, siehe ➀ in Abbildung 8.6. Über das Kontextmenü des Jobeintrags können Sie sich das Zieldaten-Backup ansehen ➁. Bitte vergleichen Sie diese Datei einmal mit Abbildung 3.68 Phase 3: Mapping-Beispiel 2 - Zielbaum 2! Lobster_data für Einsteiger 135

136 Abbildung 8.4: Phase 1: Import eines Profil-Package Lobster_data für Einsteiger 136

137 Abbildung 8.5: Phase 6: Ist Backup der Zieldaten Abbildung 8.6: ControlCenter (Logs) - Übersicht Jobs: Zieldatei ansehen... Lobster_data für Einsteiger 137

138 8.2.4 Job-Backup Zu jedem Job, sei es ein fehlerfrei durchlaufener oder einer, der mit einem Fehler abbricht, werden Meldungen aufgezeichnet (das Job-Log). Diese Aufzeichnungen sind zu finden in mehreren Tabellen der angegliederten Datenbank. Die dort gehaltenen (Fehler-) Meldungen können Sie im ControlCenter einsehen u.a. unter den Tabreitern Logs/Übersicht Jobs unter Meldungen Logs/Allgemeine Meldungen Logs/Fehler und zusätzlich in den Log-Dateien im IS-Installationsverzeichnis./logs/DataWizard/message.log für Meldungen des Lobster data./logs/datawizard/error.log für Fehler-Meldungen des Lobster data./logs/services/message.log für Meldungen des IS./logs/services/error.log für Fehler-Meldungen des IS (sofern in der./etc/startup.xml unter filelogenabled spezifiziert, siehe dazu den Abschnitt 8.4 Konfiguration von Lobster data (startup.xml)). Für diese Log-Dateien wird um Mitternacht ein Rollover durchgeführt, d.h. die vorhandenen werden umbenannt und bekommen ein Datumspräfix des vergangenen Tages, und jeweils neue Dateien werden angelegt. Eigene Klasse BackupResponse Sie können für jeden Job eines Profils zwecks Langzeit-Archivierung eine Zip-Datei erzeugen, die neben Eingangsdaten und Ausgangsdaten auch das Job-Log des Jobs enthält. Siehe Abbildung 8.7. Dazu müssen Sie im Profil einen Antwortweg vom Typ Eigene Klasse anlegen ➀ und im Feld Klasse die BackupResponse-Klasse com.ebd.hub.datawizard.util.backupresponse auswählen ➁. Im Feld Zusätzlicher Parameter wird der Pfad zur Zieldatei spezifiziert ➂. Über den Hilfe-Button ➃ erhalten Sie die Beschreibung der Klasse in Ihrem Browser ➄. Siehe auch 8.1 Kontextbezogene Hilfe. Lobster_data für Einsteiger 138

139 Abbildung 8.7: Backups: Eigene Klasse BackupResponse Datenbank-Backup Das DB-Management liegt in Ihrer Hand, also auch eine Backup-Strategie für die Datenbank. Ein Backup wäre z.b. sinnvoll vor der Installation eines Lobster data-updates. 8.3 Neudurchlauf Normalerweise startet ein (freigeschaltetes) Profil automatisch, siehe Abschnitt 2.1 Wie ist die Verarbeitung von Daten mit Lobster data organisiert?. Sie können ein Profil aber auch über den sogenannten Neudurchlauf manuell starten, selbst wenn es nicht freigeschaltet ist, z.b. während der Profilentwicklungsphase. Für den Start eines Profils werden Quelldaten benötigt. Sie haben den Neudurchlauf bereits in den Abschnitten Das Profil wird zum ersten Mal gestartet und Backup der Quelldaten eines Jobs kennengelernt. Sie wissen also, wie man einen CronJob manuell startet, und wie man einen Job startet sowie danach mit seinem Quelldatenbackup erneut startet (daher der Name Neudurchlauf ). Hinweis: Es wird zwar ein eigener Job erzeugt, aber solche Jobs werden im Neudurchlauf- Dialog nicht angezeigt, da kein weiteres Backup angelegt wird! Sie können aber auch einen Job manuell starten, indem Sie eine (Test-) Datei hochladen, siehe ➀ in Abbildung 8.8. Lobster_data für Einsteiger 139

140 Abbildung 8.8: Neudurchlauf: Hochladen... Zum Neudurchlauf-Dialog eines Profils gelangen Sie an folgenden Stellen: In der Profilübersicht nach Markieren des Profils entweder mit dem Button Neudurchlauf... (unten links) oder per Doppelklick auf den Profileintrag im rechten Teil (➇ in Abbildung 3.2). In Profilen mit aktiviertem Mapping in Phase 2/3/4 (Button Neudurchlauf... oben rechts). Im ControlCenter entweder unter Logs/Übersicht Profile oder Logs/Übersicht Jobs, dort jeweils über das Kontextmenü eines Profil- bzw. Job-Eintrags. Hinweis: Im Referenzhandbuch gibt es einen weiterführenden Abschnitt zum Thema Neudurchlauf (Kapitel 1.5 Profil starten ). 8.4 Konfiguration von Lobster data (startup.xml) Sie können Lobster data individuell über die Konfigurationsdatei konfigurieren../etc/startup.xml Lobster_data für Einsteiger 140

141 Der dort dafür zuständige Abschnitt ist die Applikation DataWizardSetup : <Call name =" addapplication " ><Arg > 3 <New class =" com. ebd. hub. datawizard. app. DataWizardSetup "> 4 </ New > </ Arg ></ Call > 7... Listing 8.1: Konfiguration Lobster_data in der startup.xml Vorhaltezeit für Quelldaten-Backups Deren Haltedauer in Tagen können Sie in der startup.xml mit dem retaindays -Eintrag <Call name =" addapplication " ><Arg > 3 <New class =" com. ebd. hub. datawizard. app. DataWizardSetup "> 4 </ New > <Set name =" retaindays ">30 </ Set > </ Arg ></ Call > 9... Listing 8.2: Konfiguration Haltedauer Quelldaten-Backups in der startup.xml konfigurieren (Default ist 30 Tage). Nach Ablauf dieser Zeit werden die Dateien im Reorganisations-Lauf gelöscht (s.u.). Bis dahin sind sie im Neudurchlauf-Dialog verfügbar (siehe Abschnitt 8.3 Neudurchlauf) Vorhaltezeit für Job-Logs Job-Logs werden in der Datenbank gehalten (u.a. in der Tabelle dw_log). Ihre Haltedauer in Tagen wird in der startup.xml mit dem retaindayslog -Eintrag <Call name =" addapplication " ><Arg > 3 <New class =" com. ebd. hub. datawizard. app. DataWizardSetup "> 4 </ New > <Set name =" retaindayslog ">30 </ Set > </ Arg ></ Call > 9... Listing 8.3: Konfiguration Haltedauer Job-Logs in der startup.xml konfiguriert (Default ist 30 Tage). Nach Ablauf dieser Zeit werden die Datenbank-Einträge im Reorganisations-Lauf gelöscht (s.u.). Bis dahin sind sie im ControlCenter verfügbar (siehe Kapitel 4 Menüpunkt ControlCenter ). Lobster_data für Einsteiger 141

142 Hinweis: Die o.g. Werte für retaindays und retaindayslog gelten für alle Profile. Sie können für jedes Profil in der Phase 2/Erweitert bei Vorhaltezeit des Backups individuell eingestellt, also überschrieben werden. Der dortige Eintrag gilt für Quelldaten-Backups und Job-Log-Backup (s.o.). Der Default -1 bedeutet: Verwende die in der startup.xml eingetragenen Werte Reorganisations-Lauf Um zu verhindern, dass Ihre Festplatte bzw. Ihre Datenbank überläuft, gibt es ein täglich durchgeführtes Cleanup, dessen Zeitpunkt an folgender Stelle in der startup.xml konfiguriert wird: <Call name =" addapplication " ><Arg > 3 <New class =" com. ebd. hub. datawizard. app. DataWizardSetup "> 4 </ New > <! -- start cleanup work at 3 o clock in the morning ( default time if not 7 set ) --> 8 <Set name =" reorganisationtime " >3</ Set > </ Arg ></ Call > Listing 8.4: Konfiguration Zeitpunkt des Reorganisations-Laufs in der startup.xml Bei dieser automatischen Bereinigung werden folgende Daten/Dateien gelöscht, z.t. nach vorgegebenen Karenzzeiten (siehe Abschnitt 8.2 Backups) Daten, die eindeutig einem Profil zugeordnet werden können, aus den betroffenen Datenbank- Tabellen, z.b. dw_log Quelldaten-Backups (Rollover-) Log-Dateien, die älter sind als 7 Tage Siehe Einträge FILEERASERTHREAD in Schauen Sie auch in der ob hier zum Löschzeitpunkt Fehler auftreten../logs/services/message.log../logs/services/error.log, Lobster_data für Einsteiger 142

143 8.5 Suchen Lobster data bietet Suchmöglichkeiten an praktisch allen relevanten Stellen. Dort, wo ein Suchfeld mit dem Lupen-Symbol zu sehen ist (Abbildung 8.9), kann innerhalb einer darunter angezeigten Liste gesucht werden, oder es öffnet sich eine kontextabhängige Suchmaske. Abbildung 8.9: Suche: Suchfenster mit Lupen-Symbol Suche in Profilübersicht Zunächst hier noch ein Nachtrag zur Profilübersicht: Schnellübersicht/QuickView Abbildung 8.10: Suche: Profilübersicht zum Dritten - QuickView Sie können sich für jedes Profil im rechten Teil der Übersicht (die Liste Profil ) mit einem Rechtsklick auf den Profilnamen eine sogenannte Schnellübersicht, englisch QuickView, anzeigen lassen (Abbildung 8.10). Zeigen Sie einmal die Ihres Profils LD Datenpumpe an und vergleichen Sie die Anzeigen ➀, ➁, ➂ und ➃ mit den Angaben der Phasen 1,2,5 und 6 im Profil! Lobster_data für Einsteiger 143

144 Expertensuche Irgenwann haben Sie vermutlich so viele Profile, dass es schwierig wird, den Überblick zu behalten und Sie nach Profilen mit bestimmten Kriterien suchen möchten. Dies ist möglich über die sogenannte Expertensuche, welche die Felder Beschreibung und Tags aus Phase 1 in die Suche miteinbezieht (siehe Beispiel unten). Dort können Sie z.b. Ihre eigenen Schlüsselwörter für beispielsweise Quell- und Zielformat, IntegrationUnits, beteiligte Partner usw. eintragen. Beispiel für die Suche nach Profilen mit IntegrationUnits: Öffnen Sie einmal Ihre Profile LD Phase5 CSVWithHeaderUnit LD Phase5 XMLMemSaveTemplateParserUnit und LD Phase5 EDICreationUnit. Abbildung 8.11: Suche: Eigene Tags Lobster_data für Einsteiger 144

145 Lassen Sie sich in Phase 1 die Texte anzeigen, siehe Abbildung 8.11 ➀. Nun können Sie hier die Textfelder Beschreibung Tags Änderungen Hinweistext einsehen und editieren. Die ersten beiden werden in die Expertensuche miteinbezogen. Tragen Sie z.b. im ersten Profil folgendes im Tags -Feld ein ➁: - [DocType] CSV - [IU] CSVWithHeaderUnit Entsprechende Angaben machen Sie in den beiden anderen Profilen (Abspeichern nicht vergessen!). Wenn Sie nun in der Profilübersicht auf das Lupen-Symbol oben links klicken, öffnet sich das Fenster Expertensuche (Abbildung 8.12). Abbildung 8.12: Suche: Expertensuche Nach dem Klick auf Expertensuche ➀ öffnet sich die Suchmaske. Dort können Sie nun Ihre Tags und gegebenenfalls Teile Ihrer Beschreibung zeilenweise eingeben (Abbildung 8.13 ➀). Außerdem müssen Sie sich entscheiden, ob Sie eine UND- oder eine ODER- Suche starten wollen ➁. Damit erhalten Sie dann die gefundenen Profile in der rechten Liste ➂. Hinweis: Außerdem wird bei jedem Speichern eines Profils in der Datenbank ein Index in der Tabelle dw_profile_index für die spätere Expertensuche erstellt. Siehe dazu Abschnitt 1.3 Suche von Profilen im Referenzhandbuch. Lobster_data für Einsteiger 145

146 Abbildung 8.13: Suche: Expertensuche - Ergebnis Suche im Mapping Für Phase 2/3/4 (Mapping-Fenster) seien folgende Suchmöglichkeiten erwähnt: Suche in Quell- und Zielstruktur Hierzu sei verwiesen auf das Referenzhandbuch, Abschnitt 4.11 Suche innerhalb der Strukturen und Abschnitt Profil - Suchen. Filter-Suche Die folgenden Beispiele beziehen sich auf das Profil LD Phase3 2 Verdichten. Im Tab-Reiter Liste können Sie über das Suchfeld aus der Gesamtliste die gewünschten Filter heraussuchen, z.b. alle, die den String map im Namen tragen (➀ in Abbildung 8.14). Siehe dazu auch den Abschnitt Filter. Über das Lupen-Symbol ➁ mit dem Tooltip Suche nach Filtereinstellungen öffnet sich ein Fenster, in dem Sie nach im Mapping verwendeten Filtern suchen können. Dabei müssen Sie sich zuvor auf einen der Filter-Parametertypen festlegen. In der Abbildung sehen Sie das Ergebnis, wenn Sie nach verwendeten Filternamen mit dem String map suchen (➂ und ➃). In der Ergebnisliste stehen die Namen der Knoten und Felder, wo sich solche Filter befinden Lobster_data für Einsteiger 146

147 Abbildung 8.14: Suche: Filter (ein Doppelklick auf die Zeile bringt Sie an die betreffende Stelle im Zielbaum!) und an welcher Position ➄. Suchen Sie einmal nach Variablen, deren Namen mit var beginnen! Zur Erinnerung: Die Online-Filter-Dokumentation wird über den Hilfe-Button ➅ mit dem Tooltip Filter Hilfe aufgerufen (siehe Abschnitt Filter-Dokumentation) Suche im ControlCenter Im ControlCenter werden Sie vor allem nach Jobs suchen. Hier sei verwiesen auf die Erweiterte Suche in Tabreiter Logs/Übersicht Jobs (siehe Referenzhandbuch Übersicht Jobs ) Tabreiter Ausnahmen (siehe Referenzhandbuch Einstellungen ) Suche in indizierten Quelldaten-Backups Sie können innerhalb von Quelldaten-Backups (siehe Quelldaten-Backup) suchen, sofern Sie diese zuvor indiziert haben. Näheres dazu erfahren Sie im Referenzhandbuch im Abschnitt Tabreiter Erweitert. Lobster_data für Einsteiger 147

148 8.6 Fehler- s Tritt bei der Abarbeitung eines Jobs ein Fehler auf, können Fehler- s abgesetzt werden Unterscheidung externe/interne -Empfänger Es wird folgende Unterscheidung getroffen: Fehler- an externe -Adresse(n), also an Partner, die entweder Daten einstellen oder von denen Daten abgeholt werden. Sie werden auf der LetztenSeite des Profils spezifiziert und decken Fehler bei der Abarbeitung eines Jobs in den Phasen 2-6 ab ( im Fehlerfall an Dateneinsteller senden, siehe Abbildung 8.15 ➀). Hinweis: -Adressen können zentral per System-Konstante festgelegt werden (im ControlCenter/Tabreiter Sytem ) und stehen dann über den Fragezeichen-?-Button zur Verfügung ➁. (Siehe dazu Referenzhandbuch System-Konstanten.) Die Eingangsdaten selbst können unabhängig von der error_mail.no_attachment - Property (siehe Sollen die Eingangsdaten mitgesendet werden? unten) angehängt werden oder nicht ➂. Abbildung 8.15: Fehler- extern: Rückmeldung an Dateneinsteller Fehler- an interne -Adresse(n). Hier gibt es eine Hierarchie: 1. Zunächst wird/werden Mailempfänger bei Fehler (Phase 2/Erweitert) benachrichtigt, beispielsweise die Person, die das Profil bearbeitet, siehe Abbildung Hinweis: -Adresse(n) aus der Benutzerverwaltung wird/werden beim Anlegen eines Profils automatisch übernommen ➀. Auch hier kann über den Fragezeichen-?-Button auf eine zuvor hinterlegte System- Konstante zugegriffen werden ➁. Es werden (nur) Fehler aus den Phasen 2-5 berücksichtigt. Lobster_data für Einsteiger 148

149 Abbildung 8.16: Fehler- intern: Mailempfänger bei Fehler Lobster_data für Einsteiger 149