Tensei-Data Handbuch. Jens Grassel, Andre Schütz

Transkript

1 Tensei-Data Handbuch Jens Grassel, Andre Schütz

2 Inhaltsverzeichnis 1. Installation Installation via VM Manuelle Installation Konfiguration Benutzeroberfläche Konfigurationsdateien Agentencluster Häufige Fragen Wartung Logdateien Aktualisierung (Updates)

3 Das Handbuch zu Tensei-Data beschreibt die Anforderungen und Arbeitsabläufe um ein Tensei-Data-System zu installieren, zu betreiben und zu warten.

4 Chapter 1. Installation Die Installation von Tensei-Data kann grundsätzlich auf zwei verschiedenen Wegen durchgeführt werden. Der empfohlene Weg besteht darin eine bereitgestellte virtuelle Maschine (VM) zu nutzen. Für Spezialfälle ist eine manuelle Installation möglich Installation via VM Die Auslieferung der Standardversion von Tensei-Data erfolgt als virtuelle Maschine. Hierbei wird eine Maschine via Vagrant [vagrant] provisioniert, die dann anwenderseitig in eine entsprechende Infrastruktur eingefügt werden muß. Derzeit werden die folgenden Provider unterstützt: 1. VirtualBox [VirtualBox Homepage: 2. VMWare [VMWare Homepage: Hardwareanforderungen Die VM sollte über 4 Prozessorkerne mit mindestens 4GB Arbeitsspeicher und ausreichend Festplattenplatz verfügen Installation mit Vagrant Die ausgelieferte Vagrant-Box muß zunächst zur Liste der verfügbaren Boxen hinzugefügt werden. Vagrant-Box installieren vagrant box add --name tensei-vm DATEINAME Die von uns genutzte Version von Vagrant ist Anschließend muß aus der installierten Box die virtuelle Maschine unter Nutzung des Vagrantfile erstellt werden. Hierfür muß die Datei Vagrantfile in ein Verzeichnis kopiert und in dem Verzeichnis die virtuelle Maschine gestartet werden. Vagrant-Box hochfahren vagrant up 1.2. Manuelle Installation

5 Systemvoraussetzungen Die Hardwareanforderungen entsprechen in etwa denen der VM. Darüberhinaus müssen folgende Voraussetzungen auf Softwareseite erfüllt sein: Betriebssystem Linux oder FreeBSD (empfohlen Ubuntu [Ubuntu Homepage: LTS oder FreeBSD [FreeBSD Homepage: ) Java Java in Version 1.8 Datenbank PostgreSQL Datenbanken anlegen Die folgenden Datenbanken müssen mit den vorgegebenen Konfigurationsparametern erstellt werden, damit die Anwendungen darauf zugreifen kann. Datenbank für den Logger Der Logger speichert alle Logdaten, die von den Agenten oder dem Frontend erstellt werden. Die Werte für die Datenbank (URL, Benutzer, Passwort) werden in der conf/tensei.conf Datei im Frontend unter den Keys slick.dbs.logger definiert. Danach müssen noch die 3 initialen Tabellen für Logback erstellt werden. Diese finden sich als Auszug auf Github

6 CREATE SEQUENCE logging_event_id_seq MINVALUE 1 START 1; CREATE TABLE logging_event ( timestmp BIGINT NOT NULL, formatted_message TEXT NOT NULL, logger_name VARCHAR(254) NOT NULL, level_string VARCHAR(254) NOT NULL, thread_name VARCHAR(254), reference_flag SMALLINT, arg0 VARCHAR(254), arg1 VARCHAR(254), arg2 VARCHAR(254), arg3 VARCHAR(254), caller_filename VARCHAR(254) NOT NULL, caller_class VARCHAR(254) NOT NULL, caller_method VARCHAR(254) NOT NULL, caller_line CHAR(4) NOT NULL, event_id BIGINT DEFAULT nextval('logging_event_id_seq') PRIMARY KEY ); CREATE TABLE logging_event_property ( event_id BIGINT NOT NULL, mapped_key VARCHAR(254) NOT NULL, mapped_value VARCHAR(1024), PRIMARY KEY(event_id, mapped_key), FOREIGN KEY (event_id) REFERENCES logging_event(event_id) ); CREATE TABLE logging_event_exception ( event_id BIGINT NOT NULL, i SMALLINT NOT NULL, trace_line VARCHAR(254) NOT NULL, PRIMARY KEY(event_id, i), FOREIGN KEY (event_id) REFERENCES logging_event(event_id) ); Datenbank für das Frontend Die Datenbank für das Frontend beinhaltet die Konfigurationsinformationen und alle Daten, die über das Frontend an das Tensei-Data System eingegeben werden. Die Werte für die Datenbank (URL, Benutzer, Passwort) werden in der conf/tensei.conf Datei im Frontend unter den Keys slick.dbs.default definiert.

7 Chapter 2. Konfiguration Das System kann an verschiedenen Stellen konfiguriert werden. Für den Anwender bezieht sich dies hauptsächlich auf die Benutzeroberfläche. Bei weitergreifenden Anforderungen können einzelne Komponenten auch direkt konfiguriert werden Benutzeroberfläche Nach der Installation muß der erste Benutzer angelegt werden. Dieser Benutzer erhält automatisch Administratorrechte für die Anwendung. Beim ersten Zugriff auf die Anwendung wird automatisch das Formular zum Anlegen des Administrators angezeigt. Bestimmte Funktionen können nur von einem Administrator durchgeführt werden: 1. Anlegen und Bearbeiten von Nutzerkonten 2. Anlegen und Bearbeiten von Nutzergruppen 3. Einspielen und Aktualisieren der Lizenz 2.2. Konfigurationsdateien Einige Einstellungen können nur über Konfigurationsdateien oder -parameter getätigt werden. Die folgenden Abschnitte beschreiben die Konfiguration der einzelnen Systemkomponenten Agent Die Kennung eines Agenten wird beim ersten Start zufällig generiert. Soll diese später angepaßt werden, so kann dies in der Datei tensei-agent-id.properties vorgenommen werden. Diese ist sehr einfach aufgebaut: tensei.agent.id=name_des_agenten Um eventuelle Probleme zu vermeiden sollte der Names des Agenten keine Sonder- oder Leerzeichen enthalten. Jegliche weitere Konfiguration wird in der Datei tensei.conf vorgenommen.

8 Konfigurationsdatei tensei.conf # Configuration file for the tensei agent. tensei { # Configure settings for this specific agent. agent { # The hostname with fallback to localhost. hostname = "localhost" hostname = ${?tensei.agent.hostname} # The port for the akka system with fallback to a default port. port = 2551 port = ${?tensei.agent.port} } # Generic settings for all agent nodes. agents { # How long do we wait for the termination of our sub actors when aborting. abort-timeout = 10 seconds # How long do we wait for the termination of our sub actors when cleaning up. cleanup-timeout = 10 seconds # Enable or disable an interactive console for the agent which allows the execution of simple commands. console = true # Defines how often we report the agent state to the server. # Attention! This value doesn't mean that there aren't any reports in between. # In fact there are because we use push notifications. report-to-server-interval = 5 seconds # If the server node is marked `unreachable` e.g. if it happens that we leave the cluster then we # wait for this interval before we restart ourselfs. This value shouldn't be too low because the # server/network/whatever may need some time to get up again. restart-after-unreachable-server = 30 seconds metrics { # Timeout for asking the metrics listener for data. ask-timeout = 2 seconds } parser { # Collect some profiling data. profiling = false # DFASDL syntax validation timeout. syntax-validation-timeout = 10 seconds # Timeout for the access validation. access-validation-timeout = 30 seconds

9 } } # The timeout for checksum validation. This may have to be increased for huge files. checksum-validation-timeout = 300 seconds # Defines how long we wait for our subparser to initialize. subparsers-init-timeout = 30 seconds # Defines how many sequence rows are saved within one actor. sequence-rows-per-actor = 10 # Settings for the HTTP NetworkFileParser # Cookies enabled - otherwise ignored http-cookies-enabled = true # Default Proxy enabled - otherwise ignored http-proxy-enabled = true # Port number for authentication http-port-number = 80 https-port-number = 443 # encoding http-header-content-encoding = "Content-Encoding" http-header-content-encoding-value = "gzip" #timeouts http-connection-timeout = 1m http-connection-request-timeout = 1m http-socket-timeout = 1m processor { # Timeout for simple ask operations. ask-timeout = 10 seconds } # Collect some profiling data. profiling = false # The timeout for retrieving an data element from an actor path. fetch-data-timeout = 60 seconds # The timeout for the return of the xml data structure tree. fetch-data-structure-timeout = 30 seconds # The timeout for a single transformation. transformation-timeout = 90 seconds analyzer { finish-timeout = 30 seconds } frontend { # Placeholder for frontend configuration. Don't delete! } # Server configuration. server { # The hostname of the server's machine with fallback to localhost.

10 } } hostname = "localhost" hostname = ${?tensei.server.hostname} # The port of the akka system of the server cluster with fallback to the default port. port = 4096 port = ${?tensei.server.port} Benutzeroberfläche Server TODO TODO

11 Chapter 3. Agentencluster Ein Agent kann auf mehreren Rechnern gestartet werden (Clustering). Damit dies funktioniert muß die folgenden Anleitung beachtet werden. Im derzeitigen Clustermodell leistet der Hauptknoten die wesentliche Arbeit (Parsing, Processing) und nutzt die anderen Knoten zur Verteilung der anfallenden Datenmenge. Zukünftig soll auch parallelisierbare Arbeit auf die anderen Knoten verteilt werden. Alle Knoten (Nodes) innerhalb des Clusters müssen die gleiche ID für den Agenten definiert haben (tensei.agent.id)! Das Agentenverzeichnis muß auf alle betreffenden Rechner kopiert werden. Anschließend muß ein Rechner als Hauptknoten (Seed-Node) festgelegt werden. Der Hauptknoten muß immer zuerst gestartet werden! Die folgenden Systemeigenschaften können zur Konfiguration des Agentenclusters auf den einzelnen Knoten genutzt werden: Table 1. Konfigurationsvariablen für den Agenten Variable Beschreibung Standardwert tensei.agent.hostname Der Hostname oder die IP- Adresse des Knotens. localhost tensei.agent.port Die Portnummer des Knotens tensei.server.hostname Der Hostname oder die IP- Adresse des Servers. localhost akka.cluster.seed-nodes.0 Die Adresse des Hauptknotens. Die Adresse des Hauptknotens muß eine gültige Akka-Cluster-Adresse sein wie z.b. Die Parameter können direkt beim Aufruf des Startskripts via -D gesetzt oder in der Datei tensei.conf geändert werden Häufige Fragen Wie kann ein Knoten hinzugefügt werden? Ein Knoten wird einfach auf einem Rechner eingerichtet und gestartet. Wenige Sekunden später sollte er auch in der Benutzeroberfläche sichtbar sein.

12 Wie kann ein Knoten entfernt werden? Der entsprechende Knoten wird einfach beendet und ist fortan für den Cluster nicht mehr verfügbar. Können Knoten im laufenden Betrieb hinzugefügt oder entfernt werden? Während eine Transformationskonfiguration ausgeführt wird, dürfen keine Knoten verändert werden! Was passiert, wenn der Hauptknoten neugestartet wird? Wenn der Hauptknoten durchgestartet wird, müssen alle anderen Knoten des Clusters ebenfalls durchgestartet werden.

13 Chapter 4. Wartung 4.1. Logdateien Die einzelnen Komponenten legen Logdateien an, die zur Fehleranalyse genutzt werden können. Darüberhinaus sind die Logdaten zu durchgeführten Transformationen auch direkt aus der Benutzeroberfläche verfügbar. Die Logdateien werden im Unterverzeichnis logs der jeweiligen Komponente abgelegt. Innerhalb der virtuellen Maschine gelten die folgenden Pfade: Table 2. Logdateien der einzelnen Komponenten in der VM /srv/tensei/tensei-frontend/logs /srv/tensei/tensei-server/logs /srv/tensei/tensei-agent/logs Logdaten der Benutzeroberfläche Logdaten des Servers Logdaten des Agentenknotens

14 Chapter 5. Aktualisierung (Updates) TODO