Whitepaper ERP-Connector für MHS VERSION 2.0 ERSTELLT AM 10.01.2013 Zusammenfassung Der ERP-Connector für MHS ist ein innovatives Werkzeug, dass es IT-Abteilungen und BI- Administratoren auf einfache und komfortable Art ermöglicht Daten aus der Warenwirtschaft MHS (SHD, Intersystems Caché) in eine Microsoft SQL-Server-Datenbank zu überführen und dabei für SQL-Abfragen zu optimieren. BIC: COKSDE33 IBAN: DE27370502990045019470
Seite 2 von 8 Whitepaper ERP-Connector für MHS INHALTSVERZEICHNIS 1 EINLEITUNG... 3 2 FUNKTIONALITÄT... 4 3 KOMPONENTEN... 6 4 VERFÜGBARKEIT... 6 5 TECHNOLOGIE... 7 6 ÜBER BEYOND DATA... 8
Seite 3 von 8 Whitepaper ERP-Connector für MHS 1 EINLEITUNG Die Warenwirtschaft MHS beinhaltet eine Reihe von statistischen Auswertungen, die als Listen fest in die Anwendung integriert sind. Die Listen entsprechen allerdings nicht mehr den heutigen Anforderungen an Berichtswesen und schaffen oft nur einen partiellen Überblick über die Unternehmenskennzahlen. Dies führt dazu, dass in den Möbelhäusern eigene Berichtswesen neben den integrierten Listen aufgebaut werden. Am häufigsten erfolgt eine Übertragung der Informationen von MHS- Listen in eine Tabellenkalkulation wie z. B. Microsoft Excel. Die manuelle Übertragung der Daten verursacht durch den hohen Zeitaufwand erhebliche Kosten und beinhaltet die potenzielle Gefahr von Übertragungsfehlern. In den meisten Fällen sind die präsentierten Zahlen nicht mehr nachvollziehbar, da die Datenbasis nicht zentral gespeichert wird. Adhoc-Abfragen der Entscheidungsträger sind nahezu unmöglich. Zur Auswertung der operativen sowie statistischen Daten von MHS bietet SHD mit dem MIS-Reporter ein SQL-basiertes Produkt zur standardisierten Berichtserstellung an. Der MIS-Reporter basiert auf dem Cognos-Produkt Impromptu und greift über ODBC auf das ERP-System zu. In der Praxis hat sich allerdings gezeigt, dass der direkte SQL- Zugriff auf MHS ein technisches Problem darstellt. Die für SQL-Abfragen notwendige relationale Sicht der Daten wird über eine weitere logische Ebene innerhalb der Datenbank realisiert. In dieser Schicht werden die in MHS hierarchisch organisierten Daten, den sogenannten Globals, einem relationalen Modell zugeordnet (SQL-Mapping). Dieses Verfahren sorgt bei großen Datenmengen und komplexen SQL-Abfragen zu langen Antwortzeiten und einer Beeinträchtigung des operativen Systems. werden, es ist lediglich eine relationale Repräsentation der operativen Daten. Der ERP-Connector für MHS löst diese Probleme in dem er eine echte relationale Datenbank auf Basis des MSSQL-Servers zur Verfügung stellt und die Daten der MHS- Warenwirtschaft automatisiert und zeitgesteuert in die relationale Datenbank lädt. Die Tabellen stehen für Auswertungen über relationale Werkzeuge wie Microsoft Query, Excel, Cognos Impromptu oder andere SQL-fähige Werkzeuge zur Verfügung. Die Datenbank ist darüber hinaus eine ideale Basis für den Aufbau eines Data Warehouses. Einordnung ERP-Connector in den Gesamtkontext Data Warehouse Die logische Architektur von Data Warehouse Systemen lässt sich zunächst in drei Ebenen untergliedern: Datenerfassungsebene mit der Schnittstelle zu den operativen Systemen, Datenhaltungsebene und Datenbereitstellungsebene mit den Schnittstellen zu den Anwendungen und Präsentationswerkzeugen. Darüber hinaus kann das Datenmodell nicht bezüglich der Datenanalyse, wie z. B. mit Indizes und berechneten Feldern, optimiert
Seite 4 von 8 Whitepaper ERP-Connector für MHS Der ERP-Connector für MHS ist ein Werkzeug der Datenerfassungsebene zur Extraktion der Daten aus dem Warenwirtschaftssystem MHS und zum Laden bzw. Aktualisieren der Staging Datenbank des Data Warehouses. Es werden hierbei die beiden gängigen Strategien: das neue, vollständige Laden (reloading) und die inkrementelle Aktualisierung des Data Warehouse (incremental maintenance), unterstütz. Transformationen Es können Transformationsregeln auf Feldebene, wie z. B. das Entfernen von führenden und angehangenen Leerzeichen oder das umwandeln von Datentypen angewendet werden. Hierzu wird eine Standard-Auswahl an gängigen und auf MHS zugeschnittenen Funktionen zur Verfügung gestellt, die individuell erweitert werden kann. ERP-Connector für MHS Selektive Extraktion der Daten aus MHS Transformieren und Optimieren der Daten Laden der Daten in den MS SQL- Server Inkrementelles Aktualisieren Bereitstellen der Daten für SQL-fähige Werkzeuge (z. B. Microsoft Excel, Reporting Service) Automatisches Erzeugen von Integration Service-Paketen 2 FUNKTIONALITÄT Auswahl der Quelltabellen Der Zugriff auf die Warenwirtschaft MHS erfolgt über ODBC-Treiber der Datenbank Caché, wahlweise in 32 Bit oder 64 Bit. Mit dem ERP-Connector können die Tabellen der Warenwirtschaft MHS extrahiert werden. Je Tabelle wird individuell entschieden ob alle oder nur selektierte Spalten verarbeitet werden. Darüber hinaus können berechnete Felder erstellt und als logische oder persistente Spalten der Zieltabelle angehangen werden. Neben der Verarbeitung von einzelnen Tabellen können auch individuelle SQL- Abfragen als Quellsicht verwendet werden. MHS-spezifische Transformationsregeln Vordefinierte Auswahl sinnvoller Spalten Entfernen überschüssiger Leerzeichen Einfügen von Default-Werten zur Erhaltung der referenziellen Integrität Konvertieren von Spalten anhand der MHS-Stammdaten Konvertieren der Datentypen anhand des tatsächlichen Spalteninhalts Konvertieren von Datumsspalten (Jahr/Monat und Jahr/KW) Trennen von kombinierten Spalten Aufspaltung der MTEXT in separate Views Erstellen berechneter Spalten, z. B. zum Erzeugen fehlender Preis- Spalten Und viele mehr Eine weitere wichtige Funktionalität des ERP- Connectors ist die Prüfung der referentiellen Integrität zwischen zwei Tabellen. Die Verletzung wird nicht nur erkannt sondern kann durch die Definition von Default-Werten auch aufgelöst werden. Folgende Optionen stehen zur Verfügung: Datensatz nicht einfügen; komplette Verarbeitung stoppen Datensatz nicht einfügen; Verarbeitung mit dem nächsten Datensatz fortfahren Datensatz unter Verwendung eines Default-Wertes einfügen
Seite 5 von 8 Whitepaper ERP-Connector für MHS Anwendung von SQL-Domänen: In MHS werden nicht immer eindeutige Namensgebungen und Datentypdefinitionen verwendet. Beispielsweise erscheint die Domäne Lieferantennummer als Attributname [LiefNr] oder [Lieferant] oder [LieferantenNr] usw. Innerhalb des ERP-Connectors können entsprechende Domänen verwaltet werden. Die betroffenen Felder werden entsprechend umgewandelt. Sie erhalten somit durchgängige Feldnamen. Die Daten der Warenwirtschaft MHS liegen in einer hierarchischen Struktur vor. Die darauf aufgebaute logische relationale Sicht enthält in der Regel eine für SQL-Tabellen unübliche Verkettung der Hierarchischen Knoten als Primary-Key. Oft besteht der Primary Key der MHS-Tabellen daher aus vielen Attributen. Der ERP-Connector fast die unterschiedlichen Attribute zu einem Feld zusammen und erzeugt so einen eindeutigen flachen Schlüssel. Jede Zieltabelle erhält somit genau ein Schlüsselattribut, den Business Key. Zieltabellen Sollten die Zieltabellen in der ERP-Connector- Datenbank (Zieldatenbank) nicht vorhanden sein erstellt der ERP-Connector ein entsprechendes DDL- (Datendefinitionsanweisung) Skript. Auch Änderungen an bestehenden Tabellen werden automatisch erkannt und über entsprechende DDL-Skripte an die neue Struktur angepasst. Indizes können ebenfalls über den ERP- Connector gepflegt werden. So kann das Zielmodell hinsichtlich des Analyseverhaltens der Endanwender optimiert werden. Datenfluss Der ERP-Connector erzeugt Integration Services-Pakete die über Standardwerkzeuge des SQL-Servers administriert werden können. So können beispielsweise Pakete gruppiert werden die abends vor 5.0521 (Abarbeiten Tagesdatei) laufen und andere Pakete werden zusammengestellt und nach 5.0521 abgearbeitet. Die erzeugten Pakete können über das Visual Studio (Microsoft Entwicklungsumgebung) nachbearbeitet und individuell angepasst werden. Innerhalb der erzeugten SSIS-Pakete kommen von Beyond Data entwickelte SSIS- Komponenten zum Einsatz. BD Merge Komponente Mit dieser SSIS Komponente können die Tabellen mit unterschiedlichen Aktualisierungsmethoden geladen werden. Zur Verfügung stehen: Update: vorhandene Zeilen werden aktualisiert (UPDATE), neue Zeilen werden hinzugefügt (INSERT). Es wird für jeden Datensatz geprüft, ob er schon in der Datenbank enthalten ist, falls ja, wird darüber hinaus für definierbare Felder geprüft, ob ein Update erforderlich ist. Die Verarbeitung erfolgt zeilenweise. Truncate: Die Zieltabelle wird am Anfang der Verarbeitung gelöscht (Truncate) und dann neu geladen (INSERT). Die Verarbeitung erfolgt Blockweise. Die Größe der verarbeiteten Blöcke kann angegeben werden. Merge: Die Daten werden bei dieser Methode zuerst in eine temporäre Tabelle des SQL-Servers geladen (INSERT) und dann in einem weiteren Schritt mit der Zieltabelle innerhalb des SQL-Servers abgeglichen (MERGE). Mit dieser Methode können riesige Datenmengen schnell aktualisiert werden. Snapshot: Die Daten werden mit einem Zeitstempel versehen und der Tabelle angehangen (INSERT). Bei allen Methoden können auf Wunsch Systemfelder automatisch gepflegt werden. So kann beispielsweise der Zeitpunkt der Neuanlage und der Änderung automatisch je Datensatz vom System aktualisiert werden.
Seite 6 von 8 Whitepaper ERP-Connector für MHS BD LookUp Komponente Komponente zum Prüfen der referentiellen Integrität. Anhand eines oder mehrerer Felder wird in den entsprechenden LookUp-Tabellen geprüft ob der referenzierte Datensatz vorhanden ist. Nicht vorhanden Referenzen können durch Default-Werte oder NULL-Werte belegt werden. Die Zieltabelle kann zur Beschleunigung des Ablaufs im Bedarfsfall in den Cache (Arbeitsspeicher) geladen werden. 3 KOMPONENTEN Mit dem ERP-Connector erhalten Sie eine Werkzeugsammlung mit der Sie die Tabellen der Warenwirtschaft MHS in eine Relationale Datenbank innerhalb des MS SQL-Servers überführen können. Für jede einzelne Tabelle können sie das Aktualisierungsverfahren (inkrementell oder komplett) sowie den Intervall der Aktualisierung festlegen und überwachen. Das Produkt ERP-Connector besteht aus den folgenden Komponenten: Staging-Datenbank für MHS Sie erhalten eine MSQL-Server Datenbank fertig konfiguriert für die gängigsten MHS- Tabellen (MART, MLIEF, MSFIL, MSEIS, MAUF, MAUFZ, MBV MLAPL, und viele mehr). Die relationale Datenbank kann die Basis für den Aufbau eines Data Warehouse oder aber direkt von Endanwender für Ad-Hoc Abfragen oder zum Aufbau einer Reporting-Umgebung genutzt werden. ETL-Prozesse für MHS Für die gängigen MHS-Tabellen erhalten Sie ein Set von SSIS-Paketen die bereits auf MHS zugeschnittene Transformationsregeln enthalten und die im Standard ausgelieferten Tabellen mit Daten der Warenwirtschaft MHS automatisiert versorgen. Die vorgefertigten Pakete sind sofort einsetzbar. ERP-Connector Studio Mit dem ERP-Connector Studio können MHS- Tabellen die über die Standardauslieferung hinaus in die Zieldatenbank geladen werden sollen definieren und administrieren. Entsprechende Integration Services-Pakete werden automatisch generiert. Die neuen Tabellen werden, entsprechend der Definition im Studio, in der Zieldatenbank angelegt. Funktionen im ERP-Connector Studio Auswahl der Quelltabellen Verwenden von SQL-Abfragen als Quellsicht Anlegen von berechneten Spalten Erstellen eigener Transformationsregeln Anwenden von MHS-spezifischen Transformationsregeln Festlegen der Aktualisierungsmethode (Update, Truncate, Merge, Snapshot) Auswahl des Aktualisierungsintervalls Prüfen der referenziellen Integrität Definition von SQL-Domänen Automatisches Generieren eines eindeutigen Primary Keys (Business Key) Automatische Anlage der Zieltabellen Anlage von Indizes 4 VERFÜGBARKEIT Den ERP-Connector für MHS können Sie als Bestandteil unserer BI-Lösungen in der Smart- und Enterprise-Edition oder als eigenständiges Produkt von Beyond Data erwerben.
Seite 7 von 8 Whitepaper ERP-Connector für MHS 5 TECHNOLOGIE Das Kapitel beschreibt die für den ERP- Connector verwendeten Technologien. Die Informationen dienen dazu die Verfügbarkeit und Kompatibilitäten überprüfen zu können. Microsoft SQL Server Microsoft SQL Server ist ein relationales Datenbankmanagementsystem, welches Funktionalitäten beinhaltet um unternehmensweit als Data-Warehouse eingesetzt zu werden. Weitere Services, wie z.b. Integration Service, Reporting Service und Analysis Service ergänzen den SQL Server. Intersystems Caché Caché arbeitet mit der Unified Data Architecture, die alte und neue Welten verbindet, indem sie eine einheitliche Klassendefinition sowohl objektorientiert als Instanz als auch relational als Tabelle abbildet. Wie in folgender Abbildung dargestellt ist, stellen die enthaltenen Objektund SQL-Server alle Schnittstellen zur Verfügung, mit der existierende und neue relational oder objektorientierte Anwendungen gleichermaßen auf die Daten zugreifen können. MSSQL Server Integration Service Microsoft SQL Server Integration Services (SSIS) ist eine Plattform zum Erstellen von Datenintegrations- und Datentransformationslösungen auf Unternehmensebene. Hierbei werden Daten aus mehreren ggf. unterschiedlich strukturierten Datenquellen in einer Zieldatenbank vereinigt. Die MS Integration Services können Daten aus einer Vielzahl von Quellen, wie z. B. XML- Datendateien, Flatfiles und relationalen Datenquellen, extrahieren, transformieren und die Daten dann in ein oder mehrere Zielsysteme laden. Die MSSQL Integration Services sind damit die zentrale Komponente in der Zusammenführung von Daten aus bisher getrennten Systemen und helfen so, die Anzahl von Dateninseln zu reduzieren.
Seite 8 von 8 Whitepaper ERP-Connector für MHS 6 ÜBER BEYOND DATA Beyond Data ist seit 2008 erfolgreich im Bereich Information Management Consulting tätig. Aber auch schon davor haben unsere derzeit 13 operativ tätigen Mitarbeiter/innen ihre Kernkompetenzen in der Entwicklung und im Betrieb von Business Intelligence-Lösungen und webbasierten Unternehmensanwendungen unter Beweis gestellt. Unsere Expertise umfasst: BI-Lösungen: Data Warehouse, Dashboards, Standard-Reports, Web- Applikationen Branchenschwerpunkte: Möbelhandel, Pharma / Healthcare Datenbanken: SQL Server, Caché, Oracle, DB2 Softwaretechnologien: Java,.Net, Caché Object Script BI-Suiten: MS SQL Server 2008, Cognos, BO/Crystal Reports Dienstleistungen: Anforderungsanalyse, Projektleitung, Projektunterstützung, Schulungen