FileMaker als Multitalent für komplexe Schnittstellen

Transkript

1 FileMaker Konferenz2010 FileMaker Konferenz 2011 Hamburg FileMaker als Multitalent für komplexe Schnittstellen Daten- und Prozessintegration am Beispiel einer E-Commerce-Plattform Ein Vortrag von Marcel Moré

2 FileMaker Konferenz2010 FileMaker Konferenz 2011 Hamburg FileMaker als Multitalent für komplexe Schnittstellen allgemeine Grundlagen Projekt aus der Praxis Lösungsbeispiele ca. 90 min

3 FileMaker Konferenz 2011 Hamburg It s all about the Interface!

4 It s all about the Interface!

11 Grenzen überwinden

12

13 FileMaker Konferenz 2011 Hamburg ein wenig Theorie...

14 FileMaker Konferenz 2011 Hamburg Welche Arten von Schnittstellen gibt es?

15 FileMaker Konferenz 2011 Hamburg Arten von Schnittstellen im Kontext der Datenbank Benutzer-Schnittstellen Daten-Schnittstellen System-Schnittstellen

16 FileMaker Konferenz 2011 Hamburg typische Erscheinungsformen

17 FileMaker Konferenz 2011 Hamburg typische Erscheinungsformen von Daten-Schnittstellen Personen Belege Daten- Anbindung

18 FileMaker Konferenz 2011 Hamburg Übertragungswege

19 FileMaker Konferenz 2011 Hamburg Übertragungswege Flatfiles Text-Files strukturierte Dateien FileMaker-Files XML Excel APIs SQL / ODBC URL Web-Services Media-Files PDF System- Schnittstellen (VBA, AppleScript, Plugins) Codierung!!! ISO, MacRoman, UTF-8, UTF-16

20 FileMaker Konferenz 2011 Hamburg Aufruf-Methoden

21 FileMaker Konferenz 2011 Hamburg Aufruf-Methoden dedizierte Scriptschritte indirekte Aufrufe externe Aufrufe Import Datensätze importieren Bild einfügen Quicktime einfügen Datei einfügen Einfügen Feldwert setzen [Feld; LiesLayoutobjektAttribut ( "Webviewer" ; "Inhalt")] Plugins / externe Funktionen: WebServices, SQL, PHP, JavaScript, Flash,.NET, Groovy, Unix-Shell, Export Datensätze exportieren Exportiere alle Feldwerte Datensätze als Excel speichern Datensätze als PDF speichern Kopie speichern unter Kopieren URL öffnen senden AppleScript ausführen Event senden Plugins / externe Funktionen: WebServices, SQL, PHP, JavaScript, Flash,.NET, Groovy, Unix-Shell,

22 FileMaker Konferenz 2011 Hamburg Eigenschaften von Schnittstellen

23 FileMaker Konferenz 2011 Hamburg Eigenschaften Entkopplung Filterung Mapping Veränderung Meta-Daten

24 FileMaker Konferenz 2011 Hamburg Entkopplung zeitlich Import und Export laufen nicht synchron räumlich inhaltlich strukturell Import und Export finden auf unterschiedlichen Systemen statt Datenset kann unterschiedlichen Umfang haben (z.b. Teilmenge wird ersetzt, angefügt) unterschiedliche Datensets werden akzeptiert (multi-funktional, Versionierung)

25 FileMaker Konferenz 2011 Hamburg Filterung Struktur nur bestimmte Spalten/Felder werden verarbeitet Daten nur bestimmte Zeilen/Datensätze werden verarbeitet Inhalte Inhalte werden nach Regeln gefiltert (z.b. nur erlaubte Zeichen/Werte)

26 FileMaker Konferenz 2011 Hamburg Mapping Zuordnung strukturelle Verknüpfungen der Spalten/Felder zwischen Quell- und Zielsystem Übersetzung regelbasierte Anpassungen der Inhalte (z.b. unterschiedliche Schlüsselsysteme) Konstanten Ergänzung von statischen Inhalten, welche im Zielsystem gebraucht werden (z.b. Einheiten, globale Schlüssel)

27 FileMaker Konferenz 2011 Hamburg Veränderung Aggregierung Splittung Optimierung Anreicherung Zusammenfassung von Inhalten aus verschiedenen Quellen/Spalten/Datensätzen Verteilung von Inhalten auf verschiedene Ziele/Spalten/Datensätze Rechenintensive Operationen werden vorab ausgeführt Pre-Caching (Spezialfall der Aggregierung) Inhalte werden aus Zusatzquellen oder nach bestimmten Regeln ergänzt

28 FileMaker Konferenz 2011 Hamburg Metadaten Status Steuerung Zeitstempel Logging Zustandsinformationen, die für die Auswahl oder Verarbeitung der Quelldaten relevant sind (z.b. Semaphore-Dateien) Zusatzinformationen, welche die Art der Verarbeitung steuern (z.b. Codierung im Dateinamen) Spezialfall der Statusinformation (z.b. für Synchronisation von Beständen) Speicherung eines Ergebnisberichts (z.b. Uhrzeit, Dauer, Menge der Datensätze)

29 FileMaker Konferenz 2011 Hamburg Steuerung von Schnittstellen

30 FileMaker Konferenz 2011 Hamburg Steuerung Richtung One-Way Two-Way Sync Auslöser manuell Datei-gesteuert Zeit-gesteuert Schema- Definition Adhoc längerfristig stabil Häufigkeit einzeln wiederkehrend zyklisch Quellen eine Datei viele gleiche Dateien unterschiedliche Dateien * Spalten haben keinen Bezug zueinander

31 FileMaker Konferenz 2011 Hamburg Design-Ziele

32 FileMaker Konferenz 2011 Hamburg Design-Ziele Einfachheit Flexibilität Performance Robustheit Sicherheit Skalierbarkeit

33 FileMaker Konferenz 2011 Hamburg Umgang mit Veränderungen

34 Datenimport Quelle.fp7 Ziel.fp7

37 Datenimport Quelle.fp7 Ziel.fp7 Was nun? a) Mapping anpassen b) Ziel-Schema ergänzen c) Entkopplung...

38 Entkopplung Datenexport Datenimport Quelle.fp7 Update.fp7 Ziel.fp7 Spezifiziertes Austausch- Schema

39 Ziel.fp7

40 Ziel.fp7

41 FileMaker Konferenz 2011 Hamburg Willkommen in der Realität!

42 FileMaker Konferenz 2011 Hamburg Fallbeispiel aus der Praxis

43 FileMaker Konferenz 2011 Hamburg Gross- und Versandhandel für Fahrzeugersatzteile Anfänge als typische Garagenfirma : Gründer versendet Teile für Oldtimer während des Studiums zu Hause vom Küchentisch Heute: führender Spezialanbieter für Volvo- und Saab-Teile mit weltweitem Handel; 30 Mitarbeiter; Teile im Sortiment seit 15 Jahren individuell entwickelte FileMaker-Lösung Einstieg 1996 mit FileMaker Version 3 heute FileMaker Version 6 Migration auf Version 10 in der Umsetzung

44

45

46 Warenwirtschaft

47 Artikel Warenwirtschaft Banking DATEV Preise

48 Preislisten Website (1998) Banking Artikel DATEV Preise Warenwirtschaft Versandlogistik

49 Preislisten Website (1998) CD-ROM Katalog Artikel Bilder Banking Preise Warenwirtschaft Versandlogistik DATEV

50 Website Spezial Shops CD-ROM Katalog Preislisten Artikel Bilder Banking Preise Reports Warenwirtschaft Versandlogistik DATEV

51 SHOP Spezial Shops Preislisten Kataloge PIM Bilder Artikel Banking Preise Reports Warenwirtschaft Versandlogistik DATEV

52 FileMaker Konferenz 2011 Hamburg merke:»änderungen sind nicht die Ausnahme, sondern der Normalfall.«

53 FileMaker Konferenz 2011 Hamburg ausgewählte Lösungsansätze... 3 Beispiele

54 FileMaker Konferenz 2011 Hamburg Beispiel 1

56 SHOP Spezial Shops Preislisten Kataloge Produktdaten und Preise von Lieferanten werden importiert PIM Bilder Artikel Banking Preise Reports Warenwirtschaft Versandlogistik DATEV

57 Preislisten Artikel Kataloge SHOP PIM Warenwirtschaft Ausgangssituation Spezial Shops unzählige Vorlagen in unterschiedlichsten Formaten Adhoc-Import zu unregelmäßigen Zeitpunkten eigene qualifizierte Daten dürfen nicht überschrieben werden Design-Ziele Einfachheit Flexibilität Bilder Banking Eigenschaften Preise Reports Versandlogistik Entkopplung Mapping Filterung Veränderungen DATEV Logging

58 Daten-Layer 1 Artikel-Struktur ist in unabhängige Tabellen gegliedert Artikel Einkauf Preise

59 Daten-Layer 1 Artikel-Struktur ist in unabhängige Tabellen gegliedert Tabellen-Struktur ist Teil des Schnittstellen-Designs Artikel Artikel Einkauf Preise Artikel Extern

60 Daten-Layer 1 Artikel-Struktur ist in unabhängige Tabellen gegliedert Tabellen-Struktur ist Teil des Schnittstellen-Designs Entkopplung! Artikel Artikel Einkauf Preise Artikel Extern Verarbeitung Artikel Import 1

61 Demo

62

63

64

65

66

67

68

69

70

71

72

75 SHOP Spezial Shops Preislisten Kataloge PIM Aufträge aus dem Online-Shop werden in die Warenwirtschaft übernommen Bilder Artikel Banking Preise Reports Warenwirtschaft Versandlogistik DATEV

76 Kataloge SHOP Ausgangssituation Spezial Shops Neue Daten können jederzeit dazukommen Daten müssen auf Anforderung sehr zeitnah vorliegen Preislisten Artikel PIM Warenwirtschaft kein direkter Transportweg möglich wegen technischer Beschränkungen und Sicherheitsanforderungen Bilder Design-Ziele Robustheit Performance Sicherheit Banking Flexibilität Eigenschaften Preise Reports Versandlogistik Entkopplung Mapping Filterung Veränderungen DATEV Tunneling

77 XML Import FileMaker lokal Shop WEB

78 XML Import type=auftrag & id= XML XSLT FileMaker lokal Shop WEB

79 XML Import? Auth = WEB-Passwortschutz SSL = verschlüsselte Übertragung FileMaker lokal Shop WEB

80 ? Auth = WEB-Passwortschutz SSL = verschlüsselte Übertragung beide Optionen werden von FileMaker NICHT unterstützt

81 ? Was nun? HTTP-Proxy bauen mit Hilfe von CURL Auth = WEB-Passwortschutz SSL = verschlüsselte Übertragung beide Optionen werden von FileMaker NICHT unterstützt

82 XML Import MAMP FileMaker lokal Proxy lokal Shop WEB

83 XML Import type=auftrag & id= type=auftrag & id= authenticate as: username - passwort MAMP FileMaker lokal Proxy lokal Shop WEB

84 XML PHP Script Import MAMP FileMaker lokal Proxy lokal Shop WEB

85 XML Import MAMP FileMaker lokal Proxy lokal Shop WEB

86 Demo

87 Benachrichtigung per

88

89

90

91

92

95 SHOP Spezial Shops Preislisten Kataloge PIM Bilder Artikel Produktstammdaten werden für unterschiedliche Verwendungszwecke in verschiedensten Formaten bereit gestellt Banking Preise Reports Warenwirtschaft Versandlogistik DATEV

96 Kataloge SHOP Ausgangssituation Spezial Shops hochkomplexe Datenstrukturen müssen inhaltlich aggregiert werden zyklischer Export in regelmäßigen Intervallen Preislisten Artikel PIM Warenwirtschaft unterschiedliche Ziel-Systeme in verschiedenen Ausgabeformaten müssen adressiert werden Bilder Design-Ziele Robustheit Performance Skalierbarkeit Banking Flexibilität Eigenschaften Preise Reports Versandlogistik Entkopplung Mapping Filterung Veränderungen DATEV Ablaufsteuerung Logging

97 Shop Upload WAWI v6 v10 PIM FileMaker lokal Produktgruppen Produkte Beschreibungen Preise Lagerbestände Attribute Fahrzeuge Fahrzeugmerkmale Schlüsselsysteme Suchbegriffe Referenznummern ca. 1 Mio Datensätze Shop WEB

98 Shop Upload 1. Versuch WAWI v6 v10 FTP-Upload phpmyadmin PIM FileMaker lokal CSV-Dateien Shop WEB

99 Shop Upload 1. Versuch WAWI PIM v6 v überschaubarer Implementierungsaufwand fehlende Entkopplung nicht automatisiert Probleme mit großen Import-Dateien FTP-Upload (PHP-Scriptlaufzeit!) phpmyadmin FileMaker lokal CSV-Dateien Shop WEB

100 Shop Upload 2. Versuch v6 WAWI ESS v10 SSH-Tunnel mysql Replikation PIM FileMaker lokal Schnittstelle lokal Shop WEB

101 Shop Upload 2. Versuch WAWI PIM v6 v ESS bietet elegante Implementierung fehlende zeitliche und inhaltliche ESS Entkopplung Schemapflege aufwändig Replikation über SSH-Tunnel instabil und langsam SSH-Tunnel mysql Replikation FileMaker lokal Schnittstelle lokal Shop WEB

102 Shop Upload 3. Versuch v6 WAWI Export v10 mysql Importer PIM LaunchAgent Bash SSH-Tunnel Cron Bash FileMaker lokal Schnittstelle lokal Shop WEB

103 Shop Upload 3. Versuch WAWI v6 + komplette Entkopplung: - inhaltlich - strukturell - zeitlich - Transportweg Export flexible Wartung skalierbar PIM v10 - performant hoher Entwicklungsaufwand LaunchAgent SSH-Tunnel Bash mysql Importer Cron Bash FileMaker Schnittstelle Shop lokal lokal WEB

104 Demo

105 Schritt 1: Datenexport starten ical AppleScript

106 Schritt 2: Dateien ins Austauschverzeichnis FileMaker FileMaker

107 FileMaker Schritt 3: Import in Schnittstelle

108 FileMaker Schritt 4: Datenverarbeitung

109 Schritt 4: Datenverarbeitung Filterung Mapping Aggregierung Optimierung Ablaufsteuerung FileMaker Logfiles -alerts

110 FileMaker Schritt 5: Importdateien erzeugen

111 Schritt 6: Datei-Upload lokal Unix-Bash

112 Schritt 6: Datei-Upload

113 Schritt 7: Import-Trigger WEB-Shop Unix-Bash

114 Schritt 7: Import-Trigger

115 Schritt 8: mysql-import WEB-Shop Unix-Bash

116 Schritt 8: mysql-import

117 Schritt 9: Cache leeren WEB-Shop

118 Ergebnis

119 Ergebnis Datensätze 1 Mio Verarbeitungsdauer * 9 Std Upload Größe 84 MB Upload Dauer ** 5 Min Import 20 Sec * Mac mini ** DSL 1MBit Upstream

120 One more thing...

121 Zusatznutzen Shop Universal- Schnittstelle

122 FileMaker Konferenz 2011 Hamburg Soviel zu den Praxis-Beispielen

123 FileMaker Konferenz 2011 Hamburg Fazit

124 FileMaker Konferenz 2011 Hamburg Es gibt immer einen Weg!

125 FileMaker Konferenz 2011 Hamburg Jede Schnittstelle braucht ihre eigene Optimierungsstrategie.

126 FileMaker Konferenz 2011 Hamburg Machmal muss man kreativ sein und über den gegebenen Rahmen hinaus denken.

127 FileMaker Konferenz 2011 Hamburg Robustheit vor Eleganz.

128 FileMaker Konferenz 2011 Hamburg Automatisierung «is King!»

129 FileMaker Konferenz 2011 Hamburg FileMaker ist ein extrem nützliches Tool...

130 FileMaker Konferenz 2011 Hamburg FileMaker ist ein extrem nützliches Tool... für den Import vor dem Import

131 FileMaker Konferenz 2011 Hamburg FileMaker ist ein extrem nützliches Tool... einfach mal pragmatisch Hand anlegen und ein paar Konvertierungsschritte vorab machen, wenn bei sporadischen Imports eine Automatisierung zu aufwändig ist!

132 FileMaker Konferenz 2011 Hamburg FileMaker ist ein extrem nützliches Tool... für den Export sowieso

133 FileMaker Konferenz 2011 Hamburg Auch wenn die Hauptsysteme nicht auf FileMaker basieren, kann FileMaker ein hervorragendes Schnittstellen-Tool sein.

134 Danke

135 FileMaker Konferenz 2011 Hamburg Vortrag zum Download

136 FileMaker Konferenz2010 FileMaker Konferenz 2011 Hamburg Vielen Dank unseren Sponsoren