dpa-infocom - Datenlieferung

Transkript

1 dpa-infocom - Datenlieferung Copyright 2006 von dpa-infocom GmbH Status des Dokuments: FINAL Inhaltsverzeichnis Inhaltsverzeichnis Verzeichnisstrukturen Nachrichtenmanagement Datenübertragung Datenverarbeitung beim Kunden Einseitige Synchronisation Beidseitige Synchronisation... 4 Copyright 2006 von dpa-infocom GmbH 1

2 1. Verzeichnisstrukturen dpa-infocom liefert seine Inhalte in Diensten aus. Die Dateien jedes Dienstes werden in einer eigenen, fest vorgegebenen Verzeichnisstruktur gespeichert: Ein Dienst hat ein Basisverzeichnis. Der Name dieses Basisverzeichnisses entspricht dabei in der Regel dem Namen des Dienstes, also z.b. EcoLine oder SportsLine. Unterhalb des Basisverzeichnisses gibt es ein Verzeichnis, in dem die NITF-Dokumente des Dienstes flach, d.h. ohne weitere Unterverzeichnisse gespeichert werden. Der Name dieses Verzeichnisses folgt normalerweise dem Schema dpa-<dienstname>, also z.b. dpa-ecoline oder dpa-sportsline. Unterhalb des Basisverzeichnisses gibt es ein weiteres Verzeichnis für referenzierte Binärdaten, also z.b. Bilder oder Audio-Inhalte. Der Name dieses Verzeichnisses folgt normalerweise dem Schema dpa-<dienstname>-images, also z.b. dpa-ecoline-images oder dpa- SportsLine-images. 2. Nachrichtenmanagement Ein Teil der redaktionellen Leistung der dpa-infocom ist das Nachrichtenmanagement. Durch das Nachrichtenmanagement gewährleistet die dpa-infocom, dass der Meldungsbestand innerhalb eines Dienstes jederzeit in sich konsistent ist. Das umfasst mehrere Aspekte: Die dpa-infocom stellt sicher, dass in einer Rubrik jederzeit die vertraglich garantierten Mindestund Maximalmengen von Meldungen enthalten sind. Gibt es Aktualisierungen zu aktuellen Dokumenten, wird entweder eine aktualisierte Version des bereits publizierten Dokumentes erzeugt oder es wird ein neues Dokument mit aktualisiertem Inhalt publiziert und gleichzeitig das Dokument mit dem veralteten Inhalt wird gelöscht. Veraltete oder weniger relevante Inhalte werden durch die Redaktion gelöscht. Dieses Nachrichtenmanagement umfasst also drei Operationen: CREATE: Ein neues Dokument wird erzeugt und im Dienst publiziert. UPDATE: Ein existierendes, bereits publiziertes Dokument wird in aktualisierter Form publiziert. Folgende Formen von Aktualisierungen sind dabei möglich: o Inhaltliche Aktualisierungen, d.h. dass der Meldungstext oder die Überschrift oder ein Metadatum geändert worden ist. o Zuordnung zu einer dpa-rubrik, d.h. ein Dokument kann einer anderen dpa-rubrik zugeordnet worden sein. o Änderungen an den referenzierten Binärdaten, d.h. es können zusätzliche Binärdaten referenziert oder Referenzen zu Binärdaten aufgehoben worden sein. DELETE: Ein existierendes und publiziertes Dokument wird aus dem Dienst gelöscht. Um diese Änderungsoperationen den Kunden der dpa-infocom bekannt zu machen, wird der jeweils aktuelle Bestand an Dokumenten entsprechend der oben beschriebenen Verzeichnisstrukturen an die Kunden ausgeliefert: CREATE: Es wird ein neues Dokument im aktuellen Bestand bereitgestellt. UPDATE: Ein existierendes Dokument wird im aktuellen Bestand überschrieben. DELETE: Ein existierendes Dokument wird aus dem aktuellen Bestand gelöscht. Copyright 2006 von dpa-infocom GmbH 2

3 3. Datenübertragung Für die Auslieferung der Inhalte bietet die dpa-infocom die beiden Protokolle FTP soewie SFTP an. Bei FTP können die Inhalte entweder durch die dpa-infocom per PUSH zum Kunden übertragen oder vom Kunden per PULL von der dpa-infocom heruntergeladen werden. Für SFTP wird lediglich die PUSH- Variante angeboten. Die PUSH-Variante hat dabei folgende Vorteile: Inhalte werden zeitnah nach der Publikation zu den Kunden übertragen. Es werden nur die Änderungen zum Kunden übertragen. Die PULL-Variante wird von Kunden bevorzugt, die keinen FTP-Zugang zu den eigenen Servern zulassen möchten. Entscheidet sich der Kunde für die PULL-Variante, sollte er darauf achten, dass er einen intelligenten Mechanismus implementiert, bei dem lediglich die Änderungen vom FTP-Server übertragen werden. Werden dagegen immer alle Inhalte abgeholt, werden höhere Übertragungskosten erzeugt und ist es für die weitere interne Verarbeitung nicht mehr möglich, lediglich die Änderungen zu verarbeiten. SFTP unterscheidet sich gegenüber FTP darin, dass die gesamte Kommunikation zwischen dpa-infocom und den Kunden verschlüsselt erfolgt. Um eine Transaktionalität der Aktualisierung zu gewährleisten, bietet dpa-infocom bei den PUSH- Varianten zusätzlich noch zwei unterschiedliche Synchronisationsmechanismen an, die im folgenden Abschnitt näher erläutert werden. 4. Datenverarbeitung beim Kunden In diesem Abschnitt wird beschrieben, wie der Kunde die von der dpa-infocom bereitgestellten Änderungen verarbeiten sollte. Dabei wird zwischen den beiden Synchronisationsarten unterschieden. 4.1 Einseitige Synchronisation In der einseitigen Synchronisation wird von der dpa-infocom zusätzlich zu den Inhalten eine weitere Datei fertig.txt im Basisverzeichnis eines Dienstes verwaltet. Diese Datei wird zu Beginn der Aktualisierung gelöscht und nach erfolgreicher Aktualisierung wieder angelegt. Diese Variante verhindert, dass Kunden Aktualisierungen verarbeiten, während dpa-infocom Änderungen überspielt. Die Verarbeitung der von der dpa-infocom bereitgestellten Inhalte wird an hand des Schaubildes aus Abbildung 1 illustriert. Der Verarbeitungsprozess neuer Inhalte beginnt, sobald eine aktualisierte Datei fertig.txt durch die dpa-infocom bereitgestellt worden ist. Diese Datei wird nur aktualisiert, wenn auch Änderungen für den Kunden bereitgestellt worden sind. Zunächst muss festgestellt werden, welche Änderungen seit der letzten Verarbeitung stattgefunden haben. Zu diesem Zweck muss nach jedem Verarbeitungsprozess festgehalten werden, welche Dokumente mit welchem Zeitstempel bereits verarbeitet worden sind. Anhand der Änderungsliste müssen folgende Anpassungen vorgenommen werden: Neue Dokumente müssen importiert werden. Bei FTP-PULL müssen diese Dokumente zusätzlich noch vom dpa-infocom-server heruntergeladen werden. Bei Dokumenten mit neuem Änderungsdatum muss eine Aktualisierung des importierten Datensatzes stattfinden. Bei FTP-PULL müssen diese Dokumente zusätzlich noch vom dpa-infocom- Server heruntergeladen werden. Bei nicht mehr vorhandenen Dokumenten muss der entsprechende Datensatz gelöscht werden. Bei FTP-PULL müssen die entsprechenden Dokumente auf dem lokalen Server gelöscht werden. Copyright 2006 von dpa-infocom GmbH 3

4 Abbildung 1 Einseitige Synchronisation 4.2 Beidseitige Synchronisation Bei der beidseitigen Synchronisation kann der Kunde sicherstellen, dass dpa-infocom keine Aktualisierungen vornimmt, solange der Kunde Änderungen verarbeitet. Um dies zu ermöglichen muss der Verarbeitungsprozess beim Kunden leicht verändert werden. Sobald eine aktualisierte fertig.txt vorgefunden wird, muss diese in stop.txt umbenannt werden. Nachdem alle Veränderungen verarbeitet worden sind, muss die stop.txt wieder in fertig.txt umbenannt werden. Die dpa-infocom überträgt bei diesem Verfahren Änderungen nur, wenn auf dem Kundenserver das Löschen der fertig.txt erfolgreich ist oder keine stop.txt auf dem Kundenserver gefunden wird. Dieses Verfahren birgt allerdings die Gefahr, dass keine Inhalte aktualisiert werden können, falls der Kunde die stop.txt nicht wieder in die fertig.txt umbenennt. Der Kunde muss Sorge dafür tragen, dass die Umbennung nach jedem Aktualisierungsprozess gewährleistet ist. Ansonsten unterscheidet sich der Verarbeitungsprozess nicht von dem der einseitigen Synchronisation. Copyright 2006 von dpa-infocom GmbH 4

5 Abbildung 2 Beidseitige Synchronisation Copyright 2006 von dpa-infocom GmbH 5