Ausführliche Anleitung für die Langzeitarchivierung von Websites mit der Software Web Curator Tool (WCT)

Transkript

1 Ausführliche Anleitung für die Langzeitarchivierung von Websites mit der Software Web Curator Tool (WCT) Stand: Ioannis Charalambakis, Tobias Beinert 1

2 Inhalt Inhalt... 2 Einleitung... 3 Ziele und Grenzen der Webarchivierung... 3 Prozessbeschreibung: Workflow Webarchivierung mit dem Web Curator Tool... 5 Wichtige Symbole... 6 Registrieren und Anmelden... 7 Schritt 1 im Workflow: Auswahl der Websites zur Langzeitarchivierung... 8 Schritt 2 im Workflow: Einholen der Archivierungsbewilligung Schritt 3 im Workflow: Freigabe zum Harvesting Schritt 4 im Workflow: Erstellen des Target im Web Curator Tool Schritt 5 im Workflow: Speichern des Target Schritt 6 im Workflow: Harvesting der Website Schritt 7 im Workflow: Qualitätskontrolle Schritt 8 im Workflow: Archivierung der Website Sonderfall: Neue URL Checkliste für das Vorgehen bei der Langzeitarchivierung von Websites mit dem Web Curator Tool Glossar zur Webarchivierung

3 Hinweis: Dieses Dokument wurde im Rahmen des von der Deutschen Forschungsgemeinschaft geförderten Projekts Langzeitarchivierung von Websites durch Gedächtnisinstitutionen: Entwicklung eines Servicemodells auf Grundlage praktischer Erfahrungen von der Bayerischen Staatsbibliothek erstellt. Eine Beschreibung des Projekts und eine Darstellung der Webarchivierung finden Sie unter: Ein umfassendes Glossar mit einer Erläuterung der in diesem Dokument verwendeten deutschen und englischen Fachbegriffe der Webarchivierung ist diesem Dokument als Anlage beigefügt. Einleitung Das Referat Digitale Bibliothek/Münchener Digitalisierungszentrum (MDZ) der Abteilung Digitale Bibliothek und Bavarica (DBB) in der Bayerischen Staatsbibliothek hat sich nach eingehender Evaluierung möglicher Programme zum Webharvesting und zur Webarchivierung 2011 für die Open-Source-Software Web Curator Tool (WCT) entschieden. Mit Hilfe dieser Software können für einzelne Websites Archivierungsgenehmigungen eingeholt, Archivkopien erstellt und qualitätskontrolliert werden und schließlich für die Nutzer mittels dem Viewer OpenWayback auf Dauer bereitgestellt werden. 1 Eine Website ist ein virtueller Platz im World Wide Web, an dem sich meist mehrere Webpages und/oder Dokumente (Dateien) und andere Ressourcen befinden. Diese sind üblicherweise durch eine einheitliche Navigation (Hypertext-Verfahren) zusammengefasst und verknüpft. So ist etwa die Seite als Gesamtes eine Website, die im Internet auf einem oder mehreren Host-Rechnern (Servern) gespeichert ist, während das, was gerade im Browser angezeigt wird, speziell eine einzelne Webpage (z.b. ist. Das vorliegende Dokument bietet eine Schritt-für-Schritt-Anleitung für Einsteigenrinnen und Einsteiger in die Benutzung des Web Curator Tools zur Erstellung von Archivkopien einzelner Websites im Rahmen eines selektiven Harvesting. Ziele und Grenzen der Webarchivierung Das Internet kann als ein aktives Publikationssystem bezeichnet werden, das ständig neue oder veränderte Inhalte produziert und in dem viele Informationen wieder verschwinden, weil sie ersetzt, verschoben oder gelöscht wurden. Zugleich wandeln sich auch die Darstellungsformen und Applikationen, mit denen die Inhalte präsentiert werden. Ziel der Webarchivierung ist es deshalb (ausgewählte) Websites zu sammeln, persistent zu speichern und künftigen Generationen dauerhaft zur Verfügung zu stellen. Es wird unterschieden zwischen einem Domain Harvesting, das das gesamte Webangebot einer Domain (z.b. *.de) umfasst, Selective Harvesting, das nur ausgewählte Websites speichert und dem sogenannten Event Harvesting, das Internetangebote zu einem bestimmten Ereignis (z.b. Bundestagswahl 2009) archiviert. Da sich die ständige Veränderung und Weiterentwicklung sowohl der Inhalte als auch der Darstellungsformen sehr schnell vollzieht, sind dem Ziel der Webarchivierung Grenzen gesetzt. So wird es immer nur möglich sein, bestimmte Zeitschnitte einer Website abzubilden, z.b. die Archivierung eines Internetangebots im Halbjahres- 1 Für weiterführende Informationen zur Software selbst und ihren weiteren, über den aktuellen Workflow hinausgehenden Möglichkeiten, besuchen Sie bitte die Website (abgerufen am: ). 3

4 oder Jahresrhythmus. Alle Veränderungen, die in der Zwischenzeit vorgenommen wurden, lassen sich nicht mehr nachvollziehen. Von den Harvestern kann auch selten der gesamte Inhalt einer Website erfasst werden, da viele Inhalte dynamisch z.b. durch eine Datenbankabfrage generiert werden und somit nicht statisch zur Verfügung stehen. Auch dynamische Applikationen wie JavaScript, Flash-Angebote oder YouTube-Videos können nicht geharvestet werden. Externe Verlinkungen werden grundsätzlich abgeschnitten, da die Archivierung sonst in zu großem Umfang vorgenommen werden würde. 4

5 Prozessbeschreibung: Workflow Webarchivierung mit dem Web Curator Tool 5

6 Wichtige Symbole View Ermöglicht die Ansicht des gewünschten Objektes, jedoch nicht dessen Bearbeitung Edit Ermöglicht die Bearbeitung des gewünschten Objektes Copy Kopiert das Target mitsamt der zugehörigen Harvest Authorisation - nicht relevant, bitte nicht verwenden - Generate letter/ Leitet weiter zum Versand einer Harvest Authorisation als Brief / Delete Löscht das Objekt Transfer Ersetzt mehrere Harvest Authorisations - nicht relevant, bitte nicht verwenden - Unlink Kappt eine Verbindung zwischen zwei Objekten (z.b. zwischen einer Harvest Authorisation und einem Target ) Harvest now Das Web Curator Tool beginnt sofort mit dem Harvesting Pause Das Web Curator Tool unterbricht das Harvesting Stop Das Web Curator Tool beendet das Harvesting Archive Verschiebt den geharvesteten Zeitabschnitt ins Archiv am Leibniz-Rechenzentrum 6

7 Registrieren und Anmelden Bevor Sie beginnen können, mit dem Web Curator Tool Websites zu harvesten und zu archivieren, müssen Sie sich zunächst registrieren lassen. Bitte schreiben Sie dazu eine an Sobald Sie für die Langzeitarchivierung von Websites freigeben wurden, erhalten Sie eine an die von Ihnen angegebene Adresse, in der Ihnen Ihr Benutzername (username) und ein Kennwort (password) sowie der Link zum Web Curator Tool mitgeteilt werden. Bitte bewahren Sie diese Angaben sorgfältig auf und geben Sie diese nicht an Dritte weiter. Sie können sich im Web Curator Tool anmelden, indem Sie Ihren Benutzernamen (username) und Ihr Kennwort (password) eingeben und anschließend auf klicken (Abb. 1). Bei der ersten Anmeldung werden Sie gebeten, Ihr Kennwort zu ändern. Abb. 1 Bitte bewahren Sie Ihr persönliches Kennwort sicher auf und geben Sie es nicht an Dritte weiter. 7

8 Schritt 1 im Workflow: Auswahl der Websites zur Langzeitarchivierung Inhaltliche Kriterien Die Auswahl langzeitarchivierungswürdiger Websites wird durch die jeweils zuständigen Mitarbeiter der Institutionen getroffen. Technische Kriterien / Negativliste Webressourcen mit folgenden Kriterien sind aus technischen Gründen von der Archivierung mit dem Web Curator Tool ausgeschlossen: 1) Einzelne Animationen und Flash-Dateien 2) Websites mit überwiegendem Anteil an Animationen (Flash/Java-Script) 3) Websites, die nur aus einer Suchmaske für die Suche in einer oder mehreren Datenbanken bestehen, weil dynamisch generierter Inhalt nicht erfasst werden kann 4) (Unkommentierte) Linklisten, weil externe Links nicht weiterverfolgt werden 5) Streaming Media, wie z.b. YouTube-Videos, falls der Großteil der Website daraus besteht Prüfung auf Redundanz Bevor eine neue Website zum Harvesting und Archivieren angelegt wird, muss sie zunächst auf Redundanz im Web Curator Tool geprüft werden. Bevor Sie mit dem Harvesting und der Archivierung einer neuen Website beginnen, müssen Sie zunächst überprüfen, ob diese Website eventuell schon bearbeitet wurde. Am einfachsten finden Sie dies heraus, indem Sie kontrollieren, ob bereits eine Harvest Authorisation angelegt wurde. Dafür klicken Sie bitte auf der Startseite unter Harvest Authorisations auf (Abb 2). Abb. 2 8

9 Als ersten Schritt entfernen Sie bitte die automatische Belegung des Feldes Agency, indem Sie in dem Dropdown-Feld Agency das leere Feld wählen. Dies ermöglicht Ihnen, nicht nur die von Ihnen angelegten, sondern alle Harvest Authorisations im Web Curator Tool zu durchsuchen. Danach geben Sie in den Suchschlitz unter URL Pattern die vollständige URL der Website ein, die Sie auf Redundanz überprüfen möchten (hier: Für die Archivierung von Unterseiten einer Website wird im Web Curator Tool eine Generalgenehmigung für die gesamte Website angelegt. Möchten Sie eine Unterseite bearbeiten, geben Sie bitte für eine Redundanz- Prüfung die URL der Oberseite in den Suchschlitz unter URL Pattern ein (etwa: für die Unterseite ). Klicken Sie anschließend auf. Abb. 3 Für die Website wurde bereits eine Harvest Authorisation angelegt (Abb. 3). Sie müssen diese also nicht nochmals anlegen. Nur wenn noch keine Harvest Authorisation für die entsprechende Website angelegt wurde, wird der Workflow an diesem Punkt weiter fortgeführt. 9

10 Schritt 2 im Workflow: Einholen der Archivierungsbewilligung Erstellen einer Bitte um Genehmigung im Bereich Harvest Authorisation des Web Curator Tool und automatischer Versand an den Betreiber der jeweiligen Website. Vorsicht: Ohne Zustimmung des Betreibers darf aus urheberrechtlichen Gründen grundsätzlich keine Website geharvestet oder archiviert werden. Davon abweichende gesetzliche Regelungen sind in den einzelnen Bundesländern möglich. Um eine neue Harvest Authorisation zu erstellen, klicken Sie bitte auf der Startseite des Web Curator Tool unter Harvest Authorisations auf (Abb. 4). oder im Arbeitsbereich Harvest Authorisations auf Abb. 4 Geben Sie unter dem Reiter General bei Titel einen aussagekräftigen Namen für die Archivierungsbewilligung der Website ein, die Sie archivieren möchten (Empfehlung: Titel der betreffenden Website_Genehmigung). Wenn Sie mehrere Unterseiten einer Website bearbeiten möchten, legen Sie bitte nur eine Harvest Authorisation (Generalgenehmigung) für die gesamte Website an. In diesem Fall geben Sie bei Titel einen aussagekräftigen Namen für die Archivierungsbewilligung der gesamten Website ein, die Sie archivieren möchten (Empfehlung: Titel der Oberseite_Genehmigung, hier: Regierung der Oberpfalz_Genehmigung) (Abb. 5). In Schritt 4 im Workflow Erstellen des Target im Web Curator Tool wird für jede der Unterseiten jeweils ein Target angelegt und automatisch mit der Generalgenehmigung verlinkt. 10

11 Abb. 5 Geben Sie unter dem Reiter URL Patterns bei New URL Patterns die URL der Website ein, für die Sie die Genehmigung erstellen (Abb. 6). Für eine Generalgenehmigung geben Sie bitte die URL der Oberseite der Website ein. Klicken Sie anschließend auf. Abb. 6 Die URL der betreffenden Website wurde mit der Genehmigung verlinkt. Öffnen Sie jetzt bitte den Reiter Authorising Agencies und klicken Sie auf (Abb.7). Abb.7 11

12 Geben Sie bei Name bitte einen aussagekräftigen Namen für die Organisation ein, welche die zu archivierende Website betreibt (Empfehlung: Titel der betreffenden Website_Kontakt, Beispiel hier: Amt für ländliche Entwicklung Mittelfranken_Kontakt) und bei Contact den Namen des Betreibers bzw. verantwortlichen Administrators der Website. Geben Sie bitte bei unbedingt die entsprechende -Adresse ein. Gibt es für die entsprechende Website keine -Adresse sondern nur ein Kontaktformular, wird dies im Feld Address vermerkt. Bitte geben Sie in diesem Fall die URL des Kontaktformulars ein, etwa in der Form Kontaktformular unter (Abb. 8) Abb. 8 Klicken Sie abschließend auf. Öffnen Sie jetzt den Reiter Permissions und klicken Sie auf (Abb. 9). Abb. 9 12

13 Geben Sie bei Dates bitte im ersten Feld das aktuelle Datum Ihrer Bearbeitung ein, wenn nicht anders vereinbart. Im zweiten Feld haben Sie die Möglichkeit einzugeben, bis zu welchem Datum die Genehmigung des Betreibers der betreffenden Website gilt das Web Curator Tool harvestet automatisch nur bis zu diesem Zeitpunkt. Sie sollten dieses Feld aber leer lassen, sofern keine Einschränkungen vorliegen. Beachten Sie bitte, dass Datumsangaben grundsätzlich in folgendem Format eingegeben werden müssen: tt/mm/jjjj. Bei State lassen Sie im Dropdown-Feld Pending stehen. Bitte vergessen Sie nicht, bei URLs die Harvest Authorisation mit der URL der betreffenden Website zu verlinken, indem Sie ein Häkchen setzen (hier: ) (Abb. 10). Abb. 10 Für jede Genehmigung können Zugriffsbeschränkungen eingerichtet werden, die in den Metadaten des Target gespeichert werden und damit für eine differenzierte Bereitstellung der einzelnen Harvests verwendbar sind ( Die Festlegung der verfügbaren Zugriffsbeschränkungen erfolgt im Rahmen der Ersteinrichtung in Absprache mit den Systemadministratoren). Bitte wählen Sie dazu im Dropdown-Feld Access Status zwischen den Bereichen weltweit, Campus oder Einzelplatz aus (Abb. 11). Abb

14 Klicken Sie anschließend im unteren Bereich der Seite auf. Die Permission wird dadurch gespeichert (Abb. 12). Abb. 12 Klicken Sie im folgenden Fenster nochmals auf (Abb. 13). Abb. 13 Die neue Harvest Authorisation für die zu archivierende Website wurde als Pending gespeichert. Sie befinden sich nun in der allgemeinen Übersicht des Bereiches Harvest Authorisations. Für die weitere Bearbeitung suchen Sie bitte die entsprechende Harvest Authorisation, indem Sie die URL in der Suchmaske bei URL Pattern eingeben. Klicken Sie bitte auf und anschließend auf den Button rechts neben der Harvest Authorisation, um zum Mailversand zu gelangen (Abb. 14). Abb

15 Achten Sie bitte unbedingt darauf, im Dropdown-Feld den passenden Text für die Archivierungsbewilligung auszuwählen. Es werden Ihnen automatisch die für Sie angelegten Bewilligungstexte angezeigt. Bitte wählen Sie die entsprechende Sprache (Abb. 15). Abb. 15 Klicken Sie anschließend auf den Button rechts neben dem Dropdown-Feld. Die ausgewählte wird Ihnen jetzt angezeigt. Das Web Curator Tool versendet die automatisch an diejenige -Adresse, die Sie zuvor bei Authorising Agencies angeben haben. Versenden Sie nun die E- Mail an den Betreiber der zu archivierenden Website, indem Sie auf klicken (Abb. 16). (Abb. 16 Sobald Sie die verschickt haben, schaltet das Web Curator Tool den Status der Permission automatisch von Pending auf Requested um und Sie erhalten folgende Meldung: 15

16 Wenn Sie stattdessen auf klicken, so wird die Harvest Authorisation gedruckt und Sie müssen sie per Post an den Betreiber / verantwortlichen Administrator verschicken. Sie erhalten dann folgende Meldung: Dieses Vorgehen wird nicht empfohlen. Bitte wählen Sie diese Option jedoch, wenn auf der Website des Betreibers anstatt der Angabe einer -Adresse ein Kontaktformular eingerichtet ist. In diesem Fall kopieren Sie bitte das Anschreiben aus dem Web Curator Tool und setzen dieses in das Kontaktformular ein. Bis Sie die Genehmigung zur Archivierung erhalten und eingetragen haben, verbleibt die Archivierungsbewilligung im Status Requested. Erinnerungsanfrage versenden Haben Sie auf eine Bitte um Genehmigung nach einiger Zeit noch keine Antwort bekommen, kann über das Web Curator Tool eine Erinnerungsanfrage verschickt werden. Um sich im Bereich Harvest Authorisations alle Archivierungsbewilligungen anzeigen zu lassen, die Sie verschickt haben, aber noch nicht beantwortet worden sind, wählen Sie bitte in der Suchmaske im Dropdown-Feld bei Agency Ihre Institution und setzen Sie bei Permissions Status ein Häkchen bei Requested ( ). Eine bestimmte Archivierungsbewilligung finden Sie, wie oben beschrieben, durch eine Suche nach der URL. Klicken Sie bitte anschließend auf den Button (Abb. 17). rechts neben der entsprechenden Harvest Authorisation Abb

17 Bitte wählen Sie im Dropdown-Feld den passenden Text für die Archivierungsbewilligung aus (Abb.18). Abb. 18 Klicken Sie anschließend auf den Button rechts neben dem Dropdown-Feld. Wie oben beschrieben, wird Ihnen die ausgewählte auf der nächsten Seite noch einmal angezeigt. Versenden Sie nun die an den Betreiber der zu archivierenden Website, indem Sie auf klicken. Sonderfall: Archivierungsbewilligung aus der Anzeige nehmen Archivierungsbewilligungen können auf Disabled gesetzt werden, sodass sie in der Übersichtsseite nicht mehr angezeigt werden. Dies ist sinnvoll, wenn Sie auf Ihre Bitte um Genehmigung nach einem langen Zeitraum keine Antwort bekommen haben. Dafür öffnen Sie die entsprechende Harvest Authorisation, indem Sie auf klicken. Unter dem Reiter General nehmen Sie bitte das Häkchen bei Enabled ( ) heraus und speichern die Änderung mit einem Klick auf. Die Archivierungsbewilligung wird nun in der Übersicht bei Harvest Authorisations nicht mehr angezeigt. Um die Archivierungsbewilligung wieder anzeigen zu lassen, setzen Sie bitte wieder ein Häkchen bei Enabled und speichern die Änderung. Nun erscheint die Archivierungsbewilligung wieder wie zuvor in der Übersichtsseite (Abb. 19). Abb

18 Wollen Sie alle Archivierungsbewilligungen anzeigen lassen, auch die, die aus der Anzeige herausgenommen worden sind, setzen Sie bitte bei der Suche im Bereich Harvest Authorisations ein Häkchen bei Show Disabled ( ) (Abb. 20). Nun werden Ihnen bei einer Suche auch die deaktivierten Archivierungsbewilligungen angezeigt. Abb. 20 Schritt 3 im Workflow: Freigabe zum Harvesting Der Betreiber der Website muss Harvesting und Langzeitarchivierung seiner Seite zustimmen. Genehmigt der Betreiber Harvesting und Langzeitarchivierung, ist die Website zur Archivierung freigegeben. Widerspricht der Betreiber Harvesting und Langzeitarchivierung, so wird dies vermerkt und der Arbeitsprozess endet. Vorsicht: Um die Website zum Harvesting freizugeben und den Harvestprozess wirklich anzustoßen, muss die Website an zwei Stellen im Workflow freigegeben werden: 1. Die Archivierungsbewilligung muss im Arbeitsbereich Harvest Authorisation unter dem Reiter Permissions auf Approved umgestellt werden (siehe Schritt 3 im Workflow: Freigabe zum Harvesting). 2. Die Website muss im Arbeitsbereich Targets unter dem Reiter General auf Approved umgestellt werden (siehe Schritt 4 im Workflow: Erstellen des Target). Die Archivierungsbewilligung muss schriftlich erfolgen, entweder durch Zusendung des Formulars Archivierungs- und Nutzungsbewilligung ( per Post oder Fax, oder per mit Bezugnahme auf das Formular. Wenn Sie die Archivierungsbewilligung des Websitebetreibers erhalten haben, öffnen Sie bitte im Arbeitsbereich Harvest Authorisations die betreffende Archivierungsbewilligung, indem Sie auf klicken (Abb. 21). 18

19 Abb.21 Öffnen Sie bitte den Reiter Permissions und dann die betreffende Permission, indem Sie auf 22). klicken (Abb. Abb

20 Stellen Sie in dem sich öffnenden Fenster den State (Dropdown-Feld) der Permission auf Approved um (Abb. 23). Abb. 23 Geben Sie im Feld Annotations bitte ein, wann (Datum: tt/mm/jjjj) Sie die Archivierungsbewilligung erhalten haben, von wem (Name, Vorname, Institution) diese stammt und ergänzen Sie ggf. weitere Informationen. (Abb. 24). Diese Angaben werden später zusammen mit dem Archivobjekt (der Website) gespeichert und sind als Information in den Metadaten unverzichtbar. Abb. 24 Klicken Sie danach auf. Ihre Angaben werden der Permission beigefügt. Abb. 25 Klicken Sie anschließend bitte unten auf dieser Seite auf (Abb. 25). 20

21 Klicken Sie dann noch einmal in der Übersicht der Archivierungsbewilligung auf (Abb. 26). Abb. 26 Die Harvest Authorisation (hier: Amt für ländliche Entwicklung Mittelfranken_Genehmigung ) wurde als Approved gespeichert und wird nun der passenden Website (hier: beim Harvesting und bei der Langzeitarchivierung beigefügt. Die Website ist jetzt zum Harvesting freigegeben und kann als Target angelegt werden. Widerspricht der Betreiber einer Website Harvesting und Langzeitarchivierung wird auch dies im Arbeitsbereich Harvest Authorisations unter dem Reiter Permissions vermerkt. Bitte öffnen Sie dazu, wie oben beschrieben, im Arbeitsbereich Harvest Authorisations die betreffende Archivierungsbewilligung, indem Sie auf klicken. Öffnen Sie in dem neuen Fenster den Reiter Permissions. Bitte öffnen Sie die betreffende Permission, indem Sie auf klicken. Stellen Sie in dem sich öffnenden Fenster den State (Dropdown-Feld) der Permission auf Rejected um (Abb. 27). Abb

22 Geben Sie im Feld Annotations bitte ein, wann (Datum: tt/mm/jjjj) Sie den Widerspruch gegen die Langzeitarchivierung erhalten haben, von wem (Name, Vorname, Institution) dieser stammt und ergänzen Sie ggf. weitere Informationen. Klicken Sie danach auf. Ihre Angaben werden der Permission beigefügt (Abb. 28). Abb. 28 Bitte klicken Sie anschließend auf dieser Seite und dann noch einmal in der Übersicht auf 29). (Abb. Abb. 29 Der Widerspruch ist somit vermerkt und der Arbeitsprozess damit beendet. Zusätzlich kann die entsprechende Harvest Authorisation auf disabled gesetzt werden, damit sie nicht mehr in der Übersicht angezeigt wird (siehe: Sonderfall: Archivierungsbewilligung aus der Anzeige nehmen ). 22

23 Schritt 4 im Workflow: Erstellen des Target im Web Curator Tool Eingabe des Titels der Website, der zugehörigen URL und Verknüpfung mit der passenden Archivierungsbewilligung im Web Curator Tool. Um eine neue Website als Target anzulegen, klicken Sie bitte auf der Startseite des Web Curator Tool unter Targets auf und dann im Arbeitsbereich Targets auf (Abb. 30). Abb. 30 Unter dem Reiter General geben Sie bitte bei Name einen aussagekräftigen Titel (Empfehlung: Titel der betreffenden Website) für die zu harvestende Website ein. Um das Target zum Harvesting freizugeben, wählen Sie bitte hier bei State im Dropdown-Feld Approved. Damit bei weiteren Crawls die teil-automatisierte Qualitätskontrolle greift, sind noch zwei Häckchen bei Use Automated QA und Reference Crawl notwendig (Abb, 31). Abb

24 Zur Eingabe der URL der Website, die Sie harvesten möchten, klicken Sie bitte auf den Reiter Seeds und geben die entsprechende URL (hier: ein. Bitte achten Sie bei der Eingabe auf den Endslash (auch bei URLs mit Dateiendung), um ein ungewolltes Abweichen des Harvesters vom vorgegebenen Pfad zu vermeiden. Bei Authorisation lassen Sie bitte Auto im Dropdown-Feld stehen. Klicken Sie anschließend auf verbunden (Abb. 32).. Die richtige Harvest Authorisation wird mit Ihrem Target automatisch Abb. 32 Öffnen Sie jetzt bitte den Reiter Schedule. Hier können Sie über einen Scheduler festlegen, d.h. einen Zeitplan, wann Ihre Harvests automatisch starten sollen. Tragen Sie bitte ein, ab wann die Website geharvestet werden soll ( From Date ), wie oft ( Type ), um welche Uhrzeit ( Time ) und an welchem Tag des Monats ( Day of Month ) (Abb. 33): Wählen Sie bitte für Ihre Targets möglichst unterschiedliche Termine, sodass nicht alle Harvests am gleichen Tag starten und bitte ausschließlich Tage zwischen dem 1. und 28. Tag eines Monats. Klicken Sie anschließend auf erstellt.. Ein Zeitplan zum Harvesting der Website wurde Abb. 33 Falls es sich um eine Website abgeschlossenen Inhalts handelt, die nicht mehr aktualisiert wird, bitte keinen Scheduler setzen, da hier die einmalige Archivierung ausreicht. 24

25 Möchten Sie die Website einmalig und sofort harvesten, setzen Sie bitte in dem sich öffnenden Fenster einen Haken bei (Abb 34). Abb. 34 Schritt 5 im Workflow: Speichern des Target Name, Adresse, Bewilligungsstatus und Zeitplan des Target werden zur weiteren Bearbeitung im System gespeichert. Klicken Sie auf um das Target zu speichern (Abb. 35). Abb. 35 Wenn Sie die Website auf gesetzt und direkt danach auf geklickt haben, beginnt das Web Curator Tool nach 5 Minuten mit dem Harvest-Prozess. Falls Sie in der Zwischenzeit weitere Änderungen am Target vorgenommen haben, müssen Sie den Haken bei Harvest Now erneut setzen und dann auf (Abb. 36): klicken. Unten stehende Meldung bestätigt den erfolgreichen Abschluss des Speicherprozesses Abb. 36 Haben Sie zusätzlich oder ausschließlich einen Zeitplan für das Harvesting definiert, so beginnt das Web Curator Tool zum gewünschten Zeitpunkt automatisch mit dem Harvest-Prozess. 25

26 Sonderfall: Zeitplan bei veralteten Websites entfernen Falls sich im Laufe der Zeit herausstellen sollte, dass eine Website nicht mehr aktualisiert wird, sollte der Zeitplan für das Harvesting entfernt werden, da ansonsten unnötige neue Zeitschnitte angefertigt werden, die sich inhaltlich nicht voneinander unterscheiden. Öffnen Sie dazu das entsprechende Target und gehen Sie zum Reiter Schedule (Abb. 37). Durch einen Klick auf können Sie den Zeitplan entfernen. Abb. 37 Bitte stellen Sie anschließend das Target im Reiter General unter dem Punkt State von Approved auf Cancelled um und vermerken Sie die Änderungen unter Angabe von Grund und Datum im Feld Description (Abb.38). Abb. 38 Durch einen Klick auf werden alle vorgenommenen Änderungen gespeichert. 26

27 Schritt 6 im Workflow: Harvesting der Website Das Web Curator Tool lädt die Inhalte der gewünschten Seite herunter und stellt sie dem Bearbeiter zur Ansicht bereit. Der Prozess startet nach 5 Minuten, falls Sie geklickt haben, und/oder zum gewünschten Zeitpunkt nach Zeitplan (Abb. 39). Abb. 39 Oder Harvesting nach Zeitplan (Abb. 40) Abb

28 Schritt 7 im Workflow: Qualitätskontrolle Fällt die Qualitätskontrolle der geharvesteten Website positiv aus, so wird diese zur Archivierung freigegeben. Fällt die Qualitätskontrolle negativ aus, so wird ggf. ein erneuter Crawl mit veränderten Parameter-Einstellungen durchgeführt. Eine ausführliche Qualitätskontrolle soll bei jeder erstmalig gecrawlten Website durchgeführt werden. Bei jedem weiteren Zeitschnitt kann die Qualitätskontrolle kürzer ausfallen, falls sich die Website seit dem letzten Crawl nicht wesentlich verändert hat. Um die Qualitätskontrolle einer geharvesteten Website durchzuführen, gehen Sie bitte zu Target Instances indem Sie auf klicken (Abb. 41). Abb. 41 Um die Website auf ihre Qualität zu prüfen, markieren Sie im oberen Bereich der sich öffnenden Seite und klicken anschließend auf. Es werden Ihnen nun nur die Websites angezeigt, die bereits geharvestet sind. Klicken Sie bitte auf neben der betreffenden Website (Abb. 42). Abb

29 Intellektuelle Qualitätskontrolle Um eine (physische) Vollständigkeitsüberprüfung anhand der Log-Dateien durchzuführen, öffnen Sie bitte zunächst den Reiter Harvest State (Abb. 43). Abb. 43 Liegt die Anzahl der für eine Website kopierten Dokumente unter 100 (siehe Feld URLs Downloaded ), sollte auf der Originalwebsite überprüft werden, ob diese tatsächlich so klein ist. Dazu liefert eine Sitemap schnelle Informationen über Struktur und Inhalte der Website. Alternativ kann eine solche Überprüfung auch anhand von Menüpunkten auf der Startseite durchgeführt werden. Standardmäßig wurde eine maximale Download-Obergrenze für den Crawler festgelegt (aktuell Dokumente bzw. 10 GB Daten), d.h. der Crawler beendet den Kopiervorgang, sobald eine bestimmte Anzahl an Dokumenten bzw. Bytes heruntergeladen wurde. Bei einer sehr großen Website kann es vorkommen, dass diese Obergrenze erreicht wird. In dem Feld Status heißt es dann z.b. Finished Maximum number of documents limit hit. In den Log-Dateien muss daraufhin genau überprüft werden, ob die Website tatsächlich so viele URIs umfasst oder ob der Crawl evtl. zahlreiche fehlerhafte URIs (wie z.b. Weiterleitungen, 404-Fehler usw.) beinhaltet. Eine Auswertung aller heruntergeladenen URIs nach Statuscode befindet sich in der Datei responsecode-report.txt (siehe unten). Falls die Inhalte der entsprechenden Website oder die Anzahl der URIs tatsächlich größer als das Limit sein sollten, besteht die Möglichkeit diese Grenzwerte zu erhöhen. Da derartige Eingriffe Auswirkungen auf die Funktionsfähigkeit des Web Curator Tool haben können, sollten Sie hier keinesfalls selbstständig Änderungen vornehmen, sondern sich an einen der technischen Verantwortlichen wenden. 29

30 In den Log-Dateien (Reiter Logs ) können Sie nun im Detail überprüfen, was der Crawler geharvestet hat (Abb. 44): Abb. 44 In der Datei responsecode-report.txt können Sie sich einen ersten groben Überblick verschaffen, wieviele URIs erfolgreich (status code 200) gecrawlt wurden, wieviele Error-codes (status codes 4xx) und Weiterleitungen (status codes 3xx) vorliegen oder auch bei wievielen URIs es zu Server-Fehlern kam (status codes 5xx) (Abb. 45). Übersteigt die Anzahl der 4xx- und 5xx-status-codes die Anzahl der 2xx-status-codes um mehr als 1 Prozent, sollte in der crawl.log-datei im Detail überprüft werden, welche URIs Probleme bereitet haben. Beispielsweise deuten viele 4xx-status-codes daraufhin, dass diese URIs vom Crawler nicht gefunden werden konnten, weil es sich entweder um tote Links handelt also Dateien, die nicht mehr existieren oder um Dokumente, die vom Crawler nicht aufgefunden werden können, da diese dynamisch generiert werden (z.b. js-applikationen). Abb

31 In der Datei crawl.log sind alle URIs aufgelistet, die der Crawler geharvestet hat (Abb. 46). Hier kann genau nachgeprüft werden, welche URIs der Crawler einsammeln konnte und welche nicht. Sollten Sie z.b. bei der visuellen Kontrolle der gecrawlten Website feststellen, dass einige URIs bzw. Dokumente fehlen, können Sie in dieser Datei überprüfen, ob sie wirklich fehlen, sprich, gar nicht gecrawlt wurden, oder ob sie evtl. nur nicht vom Viewer OpenWayback angezeigt werden können, aber prinzipiell im Crawl vorhanden sind. Am besten laden Sie die gesamte crawl.log -Datei herunter und anaylsieren diese in einem Editor. Abb. 46 In der Datei mimetypereport.txt sind alle Dateiformate aufgelistet, die geharvestet wurden, und Sie können nun z.b. kontrollieren, ob Grafiken mitgeliefert wurden (.gif,.bmp,.jpg,.png) (Abb. 47). Fehlen diese, wird später auf der Originalwebsite verifiziert, ob tatsächlich keine Grafiken in den genannten Formaten vorhanden sind oder ob diese durch einen Fehler des Crawls nicht geholt werden konnten und daher ein erweiterter Crawl mit zusätzlichen Seeds durchzuführen ist. Abb. 47 Nach Überprüfung der Vollständigkeit der Dateiliste klicken Sie bitte auf, um wieder auf die Übersichtsseite zu gelangen. 31

32 Eine weitere Möglichkeit, zu überprüfen, welche URIs gecrawlt wurden, bietet der sogenannte Tree View. Um zu Tree View zu gelangen klicken Sie im Reiter Harvest Results auf Review (Abb. 48). Abb. 48 Klicken Sie dann auf Tree View (Abb. 49). Abb.49 Der Unterschied zu den Log-Dateien ist hier die graphische Darstellung der gecrawlten Website. In dieser Ansicht lässt sich besonders gut erkennen, wenn externe URLs anderer Domains gecrawlt wurden oder der Crawler zumindest versucht hat, diese URLs zu kopieren. Außerdem sollte hier deutlich werden, ob ggf. Stylesheets oder Images auf einem externen Server liegen und daher in der Darstellung der Website fehlen (Abb. 50). Abb

33 Visuelle Qualitätskontrolle Um die interne (visuelle) Qualitätskontrolle der geharvesteten Websites vom externen Zugang der archivierten Websites zu trennen, wurde ein interner OpenWayback-Viewer implementiert (dieser ist IP-geschützt, d.h. sie ist nur von bestimmten Rechnern zugänglich). Das Web Curator Tool greift direkt auf diese Instanz von Open- Wayback zu. Um die gecrawlte Website auf visuelle Qualität zu überprüfen, klicken Sie nun bitte auf den Reiter Harvest Results und dann auf Review (Abb.51). Abb. 51 Klicken Sie auf Review in Access Tool (Abb. 52). Abb

34 Es öffnet sich die geharvestete nicht die originale Website (ersichtlich an der URL und dem Langzeitarchivierungsbalken) (Abb. 53). Führen Sie jetzt die Qualitätskontrolle der geharvesteten Website durch. Abb. 53 Folgende Überprüfungen sollten durchgeführt werden: Gesamteindruck: Die Stimmigkeit des Gesamteindrucks der eingesammelten Website wird mit der Originalwebsite verglichen. Visuelle Vollständigkeitsüberprüfung: Die Vollständigkeitsüberprüfung erfolgt innerhalb der jeweiligen Website nur anhand von Stichproben. Diese beschränkt sich auf die folgenden Elemente: Aufruf der Ausgangsseite und Überprüfung ob alle Elemente (z.b. Navigation, Text, Bilder etc.) vorhanden sind. Verfolgen jedes auf der Ausgangsseite vorhandenen Links und Überprüfung, ob auf den Folgedokumenten alle Elemente vorhanden sind. Verfolgen einer zufällig ausgewählten Kette von Links mit der jeweiligen Kontrolle auf das Vorhandensein aller Elemente. Funktionsprüfung: Verfügt die Website über dynamische Elemente (z.b. dynamische Navigationsstrukturen oder Suchfelder), so wird deren Funktion überprüft. Sollten bestimmte Funktionen nicht abgerufen werden können, wird zunächst geprüft, ob der Inhalt auch über nicht-dynamische Funktionen zur Verfügung steht (denn Inhalte können oft sowohl über eine dynamische Suche als auch über eine nicht-dynamische Browsing-Funktion abgerufen werden). 34

35 Wiederholung des Crawls Aus einer Bewertung der Ergebnisse sowohl der intellektuellen als auch der visuellen Qualitätskontrolle ergibt sich nun das weitere Vorgehen. Für eine Wiederholung des Crawls können einige Crawler-Parameter direkt über das Target angepasst werden: die zwei gängigsten Probleme sind fehlende URIs, die der Seed-URL hinzugefügt werden müssen ( white listing ) oder sich im Crawl befindliche externe URIs, die über Exclude filters explizit aus dem Crawl entfernt werden sollten ( black listing ). Nach Durchführung der Anpassungen wird der Harvest-Prozess neu gestartet. White listing (siehe Schritt 4 im Workflow) Unter dem Target für die entsprechende Website können über die Funktion Seeds Link weitere Seeds hinzugefügt werden (Abb. 54). Abb

36 Exlude filters Über sogenannte Exclude filters können URIs auf Ebene des Targets explizit ausgeschlossen werden (Abb. 55). Dies kann notwendig sein, wenn in der crawl.log-datei viele Error-codes (4xx oder 5xx) aufgelistet sind oder festgestellt wurde, dass sich externe URLs im Crawl befinden. Abb. 55 Ein Harvest-Prozess wird erneut gestartet, indem Sie im Arbeitsbereich Targets das entsprechende Target öffnen und unter dem Reiter Schedule markieren. Klicken Sie anschließend auf. Das Web Curator Tool startet nach 5 Minuten automatisch einen neuen Harvest-Prozess. 36

37 Automatisierte Qualitätskontrolle Fällt die Qualitätskontrolle einer erstmalig geharvesteten Website positiv aus, kann dieser Crawl als sogenannter Reference Crawl für alle nachfolgenden Crawls verwendet werden. Das heißt, das Ergebnis (die Log- Dateien) aller nachfolgenden Crawls wird mit diesem Reference Crawl verglichen. Um zu einer Zusammenfassung der Log-Datei-Auswertung ( Target Summary ) zu gelangen, klicken Sie bitte im Arbeitsbereich Target Instances auf den Namen der entsprechenden Target Instance. Unter Key Indicators werden die wichtigsten Ergebnisse der Auswertung präsentiert (Abb. 56). Durch Klicken auf einen der Unterpunkte erhalten Sie eine ausführliche Liste und können z.b. überprüfen, welche Inhalte seit dem letzten Crawl neu hinzugekommen sind. Abb. 56 Schritt 8 im Workflow: Archivierung der Website Die geharvesteten Zeitschnitte werden permanent im Archivsystem des Leibniz-Rechenzentrums gespeichert. Wenn die Ergebnisse der Qualitätskontrolle zufriedenstellend sind, können Sie den Prozess für die jeweilige Target Instance abschließen. Dazu klicken Sie bitte auf (Abb. 57). Abb

38 In dem sich öffnenden Fenster klicken Sie bitte auf Endorse (Abb. 58). Abb. 58 Klicken Sie OK (Abb. 59). Abb. 59 Damit ist der entsprechende Zeitschnitt freigegeben für die Archivierung. An dieser Stelle kann der Workflow für eine Katalogisierung unterbrochen werden (in diesem Fall siehe Schritt 8 für eine endgültige Archivierung). Falls keine Katalogisierung mehr notwendig sein sollte, kann die geharvestete Website durch Klicken auf Submit to Archive direkt ins Archiv verschoben werden (Abb. 60). Abb.60 38

39 Klicken Sie anschließend auf OK (Abb. 61). Abb. 61 Sie erhalten dann folgende Meldung: Die Website wird jetzt am Leibniz-Rechenzentrum archiviert. Der Vorgang der Archivierung kann einige Minuten dauern. Um eine Website nach erfolgreicher Qualitätskontrolle und ggf. einer Katalogisierung wieder aufzufinden und endgültig ins Archiv zu verschieben, gehen Sie bitte zu Target Instances, indem Sie auf (Abb. 62). klicken Abb

40 Markieren Sie bitte im oberen Bereich der sich öffnenden Seite und wählen Sie bei Owner Ihren Namen im Dropdown-Feld. Klicken Sie anschließend auf. Es werden Ihnen nun nur die Websites angezeigt, die von Ihnen bearbeitet wurden und bereits Endorsed (zur Archivierung freigegeben) sind (Abb. 63). Abb. 63 Klicken Sie bitte auf neben der betreffenden Website (Abb. 64). Abb

41 Klicken Sie OK (Abb. 65). Abb. 65 Sie erhalten dann folgende Meldung: Die Website wird jetzt am Leibniz-Rechenzentrum archiviert. Der Vorgang der Archivierung kann einige Minuten dauern. Sonderfall: Neue URL Sollte sich herausstellen, dass die alte URL nicht mehr gültig, sondern der gesamte Inhalt einer Website unter einer neuen URL zu finden ist, muss das Target entsprechend angepasst werden. Zunächst muss die neue URL in der Archivierungsbewilligung für die entsprechende Website ergänzt werden. Klicken Sie bitte hierfür auf der Startseite des Web Curator Tool unter Harvest Authorisations auf. Suchen Sie nun die entsprechende Archivierungsbewilligung und öffnen Sie diese, indem Sie auf klicken. Unter dem Reiter URL Patterns geben Sie bitte die neue URL ein und klicken Sie anschließend auf (Abb. 66). 41

42 Abb.66 Unter dem Reiter Permissions öffnen Sie dann bitte die Permission, indem Sie auf klicken. Setzen Sie nun bei Urls ein Häkchen für die neue URL und entfernen Sie das Häkchen für die alte URL (Abb. 67). Abb. 67 Klicken Sie abschließend auf dieser Seite und dann noch einmal in der Übersicht auf. Die neue URL wurde nun mit der Genehmigung gespeichert. Um im Target eines Webarchivs eine neue URL einzutragen, öffnen Sie nun bitte den Reiter Targets. Suchen Sie danach die betreffende Website und öffnen Sie deren Target, indem Sie auf klicken. Unter dem Reiter Seeds tragen Sie bitte die neue URL ein und verlinken diese mit der entsprechenden Genehmigung, indem Sie auf klicken. Setzen Sie dann ein Häkchen bei Primary. Abschließend löschen Sie bitte die alte URL mit einem Klick auf (Abb. 68). 42

43 Abb. 68 Öffnen Sie nun bitte den Reiter General und geben Sie im Feld Description bitte ein, wann (Datum: tt/mm/jjjj) Sie die URL ausgetauscht haben und vermerken Sie die alte URL (Abb. 69). Abb. 69 Klicken Sie abschließend auf. Die neue URL wurde nun mit dem Target gespeichert. Bei Fragen wenden Sie sich bitte an die Systemadministratoren. 43

44 Checkliste für das Vorgehen bei der Langzeitarchivierung von Websites mit dem Web Curator Tool Haben Sie die Dublettenüberprüfung im WCT durchgeführt? die Genehmigungs-Mail versandt? eine Generalgenehmigung angelegt, falls mehrere URLs zusammengefasst werden können? bei der Genehmigung keine Datumsbeschränkung gesetzt? die Genehmigung mit der entsprechenden URL verlinkt? bei positiver Rückmeldung die Genehmigung auf approved gesetzt? beim Anlegen des Targets die URL mit der Genehmigung verlinkt? den Scheduler korrekt eingestellt? das neue Target auf approved gesetzt? Harvest Now ausgewählt, damit der Crawl sofort startet? bei der Qualitätskontrolle die log-files kontrolliert? die geharvestete Website in OpenWayback auf Qualität überprüft? das Target nach erfolgreicher Qualitätskontrolle auf endorsed gesetzt? überprüft, ob das Target nun sofort von Ihnen archiviert werden kann? Glossar zur Webarchivierung Archivierungsbewilligung Archivierungsgenehmigung Crawl/ing Crawl Engineer Crawler Crawler Trap Die Zustimmung des Inhabers der Nutzungsrechte einer Website zur Erstellung von Kopien, zur Archivierung und Zugänglichmachung der Archivkopien Synonym: Archivierungsgenehmigung, Genehmigung Siehe: Archivierungsbewilligung Im Kontext der Webarchivierung synonym verwendet mit Harvest/ing Siehe: Harvest/ing. Ein im Themenbereich Webarchivierung erfahrener Experte, der für die Steuerung der Harvest-Prozesse, die Konfiguration der Webcrawler und die Qualitätskontrolle der Zeitschnitte verantwortlich ist. Siehe: Webcrawler Verbund von Webpages, der bewirken kann, dass ein Webcrawler in einer Dauerschleife von Abfragen hängenbleibt oder sogar abstürzt. Oftmals vorsätzlich eingesetzt um Spambots zu behindern, 44

45 kann eine Crawler Trap auch unabsichtlich durch dynamische Inhalte, wie z.b. Kalenderabfragen, verursacht werden. Genehmigung Siehe: Archivierungsbewilligung Harvest Authorisation Datensatz im Web Curator Tool für die Berechtigung zum Harvest und zur Archivierung einer Website, der aufgrund einer erteilten Archivierungsbewilligung angelegt wird. Harvest/ing 1. Technischer Vorgang zur Erstellung von Kopien einer Website bzw. eines definierten Ausschnitts des Webs mit Hilfe eines Webcrawlers. 2. Ergebnis dieses Vorgangs. Es wird unterschieden zwischen einem Domain Harvesting, das das gesamte Webangebot einer Domain (z.b. *.de) umfasst, dem selektiven Harvesting, das nur ausgewählte Websites speichert und dem sogenannten Event Harvesting, das Internetangebote zu einem bestimmten Ereignis (z.b. Bundestagswahl 2009) archiviert. Synonym: Crawl/ing Harvester Siehe: Webcrawler Heritrix Ein Open Source Webcrawler der speziell für die Archivierung von Websites vom Internet Archive entwickelt wurde. Heritrix ist der am häufigsten eingesetzte Webcrawler für die Webarchivierung und ist Teil verschiedener Tools zur Steuerung der Webarchivierung u.a. dem Web Curator Tool. Langzeitarchivierung Organisatorische und technische Maßnahmen zum Erhalt von Information in digitaler Form. Dies beinhaltet die Gewährleistung des Langzeiterhalts, der Langzeitverfügbarkeit sowie der Interpretierbarkeit digitaler Objekte zum Zwecke der Nutzung durch eine bestimmte Zielgruppe. Dabei bedeutet Langzeit: über Veränderungen in der Technik (Soft- und Hardware) und in der Zielgruppe hinweg (z.b. für künftige Generationen, auf unbegrenzte Zeit). OpenWayback Siehe: Wayback Preservation Level Mehrstufiges System zur Bewertung der Relevanz eines Objekts für die Langzeitarchivierung im Kontext der Sammlung. Die Bewertungen können auf inhaltlichen (z.b. Bavarica), rechtlichen (z.b. Pflichtzugang) bzw. formalen (z.b. Blogs) Kriterien beruhen. Qualitätskontrolle Überprüfung eines Harvests hinsichtlich der Kriterien: Vollständigkeit der zentralen Inhalte, Konsistenz, Erhalt der Funktionalität und Erhalt des Look and Feel vor der Freigabe zur Archivierung. Qualitätssicherung Alle Maßnahmen zur Erzielung einer möglichst hohen Qualität bei der Langzeitarchivierung von Websites. Die Qualitätssicherung umfasst organisatorische und technische Maßnahmen z.b. die Festlegung von Preservation Levels, Analysen einer Website vor 45

46 Schedule/r Seed Stylesheet Target Target Instance URI URL WARC Wayback Web Curator Tool Webarchivierung Webcrawler dem ersten Harvesting sowie die Überprüfungen im Rahmen der Qualitätskontrolle. Zeitplan zum erstmaligen und / oder wiederholten Harvest einer Website Eine URL, die einem Webcrawler als Startpunkt für das Erfassen von Inhalten vorgegeben wird. Teil einer Website, der für die Darstellung der Information zuständig ist. Ein Stylesheet interpretiert strukturierte Daten (in HTML, XHTML) und formatiert sie für die Bildschirmausgabe, die Ausgabe auf mobilen Geräten bzw. den Druck entsprechend der vorgegebenen Regeln. Datensatz, der die zu harvestende und zu archivierende Website im Web Curator Tool beschreibt. Dieser Datensatz enthält u.a. den Namen der Website, URLs, Schedule, ggf. weitere spezifische Parameter für den Webcrawler, eine Verknüpfung zur Harvest Authorisation. Datensatz im Web Curator Tool für einen erfolgten Harvest- Prozess. Dieser umfasst das Ergebnis des Harvest, verschiedene Logfiles sowie weitere administrative Metadaten. Uniform Resource Identifier, identifiziert abstrakte oder physische Ressourcen wie z.b. Websites, Dateien, Webservices, - Adressen usw. im Internet. Uniform Resource Locator, eine Unterart der URI, identifiziert und lokalisiert eine Ressource über das verwendete Netzwerkprotokoll (beispielsweise HTTP oder FTP) und den Ort (engl. location) der Ressource in Computernetzwerken. Containerformat für die Speicherung von Ergebnissen des Harvest-Prozesses, enthält neben den Inhaltsdaten auch langzeitarchivierungsrelevante Metadaten. (ISO 28500:2009) Vom Internet Archive entwickelte Open-Source Software zur Darstellung von Zeitschnitten archivierter Websites. Sie wird unter dem Namen OpenWayback vom International Internet Preservation Consortium weiterentwickelt und gepflegt. Open-Source Tool für die Steuerung von Arbeitsprozessen der selektiven Webarchivierung: Einholen der Archivierungsbewilligung, Anlegen und Verwalten der Targets, Qualitätskontrolle und Freigabe der Target Instances für die Archivierung. Vorgang, einen definierten Ausschnitt des Web in systematischer Form zu kopieren, zu archivieren und auf Dauer zugänglich zu machen. Computerprogramm, das automatisch das Web durchsucht, indem 46

47 Webharvest/ing Webpage Website Zeitschnitt es Websites analysiert und enthaltene Verknüpfungen verfolgt. Eine Sonderform der Webcrawler sind Harvester (für Erntemaschine), die die Inhalte der gefundenen Webpages möglichst vollständig herunterladen und speichern. Im Kontext der Webarchivierung werden diese aber synonym verwendet. Synonym: Crawler, Harvester Siehe: Harvest/ing. Ressource im Web, welche Text, Bilder, Audios, Videos und andere Objekte beinhalten kann, die von einem Webserver angeboten wird und mit einem Browser unter Angabe einer URL abgerufen werden kann. Sie ist Bestandteil einer Website. Inhaltlich und technisch abgrenzbare Sammlung zusammengehöriger, verknüpfter Webpages. Eine Website wird auf einem oder mehreren Host-Rechnern (Servern) gespeichert und in der Regel unter einer URL bereitgestellt. Kopie einer Website, die zu einem bestimmten Zeitpunkt von einem Crawler erstellt wurde. 47