Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen

Transkript

1 Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen Stand: Ioannis Charalambakis, Tobias Beinert, Marcus Bitzl, Astrid Schoger 1

2 Inhalt 1. Hintergrund und Zielsetzung des Erfahrungsberichts Vorgehensweise Übersicht über die von der BSB erschlossenen Ressourcen in Academic Linkshare Auswahl für das retrospektive Archivierungsverfahren Umsetzung des Genehmigungsprozesses Erstellung des Targets und Start des Harvesting Erstmalige Qualitätskontrolle und Wiederholung des Crawls Fortlaufende Qualitätssicherung Katalogisierung und Verknüpfung mit Datensätzen in ALS und WCT sowie Freigabe Archivierung Technische Aspekte: Speicherverbrauch und archivierte Medientypen Nutzungszahlen Zusammenfassung und Bewertung der Machbarkeit Anlage: Glossar zur Webarchivierung

3 Hinweis: Dieses Dokument wurde im Rahmen des von der Deutschen Forschungsgemeinschaft geförderten Projekts Langzeitarchivierung von Websites durch Gedächtnisinstitutionen: Entwicklung eines Servicemodells auf Grundlage praktischer Erfahrungen von der Bayerischen Staatsbibliothek erstellt. Eine Beschreibung des Projekts und eine Darstellung der Webarchivierung finden Sie unter: Ein umfassendes Glossar mit einer Erläuterung der verwendeten deutschen und englischen Fachbegriffe der Webarchivierung ist diesem Dokument als Anlage beigefügt. 1. Hintergrund und Zielsetzung des Erfahrungsberichts Mit dem Aufbau der Virtuellen Fachbibliotheken (ViFas) seit dem Ende der 1990er Jahre wurden in Ergänzung zu den Sondersammelgebieten überregionale fachwissenschaftliche Einstiegsportale für bibliotheksübergreifende Literaturrecherchen geschaffen. Im Rahmen der ursprünglichen Zielsetzung einer möglichst umfassenden Integration digitaler Ressourcen in die ViFas erschien es als logisches Ziel, auch frei im Web verfügbare Informationsressourcen in diese Angebote aufzunehmen. 1 Die Erschließung von Webangeboten in den Internetressourcen-Datenbanken der Virtuellen Fachbibliotheken ermöglichte den Aufbau fachwissenschaftlicher Informationsführer für digitale Angebote bzw. so genannte Internetressourcen-Guides und zielte darauf ab, die Auffindbarkeit von aggregierten fachbezogenen Informationen zu erhöhen. Um diese Quellen in den Angeboten der Bibliotheken auffind- bzw. verfügbar zu machen, wählten fachliche Koordinatoren und studentische Hilfskräfte wissenschaftlich relevante und kostenfreie Angebote aus den jeweiligen Fachdisziplinen aus und nahmen eine detaillierte Erschließung nach bibliothekarischen Standards (formale und inhaltliche Metadaten incl. Schlagwörter, Klassifikationen und Abstracts) vor. Um die so generierten Datensätze institutionsübergreifend nutzen zu können, wurden entsprechende Softwarelösungen entwickelt. Heute ist vor allem Academic Linkshare (ALS) als ein gemeinsamer Erschließungs- und Metadatenpool zu nennen, der von den Partnern in Form von thematischen Ausschnitten aus dem ALS-Gesamtbestand bzw. institutionellen Sichten genutzt werden kann. Dadurch, dass der Zugriff auf den Content allein über den Link auf das jeweilige Original-Angebot im Live- Web erfolgt, ist die Langzeitverfügbarkeit der erschlossenen Informationsressourcen allerdings massiv gefährdet. Ändert oder reduziert zum Beispiel ein Website-Betreiber die Inhalte auf seiner Site oder entfernt Teile oder gar das gesamte Angebot aus dem Netz bzw. nimmt technische Veränderungen vor, so sind die entsprechenden Ressourcen für den Nutzer in der Regel nicht mehr zugänglich, die Nutzerinnen und Nutzer der Informationsführer haben nur noch Zugriff auf die dann verwaisten Metadaten in den Datenbanken der Virtuellen Fachbibliotheken. Mit der Integration des Archivierungsprozesses in Form eines selektiven Harvesting in das bislang in den Virtuellen Fachbibliotheken praktizierte Erschließungsverfahren über Academic Linkshare (ALS) und die entsprechende Bereitstellung über die Internetressourcen-Führer der Virtuellen Fachbibliotheken wurde an der Bayerischen Staatsbibliothek (BSB) ein deutlicher Mehrwert für die Endnutzerinnen und -nutzer geschaffen: Sie haben nunmehr die Wahl, die aktuelle Version der Website sofern noch im Live-Web verfügbar zu besuchen oder auf eine archivierte Kopie zurückzugreifen. 2 Die erschlossenen Informationen bleiben für die Nutzer über den Zugang zum digitalen BSB-Langzeitarchiv dauerhaft erhalten, unabhängig von einer Abschaltung oder einem thematischen Wechsel der Original-Website. Zudem wird eine dauerhafte Referenzierbarkeit der Inhalte, z. B. über Permalinks oder die Vergabe eines URN für die archivierten Objekte, sichergestellt. Mittels der vorliegenden Darstellung wird im Rahmen des von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekts Langzeitarchivierung von Websites durch Gedächtnisinstitutionen analysiert, ob auch eine retrospektive Archivierung der bereits in ALS erschlossenen Websites grundsätzlich sinnvoll ist und ob dies in effizienter Weise erreicht werden kann. 3 Die vorliegenden Ergebnisse haben dabei nicht nur für die Archivierung der von der BSB erschlossenen Internetressourcen Gültigkeit, sondern sollen prinzipiell auch anderen Institutionen Erfahrungswerte und Anhaltspunkte dafür liefern, inwiefern für sie eine 1 Das DFG-System der überregionalen Sammelschwerpunkte im Wandel 2004, S. 6 f., verfügbar unter: (Letzter Zugriff am ). 2 Vgl. ausführlich: Beinert, Tobias; Hagenah, Ulrich; Kugler, Anna: Es war einmal eine Website - Kooperative Webarchivierung in der Praxis, in: o-bib 1 (2014), Nr. 1, S , S. 294f. Verfügbar unter: (Letzter Zugriff am: ). 3 Dieser Bericht berücksichtigt dabei explizit nicht die benötigten Ressourcen für den technischen Aufbau bzw. fortlaufenden technischen Betrieb der benötigten Hard- und Software. 3

4 retrospektive Webarchivierung bereits inhaltlich erschlossener Quellen sinnvoll ist und umgesetzt werden kann. So können auch Rückschlüsse gezogen werden, wieviel zusätzlicher Ressourcenaufwand nötig ist, um den Umstieg vom bislang in vielen Häusern praktizierten reinen Erschließungsverfahren für Webressourcen zu einem integrierten Verfahren von Erschließung und Archivierung vorzunehmen, um eine neue, zukunftsfähige Dienstleistung für die Wissenschaft in das Portfolio aufzunehmen zu können. 2. Vorgehensweise Als Basis für eine Bewertung der Machbarkeit werden die einzelnen Prozessschritte innerhalb des Webarchivierungs-Workflows (vgl. Abbildung 1) der Bayerischen Staatsbibliothek exemplarisch analysiert. Dabei sind diese Prozessschritte nicht primär an den gegebenen Rahmenbedingungen (Recht, Technik, Ressourcen) der BSB und somit institutionsspezifisch ausgerichtet, sie sind vielmehr Handlungsgrundlage für alle Institutionen, die ein selektives Webharvesting mit Genehmigungsverfahren betreiben bzw. einführen wollen Übersicht über die von der BSB erschlossenen Ressourcen in Academic Linkshare Seit 2007 nutzt die Bayerische Staatsbibliothek die Infrastrukturen von Academic Linkshare (ALS) um für die von ihr betreuten Virtuellen Fachbibliotheken und Fachportale einen Metadatenpool an fachlich relevanten Internetressourcen aufzubauen und die Erschließungsdaten zu pflegen. Dieser Pool bildet die Grundlage für die Darstellung in den entsprechenden Internetressourcen-Guides. Die Tabelle 1 listet zunächst die Anzahl an Metadatensätzen auf, die für die jeweiligen ViFas erstellt wurden. Allerdings zeigt sich, dass davon nur jeweils eine bestimmte Anzahl an Datensätze wirklich freigeschaltet und für die Nutzer in den Portalen der ViFas angezeigt werden kann. Ursache hierfür sind Datensätze für Internetressourcen, die trotz Pflege der Daten durch regelmäßige Wiedervorlage der Einträge und Linkchecks im Internet nicht mehr verfügbar sind und deswegen von der Anzeige ausgeschlossen werden. Kollektion: Metadatensätze gesamt: b2i Bavarica Chronicon Propylaeum Vifa Musik Vifa Ost Vifarom In den Fachportalen freigeschaltete Metadatensätze Tabelle 1: Metadatensätze in den Internetressourcenführern der Bayerischen Staatsbibliothek (Stand: ) Die von den fachlichen Mitarbeiterinnen und Mitarbeitern der Bayerischen Staatsbibliothek und den Partnerinstitutionen in ALS erfassten Ressourcentypen sind dabei ganz unterschiedlicher Natur: Websites verschiedener Einzelpersonen und Körperschaften, Online-Datenbanken und Kataloge, Volltext- Repositorien, Nachschlagewerke, Bibliographien, Lexika, Text- und Quellensammlungen, E-Books, E- Journals sowie Einzeldokumente im Volltext (z.b. Aufsätze im PDF-Format), aber auch Videos und Bilder. Auswahlkriterien sind dabei ausschließlich die fachliche und wissenschaftliche Relevanz sowie der in der Regel freie Zugang. Das Ziel dieser Form der Erschließung ist es, dabei eine möglichst in die Tiefe gehende und somit sehr granulare bzw. umfassende inhaltliche Beschreibung von Webressourcen zu erreichen. In der Praxis werden daher oftmals verschiedene Teile bzw. Abschnitte einer unter einer gemeinsamen Domain-URL aufrufbaren Website erschlossen, um Wissenschaftlern, Studierenden sowie anderen Interessierten über die Internetressourcenführer der Virtuellen Fachbibliotheken einen in die Tiefe gehenden qualitätsbasierten und fachbezogenen Zugang zu wissenschaftlich relevanter Information zu bieten. 4

5 Abbildung 1: Workflow der Webarchivierung an der Bayerischen Staatsbibliothek 5

6 2.2. Auswahl für das retrospektive Archivierungsverfahren Bei der Vorbereitung des retrospektiven Harvesting der bereits in ALS erschlossenen Ressourcen wurde schon früh deutlich, dass die Ziele einer möglichst tiefen und granularen Erschließung im Rahmen von ALS bzw. den Internetressourcenguides nicht deckungsgleich sind mit dem Anspruch, eine effektive und effiziente Archivierung von Websites durchzuführen. So wurden und dies ist unter dem Aspekt einer fachspezifisch fokussierten Erschließung auch durchaus nachvollziehbar zahlreiche Ressourcen in ALS aufgenommen und inhaltlich beschrieben, die sich einer Archivierung bereits aufgrund ihrer spezifischen technischen Struktur bzw. der Limitationen des standardmäßig zur Verfügung stehenden Webcrawler (Heritrix) entziehen und somit im Verfahren vorab ausgeschlossen werden mussten. Dazu zählen: 1) Einzelne Animationen und Flash-Dateien 2) Websites mit einem überwiegenden Anteil an Animationen (Flash/Java-Script) 3) Websites, die nur aus einer Suchmaske für die Suche in einer oder mehreren Datenbanken bestehen, (Problem dynamisch generierter Inhalte, die nicht effizient gecrwalt werden kann) 4) (Unkommentierte) Linklisten, weil externe Links von dem Webcrawler im Falle eines selektiven Harvesting nicht weiterverfolgt werden 5) Streaming Media wie z.b. You-Tube-Videos, falls der Großteil der Website daraus besteht. Um den erheblichen Aufwand für das Verfahren zur Einholung der Archivierungs- und Bereitstellungsgenehmigung (vgl. ausführlich hierzu Kapitel 2.3.) in Grenzen zu halten, musste zudem darauf geachtet werden, hier die entsprechenden Anfragen auf der richtigen Ebene zu stellen. So wurde in der Regel darauf verzichtet, Genehmigungen für einzelne Dokumente (PDF-Dateien, E-Books) bzw. einzelne Webpages einzuholen. Um mit einer positiven Bewilligung möglichst viel Content dauerhaft im digitalen Archiv sichern zu können, ist es daher in den meisten Fällen sinnvoll, die Genehmigung gleich für eine komplette Website einzuholen. Bei sehr großen Webangeboten sollte allerdings eine Differenzierung vorgenommen werden, um erstens einen geeigneten Ansatzpunkt für die inhaltliche Erschließung zu haben, zweitens den technischen Rahmen hinsichtlich Dateizahlen und -größen nicht zu sprengen und drittens überhaupt eine realistische Aussicht zu haben, eine Archivierungsgenehmigung zu erhalten. Verdeutlicht sei das Problem der richtigen Granularität am folgenden Beispiel: Während eine reine Beschreibung eines einzelnen Projektes der Professur für Alte Geschichte an der Universität Passau auf einer Unterseite ( für die Archivierung zu granular angesetzt wäre, wäre auf der anderen Seite die Einholung einer Archivierungsbewilligung für die Website der gesamten Universität ( zu hoch gegriffen und rechtlich aufgrund der Vielzahl von betroffenen Rechteinhabern wohl kaum möglich. Als geeigneter Startpunkt für den Archivierungsprozess wäre daher in diesem Fall auch im Sinne einer zusammenhängenden logischen Einheit, die gesamte Unterseite der Professur für alte Geschichte auf der Website der Universität Passau: zu wählen. An diesem Beispiel wird bereits deutlich, dass die Interessen der Fachabteilungen, die für die Erschließung in ALS zuständig sind und für die bessere Auffindbarkeit durch die Nutzer eine möglichst feine Untergliederung in viele Einzelnachweise bevorzugen, mit den Interessen der Webarchivierung, die aus Effizienzgründen auf einer möglichst hohen Ebene ansetzen möchte, kollidieren können. Hier besteht also neben den genannten technischen Ausschlusskriterien ein weiterer gewichtiger Hinderungsgrund, der eine vollständige retrospektive Archivierung aller in ALS erschlossenen Webressourcen unmöglich macht. Somit ist nur ein Teil der in ALS vorhandenen Datensätze (bzw. der dort verzeichneten URLs) überhaupt als sinnvoller Ausgangspunkt (Seed) für eine retrospektive Webarchivierung geeignet. Der erste Schritt war daher zunächst die Auswahl sowohl inhaltlich besonders relevanter als auch technisch geeigneter Websites aus dem ALS-Datenpool. Nur für diese sollten Archivierungsanfragen verschickt werden. Die inhaltliche Verantwortung dafür lag auf Seiten der fachlichen Koordinatoren bzw. der zugehörigen Mitarbeiter der Fachportale bzw. FIDs, die zudem über die oben genannten Limitierungen der Webarchivierung informiert wurden. Hier zeigte sich in der Praxis, dass der Auswahlprozess mit einer gründlichen und arbeitsintensiven Überprüfung und Aktualisierung der ALS-Datensätze verbunden werden musste, da in sehr vielen Fällen inhaltliche Beschreibungen, aber vor allem die für die Webarchivierung benötigten URLs und Kontakt- bzw. adressen für die Genehmigungseinholung bereits veraltet waren. Zudem war anzugeben, ob die Anfrage in deutscher oder englischer Sprache erfolgen sollte. Auf diese Weise wurden Listen mit ca Websites je ViFa erstellt, für die von Seiten der fachlichen Koordinatoren eine Archivierung als 6

7 erstrebenswert angesehen wurde. Es erfolgte eine weitere intellektuelle Überprüfung durch die technisch Verantwortlichen sowie ein automatisierter Abgleich mit bereits versendeten Archivierungsanfragen, um Dubletten zu vermeiden. Der Aufwand für die inhaltliche Auswahl, Überprüfung und Aktualisierung der Datensätze war dabei sehr unterschiedlich, insbesondere die Ermittlung der rechtlich verantwortlichen Kontaktpersonen und der entsprechenden adressen gestaltete sich gerade für ausländische Ressourcen ohne Impressumspflicht oftmals zeitintensiv. Generell kann hier von einem Zeitrahmen zwischen einer und fünf Minuten ausgegangen werden, um die ALS-Datensätze sowie das entsprechende Live-Angebot im Web abzugleichen und hinsichtlich der Archivierungstauglichkeit zu überprüfen. Nach der zusätzlichen Prüfung auf Dubletten bzw. technische Machbarkeit konnten letztlich insgesamt im Rahmen des Projekts 2927 Genehmigungsanfragen für die retrospektive Archivierung von bereits in ALS erschlossenen Websites verschickt werden Umsetzung des Genehmigungsprozesses Um die Anfragen und Antworten im Genehmigungsverfahren verwalten und dokumentieren zu können, ist im Web Curator Tool (WCT) zunächst eine so genannte Harvest Authorisation manuell anzulegen, dazu müssen dort bestimmte Daten (URL der Website, Titel der Website, Daten des Ansprechpartners) eingetragen werden. Das Versenden der Genehmigungsanfrage erfolgt dann unmittelbar nach dem Anlegen für jede Website in der Regel per Mail über eine Auswahlliste innerhalb des WCT, die verschiedene präkonfigurierte Sprachversionen des Anschreibens (deutsch, englisch, französisch, italienisch) beinhaltet. Für diesen Vorgang des Anlegens und Versendens ist in der Regel im nicht zentralisierten Standard- Geschäftsgang 4 eine Bearbeitungszeit zwischen zwei und vier Minuten pro Website zu veranschlagen. Für das Verfahren, wie es im Rahmen der retrospektiven Archivierung der in ALS erschlossenen Ressourcen umzusetzen war, erschien ein manuelles Anlegen von mehreren hundert Harvest Authorisations nicht praktikabel, in diesem Fall wurde ein anderes Vorgehen konzipiert. Ausgehend von den durch die Fachportal-Verantwortlichen erstellten und anschließend bereinigten Listen wurde zunächst ein skriptgesteuerter Massenversand von s an die jeweiligen Ansprechpartner der für die Archivierung vorgeschlagenen Websites durchgeführt. Nach ca. vier bis sechs Wochen wurde wiederum automatisiert eine Erinnerungsmail an alle Adressaten verschickt, von denen bis zu diesem Zeitpunkt noch keine Rückmeldung vorlag. Die Ergebnisse (Bewilligung erteilt; Archivierung abgelehnt, Vorgang in Bearbeitung, Antwort ausstehend) wurden fortlaufend in den Auswahllisten manuell verzeichnet und dann schließlich mitsamt aller benötigten Daten als ein großes Set direkt in die Datenbank des WCT importiert und dort als Grundlage für die weiteren Bearbeitungsschnitte genutzt. Einen erheblichen und vorab nicht in diesem Umfang abzusehenden Bearbeitungsaufwand auf Seiten der BSB verursachte die hohe Anzahl an Rückfragen seitens der Website-Verantwortlichen. Diese betrafen in der Regel vor allem technische und rechtliche Aspekte, waren partiell aber auch sehr genereller Natur bzgl. des Sinns und Zwecks der Webarchivierung im Allgemeinen. Um hier den Bearbeitungsaufwand reduzieren und ggf. die Bewilligungsquote verbessern zu können, wurde im Laufe des Projekts ein Katalog mit Frequently Asked Questions (FAQs) erstellt und fortan bereits im Anschreiben zur Genehmigungseinholung referenziert: Dennoch ergaben sich weiterhin eine Reihe an Rückfragen, die oftmals erst in einer längeren Korrespondenz oder im telefonischen Gespräch mit den Ansprechpartnern geklärt werden konnten. Auch im Nachhinein ergab sich partiell noch Kommunikationsbedarf mit den Websitebetreibern, z.b. wenn die Crawler der BSB trotz vorliegender Archivierungsgenehmigung serverseitig ausgeschlossen wurden oder sich die Rechteinhaber nach dem Stand der Archivierung ihrer Sites erkundigten. Sofern ein Rücklauf zu verzeichnen war, war dieser in aller Regel positiver Natur, d.h. eine entsprechende Genehmigung zur Erstellung einer Archivkopie, die Langzeitarchivierung sowie die öffentliche Bereitstellung der Archivkopien wurde erteilt. Einer durchschnittlichen Bewilligungsquote von 27% steht ein Anteil von 3% an explizit erteilten Absagen gegenüber. Zugleich zeigt dies aber auch, dass ein sehr hoher Prozentsatz von 70% die Anfragen gar nicht beantwortet hat. Diese Quoten sind allerdings nicht allein für die 4 Zum Standardgeschäftsgang vgl. die Übersicht unter Zu den einzelnen Schritten ausführlich vgl. Ausführliche Anleitung für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, verfügbar unter: von Webseiten_WCT.pdf (Letzter Zugriff: ). 7

8 Webarchivierung an der BSB spezifisch, sondern entsprechen im Wesentlichen auch den internationalen Erfahrungswerten. So konnte beispielsweise auch die British Library für ihr genehmigungsbasiertes Archivierungsverfahren lediglich eine Antwortquote von 24% erreichen, andere Institutionen kommen dem International Internet Preservation Consortium (IIPC) zufolge auf 30-50%. 5 Aufgrund der derzeit geltenden Rahmenbedingungen im deutschen Urheberrecht bleibt die BSB jedoch bis auf weiteres an die Einholung von Genehmigungen in Textform gebunden. Bei einer näheren Betrachtung der prozentualen Werte für den Rücklauf von Genehmigungen unterscheiden sich die Fachportale allerdings deutlich in den Ergebnissen, wie folgende Tabelle zeigt: Auswertung der retrospektiven Webarchivierung Stand: ViFa Anzahl Genehmigungsanfr deutsch englisch bewilligt bewilligt_d eu bewilligt_e ng agen VifaMusik (33%) 129 (41%) 26 (17%) 17 (4%) VifaRom (9%) 9 (26%) 14 (6%) 3 (1%) Propylaeum (25%) 73 (45%) 41 (14%) 8 (2%) Chronicon (29%) 64 (31%) 20 (24%) 18 (6%) B2i (32%) 157 (40%) 41 (18%) 26 (4%) VifaOst (13%) 23 (39%) 48 (9%) 3 (1%) Bavarica (49&) 134 (49%) 1 (33%) 7 (3%) Gesamt: (27%) 589 (41%) 191 (13%) 82 (3%) Tabelle 2: Übersicht über die während der Projektlaufzeit im Rahmen der retrospektiven Webarchivierung versendeten Genehmigungsanfragen sowie Auswertung des Rücklaufs nach Fachbibliotheken (Stand: ). 6 Die beste Quote ergab sich für die Anfragen aus dem Bereich der Bavarica, hier wurden mehr als 50% der verschickten Anfragen beantwortet und dies nahezu ausschließlich positiv (49% bezogen auf alle Anfragen). Sicherlich spielen hier die regionalen Faktoren eine wichtige Rolle. Für die eher auf Veröffentlichungen aus dem deutschen und anglo-amerikanischen Kulturraum bezogenen Fachbibliotheken VifaMusik, Propylaeum, Chronicon und B2i ergaben sich ebenfalls bezogen auf den internationalen Vergleich zufriedenstellende Rücklauf- und Bewilligungsquoten. Weniger positiv zeigten sich dagegen die Gesamtzahlen für die VifaOst mit 13% und die VifaRom mit 9%. Betrachtet man allerdings hier ausschließlich die Bewilligungsquote für die in deutscher Sprache versendeten Anfragen sind auch dort mit 39% bzw. 26% akzeptable Werte festzustellen. Es liegt daher die Interpretation nahe, dass die Adressaten aus dem osteuropäischen bzw. romanischen Kulturraum mit den englischsprachigen Anschreiben nicht in überzeugender Form angesprochen werden konnten. Hier sollten in der Fortführung der Aktivitäten die entsprechenden Bewilligungsanfragen und Genehmigungsformulare noch mal überprüft, gegebenenfalls gekürzt und idealerweise in weitere Sprachen übersetzt werden. Für den Standardworkflow konnten bereits entsprechende Formulare in französischer und italienischer Sprache implementiert werden, für den osteuropäischen Raum wäre dies aufgrund der Vielzahl an Sprachvarianten allerdings mit wesentlich mehr Aufwand verbunden. Zudem hat sich herausgestellt, dass wohl auch die Erfahrungswerte der jeweiligen fachlichen Koordinatoren Auswirkungen auf die Erfolgsquote haben: Je länger und intensiver sich die Verantwortlichen mit den Aspekten und Anforderungen der Webarchivierung in der Praxis beschäftigt hatten, desto besser konnten sie einschätzen, bei welchen Websites grundsätzlich mit einer positiven Rückmeldung und einer technisch umsetzbaren Langzeitarchivierung zu rechnen war. Mögliche weitere Gründe für den ausbleibenden Rücklauf waren den vereinzelten ablehnenden Antwortschreiben zu entnehmen, in denen darauf verwiesen wurde, dass es im jeweiligen Land bereits eigene nationale Aktivitäten zur Webarchivierung (z.b. im Vereinigten Königreich und Frankreich) gibt bzw. abgelehnt 5 Vgl. z.b. Davis, Corey: Archiving the Web: A Case Study from the University of Victoria, in: Code4Lib, Issue 26, , verfügbar unter: und (Letzter Zugriff am: ). 6 Der Betrieb des Portals b2i wurde von der Bayerischen Staatsbibliothek zum eingestellt, die archivierten Internetressourcen werden über den OPACplus jedoch weiterhin zugänglich gemacht. 8

9 eine Archivierung durch die Institution selbst erfolgt und daher eine Zusammenarbeit mit der BSB als nicht notwendig bzw. sinnvoll erachtet werde. Trotz dieser Aussagen erscheint es den Verantwortlichen für die Webarchivierung an der BSB allerdings weiterhin als logisch, dass erst komplementäre Aktivitäten verschiedener Institutionen aus unterschiedlichen Ländern mit voneinander abweichenden Frequenzen und Tiefen bei der Archivierung sowie möglicherweise unterschiedliche Formen der öffentlichen Zugänglichmachung und Erschließung ein für die wissenschaftliche Nutzung von Webarchiven möglichst repräsentatives Gesamtbild ergeben können. Um zudem so weit wie möglich ausschließen zu können, dass die von der BSB verschickten s mit den Archivierungsanfragen in den Spamfiltern der Empfänger hängen bleiben, wurden die entsprechenden Anschreiben mit verschiedenen Tools (Postmark, ISnotSPAM, SpamAssassin) überprüft. 7 Diese Tools überprüfen anhand bestimmter Kriterien (z.b. Inhalte, sprachlicher Aufbau, IP Reputation) mit welcher Wahrscheinlichkeit eine von Mailprogrammen als Spam eingestuft wird. Sowohl für die deutschsprachige als auch für die englischsprachige Genehmigungsanfrage der BSB wurde die Spamwahrscheinlichkeit dabei bis auf eine Ausnahme mit 0% beziffert, sodass unter diesem Aspekt keine Anpassungen als notwendig erachtet wurden. Sobald eine Genehmigung oder eine Ablehnung eingeht, ist dies inklusive der entsprechenden Begründung unter der Rubrik Permission für die angelegte Harvest Authorisation im WCT zu verzeichnen. Im Standardgeschäftsgang konnte hierfür eine Bearbeitungsdauer von 1-3 Minuten ermittelt werden. Im Rahmen des retrospektiven Massenverfahrens erfolgte die Verzeichnung direkt in den von fachlichen Koordinatoren erstellten Auswahllisten und wurde dann als Teil der gesamten Harvest Authorisation direkt per Skript in die Datenbank exportiert Erstellung des Targets und Start des Harvesting Im Falle einer positiven Rückmeldung kann dann das Target angelegt werden, das im Wesentlichen bestimmt, welche URLs in welcher Frequenz und zu welchen Zeitpunkten archiviert werden sollen. Dies geschieht sowohl im regulären als auch im retrospektiven Workflow für die Webarchivierung derzeit größtenteils manuell. So muss zunächst der Titel der Website eingetragen werden. Um die Verknüpfung zu ALS herstellen zu können, wird in das Feld Reference Number die ID für den Metadatensatz in ALS hinterlegt. Für die Nutzung bestimmter Tools zur Qualitätskontrolle müssen einige Häkchen in den entsprechenden Feldern gesetzt werden. Dann erst erfolgt der Eintrag der für die Archivierung vorgesehenen URLs im Bereich Seeds. Die Verknüpfung mit der entsprechenden Harvest Authorisation erfolgt dann automatisch. In einem letzten Schritt wird der Zeitplan für die Archivierung im Bereich Schedule festgelegt und der erste Harvest der Website gestartet. Die zu veranschlagende Dauer hierfür beträgt zwischen zwei und fünf Minuten Erstmalige Qualitätskontrolle und Wiederholung des Crawls Ist der erstmalige Harvest einer Website erfolgt, wird eine Qualitätskontrolle auf intellektueller Basis durchgeführt und der Zeitschnitt erst dann zur Archivierung freigegeben, wenn bestimmte Qualitätskriterien (Vollständigkeit der zentralen Inhalte, Konsistenz, Erhalt der Funktionalität, Erhalt des Look and Feel) erfüllt sind. 8 Da eine archivierte Website in der Regel nie eine 1:1-Abbildung der Live-Website sein wird, sondern fast immer eine Kopie mit eingeschränkten Funktionalitäten darstellt, werden bei der Qualitätssicherung vorrangig die Log-Dateien des Crawlers analysiert. An oberster Stelle der Kriterien steht dabei die inhaltliche Vollständigkeit, d.h. es wird in den entsprechenden Übersichten bzw. Reports (crawl.log, mimetypereport.txt, responsecode-report.txt) im Web Curator Tool überprüft, ob alle relevanten Daten (HTML-Dateien, PDFs, JPGs usw.) auf allen Verlinkungsebenen vorhanden sind. Fehlende Ressourcen können aus dem Erreichen der standardmäßig festgelegten Download-Obergrenze des Harvesters resultieren (maximal Dokumente bzw. 10 GB Daten) oder aber aus Schwierigkeiten des Harvesters beim Verfolgen der Linkstrukturen. Die Datei responsecode-report.txt liefert eine komplette Liste der beim Harvest einer Website rückgemeldeten Status-Codes. Dabei ist insbesondere die Anzahl an sogenannten Error-Codes (4xx- und 5xx-Status-Codes) sowie die Anzahl an Weiterleitungen (Status Codes 3xx) für weitere Maßnahmen zur Verbesserung eines Crawls ausschlaggebend (Letzter Zugriff: ). 8 Vgl. zum Vorgehen ausführlich die prozessorientierte Darstellung der Qualitätskontrolle in: Ausführliche Anleitung zur Qualitätskontrolle für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, verfügbar unter: (Letzter Zugriff: ). 9

10 Überschreitet die Anzahl der 4xx- und 5xx-Status-Codes um mehr als 1 % die der 2xx-Status-Codes (für erfolgreiche Aufrufe), muss auf jeden Fall die Ursache ermittelt werden. In den meisten Fällen wird die Qualitätskontrolle dann abgebrochen, die Daten werden verworfen und der Harvest wird mit neuen Parametern bzw. Einstellungen wiederholt. Dazu können einerseits zusätzliche Exclude Filter festgelegt werden, mit deren Hilfe bestimmte Teile einer Website von weiteren Harvests ausgeschlossen werden können, die viele Fehlermeldungen produzieren und inhaltlich nicht relevant sind (so z.b. Kalender- oder Suchabfragen). Andererseits besteht auch die Möglichkeit ein anderes Crawler-Profil zu verwenden. An der BSB stehen neben dem Standardprofil noch drei weitere zur Verfügung, wobei die ersten beiden nur in seltenen Spezialfällen Anwendung finden: 1. Profil ohne Images: Dieses Profil schließt sämtliche Image-Dateien vom Crawl aus, da es in seltenen Fällen aus rechtlichen Gründen notwendig sein kann auf Bilddateien zu verzichten. 2. Profil DecidingScope_Seed only : Dieses Profil dient speziell für das Crawlen von Teilen einer großen Website, da hier ausschließlich die unterhalb der Start-URL befindlichen Webpages gecrawlt werden. 3. Sehr häufig dagegen wird das Profil ohne JavaScript verwendet. Dieses Profil eignet sich für Websites, auf denen JavaScript intensiv zum Einsatz kommt, was beim Crawlen u.u. eine große Zahl an 404-Fehlermeldungen erzeugt. Meistens kann damit eine wesentliche Verbesserung des Crawls erreicht werden. Allerdings besteht gleichzeitig die Gefahr, dass Multimedia-Dateien, die über JavaScript-Funktionalitäten aufgerufen werden, nicht mehr im Crawl enthalten sind. Eine genaue Überprüfung der Log-Files ist daher in jedem Fall notwendig. Grundsätzlich stellt nicht nur das Fehlen von Inhalten, sondern auch ein Zuviel an Daten einen Qualitätsmangel dar. Im Crawl einer Website sollten demnach möglichst keine irrelevanten bzw. falschen Daten vorhanden sein: so können Inhalte, die für eine Archivierung nicht sinnvoll sind (z.b. Suchabfragen u. Ä.) oder von externen Seiten stammen und die entsprechenden URLs bis zu einer bestimmten Größe bei der Qualitätskontrolle mithilfe der Prune-Funktion 9 aus dem Crawl entfernt werden. Ab einer bestimmten Datenmenge scheidet diese Möglichkeit aus technischen Gründen allerdings aus, sodass der Crawl wiederholt werden muss, wobei die betreffenden URLs über Exclude Filter auch für zukünftige Crawls ausgeschlossen werden. Mittels einer visuellen Kontrolle kann geprüft werden, ob die geharvestete Website und ihre Unterseiten auch direkt über den Browser aufgerufen, navigiert und fehlerfrei dargestellt werden können. Diese Form der Überprüfung spielt mittlerweile eine etwas nachgeordnete Rolle, da sie zu sehr von den verwendeten Webtechnologien, wie z.b. aktuellen Browsern, abhängt und letztlich keine verlässlichen Aussagen darüber getroffen werden können, ob bestimmte Dokumente (z.b. PDF-Dateien oder Images) tatsächlich vom Crawler kopiert werden konnten oder nicht. So kann es vorkommen, dass z.b. Videos in einer Online- Mediathek vom Crawler heruntergeladen werden konnten und somit im Webarchiv (physisch) vorhanden sind, diese jedoch innerhalb der archivierten Version nicht abgespielt werden können, da der zugehörige Player, der auf der Live-Website zur Verfügung gestellt wurde, nicht bzw. nicht voll funktionsfähig kopiert werden konnte. Auch kann der aktuelle Viewer OpenWayback, der für die visuelle Qualitätskontrolle eingesetzt wird, teilweise bestimmte Inhalte nicht anzeigen. Dennoch können diese aber im zugehörigen WARC-File vorhanden sein. Hier wird abzuwarten sein, ob eine Weiterentwicklung der Viewer für Webarchive diese zwar vorhandenen, derzeit aber nicht darstellbaren Dateien in Zukunft wieder anzeigen kann. Trotzdem ist eine visuelle Kontrolle in der Regel nach wie vor notwendig, um Probleme bei der Darstellung zu identifizieren. Häufig fehlen zum Beispiel die Stylesheets, die für eine authentische Darstellung einer Website benötigt werden. Dies ist mit einer visuellen Qualitätsprüfung schnell festzustellen, wobei die entsprechenden Dateien dann als zusätzliche Seeds zum Target hinzugefügt werden müssen und erst nach einer kompletten Wiederholung des Crawls in den Archivdateien enthalten sind. Während bei kleineren Websites oftmals schon nach einem ersten Kontrolldurchgang die Freigabe für die Archivierung erteilt werden kann, gestaltet sich in vielen anderen Fällen die Qualitätssicherung recht anspruchsvoll und teilweise langwierig. Dabei hängt der Aufwand letztlich stark von der Größe, der Komplexität sowie den verwendeten technischen Systemen, z.b. Content Management Systemen der Websites ab. Nicht alle Probleme lassen sich mit der oben beschriebenen Fehleranalyse aufdecken, teilweise ist auch ein exploratives Vorgehen (Trial and Error) mit drei bis sechs Testcrawls notwendig, um die Archivierbarkeit einer Seite endgültig bewerten zu können. Insgesamt zeigte sich bei der Dokumentation 9 Eine ausführliche Darstellung dieser Funktion findet sich in: Ausführliche Anleitung zur Qualitätskontrolle für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, a.a.o. 10

11 des Aufwands für die erstmalige Qualitätskontrolle eine sehr große Bandbreite der Zeitwerte, bei einer zufällig zusammengestellten Stichprobe von 184 Websites schwankte die Dauer dafür zwischen 2 und 42 Minuten. In den meisten Fällen ist aber bis zum Abschluss der Qualitätskontrolle, inkl. möglicher Bearbeitungen und Wiederholungen des Crawls, ein Aufwand von 10 bis 20 Minuten zu veranschlagen. Wie aufwändig und differenziert sich die Qualitätskontrolle gestalten kann, wird auch anhand der Dokumentation dafür offensichtlich. Während sie zunächst nur ein eigenes Kapitel der regulären Dokumentation in der allgemeinen Anleitung für die Benutzung des Web Curator Tool war, ergab sich im Laufe das Projekts, insbesondere auch in der Zusammenarbeit mit der SUB Hamburg, die Notwendigkeit, die zur Verfügung stehenden Möglichkeiten der Qualitätskontrolle ausführlicher für die Praxis zu beschreiben. Das entsprechende Dokument umfasst derzeit allein 35 Seiten und gibt vertiefte Tipps zur Durchführung der Qualitätskontrolle für fortgeschrittene Anwender Fortlaufende Qualitätssicherung Die Qualitätskontrolle ist im Rahmen der Webarchivierung kein einmaliger, sondern ein wiederholt durchzuführender Prozessschritt; denn um die größtmögliche Qualität des Webarchivs als Ganzes zu erreichen, sollten prinzipiell alle Zeitschnitte einer Website geprüft werden. Bei den weiteren Zeitschnitten kann die Qualitätskontrolle im Vergleich zur ersten Überprüfung oftmals kürzer ausfallen, falls sich die Website seit dem letzten Crawl nicht wesentlich verändert hat. Veränderungen technischer Art in Aufbau und Struktur des Originalangebotes erfordern allerdings oftmals wiederum entsprechende Anpassungen der Crawler-Einstellungen, z.b. müssen die Seed-URLs angepasst werden, wenn sich die URLs der Website geändert haben oder aufgrund der Seitenstruktur bestimmte Subdomains explizit ein- oder ausgeschlossen werden müssen. Ebenso erfordert der Einsatz neuartiger Technologien, z.b. bei Multimedia-Inhalten, eine ständige Kontrolle der Crawlergebnisse. Als Bearbeitungsaufwand sind hier im Normallfall drei bis zehn Minuten anzusetzen, allerdings kann es auch hier bei sehr großen Änderungen im Originalangebot natürlich dazu kommen, dass eine nahezu vollständige Qualitätskontrolle wie vor der erstmaligen Archivierung durchzuführen ist Katalogisierung und Verknüpfung mit Datensätzen in ALS und WCT sowie Freigabe Um archivierte Websites für die Nutzer möglichst gut auffindbar zu machen, katalogisiert die BSB diese einmalig mit einer Kurzaufnahme in ihrem lokalen OPAC, der wiederum eine Reihe anderer Katalog- und Discovery-Systeme mit den entsprechenden Metadaten versorgen kann. Die erstellten Kurzaufnahmen werden später in einem automatischen Verfahren zusätzlich mit in ALS bereits vorhandenen Metadaten zur inhaltlichen Erschließung (Abstracts und Schlagwörter) angereichert. Des Weiteren wurde der Link zu den Archivkopien auch in die entsprechenden ALS-Metadatensätze übernommen, um den Nutzern der Fachportale auch hier einen direkten Zugriff auf die Ressourcen zu ermöglichen. Zur Verknüpfung der bibliographischen Metadaten mit dem Target im WCT wird ein Identifier für den Katalogdatensatz in die Daten des Targets im WCT übernommen. Sobald diese Arbeiten abgeschlossen sind, erfolgt im WCT die endgültige Archivierungsfreigabe. Für diesen Prozessschritt, der in dieser Form spezifisch für die Anwendung an der BSB ist, ließ sich ein relativ einheitlicher Bearbeitungsaufwand von 7-8 Minuten ermitteln. 11 Dieser Vorgang ist nur einmal für jede archivierte Website auf Werkebene durchzuführen; die nachfolgenden Zeitschnitte werden in der Darstellung im Viewer OpenWayback automatisch ergänzt Archivierung Den letzten Schritt des Webarchivierungsprozesses bildet nach der abgeschlossenen Qualitätskontrolle (und ggf. der Katalogisierung) die Verschiebung des Zeitschnitts aus dem Arbeitsbereich in den Archivbereich. Dazu wird der entsprechende Zeitschnitt nochmals im WCT aufgerufen und die Verknüpfung mit den Verzeichnissystemen geprüft, bevor er mit einem Klick ins Archiv übernommen werden kann. Für diesen kurzen Prozessschritt ist eine relativ einheitliche Dauer von einer Minute zu veranschlagen. 10 a.a.o. 11 Die unter 2.7. genannten überwiegend bibliothekarischen Aufgaben wurden im Rahmen des Projekts von der BSB in Eigenleistung erbracht. 11

12 3. Technische Aspekte: Speicherverbrauch und archivierte Medientypen Die geharvesteten Daten werden in Form vom WARC-Dateien gespeichert. 12 Die Speicherung erfolgt aus technischen Gründen zunächst komprimiert. Ein Harvest wird derart auf mehrere WARC-Dateien verteilt, dass eine einzelne, komprimierte WARC-Datei maximal 100 MB umfasst. Für die Langzeitarchivierung werden diese Dateien aus Erhaltungsgründen unkomprimiert gespeichert, auch wenn die Kompression rund 35% Speicherplatz einsparen würde. Derzeit (Stand ) befinden sich Zeitschnitte im Archiv, aufgeteilt auf WARC-Dateien. Die Anzahl der geharvesteten Dateien über alle Zeitschnitte beträgt ca. 74 Millionen. Die durchschnittliche Größe eines Zeitschnitts beträgt rund 1.3 GB. Jahr Speicher in GB Anzahl Zeitschnitte Hochgerechneter Zuwachs Zuwachs (komprimiert) (dekomprimiert) Gesamt Zuwachs Gesamt ,24 2,24 2, ,99 54,99 57, ,63 392,89 450, , , , , , , , , , (bis ) 667,18 994, , Tabelle 3: Entwicklung des Speicherverbrauchs für archivierte Websites an der BSB (Stand ) Für die Analyse der Medientypen (Media Types oder MIME Types) wurden alle Logdateien der einzelnen Crawls ausgewertet und die vom jeweiligen Webserver angegebenen Media Types gezählt. Anschließend wurden die Vielzahl der nicht Standardkonformen oder fehlerhaft benannten Media Types (etwa application/owerpoint ) über ein manuell erstelltes Mapping konsolidiert. Die folgende Tabelle bietet einen Überblick der Medientypen und deren Anteil im Archiv: MediaType Anzahl Daten (GB) text/html ,46 image/jpeg ,78 application/pdf ,49 image/gif ,53 image/png ,02 application/javascript ,02 text/css ,03 image/pjpeg ,29 application/xml ,05 application/opensearchdescription+xml ,18 image/tiff ,40 text/plain ,10 application/rdf+xml ,65 application/octet-stream ,53 text/x-delimtext ,11 application/vnd.ms-word ,07 text/calendar ,03 audio/mpeg ,62 12 Vgl. (Letzter Zugriff: ). 12

13 application/vcf ,01 application/rss+xml ,48 application/vnd.ms-excel ,15 no-type ,62 application/json ,03 application/rtf ,62 application/force-download ,23 text/x-vcard ,01 application/zip ,98 application/x-shockwave-flash ,40 application/atom+xml ,20 application/vnd.ms-powerpoint ,40 Tabelle 4: Häufigste Medientypen innerhalb der Zeitschnitte Dateien mit problematischen Medientypen sind selten. Zu diesen gehören 79 Photoshop-Dateien im Format.psd, Quellcode in obsoleten Programmiersprachen (190 Dateien in Rational Fortran 13 ) oder neun Apple Festplattenimages im Format.dmg. Auffällig sind rund komprimierte Archivdateien (ZIP, GZIP, TAR und RAR), deren Analyse ohne eine entsprechende zu entwickelnde Software nur manuell möglich ist. 14 Hier ist ein Bedarf für weitere Erforschung gegeben. 4. Nutzungszahlen Grundsätzlich ist zunächst eher eine geringe zeitnahe Nutzung von genuin digitalen Archivobjekten wie z.b. Websites zu erwarten, da zum einen die Originaldokumente oftmals noch im Live-Web vorhanden und zugänglich sind und zum anderen ein historisch ausgerichtetes Forschungsinteresse für einzelne Quellen noch nicht besteht. Aufgrund der hohen Flüchtigkeit von webbasierten Veröffentlichungen und der teilweise sehr kurzen Halbwertszeiten von Websites ist im Vergleich zu analogen Archiven aber prinzipiell eine zeitnähere Nutzung der Archivobjekte zu erwarten. Folgende Nutzungszahlen wurden für die archivierten Websites (Anzahl Besucher) im Untersuchungszeitraum gemessen: 2014 (ab ) (bis ) 1479 Tabelle 5: Anzahl der individuellen Besucher der archivierten Websites Rund 77% der Besucher kamen aus Deutschland, der Rest verteilt sich weltweit: 94,4% aller Besucher sind aus Europa, 3,1% aus Nordamerika, 1,1% aus Asien, 0,9% aus Südamerika. Einzelne Besucher kommen auch aus Afrika und Ozeanien. Ähnlich verteilen sich auch die Browsersprachen: 86,2% aller Browser sind Deutsch, 6,4% Englisch, gefolgt von Russisch (1,4%), Spanisch (1,2%) und Französisch (0,9%). Die durchschnittliche Verweildauer eines wiederkehrenden Besuchers in das Webarchiv beträgt 4 Minuten 56 Sekunden. 5. Zusammenfassung und Bewertung der Machbarkeit Als ein zentrales Ergebnis des vorliegenden Erfahrungsberichts lässt sich zunächst festhalten, dass der in der Ressourcenplanung zu berücksichtigende Aufwand für die selektive Archivierung von Websites grundsätzlich sehr schwer und nicht einheitlich zu quantifizieren ist und von einer Reihe an unterschiedlichen Einflussfaktoren abhängt. 15 Von sehr großer Bedeutung sind hier der Erfahrungsschatz und das technische Grundverständnis der mit der Auswahl, Sammlung und Qualitätskontrolle der zu archivierenden Websites betrauten Mitarbeiter und 13 (Letzter Zugriff: ). 14 Notwendig wäre eine Extraktion aller Dateien mit Archiv-Formaten aus den WARC-Dateien mit anschließender Formaterkennung der darin enthaltenen Dateien und einer Aggregation der Ergebnisse. 15 Die genannten Zeitwerte beruhen auf einer stichprobenartigen Erhebung und können daher nur als grobe Richtwerte herangezogen werden. Wie nachfolgend beschrieben hängen die Werte auch entscheidend von der Routine sowie dem technischen Grundverständnis der damit betrauten Mitarbeiter ab. Die hier genannten Werte beruhen auf den Erhebungen bereits eingearbeiteter und mit der Webarchivierung vertrauter Kolleginnen und Kollegen. 13

14 Mitarbeiterinnen. Routinierte und regelmäßig mit der Materie befasste Kollegen, können oft auf den ersten Blick einschätzen, welche Websites sich grundsätzlich technisch für eine Archivierung eignen, auf welcher Ebene eine Archivierung sinnvollerweise ansetzen sollte und Rückfragen ggf. klarer und schneller beantworten. Im derzeit aufwändigsten Arbeitsschritt, der Qualitätskontrolle, sind ihnen zentrale Fehlerquellen und wiederholt auftretende Probleme geläufig, sodass die benötigten Anpassungen der Crawl- Einstellungen rasch vorgenommen werden können. Daraus ergibt sich seitens der BSB eine klare Empfehlung, die vorwiegend technischen Parts des Verfahrens zur Archivierung von Websites so weit wie möglich zu zentralisieren und so die Durchführung der Crawls, die Qualitätssicherung und die Freigabe für die Archivierung auf wenige Personen zu verteilen. Vorgeordnet ist lediglich die fachliche Auswahl, die rein aufgrund inhaltlicher Kriterien nur von den entsprechenden Spezialisten vorgenommen werden kann, idealerweise sind diese mit den Rahmenbedingungen der Webarchivierung vertraut. Maßgeblich für den Aufwand der Archivierung einer Website sind aber auch Aufbau, Komplexität, Umfang und technische Umsetzung des Angebotes. So sind die umfangreichen und oftmals auf speziellen Content- Management-Systemen beruhenden Websites von größeren Organisationen, wie sie beispielsweise für das b2i-portal archiviert wurden, in der Bearbeitung in der Regel deutlich aufwändiger als die oftmals von Chronicon und Propylaeum ausgewählten monothematischen, einfach programmierten Websites von einzelnen Historikern. Letztlich ist der Ressourcenbedarf also auch davon abhängig, welche Angebote im Fokus der Sammel- und Archivierungsaktivitäten einer Institution stehen und mit welcher Frequenz und mit welchem Vollständigkeitsanspruch diese in das Archiv übernommen werden sollen. Als grober Richtwert lassen sich für den kompletten Prozess der erstmaligen Archivierung beim selektiven Harvesting inklusive Genehmigungseinholung und Qualitätskontrolle einer Website in der Regel zwischen 20 und 35 Minuten veranschlagen, für komplexer strukturierte Sites kann sich der Aufwand allerdings darüber hinaus erhöhen. Für die Kontrolle der fortlaufend erstellten Zeitschnitte sind drei bis zehn Minuten einzukalkulieren, sollten sich allerdings größere inhaltliche und vor allem technische Veränderungen auf der zu archivierenden Website ergeben haben, kann sich auch hier wiederum ein Mehraufwand durch eine notwendige Wiederholung des Crawls mit geänderten Parametern ergeben. Als schwer zu quantifizierender Bereich erwies im Hinblick auf den Ressourcenbedarf insbesondere die Qualitätskontrolle der einzelnen Zeitschnitte. Die von den Fachabteilungen der BSB von Beginn ihrer Aktivitäten an angesetzten sehr hohen Maßstäbe im Hinblick auf die Qualität der archivierten Websites mussten im Zuge der steigenden Zahlen im Archiv kritisch hinterfragt werden, insbesondere da es sich um eine fortlaufende Daueraufgabe handelt, die prinzipiell für jede Website beim Vorliegen eines neuen Zeitschnitts erneut durchzuführen ist. Im Rahmen des selektiven Harvesting ist die Qualitätskontrolle an der BSB, wie auch an anderen internationalen Einrichtungen bislang weiter eine ganz überwiegend manuelle bzw. intellektuelle Aufgabe, die durch Software lediglich unterstützt werden kann. Die intellektuelle Analyse der verschiedenen aufbereiteten Webarchivierungs-Reports hat den Aufwand für das früher praktizierte Durchklicken einer Archivkopie deutlich reduziert, nach wie vor sind aber semi- bzw. vollautomatische Methoden der Qualitätskontrolle nicht in größerem Umfang praxistauglich. 16 Die gesammelten Erfahrungen haben verdeutlicht, dass die Qualitätskontrolle in Bezug zum Gesamtaufwand bei der Langzeitarchivierung von Websites die maßgebliche Stellschraube ist, aus der aus Sicht der Institution am meisten in punkto Ressourcenverbrauch justiert werden kann. Zwar bietet gerade das selektive Harvesting im Gegensatz zum flächendeckenden Domain Harvesting grundsätzlich die Option, ein sehr hohes Maß an Qualitätsprüfung zu realisieren und damit Websites möglichst vollständig und originalgetreu in das digitale Archiv zu übernehmen, dies erfordert jedoch erhebliche Personalressourcen. Um hier einen Mittelweg zwischen hohem Personaleinsatz einerseits und einer mangelhaften Qualitätssicherung andererseits aufzuzeigen, wurde 1. im Rahmen des Projekts ein eigenes Handbuch für die Qualitätskontrolle erstellt, das transparent macht, welche Einzelmaßnahmen grundsätzlich wie umgesetzt werden können und somit diesen Prozess in der nötigen Granularität beschreibt. 2. Aufbauend darauf wurde ein Konzept erarbeitet, wie sich ein abgestuftes Verfahren der Qualitätssicherung grundsätzlich an der BSB wie auch in anderen Institutionen anhand so 16 Vgl. Reyes Ayala, Brenda; Phillips, Mark E.; Ko, Lauren: Current Quality Assurance Practices in Web Archiving. Web Archiving Project 2014, S.8, verfügbar unter (Letzter Zugriff am ). 14

15 genannter Preservation Levels umsetzen ließe und somit den Ressourceneinsatz in diesem Bereich individuell besser an die Rahmenbedingungen anzupassen und zu steuern. 17 Ein weiterer möglicher Ansatz kann die Überprüfung der Archivierbarkeit einer Website bereits vor der Durchführung des ersten Crawls sein. So ließen sich Ressourcen für die Qualitätssicherung und Wiederholung von Crawls von Websites einsparen, die sich letztlich als nur schwer oder gar nicht archivierungstauglich erweisen. Ein entsprechendes semi-automatisiertes Verfahren mit der Nutzung des Evaluierungstools ArchiveReady wird bereits vom deutschen Literaturarchiv Marbach eingesetzt und hat dort Effizienzgewinne ermöglicht. 18 Auch im internationalen Vergleich zeigt sich, dass sich die Workflows für die Qualitätssicherung als besonders arbeitsintensiv erweisen und damit grundsätzlich erhebliches Potenzial für eine Optimierung und Automatisierung bieten. 19 Im Kontext eines möglichst effizienten Workflows für die Webarchivierung sollte sofern die Einholung einer Archivierungs- und Bereitstellungsbewilligung notwendig ist, auch das entsprechende Verfahren überprüft werden. Um die zu Beginn des Projekts teilweise sehr langwierige Beantwortung und Klärung von Rückfragen reduzieren zu können, wurden die immer wieder auftauchenden Fragen zum technischen und rechtlichen Hintergrund in Form von FAQs kurz und übersichtlich zusammengefasst und bereits im Anschreiben zur Genehmigungseinholung referenziert. Des Weiteren wurden auch die Anschreiben stark komprimiert und in mehrere Sprachen übersetzt sowie das Genehmigungsformular mit einer englischen Übersetzung versehen. Schließlich sollte zumindest bei einer Webarchivierung im größeren Rahmen auch der Versand der s mit den Genehmigungsanfragen möglichst von zentraler Stelle automatisiert bzw. toolgestützt erfolgen und nicht von den Mitarbeiterinnen und Mitarbeitern individuell für jede zu archivierende Website durchgeführt werden. Eine weitere zentrale Erkenntnis des Projekts war, dass die in ALS vorhandenen Metadatensätze nicht unmittelbar und 1:1 für ein Verfahren des retrospektiven Massenharvesting nachnutzbar sind. Dies liegt zum einen darin begründet, dass dort vielfach Ressourcen erschlossen sind, die sich einer Archivierung aus technischen Gründen entziehen, wie z.b. rein datenbankgestützte Angebote oder stark auf Flash bzw. JavaScript basierende Websites. Des Weiteren eigenen sich die teilweise in sehr großer Tiefe einzeln erschlossenen Ressourcen in ALS oftmals nicht als sinnvoller Einstieg für die Webarchivierung, die grundsätzlich auf höheren Hierarchieebenen einer Website ansetzt. Last, but not least ergab sich bei der Auswahl geeigneter URLs für die Webarchivierung auf Seiten der fachlichen Koordinatoren ein deutlich höherer Arbeitsaufwand als zunächst angenommen, da in sehr vielen Fällen eine intellektuelle Überprüfung und Aktualisierung der ALS-Datensätze erfolgen musste, bevor der Versand einer Genehmigungsanfrage erfolgen konnte. Dennoch bieten die für die einzelnen Fachwissenschaften in ALS verzeichneten Ressourcen grundsätzlich einen umfangreichen und auf seine wissenschaftliche Relevanz geprüften Datenpool, der als Ausgangsbasis für den Einstieg in die Webarchivierung und zum Aufbau thematischer Sammlungen genutzt werden kann. Falls hier ein retrospektives Harvesting von ALS-Ressourcen in größerem Umfang in Betracht gezogen wird, sollte allerdings überprüft werden, inwiefern bzw. mit welchen Mitteln die bislang intellektuell vorgenommene Auswahl der Ressourcen aus diesem Pool stärker automatisiert werden kann. Ein weiterer positiver Aspekt, der für die Nutzung der ALS-Datensätze als Basis der Webarchivierung spricht, ist, dass die dort bereits aufwändig vorgenommene inhaltliche Erschließung nachgenutzt und diese Daten bzw. Teile davon in der Regel automatisiert in andere Verzeichnis- bzw. Discoverysysteme übernommen werden können. Als Gesamtfazit ergibt sich somit, dass es sich bei der selektiven Webarchivierung durchaus um eine ressourcenintensive und anspruchsvolle Aufgabe handelt, insbesondere wenn auf und die Qualität des Webarchivs als Ganzes und speziell die Qualität der Archivobjekte selbst großer Wert gelegt wird. Die Effizienz der einzelnen Schritte im Archivierungsprozess wie Auswahl, Genehmigungseinholung, Harvesting, Qualitätskontrolle und Archivierung sollten dabei regelmäßig gesondert analysiert und gegebenenfalls im 17 Vgl. dazu: Qualität und Prozessoptimierung bei der Langzeitarchivierung von Websites: Konzeptuelle Überlegungen zur Steuerung des Ressourceneinsatzes bei der selektiven Webarchivierung, verfügbar unter: (Letzter Zugriff: ). 18 Vgl. Fritz, Steffen: Praxisreport Verfahren zur Evaluierung der Archivierbarkeit von Webobjekten, in: ABI Technik 2015; 35(2): S , (Letzter Zugriff am ). 19 Vgl. Reyes Ayala, a.a.o., S