Stand: Ioannis Charalambakis, Tobias Beinert

Transkript

1 Qualität und Prozessoptimierung bei der Langzeitarchivierung von Websites: Konzeptuelle Überlegungen zur Steuerung des Ressourceneinsatzes bei der selektiven Webarchivierung Stand: Ioannis Charalambakis, Tobias Beinert

2 Inhaltsverzeichnis 1. Der Qualitätsbegriff bei der selektiven Webarchivierung Bestimmung von Preservation Levels Qualitätssicherung bei der Auswahl Nachträgliche Qualitätskontrolle Qualitätsmerkmale eines Zeitschnitts Abstufungen der nachträglichen Qualitätskontrolle Gewichtung der Qualitätsmerkmale Parameter der Qualitätskontrolle eines Zeitschnitts Parameter bei der Verbesserung und Wiederholung des Crawls Exemplarische Anwendung der Preservation Level Fazit Literatur Anlage: Glossar zur Webarchivierung

3 Hinweis: Dieses Dokument wurde im Rahmen des von der Deutschen Forschungsgemeinschaft geförderten Projekts Langzeitarchivierung von Websites durch Gedächtnisinstitutionen: Entwicklung eines Servicemodells auf Grundlage praktischer Erfahrungen von der Bayerischen Staatsbibliothek erstellt. Eine Beschreibung des Projekts sowie eine Darstellung der Webarchivierung finden Sie unter: Ein umfassendes Glossar mit einer Erläuterung der verwendeten deutschen und englischen Fachbegriffe der Webarchivierung ist diesem Dokument als Anlage beigefügt. 1. Der Qualitätsbegriff bei der selektiven Webarchivierung Ein zentraler und viel diskutierter Begriff im Kontext der Webarchivierung ist der der Qualität. 1 Qualität bezieht sich dabei in der Regel auf den Gesamtbestand eines Webarchivs. Während in den Zeiten von handschriftlichen oder gedruckten Materialien die größtmögliche Vollständigkeit neben der Erschließung und Nutzbarkeit ein wesentliches Qualitätsmerkmal einer spezifischen Sammlung bzw. eines thematischen Bestandes einer Bibliothek oder einer Forschungseinrichtung war, ist angesichts der schieren Menge an Webangeboten, der systemimmanenten Beschränkung auf die Sammlung diskreter Zeitschnitte von Websites und den technischen Einschränkungen dieses Verfahrens der bislang vorherrschende Grundsatz von einer nahezu umfassenden Sammlungstätigkeit der Gedächtnisinstitutionen und folglich auch der Qualitätsbegriff zu überdenken. 2 Die Qualität eines Webarchivs als Ganzes, d.h. der gesamten Sammlung von Zeitschnitten unterschiedlicher Websites, könnte sich aus Sicht der Benutzer zunächst an mehreren Merkmalen festmachen lassen: Größe/Umfang des Bestandes (z.b. Anzahl der archivierten URLs, Anzahl der archivierten Zeitschnitte, Anzahl der archivierten Bytes), Frequenz und Regelmäßigkeit der Harvests, inhaltliche Relevanz, Repräsentativität und Kohärenz des Bestandes für bestimmte Themengebiete sowie Auffindbarkeit, Benutzbarkeit sowie Transparenz bezüglich der Entstehung und Entwicklung der Bestände. Nicht zuletzt hängt die Bewertung eines Webarchivs aber auch in entscheidendem Maße von der Qualität der einzelnen archivierten Zeitschnitte ab, da auch diese nur in sehr seltenen Ausnahmefällen 1:1 dem Originalangebot entsprechen werden. 3 Die Bestimmung bzw. Überprüfung der Qualität eines Zeitschnitts läuft daher in der Regel auf die wiederkehrende Beantwortung der Frage hinaus, wie gut gut genug ist oder welche Qualität einer Kopie für eine Aufnahme ins Archiv akzeptabel erscheint. 4 Als Anhaltspunkte für diese Form der Qualitätskontrolle lassen sich folgende, sich teilweise überschneidende Kriterien heranziehen: Vollständigkeit der zentralen Inhalte, Konsistenz, Funktionalität, Erhalt des Look and Feel. 5 Diese Qualitätskontrolle geschieht normalerweise nur im Kontext der selektiven Webarchivierung, beim sogenannten Domain Harvesting ist angesichts der dabei entstehenden Datenmengen eine Überprüfung der Qualität einzelner Archivkopien nicht möglich. 1 Vgl. u.a. Bingham, Nicola: Quality Assurance Paradigms in Web Archiving Pre and Post Legal Deposit. In: Alexandria 25/I-II (2014), S , und Reyes Ayala, Brenda; Phillips, Mark E.; Ko, Lauren: Current Quality Assurance Practices in Web Archiving. Web Archiving Project Verfügbar unter (Letzter Zugriff am ). 2 Vgl. Beinert, Tobias; Schoger, Astrid: Vernachlässigte Pflicht oder Sammlung aus Leidenschaft? Zum Stand der Webarchivierung in deutschen Bibliotheken. In: ZfBB 62 (2015), Nr.3/4, S , S. 175 ff. 3 Vgl. zu den grundsätzlichen Zielen, Grenzen und technischen Einschränkungen der Webarchivierung die Ausführliche Anleitung für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, verfügbar unter: von Webseiten_WCT.pdf, S. 3,7. Zu den häufigsten Gründen für Unvollständigkeit von Archiven siehe Reyes Ayala, a.a.o., S.3, und (Letzter Zugriff am ). 4 Vgl. britishlibrary.typepad.co.uk/webarchive/2012/10/how-good-is-good-enough-quality-assurance-of-harvestedweb-resources.html (Letzter Zugriff am ) und Reyes Ayala, a.a.o., S Vgl. ausführlich zu den einzelnen Kriterien Kapitel

4 Auf internationaler Ebene kommt eine aktuelle Umfrage zu der Erkenntnis, dass diese Form der nachträglichen Qualitätskontrolle im Kontext der Webarchivierung bislang vornehmlich manuell und wenig automatisiert erfolgt und insgesamt noch mäßig dokumentiert ist, sodass noch kaum Best-Practice- Beispiele, messbare Qualitätskriterien und Metriken dazu entwickelt wurden, die sich ohne weiteres nachnutzen ließen. 6 Im Rahmen des Projekts Langzeitarchivierung von Websites durch Gedächtnisinstitutionen: Entwicklung eines Servicemodells auf Grundlage praktischer Erfahrungen das am Referat Digitale Bibliothek/Münchener Digitalisierungszentrum der Bayerischen Staatsbibliothek durchgeführt wurde, lag der Fokus auf einer vorwiegend intellektuellen Qualitätskontrolle aller geharvesteten Zeitschnitte. Die zur Verfügung stehenden Möglichkeiten der Qualitätskontrolle und verbesserung mit dem im Projekt eingesetzten Web Curator Tool konnten ausführlich dokumentiert werden. Sie stehen als Handreichung für die Community zum freien Download zur Verfügung. 7 Die Qualitätskontrolle erwies sich in vielen Fällen als ein sehr aufwändiger und langwieriger Prozess, der ein Nachjustieren bzw. eine Nachbearbeitung sowie ein einzelfallbezogenes Abwägen bzw. eine Kompromissfindung erforderlich machte. Eine ausführliche Darstellung und Bewertung des Prozesses findet sich in einem separat vorgelegten Erfahrungsbericht. 8 Sowohl die oben genannte Umfrage als auch der Erfahrungsbericht belegen, dass die intellektuelle Qualitätskontrolle unabhängig von der eingesetzten Software ein zeit- und ressourcenaufwändiger, schlecht skalierender Prozess ist, der von geschultem, erfahrenem und IT-affinem Personal durchgeführt werden sollte. 9 Nachdem für die Webarchivierung in vielen Institutionen nach wie vor wenig Mitarbeiter zur Verfügung stehen und ein geringerer Personaleinsatz in der Qualitätssicherung ggf. einen höheren Personaleinsatz für die Auswahl archivierungswürdiger Websites ermöglicht d.h. geringere Qualität ggf. mit einer größeren Quantität im Archivbestand einhergeht, ist zu überlegen, wie der Aufwand für die Qualitätssicherung allgemein und die Qualitätskontrolle der Zeitschnitte im Besonderen richtig dosiert werden kann. Dazu sollen im Folgenden Anhaltspunkte gegeben und Überlegungen angestellt werden, wie der Prozess der Qualitätssicherung allgemein in der Webarchivierung grundsätzlich abgestuft gestaltet werden und so der Ressourceneinsatz angepasst an die jeweiligen institutionellen Rahmenbedingungen optimiert werden kann. Dabei werden vor allem die Möglichkeiten im Rahmen der nachträglichen Qualitätskontrolle betrachtet, das entsprechende Verfahren lässt sich wie folgt definieren: [ ] the process of examining the characteristics of websites captured by harvesting software before making a decision as to whether a website has been successfully captured to become a valid archival copy. 10 Zusätzlich werden auch die Möglichkeiten der Qualitätssicherung im Vorfeld der Durchführung eines Harvests betrachtet. 2. Bestimmung von Preservation Levels Eine grundsätzliche Maßnahme, die bereits bei der Konzeption der Webarchivierung in einer Einrichtung vorgenommen werden kann, ist die Festlegung von so genannten Preservation Levels. Die Preservation Level werden hier für die Bewertung der Bedeutung der zu archivierenden Websites im Kontext der jeweiligen Sammlung eingesetzt. Diese können als Grundlage für einen abgestuften Ressourceneinsatz bei der Qualitätssicherung herangezogen werden und so zur Priorisierung des 6 Vgl. Reyes Ayala, a.a.o., S Vgl. die Handbücher Ausführliche Anleitung für die Archivierung von Websites mit der Software Web Curator Tool, a.a.o. und Ausführliche Anleitung zur Qualitätskontrolle für die Langzeitarchivierung von Websites mit der Software Web Curator Tool verfügbar unter: Projekt_Webarchivierung/Anleitung_Qualitaetskontrolle_WCT.pdf. (Letzter Zugriff am ). 8 Vgl. Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen, verfügbar unter: Projekt_Webarchivierung/Webarchivierung_Qualitaet_und_Prozessoptimierung.pdf (Letzter Zugriff am ). 9 Vgl. Reyes Ayala, a.a.o. S. 3 u.19, und Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen, a.a.o., S Bingham, a.a.o., S

5 Personaleinsatzes beitragen. Entsprechend dem zugewiesenen Preservation Level wird anteilsmäßig mehr oder weniger Zeit in die Qualitätssicherung investiert (vgl. dazu Kapitel 4.2.). Da jede Institution diese Preservation Level nach ihren eigenen Rahmenbedingungen (z.b. rechtliche Verpflichtungen, Sammelprofil, Nutzeranforderungen) festlegen muss, werden im Folgenden exemplarisch drei Preservation Level dargestellt, wie sie für die Webarchivierung an der Bayerischen Staatsbibliothek zukünftig gestaltet werden können. Technische Gesichtspunkte bleiben dabei zunächst außen vor, entscheidend ist die inhaltliche Einordnung eines Webangebots durch den zuständigen fachlichen Koordinator. Preservation Level Qualitätsanspruch Was fällt darunter? Preservation Level 1 Hoch Websites aus dem Pflichtzugang (amtliche Veröffentlichungen) und Bavarica Preservation Level 2 Mittel Websites aus dem Bereich der Sammelschwerpunkte Preservation Level 3 Niedrig Weitere Websites mit wissenschaftlicher Relevanz Tabelle 1: Exemplarische Festlegung von Preservation Level 3. Qualitätssicherung bei der Auswahl Die Erkenntnisse des Projektes Langzeitarchivierung von Websites durch Gedächtnisinstitutionen: Entwicklung eines Servicemodells auf Grundlage praktischer Erfahrungen beim retrospektiven Harvesting der in Academic Linkshare erschlossenen Internetressourcen haben gezeigt, dass bereits bei der Auswahl der zu archivierenden Websites bzw. bei der Festlegung der Parameter für einen Crawl wichtige Entscheidungen getroffen werden, die die Qualität der Archivkopie sowie den Aufwand für die Prüfung maßgeblich beeinflussen können. Dies betrifft zum einen das für die inhaltliche Auswahl der zu archivierenden Websites verantwortliche Personal, das in kurzen Schulungen dafür sensibilisiert wurde, welche Formen von Internetressourcen grundsätzlich für die Webarchivierung geeignet sind und welche technischen Einschränkungen dabei zu beachten sind 11, und das darauf hingewiesen wurde, dass die Archivierung normalerweise nicht auf der Ebene von Einzeldokumenten oder Webpages (Unterseiten) erfolgen sollte. Damit konnte der nachträgliche Arbeitsaufwand für den Ausschluss ungeeigneter Webangebote wie auch das Bearbeiten unbefriedigender Ergebnisse eines Crawls bereits im Vorfeld reduziert werden. Auch die technisch verantwortlichen Mitarbeiter (Crawl Engineers), die in der Regel Start und Durchführung der Crawls übernehmen, können durch präventive Maßnahmen den Aufwand für die nachträgliche Qualitätskontrolle eindämmen. Dazu zählen die Anpassung der Crawlereinstellungen vor der Durchführung des ersten Crawls oder das Browsen im Liveangebot zur Identifizierung problematischer Inhalte wie z.b. Multimediadateien, JavaScript, Flash oder Crawler Traps. Ebenso können Linkchecker wie Xenu s Link Sleuth eingesetzt werden, um im Vorfeld versteckte Links (z.b. zu Stylesheets) zu ermitteln, die dem Crawler zusätzlich mitgegeben werden können, damit bereits der erste Crawl ein möglichst hohes Maß an Vollständigkeit aufweist. 12 Eine weitere interessante Option ist die Nutzung des Online-Tools ArchiveReady ( das anhand der Kriterien Accessibility, Cohesion, Metadata und Standards Compliance die Archivierbarkeit von Websites automatisiert bewertet. Wird hier vorab ein schlechter Gesamtwert für eine zur Archivierung vorgesehene Website ermittelt, kann dies für den Crawl Engineer ein Anhaltspunkt für eine weitere Inspektion der Website, eine präventive Anpassung des Crawlers oder den Verzicht auf die Archivierung sein. Ein erster Praxisreport für das Tool liegt seitens des Literaturarchivs Marbach vor. 13 Ebenso kann die Frequenz der Zeitschnitterstellung zur Aufwandssteuerung eingesetzt werden: Die Frequenz sollte immer auf den Charakter der Website abgestimmt sein, die Archivierung eines Online- 11 Vgl. Ausführliche Anleitung für die Archivierung von Websites mit der Software Web Curator Tool, a.a.o., S. 3 u. 7, und Leitfaden zur Qualitätskontrolle für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, a.a.o., S Vgl. Reyes Ayala, a.a.o., S Vgl. Fritz, Steffen: Praxisreport. Verfahren zur Evaluierung der Archivierbarkeit von Webobjekten. In: ABI Technik 35/II (2015), S

6 Nachrichtenportals sollte idealerweise mindestens täglich durchgeführt werden, bei einer weitgehend statischen Website reicht hingegen ein jährlicher Rhythmus. Grundsätzlich wird in vielen Institutionen beim selektiven Harvesting viertel- oder halbjährlich ein Zeitschnitt einer Website archiviert. Das Vergrößern des Zeitabstands zwischen zwei Crawls bietet natürlich die Möglichkeit, die Zahl der Zeitschnitte und damit auch den Aufwand für die Qualitätssicherung zu reduzieren. Dies kann abgestuft nach Preservation Level erfolgen. 4. Nachträgliche Qualitätskontrolle 4.1 Qualitätsmerkmale eines Zeitschnitts Da die Archivkopien einer Website in der Regel nicht zu 100 Prozent dem Liveangebot entsprechen werden, haben sich in der Praxis vieler Institutionen zentrale Qualitätsmerkmale herauskristallisiert, die Anhaltspunkte zur Bewertung der Archivierungswürdigkeit eines Zeitschnitts im Rahmen der nachträglichen Qualitätskontrolle geben. Für archivierte Websites lassen sich in Anlehnung an die Konzepte der British Library 14 und des New York Art Resources Consortium 15 sowie der eigenen Erfahrungen vier zentrale Qualitätsmerkmale benennen: a) Vollständigkeit der zentralen Inhalte: Sind alle von den fachlichen Koordinatoren für inhaltlich wichtig befundenen Dokumente zugänglich, ggf. auch nicht im Original-Design (z.b. Fehlen von Images) oder nicht über alle Funktionalitäten des Originalangebots (z.b. nur über eine alphabetische Liste nicht über eine Suche)? So wird beispielsweise bei der Qualitätskontrolle eines Zeitschnitts einer amtlichen Website besonderes Augenmerk darauf gelegt, dass z.b. alle Veröffentlichungen im PDF- Format erfolgreich geharvestet werden konnten, während z.b. ein Fehlen von Videodateien als akzeptabel eingestuft wird. Die Ermittlung der Vollständigkeit eines Zeitschnitts erfolgt im Wesentlichen durch die Analyse der Logfiles des Harvestingstools, in der Regel ergänzt durch eine visuelle Kontrolle. b) Konsistenz: Inwieweit sind die Inhalte und ihre Verknüpfungen innerhalb des Originalangebots im Archiv enthalten? Wurden die unterschiedlichen Teile der Website innerhalb des gleichen Zeitraums archiviert (zeitliche Kohärenz) oder gibt es hier Abweichungen? Wurden zudem ungewollt externe Inhalte mitarchiviert? c) Erhalt der Funktionalität: In welchem Maß funktionieren die Navigation, der Zugang über ein Kalendarium oder eine interaktive Karte, die Wiedergabe, die Suchfunktionalitäten etc. innerhalb des zu archivierenden Zeitschnitts in gleicher Weise wie beim Originalangebot? d) Erhalt des Look and Feel: Entspricht die archivierte Ansicht derjenigen der Originalwebsite, können z.b. alle Images, Multimediadateien, Schriften und Stylesheets 16 auch im für die Nutzer zugänglichen Viewer der OpenWayback angezeigt werden? Hier kommt es durchaus vor, dass bestimmte Inhalte und Dateien zwar in einem Zeitschnitt vorhanden sind, derzeit aber aufgrund der Limitationen des eingesetzten Viewers nicht angezeigt werden können, ggf. aber zukünftig in weiterentwickelten Präsentationsformen darstellbar sind. Daher ist es wichtig, sich nicht auf eine rein visuelle Kontrolle zu beschränken, sondern in den zur Verfügung stehenden Logfiles das Vorhandensein aller Dateien zu überprüfen. In den meisten Fällen wird ein absolut originalgetreuer Erhalt des Look and Feel nicht möglich sein, da viele Websites heute via Mash-Ups eingebundene Inhalte (z.b. von YouTube, Twitter oder Googlemaps) aufweisen. Dabei ist der Prozess der Qualitätskontrolle grundsätzlich eine Annäherung an ein bestmögliches Ergebnis, da es in der Regel nicht möglich ist, mit den derzeit verfügbaren Crawlern die genannten Merkmale zu 100 Prozent zu erfüllen. 17 Er ist zudem einzelfallbezogen, d.h. die Archivierbarkeit der heute sehr heterogen gestalteten Webangebote sind jeweils aufgrund ihrer spezifischen Charakteristika zu bewerten und entziehen sich einer Qualitätskontrolle mit eindeutigen und harten Kriterien. Generell teilt die BSB hier daher auch die von anderen Institutionen vertretene, eher 14 Vgl. (Letzter Zugriff am ). 15 Vgl. (Letzter Zugriff am ). 16 a.a.o. 17 Vgl. zu den Grenzen der Webarchivierung die Ausführliche Anleitung für die Archivierung von Websites mit der Software Web Curator Tool, a.a.o. S. 3,7. 6

7 pragmatische Ansicht: [ ] an imperfect copy is better than no copy. 18 Die Ablehnung eines Zeitschnitts erfolgt derzeit nur, wenn die zentralen Inhalte nicht in das digitale Archiv übernommen werden können. Problematisch an der in Form eines Annäherungsprozesses durchgeführten Qualitätskontrolle ist die Tendenz, dass bei einer zu sorgfältigen Kontrolle und dem Nachjustieren bzw. der mehrmaligen Wiederholung eines Crawls zur Korrektur des Archivierungsergebnisses, teilweise erheblicher zeitlicher Mehraufwand entsteht, der letztlich aber nicht bzw. nur zu minimalen Verbesserungen führt. Im Rahmen der von der Bayerischen Staatsbibliothek durchgeführten Machbarkeitsstudie erwies sich die nachträgliche Qualitätskontrolle daher zum einen als der ressourcenintensivste Schritt im Prozess der Webarchivierung, zum anderen aber auch als der Schritt, der sich am schwersten zeitlich eingrenzen ließ. 19 Um den Ressourcenaufwand dennoch überschau- bzw. kontrollierbar zu halten, werden im Folgenden Überlegungen angestellt, wie einzelne Aspekte bzw. Teilschritte der Qualitätskontrolle in abgestufter Form gestaltet werden können und sich diese Abstufungen anhand der unterschiedlichen Preservation Level in der Praxis umsetzen lassen könnten Abstufungen der nachträglichen Qualitätskontrolle Anhand der vorliegenden ausführlichen Beschreibungen der Qualitätskontrolle 20 und des Erfahrungsberichts 21 konnten die unter angeführten Parameter als Stellschrauben identifiziert werden, anhand derer es grundsätzlich möglich ist, den Aufwand zu verringern. Gleichzeitig bedeutet ein verminderter Ressourceneinsatz in der Qualitätskontrolle, dass in diesem Annäherungsprozess an ein bestmöglichstes Resultat natürlich in der Regel ein weniger zufriedenstellendes Ergebnis erreicht werden wird Gewichtung der Qualitätsmerkmale Je nach Auftrag und Zielen eines Webarchivs als Ganzes bzw. festgelegtem Preservation Level für Teilsammlungen kann den Qualitätsmerkmalen eine unterschiedliche Priorität zugewiesen werden. Während für Websites mit einem hohen Preservation Level für alle vier oben genannten Merkmale ein hoher Anspruch verfolgt wird, könnte bei einem niedrig eingestuften Angebot z.b. das Merkmal des Look and Feel aus der qualitativen Bewertung gänzlich ausgeblendet werden. Für die Bayerische Staatsbibliothek ist das Qualitätsmerkmal der Vollständigkeit der zentralen Inhalte, in der Regel in Form von Textdokumenten, grundsätzlich hoch zu gewichten. Der Erhalt der Darstellung und Funktionalität einer Archivkopie fließen in den Bewertungsprozess hingegen für Objekte mit einem bestimmten Preservation Level nur mit einer niedrigeren Priorität ein. Andere Webarchive, die z.b. künstlerische Angebote oder Webliteratur sichern wollen, werden sicherlich die Kriterien Look and Feel sowie Funktionalität höher gewichten Parameter der Qualitätskontrolle eines Zeitschnitts Weitere Abstufungsmöglichkeiten ergeben sich aus den einzelnen Prozessschritten der Qualitätskontrolle eines Zeitschnitts, auf die ggf. verzichtet werden kann: a) Verzicht auf visuelle Kontrolle: Ein Prozessschritt, der im Rahmen der Bewertung der Qualität eines Zeitschnittes ggf. ebenfalls wegfallen kann, ist die visuelle Inspektion einer Archivkopie im Viewer. Das hieße, eine Überprüfung würde nur anhand der vom Crawler ausgelieferten Log-Files vorgenommen, die in der Regel ohnehin den ersten Schritt der Qualitätskontrolle bildet, ggf. ist hier auch eine weitere Beschränkung auf den so genannten Crawl Log sinnvoll. Dies bietet sich insbesondere an, wenn eine niedrigere Priorität für die Qualitätsmerkmale Funktionalität und Look and Feel definiert wurde. 18 Bingham, a.a.o., S Vgl. Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen, a.a.o., S. 9f. 20 Vgl. Ausführliche Anleitung zur Qualitätskontrolle für die Langzeitarchivierung von Websites mit der Software Web Curator Tool, a.a.o. 21 Vgl. Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen, a.a.o. 7

8 b) Verzicht auf Vergleich mit der Live-Website: Ebenso kann der oftmals durchgeführte visuelle und funktionelle Abgleich eines Zeitschnitts mit dem Originalangebot entfallen, wenn eine entsprechend niedrigere Gewichtung gewählt wurde. c) Beschränkung auf Teilbereiche einer Website: Eine weitere Möglichkeit, den Aufwand zu reduzieren ist es, generell nur für bestimmte Elemente (z.b. die Startseite, PDF-Dateien) bzw. nur bis zu bestimmten (Unter-)ebenen einer Website eine Qualitätsüberprüfung durchzuführen. d) Festlegung eines zeitlichen Richtwerts für die Qualitätskontrolle: Schließlich bietet es sich an, für die Kontrolle von einzelnen Zeitschnitten grundsätzlich eine maximale Dauer festzulegen, ggf. auch mit abgestuften Zeitwerten, je nach Preservation Level. Nach Ablauf dieser Zeitspanne ist eine Entscheidung über die Archivierungstauglichkeit des Zeitschnitts verbindlich zu treffen. e) Frequenz der Kontrolle der Zeitschnitte: Es könnte ein Umstieg von einer vollständigen Qualitätskontrolle für alle Zeitschnitte auf ein Stichprobenverfahren angedacht werden. So ist beispielsweise denkbar, dass generell nur jeder zweite Zeitschnitt einer Website oder aber auch nur zufällig ausgewählte Zeitschnitte aus dem gesamten Archiv einer Qualitätsüberprüfung zugeführt werden. Ebenso könnte auf eine ausführliche Kontrolle eines Zeitschnitts verzichtet werden, wenn die Logdateien nur geringe Änderungen (z.b. bei der Anzahl der Dateien) im Vergleich zum vorhergehenden Crawl aufweisen Parameter bei der Verbesserung und Wiederholung des Crawls In sehr vielen Fällen wird derzeit ein Crawl ein- oder sogar mehrmals wiederholt, um durch veränderte Parameter ein verbessertes Ergebnis zu erreichen. Hier ließe sich beispielsweise eine maximale Anzahl an Wiederholungen definieren. Ebenso könnte auf die Wiederholung eines Crawls verzichtet werden, wenn die standardmäßig gesetzten Obergrenzen (Anzahl URLs, Datenvolumen) erreicht werden. Als Sonderfall ließe sich ein vollständiger Verzicht auf Wiederholung des Crawls festlegen: Für Websites mit einem bestimmten Preservation Level wird festgelegt, dass lediglich der bereits erstellte Zeitschnitt bearbeitet werden darf. Dort können ggf. noch ungewollt kopierte Inhalte ausgeschnitten werden und ggf. weitere URLs für zukünftige Crawls ergänzt werden, der Crawl für den aktuellen Zeitschnitt wird jedoch nicht wiederholt. Eine weitere Möglichkeit um die Ergebnisse eines Crawls zu verbessern, ist der Einsatz eines alternativen Crawlers (z.b. Umbra 22 oder WebRecorder.io 23 ), um mit Heritrix nicht zu erreichende Inhalte archivieren zu können. Dieser bislang von der Bayerischen Staatsbibliothek noch nicht praktizierte Ansatz bietet sich vor allem für interaktiv gestaltete Seiten und Inhalte aus sozialen Netzwerken mit einer hohen Erhaltungspriorität an. Einige Institutionen archivieren bereits zusätzlich zu den im WARC-Container gespeicherten Daten eines Crawls auch Screenshots von ausgewählten Teilen oder sogar Screencasts einer Website (z.b. der Startseite). 24 Dies ist vor allen in Fällen zu empfehlen, in denen großer Wert auf die Dokumentation der optischen Präsentation einer Website gelegt wird oder aber die Inhalte einer Website zu einem bestimmten Zeitpunkt authentisch zu dokumentieren sind. 5. Exemplarische Anwendung der Preservation Level Im Folgenden wird anhand der oben beschriebenen Preservation Level exemplarisch ein abgestuftes Raster für den Prozess Qualitätssicherung in der Webarchivierung an der Bayerischen Staatsbibliothek skizziert. 25 Dies ist natürlich für jede Institution je nach Auftrag, Sammlungszielen, Nutzerbedarf und Ressourcenlage individuell anzupassen, eine Abstimmung mit den inhaltlich für die 22 Vgl. (Letzter Zugriff am ). 23 Vgl. (Letzter Zugriff am ). 24 Vgl. z.b. und Fritz, Steffen: Von Spidern und Baggern: Tools im Projekt Netzliteratur, verfügbar unter: (Letzter Zugriff am ). 25 Vgl. zu den von der Bayerischen Staatsbibliothek gesammelten Zeiterfahrungswerten für die einzelnen Prozessschritte: Erfahrungsbericht: Retrospektive Langzeitarchivierung von in Academic Linkshare erschlossenen Internetressourcen, a.a.o. 8

9 Sammlung verantwortlichen Personen sollte aber in jedem Falle vorgenommen werden. Zudem kann die Veröffentlichung eines derartigen Rasters auch die Transparenz gegenüber den Nutzern erhöhen und offenlegen, mit welchen Maßstäben welche Inhalte von Websites gesichert werden und so auch Lücken und Fehler in einem Webarchiv nach Außen nachvollziehbar machen. Prozessschritt QS PL 1 (hoch) PL 2 (mittel) PL 3 niedrig Frequenz der Zeitschnitte Halbjährlich Halbjährlich Halbjährlich Frequenz der Kontrolle Alle Alle Alle der Zeitschnitte Gewichtung der Qualitätsmerkmale Größtmögliche Qualität für alle vier Merkmale anzustreben Größtmögliche Qualität für Vollständigkeit der zentralen Inhalte und Konsistenz anzustreben, Funktionalität und Look and Feel mit geringerer Priorität Vollständigkeit der zentralen Inhalte und Konsistenz der Inhalte wichtig, Erhalt von Funktionalität und Look and Feel vernachlässigbar Verzicht auf visuelle Nein Nein Ja Kontrolle Verzicht auf Vergleich mit Nein Ja Ja der Live-Website Beschränkung auf Nein Nein Nein Teilbereiche einer Website Festlegung eines 30 Minuten 15 Minuten 8 Minuten Zeitlimits für die Qualitätssicherung Wiederholungen des Max. 3 Max. 1 Wiederholung Keine Wiederholung Crawles limitieren Wiederholungen Einsatz eines weiteren Nein Nein Nein Crawlers Ergänzung eines Crawls durch Screenshots/ Screencasts Nein Nein Nein Tabelle 2: Exemplarische Anwendung der Preservation Level 6. Fazit Insgesamt ist der Prozess der Qualitätssicherung bei der Webarchivierung derzeit noch schwer fassund standardisierbar. Die angestellten Überlegungen sollen einen Beitrag dazu leisten, anderen mit dieser Aufgabe befassten Institutionen unabhängig von den eingesetzten technischen Lösungen aufzuzeigen, mit welchen Parametern sich dieser Prozess im Kontext des selektiven Harvestings grundsätzlich strukturieren ließe und wie der Ressourceneinsatz besser kontrolliert werden kann. Zudem erhöht ein dokumentiertes Vorgehen bei der Qualitätssicherung die Transparenz bezüglich der Entstehung, Entwicklung und Qualität der Bestände gegenüber den Nutzern. Dies ermöglicht es ihnen, dieses Wissen in eine Nutzung der Archivbestände einfließen zu lassen. Es ist davon auszugehen, dass die Thematik der Qualitätssicherung die in der Webarchivierung aktiven Einrichtungen auch in den kommenden Jahren weiter beschäftigen wird, insbesondere wenn das Ziel einer Ausweitung der Nutzung von Webarchiven erreicht werden kann. In den letzten Jahren wurden erste Tools zur automatisierten bzw. semiautomatischen Qualitätskontrolle von Zeitschnitten entwickelt. 26 Allerdings scheinen diese bislang in der Praxis noch einen eher begrenzte Aufnahme erfahren zu haben, genutzt werden vor allem Reporting-Tools (z.b.für Crawl-Logs) und vorgefertigte Software zur allgemeinen Analyse von Websites (z.b. Xenu Link Sleuth, PhantomJS, and HTTPFox). 27 Der von Bingham vorgeschlagene Ansatz, verstärkt Nutzerrückmeldungen zur Qualität 26 Vgl. Bingham, a.a.o., S Vgl. Reyes Ayala, a.a.o., S. 8. 9

10 von Zeitschnitten zu sammeln und zu dokumentieren 28, ist eine weitere für die Zukunft zu berücksichtigende Option. 7. Literatur Bingham, Nicola: Quality Assurance Paradigms in Web Archiving Pre and Post Legal Deposit. In: Alexandria 25/I-II (2014), S Bragg, Molly / Kristine, Hanna: The web archiving life cycle model. Archive-It Team Online unter (Letzter Zugriff am ). Brügger, Niels: Archiving Websites. General Considerations and Strategies. Århus Online unter (Letzter Zugriff am ). Fritz, Steffen: Praxisreport. Verfahren zur Evaluierung der Archivierbarkeit von Webobjekten. In: ABI Technik 35/II (2015), S Fritz, Steffen: Von Spidern und Baggern: Tools im Projekt Netzliteratur, verfügbar unter: (Letzter Zugriff am ). Reyes Ayala Brenda; Phillips, Mark E.; Ko, Lauren: Current Quality Assurance Practices in Web Archiving. Web Archiving Project Online unter (Letzter Zugriff am ). 28 Vgl. Bingham, a.a.o., S

11 Anlage: Glossar zur Webarchivierung Archivierungsbewilligung Die Zustimmung des Inhabers der Nutzungsrechte einer Website zur Erstellung von Kopien, zur Archivierung und Zugänglichmachung der Archivkopien Synonym: Archivierungsgenehmigung, Genehmigung Archivierungsgenehmigung Siehe: Archivierungsbewilligung Crawl/ing Im Kontext der Webarchivierung synonym verwendet mit Harvest/ing Siehe: Harvest/ing. Crawl Engineer Ein im Themenbereich Webarchivierung erfahrener Experte, der für die Steuerung der Harvest-Prozesse, die Konfiguration der Webcrawler und die Qualitätskontrolle der Zeitschnitte verantwortlich ist. Crawler Siehe: Webcrawler Crawler Trap Verbund von Webpages, der bewirken kann, dass ein Webcrawler in einer Dauerschleife von Abfragen hängenbleibt oder sogar abstürzt. Oftmals vorsätzlich eingesetzt um Spambots zu behindern, kann eine Crawler Trap auch unabsichtlich durch dynamische Inhalte, wie z.b. Kalenderabfragen, verursacht werden. Genehmigung Siehe: Archivierungsbewilligung Harvest Authorisation Datensatz im Web Curator Tool für die Berechtigung zum Harvest und zur Archivierung einer Website, der aufgrund einer erteilten Archivierungsbewilligung angelegt wird. Harvest/ing 1. Technischer Vorgang zur Erstellung von Kopien einer Website bzw. eines definierten Ausschnitts des Webs mit Hilfe eines Webcrawlers. 2. Ergebnis dieses Vorgangs. Es wird unterschieden zwischen einem Domain Harvesting, das das gesamte Webangebot einer Domain (z.b. *.de) umfasst, dem selektiven Harvesting, das nur ausgewählte Websites speichert und dem sogenannten Event Harvesting, das Internetangebote zu einem bestimmten Ereignis (z.b. Bundestagswahl 2009) archiviert. Synonym: Crawl/ing Harvester Siehe: Webcrawler Heritrix Ein Open Source Webcrawler der speziell für die Archivierung von Websites vom Internet Archive entwickelt wurde. Heritrix ist der am häufigsten eingesetzte Webcrawler für die Webarchivierung und ist 11

12 Langzeitarchivierung OpenWayback Preservation Level Qualitätskontrolle Qualitätssicherung Schedule/r Seed Stylesheet Target Target Instance Teil verschiedener Tools zur Steuerung der Webarchivierung u.a. dem Web Curator Tool. Organisatorische und technische Maßnahmen zum Erhalt von Information in digitaler Form. Dies beinhaltet die Gewährleistung des Langzeiterhalts, der Langzeitverfügbarkeit sowie der Interpretierbarkeit digitaler Objekte zum Zwecke der Nutzung durch eine bestimmte Zielgruppe. Dabei bedeutet Langzeit: über Veränderungen in der Technik (Soft- und Hardware) und in der Zielgruppe hinweg (z.b. für künftige Generationen, auf unbegrenzte Zeit). Siehe: Wayback Mehrstufiges System zur Bewertung der Relevanz eines Objekts für die Langzeitarchivierung im Kontext der Sammlung. Die Bewertungen können auf inhaltlichen (z.b. Bavarica), rechtlichen (z.b. Pflichtzugang) bzw. formalen (z.b. Blogs) Kriterien beruhen. Überprüfung eines Harvests hinsichtlich der Kriterien: Vollständigkeit der zentralen Inhalte, Konsistenz, Erhalt der Funktionalität und Erhalt des Look and Feel vor der Freigabe zur Archivierung. Alle Maßnahmen zur Erzielung einer möglichst hohen Qualität bei der Langzeitarchivierung von Websites. Die Qualitätssicherung umfasst organisatorische und technische Maßnahmen z.b. die Festlegung von Preservation Levels, Analysen einer Website vor dem ersten Harvesting sowie die Überprüfungen im Rahmen der Qualitätskontrolle. Zeitplan zum erstmaligen und / oder wiederholten Harvest einer Website Eine URL, die einem Webcrawler als Startpunkt für das Erfassen von Inhalten vorgegeben wird. Teil einer Website, der für die Darstellung der Information zuständig ist. Ein Stylesheet interpretiert strukturierte Daten (in HTML, XHTML) und formatiert sie für die Bildschirmausgabe, die Ausgabe auf mobilen Geräten bzw. den Druck entsprechend der vorgegebenen Regeln. Datensatz, der die zu harvestende und zu archivierende Website im Web Curator Tool beschreibt. Dieser Datensatz enthält u.a. den Namen der Website, URLs, Schedule, ggf. weitere spezifische Parameter für den Webcrawler, eine Verknüpfung zur Harvest Authorisation. Datensatz im Web Curator Tool für einen erfolgten Harvest- Prozess. Dieser umfasst das Ergebnis des Harvest, verschiedene 12

13 URI URL WARC Wayback Web Curator Tool Webarchivierung Webcrawler Webharvest/ing Webpage Website Zeitschnitt Logfiles sowie weitere administrative Metadaten. Uniform Resource Identifier, identifiziert abstrakte oder physische Ressourcen wie z.b. Websites, Dateien, Webservices, - Adressen usw. im Internet. Uniform Resource Locator, eine Unterart der URI, identifiziert und lokalisiert eine Ressource über das verwendete Netzwerkprotokoll (beispielsweise HTTP oder FTP) und den Ort (engl. location) der Ressource in Computernetzwerken. Containerformat für die Speicherung von Ergebnissen des Harvest-Prozesses, enthält neben den Inhaltsdaten auch langzeitarchivierungsrelevante Metadaten. (ISO 28500:2009) Vom Internet Archive entwickelte Open-Source Software zur Darstellung von Zeitschnitten archivierter Websites. Sie wird unter dem Namen OpenWayback vom International Internet Preservation Consortium weiterentwickelt und gepflegt. Open-Source Tool für die Steuerung von Arbeitsprozessen der selektiven Webarchivierung: Einholen der Archivierungsbewilligung, Anlegen und Verwalten der Targets, Qualitätskontrolle und Freigabe der Target Instances für die Archivierung. Vorgang, einen definierten Ausschnitt des Web in systematischer Form zu kopieren, zu archivieren und auf Dauer zugänglich zu machen. Computerprogramm, das automatisch das Web durchsucht indem es Websites analysiert und enthaltene Verknüpfungen verfolgt. Eine Sonderform der Webcrawler sind Harvester (für Erntemaschine ), die die Inhalte der gefundenen Webpages möglichst vollständig herunterladen und speichern. Im Kontext der Webarchivierung werden diese aber synonym verwendet. Synonym: Crawler, Harvester Siehe: Harvest/ing. Ressource im Web, welche Text, Bilder, Audios, Videos und andere Objekte beinhalten kann, die von einem Webserver angeboten wird und mit einem Browser unter Angabe einer URL abgerufen werden kann. Sie ist Bestandteil einer Website. Inhaltlich und technisch abgrenzbare Sammlung zusammengehöriger, verknüpfter Webpages. Eine Website wird auf einem oder mehreren Host-Rechnern (Servern) gespeichert und in der Regel unter einer URL bereitgestellt. Kopie einer Website, die zu einem bestimmten Zeitpunkt von ei- 13

14 nem Crawler erstellt wurde. 14