NESTOR Workshop, in Baden-Baden

Transkript

1 NESTOR Workshop, in Baden-Baden Dominik Frey HA Information, Dokumentation und Archive des Südwestrundfunks und des Saarländischen Rundfunks

2 Agenda Webarchiv Wayback Integration Volltextsuche mit Solr Anwendung Twitterarchiv API Crawler Prozess Anwendung Ausblick: Online Monitoring 2

3 Seit 2009 Archivierung der Webangebote des SWR u.a. swr.de, swr3.de, einsplus.de Crawling-Dienstleister ist die Internet Memory Foundation (IMF) Hosting auf SWR internem Server Mehr als 12 Terabyte Daten und über 100 Millionen Dokumente im Index Zugriff via Wayback und Volltextsuche 3

4 Startseite 4

5 Don't make me think! Einfache Google Suche als Maßstab Suchfunktion erkennt automatisch ob Nutzer Volltextsuche oder URL-Suche meint. 5

6 Don't make me think! Erweiterte Suchoptionen erst in der Trefferansicht 6

7 Szenario Suche nach URL 7

8 Szenario Suche im Volltext 8

9 Ansicht einer archivierten Webseite 9

10 Integration von Wayback Wayback läuft auf einem Tomcat-Server Webarchiv-Anwendung liegt auf einem Apache-Webserver Apache-Server mit Proxy auf Wayback-Tomcat webarchiv/wayback/ Wayback-Suche via Iframe eingebunden 10

11 Webarchiv Setup Webarchiv GUI Proxy / Iframe REST / JSON Tomcat Tomcat 11

12 Volltextsuche mit Solr Open Source Volltextsuche Solr sehr gute Performance hilfreiche Funktionen, u.a. Facetten, Relevanz-Gewichtung, Caching, mehrere Indizes (MultiCore) umfangreiche Dokumentation viele Erweiterungen / Bibliotheken Setup-Aufwand Externer Programmierer entwickelte ein (W)ARC-Indexierungsprogramm in JAVA Der ArcHandler ist auf Basis des SolrRequestHandlers und des ArcReaders aus der Heritrix- Library implementiert. 12

13 Solr Setup Was soll indexiert werden? 13

14 Solr Setup Was soll indexiert werden? Feldtypen Text wird analysiert von verschiedene Filtern z.b. WordDelimiterFilter mit Stop-Wörtern, Synonymen und Stammformreduktion (Stemming) String wird nicht analysiert Datum Zahlen (float, int) Feldnamen <field name="arc_crawling_date" type="date" indexed="true" stored="true" multivalued="false"/> <field name="content" type="text_general" indexed="true" stored="false" multivalued="false"/> <field name="content_type" type="string" indexed="true" stored="true" multivalued="true"/> <field name="title" type="text_general" indexed="true" stored="true" multivalued="true"/> 14

15 Solr Setup Was soll nicht indexiert werden? Seitenfragmente, z.b. Popups, Mediaplayer, Iframes sollen nicht in den Suchindex archandler kann verschiedene Inhalte herausfiltern, dazu gibt es drei Konfigurationsparameter: parsemimetypes parsestatuscodes rejectbyregex 15

16 Solr Setup Was soll nicht indexiert werden? <arr name="parsemimetypes"> <str>text/html</str> <str>application/xml</str> </arr> <arr name="parsestatuscodes"> <str>200</str> </arr> <arr name="rejectbyregex"> <str>([0-9]+)(/)( <str>([0-9]+)(/)( <str>([0-9]+)(/)( 16

17 User Interface (Grafische Benutzeroberfläche) Umgesetzt mit AJAX Solr JavaScript Bibliothek für Kommunikation mit Solr-Server Verschiedene Module (Widgets) Ergebnisse Schlagwörter Facetten Blätter-Funktion 17

18 User Interface Setup Solr-Konfiguration via JavaScript Manager.init(); Manager.store.addByValue('q', query); var params = { 'rows' : '10', 'shards' : 's :9080/solr/swr-2009,s :9080/solr/swr- 2010,s :9080/solr/swr-2011,s :9080/solr/swr-2012, ', 'q.op' : 'AND', 'qf' : 'title^50.0 description^50.0 content', facet: true, 'facet.field': ['Keywords'], 'facet.limit': 10, 'facet.mincount': 1, ' }; Manager.doRequest(); 18

19 User Interface Suche 19

20 Social Media Archivierung 20

21 Social Media Archivierung Vorteil: strukturierte Daten durch offene Programmierschnittstellen (APIs) z.b. Tweet "created_at": Thu Oct 10 11:39: ", "id_str": " ", "name": "Linksfraktion", "text": "Ulrich Maurer: #SPD will Macht statt Politikwechsel - #btw13 #sondierung", "hashtags": [#SPD, #btw, #sondierung] "url": "expanded_url": " ", z.b. Facebook Nutzer & FQL SELECT post_id, created_time, message, attachment FROM stream WHERE source_id=

22 Social Media Archivierung Nachteil: Abhängigkeit von privaten Unternehmen Rate-Limits API-Änderungen Lizenzen 22

23 Technik & Workflow API Crawler Python Bibliotheken für Kommunikation mit Twitter API Suche, Listen, Nutzer-Informationen Twython API Blender (ARCOMEM) Daten werden in MySQL-Datenbank gespeichert und von dort in Solr geladen Vorteil: Datenbearbeitung via SQL und Integration von Offline-Modulen z.b. Link-Titel extrahieren, Verschlagwortung Suche mit AJAX Solr Vorteil: schnelle Suche + einfache Integration in Webarchiv 23

24 Webarchiv Setup Webarchiv GUI Proxy / Iframe REST / JSON 24

25 Webarchiv Setup + Twitterarchiv Webarchiv GUI Proxy / Iframe REST / JSON API Crawler 25

26 Twitterarchiv zur Bundestagswahl 26

27 Politiker im Twitterarchiv 27

28 Politikerprofil 28

29 Was twittern CSU-Politiker zum Veggieday? 29

30 Link zu Twitter 30

31 Welche Inhalte wurden zum Thema Lampedusa geteilt? 31

32 Fazit Die Suchmaschine Solr kann ohne großen Aufwand in eine Wayback-Umgebung eingebunden werden. Viele nützliche Funktionen sind bereits in der Basisversion vorhanden. Social Media Inhalte können via API-Schnittstellen komfortabel archiviert werden. Die strukturierten Daten vereinfachen die Weiterverarbeitung. Solr eignet sich sehr gut, um ein Social Media Archiv aufzubauen. Mit der Suchmaschine können Tweets recherchiert und angezeigt werden. Social Media Archivierung bringt einen deutlichen Recherche- und Image-Mehrwert für Webarchive. 32