Workshop Quo vadis OA-Statistik (OAS)? 10 Jahre OAS. Einblicke und Ausblicke. Marco Recke. Göttingen November 2017

Transkript

1 Workshop Quo vadis OA-Statistik (OAS)? Marco Recke 10 Jahre OAS Einblicke und Ausblicke Göttingen November 2017

2 Frühjahr Projektphase Antrag & Projekt Infrastruktur für standardisierte Nutzungsstatistiken unter besonderer Berücksichtigung institutioneller Repositorien, gefördert durch die DFG Basiert auf Bollen/Sompel An Architecture for the Aggregation and Analysis of Scholarly Usage Data May 2006) Projektpartner: Göttingen, Berlin (HU), Saarbrücken, Stuttgart 1. Projektphase 05/2008 bis 12/2010 Technik OAI-PMH, OpenURL ContextObjects Datentransfer SUSHI Webservice, REST 1

3 April Projektphase Laufzeit: April April 2013 Seit 2011 ist die VZG als Projektpartner beteiligt Da die Software nicht richtig funktionierte, konzentrierte man sich auf eine Machbarkeitsstudie -> Vom Projekt zum Dienst Februar 2012: Die OAS Software ist so nicht zu gebrauchen. Abfragen dauern sehr lange Datenbank redesign, Programmierung (Werkvertrag H.W. Hilse) Testen und Debugging mit verschieden Testern (ZBW Kiel, DIPF/Pedocs) 2

4 Seit 05/2013 Weiterentwicklung der Projektsoftware zusätzlich 2 Studentische Programmierer OAS As a service Dazu mussten wir bisher Ca. 50 % des Quellcodes erneuern Umfang des Quellcode hat sich nahezu verdoppelt REST Schnittstelle cvs, JSON Grafik, Bedienerfreundlichkeit Robotspolicy Debugging 3

5 OAS As a service Januar 2015 Start: OAS-Dienst durch die VZG Teilnehmer: Uni Heidelberg, Uni Augsburg, Schloß Dagstuhl, DIPF (Pedocs), Uni Bielefeld, SULB Saarland, Uni Tübingen Von den ursprünglichen DFG-Projektpartner (SUB Göttingen, HU-Berlin, Uni Stuttgart, SULB Saarland) nutzt lediglich die SULB die Software tatsächlich. 4

6 5

7 OAS Gebührenmodell (s) mall (m)edium (l)arge (XL) extra large Staffelung bis 2016 Grafik ab 2017 incl Grafik 1 bis Titel 1 150,- 25,- 160,00 180, bis Titel 1 250,- 50,- 260,00 320, bis Titel 1 350,- 75,- 370,00 mehr als Titel 450,00 400, 100,- 410,00 510,00 6

8 Grafikausgabe VZG-Service Javascript Bibliothek Einfach einzubinden 7

9 8

10 Schauen Sie hin What does it mean when an organization states that it is COUNTER compliant? Only the organizations and usage reports listed on the relevant Register on the COUNTER website can be regarded as compliant with that Code of Practice. 9

11 VZG Service Infrastructure Virtualization with VMware ESX Server 10

12 VZG Service Infrastructure Server Backup Server monitoring Network connection 10GBit/sec 11

13 Probleme Komplexität ER Diagramm Service Provider 12

14 Probleme: OAI-PMH protocol overhead OAS Data-Provider Parser One row in a logfile XML CTXO frank [10/Oct/2000:13:55: ] "GET /apache_pb.gif HTTP/1.0" " "Mozilla/4.08 [en] (Win98; I ;Nav)" Redundant information in XML documents 13

15 Probleme: OAI-PMH protocol overhead Hoher Ressourcenverbrauch (Speicher / CPU-Zeit) LOG-Datei 2 GB Zeilen Dataprovider CTXO = ,598 GB Serviceprovider Harvest + Parse 18 GB 14

16 Automatisierter Abruf der Statistikdaten vom Service Provider Grafik, JSON, XML, CSV REST-Schnittstelle, SUSHI fehlt bisher 15

17 Probleme: OA Statistik in der VZG 75 GB Logfiles mit 300 Mio. Logzeilen/Jahr ausgewertet 16

18 Alternativen: Institutional Repositories in the UK 17

19 18

20 IRUS-UK: gathering data 2 scenarios for gathering data Push: Tracker code Whenever a download occurs the repository pings the IRUS-UK server with details about the download Pushes metadata to a third-party server as OpenURL Key/Value strings Pull: OAI-PMH harvesting When a download occurs the details of the event are stored on the local repository server Repurposed to expose usage events as OpenURL Context Objects The OpenURL key/value pairs url_ver=z url_tim= t22%3a59%3a59z req_id=urn%3aip%3a req_dat=mozilla%2f5.0+(iphone%3b+u%3b+cpu+i Phone+OS+5_1_1+like+Mac+OS+X%3B+enus)+AppleWebKit%2F (KHTML%2C+like+Gec ko)+crios%2f mobile%2f9b208+safari %2F rft.artnum=oai%3aeprints.hud.ac.uk%3a8795 svc_format=application%2fpdf rfr_id=eprints.hud.ac.uk 19

21 Vor und Nachteile Tracker Vorteile: ressourcenschonend, relativ simpel Nachteile: nicht reproduzierbar, nur Just in Time, spezielle Anpassungen für jeden DataProvider OAI-PMH Vorteile: Nachteile: Jederzeit reproduzierbar Leicht anpassbarer Dataprovider ( universell ) Sehr aufwendig, hohe Komplexität 20

22 Ausblick Die OAS Software ist nicht für jeden Zweck geeignet Ergänzende Methoden für die Statistik müssen entwickelt werden (Tracker) Weiterentwicklung der OAS hinsichtlich COUNTER / SUSHI wünschneswert 21

23 22