DataCite Services Tools und Schnittstellen im DOI-Kontext. Sebastian Peters DataCite Workshop 12. Dezember 2012

Transkript

1 DataCite Services Tools und Schnittstellen im DOI-Kontext Sebastian Peters DataCite Workshop 12. Dezember 2012

2 DataCite Tech Team gebildet im September 2010 Ziel: Aufbau und Betrieb einer zentralen Infrastruktur für DataCite 2 Entwickler (BL & TIB), 1 Administrator (Purdue) Alle Projekte sind Open Source Benutzung von GitHub (Quellcode, Tickets, Wiki) tech@datacite.org 2

3 DataCite Services & Websites Metadata Store (MDS): Schema: Metadaten Export (OAI): Suche: Stats-Portal: Content Service: (Content Negotiation) Citation Formatter Test-Umgebung: 3

4 DOI-Registrierungs-Infrastruktur

5 Metadata Store (MDS) Überblick MDS ist DataCites zentrale Infrastruktur für DOI-Management: Registrieren/Aktualisieren von DOIs Speichern/Verwalten von Metadaten API und UI Veröffentlichungen: Dezember 2010 (öffentliche Betaversion) 1. Juni 2011 (Version 2, Produktionsstadium) 5

6 Metadata Store (MDS) Infrastruktur 6

7 MDS Direkter-Zugriff oder zusätzlicher Layer? Datenzentren haben direkten Zugriff auf den MDS z. B. TIB DataCite-Mitglied hat eigenes Frontend für den MDS z. B. da ra (GESIS)

8 Metadatenhandhabung Metadaten notwendig zur DOI-Registration! (ab Januar 2013) Wir akzeptieren nur XML Metadaten müssen gegen ein DataCite Schema validieren ( Metadaten werden mit einer Versionsnummer abgelegt. Alte Metadaten werden nicht gelöscht. XML wird 1:1 gespeichert (keine Transformationen) Automatische Konvertierung im Fall von obsoleten Schemata (sofern möglich) 8

9 Einschränkungen und Qualitätsicherung Registrieren von DOIs nur in zugeteilten DOI-Präfixen Update nur von eigenen Datensätzen Liste von erlaubten Hostnamen für Landing Pages [ DOI-Kontingent (Quota) ] Metadaten müssen valide sein Regelmäßiges Überprüfen, ob die Landing Page existiert 9

10 Ausprobieren 1) Test-Umgebung: DOIs nur innerhalb des Test-Systems auflösbar 2) Für Testzwecke auf dem Produktivsystem bitte unser spezielles Testpräfix nutzen: Gemeinsames Präfix aller Datenzentrum echtes Präfix Metadaten sind nicht öffentlich (keine Suche, kein OAI) 3) API-Test mit einem speziellen testmode-parameter 10

11 Testzugangsdaten für diesen Workshop Test-System: API-Endpoint Zugangsdaten Symbol: TEST.WORKSHOP Password: gesis2012 Präfixe: , Domains: example.com, gesis.org 11

12 Schnittstellen Browserschnittstelle Verwalten von DOIs und Metadaten mittels einfacher Formulare Für die schnelle DOI zwischendurch Liste aller DOIs, Liste aller Metadatenversionen Anzeige der Accountinformationen (Kontaktdaten, Berechtigungen, ) Programmierschnittstelle (API) Ideal für Registrierung vieler DOIs Kann einfach in bestehende Systeme integriert werden 12

13 Browserschnittstelle Benutzerinformation 13

14 Browserschnittstelle DOI registrieren 14

15 Browserschnittstelle Alle Datensätze anzeigen 15

16 Browserschnittstelle Datensatz anzeigen 16

17 Browserschnittstelle Metadaten hochladen 17

18 Browserschnittstelle Metadaten anzeigen 18

19 Metadata Store (MDS) API Einfache RESTful API Einfach in bestehende System zu integrieren Kommunikation verschlüsselt mittels HTTPS Alle Requests erfordern HTTP Basic Authentication API-Dokumentation: PUT /metadata/ /test HTTP/1.1 Host: mds.datacite.org Authorization: Basic Rk9PLkJBUjoxMjM0NTY3OA== Content-Type: application/xml;charset=utf-8 <?xml version= 1.0 encoding= UTF-8 > 19

20 Metadata Store (MDS) API-Beispiele DOI registrieren: curl -d doi= /test -d url= -u TIB.TEST Metadaten hochladen: curl -H Content-Type:application/xml -u TEST.TEST 20

21 Metadata Search Überblick Offener Service zum Durchsuchen der Metadaten des MDS Basiert auf Lucene Solr Benutzerschnittstelle und API 21

22 Metadata Search Ergebnisliste 22

23 Metadata Search Drilldown 23

24 Metadata Search Erweiterte Suche Formular für erweiterte Suche komplexe Lucene-Query-Syntax ebenfalls möglich, z.b. title:laser OR subject:laser publicationyear:[1990 TO 1995] 24

25 Metadata Search API Volle Flexibilität durch direktes Anbieten der SOLR-Schnittstelle Verschiedene Ausgabeformate: Solr XML, csv, json Nahezu alle Felder des DataCite-Schemas durchsuchbar Komplexe Suchabfragen, beispielsweise Datensätze, die eine URN zitieren Metadatenuploads der letzten 7 Tage Für weitere Informationen siehe 25

26 Metadatenexport (OAI-PMH) Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH). Offener Service für Dritte, um die Metadaten des MDS zu harvesten Angebotene Metadatenformate: Dublin Core, DataCite Metadata Schema Sets für jeden Allocator (z.b. TIB) und jedes Datenzentrum Allgemeine Suchanfragen als Set formulierbar Betaversion verfügbar: 26

27 Metadata Export (OAI) Beispiel 27

28 Content Service Unterstützte Formate und Zugriffsmöglichkeiten Konvertierung vom DataCite Schema u.a. in folgende Formate: application/x-datacite+xml (original Metadaten) application/x-datacite+text (Zitiertext) application/rdf+xml text/turtle application/x-bibtex application/x-research-info-systems Zugriffsmöglichkeiten HTML-Landing-Page ( Direkter Link zu einem Format ( Content Negotiation (via data.datacite.org oder dx.doi.org) 28

29 DataCite Content Service Beispiel 29

30 Content Service Benutzerdefinierte Medientypen Registrieren von zusätzlichen Medientypen für eine DOI, z. B. application/zip application/pdf application/vnd.ms-excel Nutzbar über Content Negotiation via dx.doi.org UI & API in MDS 30

31 Content Negotiation für DOIs Inspired by CrossRef Service zum Abrufen von DOI-Metadaten Standardisiertes HTTP-Feature Verwendung des DOI-Proxys ( Zuerst umgesetzt von CNRI und CrossRef: but the beauty of the setup is that from now on, any DOI registration agency can enable content negotiation for their constituencies as well. DataCite- we're looking at you ;-). (Geoffrey Bilder on CrossTech blog) Unterscheidung zwischen DataCite- und CrossRef-DOI z. B. bei RDF-Repräsentation nicht notwendig. 31

32 Content Negotiation für DOIs Was ist Content Negotiation? HTTP Content Negotiation ist eine einfache Methode für HTTP-Clients verschiedene Repräsentationen einer Internet-Ressource abzurufen Clients müssen nur den Internet Media Type (MIME-Type) kennen Nachteil: Nicht über normale HTML-Links zu erreichen 32

33 Content Negotiation für DOIs Beispiel DOI auflösen: Metadata abholen: GET / /TEST HTTP/1.1 Host: dx.doi.org GET / /TEST HTTP/1.1 Host: dx.doi.org Accept: application/x-datacite+xml curl -L curl -LH "Accept:application/x-datacite+text" 33

34 Citation Formatter Verwendet Content Negotation Mehr als 500 Stile (

35 Statistik-Portal DOI Registrierungen DOI Auflösungszahlen (von dx.doi.org)

36 Vielen Dank für Ihre Aufmerksamkeit!