Persistent Identifier & Metadaten für digitalen Objekte von

Transkript

1 Anwendung und Programmierung im Grid (SS2012: Aufgabenblatt 09) Persistent Identifier & Metadaten für digitalen Objekte von Tibor Kálmán tibor [dot] kalman [at] gwdg [dot] de Daniel Kurzawe daniel [dot] kurzawe [at] gwdg [dot] de Gesellschaft für wissenschaftliche Datenverarbeitung mbh Göttingen Am Fassberg, Göttingen Fon: Fax:

2 Agenda Motivation Eindeutiger Identifikator PID-Service RESTful Web Service Aufgabe 1 Metadaten von digitalen Objekten File Information Tool Set Aufgabe 2 Beispiele

3 Motivation (1) - Einheitliche Schnittstelle Grids und Clouds: können auch als Datenspeicher dienen Einheitliche Schnittstelle zum Speichersystem Technologieunabhängig gestaltet (s. letzte Übungen) Somit von der konkret eingesetzten Gridinfrastruktur abstrahiert Ein Austausch zu grundeliegenden Speichertechnologie ist jederzeit möglich Java Klasse, die Zugriff auf ein Datengrid liefert mit Hilfe von JavaGAT und WebDAV ermöglicht, dass auf die gespeicherten digitalen Objekte auch mit gängigen Tools zugegriffen werden kann (Webund Dateisystem-browsern) Ein Uniform Resource Identifier (URI) wird dabei benutzt (URI: die Adresse unter der ein digitales Objekt abgelegt wurde)

4 Einheitliche Schnittstelle zum Speichersystem (Lösung des Aufgabenblattes 9) Web-Browser Datei-Browser WebDAV JavaGAT Middleware 1 Middleware 2 Middleware 3 HDD HDD HDD HDD HDD HDD Node Node Node Node Node Node

5 Bei Änderung: neue Adresse WebDAV JavaGAT Middleware 1 Middleware 2 Middleware 3 HDD HDD HDD HDD HDD HDD Node Node Node Node Node Node

6 Motivation (2) - Adressierung Uniform Resource Identifier (URI): die Adresse unter der ein digitales Objekt abgelegt wurde Die Adresse wird oft nicht dauerhaft erhalten (wegen Datenmigration, usw.) nach jeder Änderung ist das digitale Objekt unter einer neuen Adresse erreichbar Es ist nicht möglich, die digitalen Objekte langlebig mit URIs zu referenzieren!

7 Motivation (3) - Auffinden Auffinden von gespeicherten Daten: Binärformate: Bilder, Mediadatein, Pdf, usw. Suche bei digitalen Objekten? Es ist nicht möglich, die digitalen Objekte einfach aufzufinden!

8 Ziel des Aufgabenblattes 10 Management von Daten Eindeutige und dauerhafte Erreichbarkeit von digitalen Objekten (Zitierbarkeit von wissenschaftlichen Daten) Persistenter Identifikator Suche (Einfaches Auffinden von digitalen Objekten) Extrahieren von Metadaten und Suche mit Hilfe von Metadaten

9 Neue Schicht: Persistent Identifier Persistent Identifier with Metadata WebDAV JavaGAT Middleware 1 Middleware 2 Middleware 3 HDD HDD HDD HDD HDD HDD Node Node Node Node Node Node

10 Agenda Motivation Eindeutiger, dauerhafter Identifikator PID-Service RESTful Web Service Aufgabe 1 Metadaten von digitalen Objekten File Information Tool Set Aufgabe 2 Beispiele

11 Persistenter Identifikator Strategie für eindeutige und dauerhafte Identifikatoren im WWW: Persistent IDentifier (PID) Digitale Objekte sind im Repositories registriert Mit einem Identifikator, der sich nie ändert (PID) Die unterliegende Systeme können sich ändern ("living organisms") Eine Migration ist auf verschiedenen Ebenen möglich Für die Vergabe, Verwaltung und Auflösung von PIDs: Ein allgemein vereinbarter Prozess ist nötig Beispiele: Handle System, ähnlich wie das Domain Name System (DNS) URN (Bibliothek-Bereich) Es ist möglich, die digitalen Objekte langlebig mit PIDs zu zitieren!

12 Vergabe und Auflösung Vergabe, Verwaltung und Auflösung von einem persistenten Identifikator (Beispiel DOI): Identifiers edoc: ISI: ISSN: DOI: /s Source:

13 PID Service Seit 2009 läuft bei der GWDG (für die Max Planck Gesellschaft) ein PID-service Basierend auf dem Handle System ( Ziel: Erzeugen, Verwalten und Auflösen von Identifikatoren von Forschungsdaten (wissentschaftlichen digitalen Objekten) Zusammen mit anderen europäischen Partnern wurde ein Konsortium gebildet, um diese Dienstleistungen der europäischen Wissenschaftlern anbieten zu können European Persistent Identifier Consortium (EPIC)

14 Syntax of the Handles For the resolution of PIDs one needs a commonly agreed process worldwide handle (PID) framework Management level: prefix (like domain in DNS) GWDG uses the prefix This is integrated into the general and worldwide handle framework and the central handle service delegates all requests for resolution concerning prefix to the GWDG

15 Syntax of the Handles 11858/00-XXXX C prfix/fg-inst-num1-num2-num3-c the meaning of these fields above is: prfix is the handle prefix, which is fixed to fg is a uppercase hexadecimal flag, that can be used for special purposes, to be defined later(derived handles etc) inst is a field with alphanumerical uppercase digits and describes the institution responsible for registration of the handle, num1-num2-num3 are 12 bytes, coded in uppercase hexadecimal digits with delimiters c is a checksum to ensure plausibility of the handle string.

16 Der GWDG PID-Service Zugriff Suchen, Auflösen von PIDs(=Handles): frei zugänglich Erzeugung von neuen PIDs und Verwaltung von existierenden PIDs: Authentifizierung und Authorisierung notwendig Passwd: griduserxx + pbsuserxx-passwort (wie im Grid) Interfaces: (Native) Handle Interface [RFC3652] Handle System Protocol [RFC3651] Handle System Namespace and Service Definition Webinterface: REST-basiertes Web Services Interface

17 Agenda Motivation Eindeutiger Identifikator PID-Service RESTful Web Service Aufgabe 1 Metadaten von digitalen Objekten File Information Tool Set Aufgabe 2 Beispiele

18 RESTful Web Services Representational State Transfer (REST) was first introduced by Roy Fielding co-founder of the Apache HTTP Server project, was the chair of the Apache Software Foundation, member of the interim OpenSolaris Boards, involved in the development of HTML and Uniform Resource Identifiers "Architectural Styles and the Design of Network-based Software Architectures" (dissertation, 2000) describes REST as a key architectural principle of the World Wide Web analyzes a set of software architecture principles that use the Web as a platform for distributed computing

19 REST Design Principles Basic design principles of REST: 1) 2) 3) 4) Use standard HTTP methods Be stateless URIs should be intuitive Client chooses the data format (XML, JSON)

20 Design: (1) HTTP Methods To create a PID (=resource) on the server use POST To resolve a PID (=retrieve a resource) use GET To modify a PID (=change the state of a resource or to update it) use PUT To remove a PID (=delete the resource) use DELETE

21 Design: (1) HTTP Methods PID-Service for the course: To create a PID (=resource) on the server use POST To resolve a PID (=retrieve a resource) use GET To modify a PID (=change the state of a resource or to update it) use PUT use POST To remove a PID (=delete the resource) use DELETE PID is persistent: cannot be removed!

22 Design: (2) Be Stateless Services need to scale to meet increasing performance demands To decrease the overall response time of a Web service Special topology of servers: server clusters or infrastructures for load-balancing and failover Requests can be forwarded from one server to the other no state or context held locally simplified design and implementation Web service clients have to send complete, independent requests requests must include all data (parameters, context) needed by the serverside component to generate a response within the HTTP headers and body of a request

23 Design: (2) Be Stateless Service with state: Grid job submission Service without state: PID-Service Source:

24 Design: (3) URIs should be intuitive URI: addressing resources describes the location of something anywhere in the world from anywhere in the world URI should require little, if any, explanation to understand what it points to URI should be straightforward, predictable, and easily understood One way to achieve this usability is to define URIs like a directory structure

25 Design: (3) URIs should be intuitive World wide Handle system: PID-Service root URIs like a directory structure: Instead of this, use parameter 'pid=': pid=11858%2f00-zzzz f

26 Design: (4) Client Chooses the Data Format This allows a variety of clients written in different languages running on different platforms and devices Using MIME types and the HTTP Accept header (content negotiation) lets clients choose which data format is right for them minimizes data coupling between the service and the applications that use the service XML or JavaScript Object Notation (JSON)

27 Design: (4) Client Chooses the Data Format PID-Service: Request: XML, Response: XML Parameter in HTTP request: encoding='xml'

28 Aufgabe 1

29 Aufgabe 1 Ihr solltet für eure gespeicherten digitalen Objekte persistente Identifikatoren vergeben (create Methode) Dazu könnt ihr die URIs (URI = die Adresse unter der eure Forschungsdaten abgelegt wurden) von eurer WebDAV-Lösung benutzen Die Applikation soll die Metadaten eines persistenten Identifikators (PID) anzeigen können Die Applikation soll durch Verwaltung der persistenten Identifikatoren die Änderung der Adresse eines Objektes umsetzen (modify Methode) Beispiel: Listing 5

30 Backup slides zum PID-Service

31

32

33

34

35 Agenda Motivation Eindeutiger Identifikator PID-Service RESTful Web Service Aufgabe 1 Metadaten von digitalen Objekten File Information Tool Set Aufgabe 2 Beispiele

36 "Metadaten sind maschinenlesbare Informationen über elektronische Ressourcen oder andere Dinge" Tim Berners-Lee, Erfinder des World Wide Web und Direktor des W3C

37 Metadaten Daten über Daten Unterstützten bei der Organisation von Dokumenten und Kollektionen Vereinheitlichen Zugriff auf Informationen Format ist Kontextabhängig Inhalt hängt vom Anwendungsbereich ab

38 Typisierung von Metadaten Deskriptive Metadaten: Beschreibt Informationsinhalte (z.b. Handle, Bibliografische Attribute) Strukturelle Metadaten: Die Struktur des Dokuments (z.b. Kapitel, Inhaltsverzeichnis) Administrative Metadaten: Technische Daten (z.b. Auflösung, Bit-Tiefe)

39 Beispiel Musiksammlung (1) Dateinamen geben nur begrenzt Information über Inhalt Dateiorganisation geben nur begrenzt Information über Strukturierung Song_1.mp3 Hoho(2).mp3 Xyz.mp3 Gute Musik Beispiel: Musikdateien in einen Ordner kopieren Inhalt? Dateiname Strukturierung? Verzeichnisbaum

40 Beispiel Musiksammlung (2) Mehrere Sammlungen werden betrachtet (etwa mehrere Musikordner) Strukturierung über den Inhalt ist mit Hilfe von Metadaten möglich Interpret Album Genre File 1... File n Informationen in der Tabelle werden aus der Metadaten generiert Filtering: es können mehrere Eigenschaften betrachtet werden

41 Beispiel Musiksammlung (3) Lösung: ID3-Tag (Identify an MP3-Tag) Existiert nur bei einigen Formaten (mp3) was ist mit WMA, Ogg Vorbis, AAC? TagLib Audio Meta-Data Library welche ID3-Tag Version (v1 oder v2)? oder vielleicht doch andere Formate? Metadaten helfen bei Strukturierung Sie müssen aber standardisiert werden

42 Standards

43 Heterogene Landschaft Umfrage unter 8 Instituten aus dem DARIAH-EU Projekt

44 Dublin Core (DC) Es ist ein Minimalformat beinhaltet nur Eigenschaften, die bei den meisten Objekten vorkommen: ID Technische Daten Beschreibung des Inhalts Personen und Rechte Vernetzung Lebenszyklus

45 Dublin Core (DC) Es ist ein Minimalformat beinhaltet nur Eigenschaften, die bei den meisten Objekten vorkommen: ID Technische Daten Beschreibung des Inhalts Personen und Rechte Vernetzung Lebenszyklus

46 Dublin Core Beispiel (in XML)

47 Tools

48 Die wichtigsten Fragen, die JHOVE beantworten kann: Identifikation des Formats In welchem Format liegt das Objekt x vor? Format Validierung Liegt das Objekt x im Format f vor? Erfüllt das Objekt x das Profil von Format f? Passt f zum Objekt x zu dem externen Metadatenschema s? Format Charakterisierung Was sind die entscheidenden Merkmale von x? (z.b. beim Buch: Autor)

49 File Information Tool Set (FITS) Beinhaltet 8 Tools: Jhove Exiftool BLNZ File Utility DROID FFIdent File Info XmlMetadata

50 FITS XML Ausgabe

51 Mapping

52 TEI in TextGrid

53 Mapping von Schemata

54 Mapping von Schemata

55 Generische Suche Kollektionen werden registriert Metadaten (Schemas) werden registriert Generische Suche über mehrere Kollektionen möglich Beispiel: Digital Research Infrastructure for the Arts and Humanities (DARIAH)

56 Aufgabe 2

57 Aufgabe 2 Ihr solltet die Applikation so erweitern, dass sie Metadaten von digitalen Objekten auslesen und verwalten kann: Zum Auslesen der Metadaten stehen mehrere Tools zur Verfügung, die FITS API vereint 8 dieser Programme Diese Metadaten sollen beim der Erzeugung und Verwaltung eines eindeutigen Identifikators angegeben werden (Metadatenverwaltung) Ein sehr einfaches Mapping (Autor, Title, Checksum) Beispiel: Listing 6