Trainingskurs Arbeiten mit PIDs, Teil2

Transkript

1 Trainingskurs, Teil2 RDA-DE Trainings Workshop 2017 Gesellschaft für wissenschaftliche Datenverarbeitung mbh Göttingen (GWDG) Am Fassberg, Göttingen ulrich.schwardmann [at] gwdg.de 08 June 2017, Dresden

2 Content InfoType 7 pe-info 8 -InfoType-Instanz 9 Was fehlt noch? -InfoType pe- Info -InfoType- 2 / 45

3 -InfoType pe- Info -InfoType- 3 / 45

4 Motivation Diese Session zeigt einfache und fortgeschrittene Anwendungsbeispiele für (PITs) und der epic () Das Ziel ist zu verstehen, wie PITs verwendet werden. Diese Session verwendet die folgenden Dienste: epic (-Resolution): die zur Auflösung von PITs wird gleichzeitig auch zur Verwaltung der PITs genutzt URL: -InfoType pe- Info -InfoType- 4 / 45

5 -InfoType pe- Info -InfoType- 5 / 45

6 , Datenaustausch und Reusability Info sind zusätzliche Metadaten ähnlich wie bei Mime- werden sie schon vor dem Datenzugriff ausgewertet aber Mime- reichen für Daten nicht aus Zum Beispiel braucht man bei Tabellen Metadaten über jede Spalte sie werden daher direkt verknüpft mit der für Handle- werden sie direkt in die Handle-DB geschrieben ähnlich wie Mime- ist eine Standardisiering notwendig -InfoType pe- Info -InfoType- 6 / 45

7 , Datenaustausch und Reusability die Überprüfung der Einhaltung des Standards ist aber wegen der Variabilität komplexer Beispiele: Datenintegrität: Checksum, Größe,... Datenverfügbarkeit: Embargos, Löschung,... Ort-Zeit-Angaben: GeoLocs, Entstehung, Veränderung,... Provenance: Creator, DC5, Versionen, Kopien,... -InfoType pe- Info -InfoType- 7 / 45

8 Geschichte Handle bei CNRI - 0.Type/SomeType Gute Idee, geringe Anwendbarkeit Sloan Grant: Generic System nutzt Type als Usecase NSF Grant: Support für Type RDA hat sich bereits in den ersten Plenaries mit und beschäftigt: WG (DTR), Ziele: Spezifikation einer DTR Prototypische Implementierung einer DTR WG, Ziele: allgemeine Beschreibung derartiger Metadaten Spezifikation einer PIT-API Adaptionen: verschiedene DTRs exisitieren, u.a. die PIT API ist prototypisch implementiert das Handle System stellt mit v8 eine andere API bereit -InfoType pe- Info -InfoType- 8 / 45

9 -InfoType pe- Info -InfoType- 9 / 45

10 Wie also sollte ein Info Type aussehen? Namen sind keine hinreichende Characteristik für Info Identifikation sollte unabhängig vom Namen sein verschiedene Schemata für den gleichen Namen sollten möglich sein umgekehrt sollten für das gleiche Schema auch mehrere Namen erlaubt sein Info brauchen Schemata zur syntaktischen Überprüfung Info sollen für automatische Prozesse wie Mime funktionieren: schon vor dem die Daten sollen wichtige en über die Daten vorliegen dies erfordert eine hohe Zuverlässigkeit der InfoType-Inhalte -InfoType pe- Info -InfoType- 10 / 45

11 Wie also sollte ein Info Type aussehen? verwende deshalb eine, Eine Low-Level Infrastruktur mit breiter Anwendbarkeit um Type Records zur Verfügung zu stellen, die Definitionen der InfoType Characteristiken enthält, Info durch identifiziert, Info durch Name und Beschreibung interpretierbar macht, und idealerweise ein Schema für die Info angibt. Die ein gemeinsames Datenmodell verlangt und Ausdrücke validiert zur Interoperabilität zwischen Registries. mit API für Maschinennutzung und UI für Menschen -InfoType pe- Info -InfoType- 11 / 45

12 -InfoType pe- Info -InfoType- 12 / 45

13 DTR Process Use Case 1 Client (process or people) encounters unknown data type. 2 Resolved to Type. 3 Response includes type definitions, relationships, properties, and possibly service pointers. Response can be used locally for processing, or, optionally 4 typed data or reference to typed data can be sent to service provider. -InfoType pe- Info -InfoType- 13 / 45

14 DTR Process Use Case 1 Client (process or people) encounters unknown data type. 2 Resolved to Type. 3 Response includes type definitions, relationships, properties, and possibly service pointers. Response can be used locally for processing, or, optionally 4 typed data or reference to typed data can be sent to service provider. -InfoType pe- Info -InfoType- 14 / 45

15 DTR Process Use Case 1 Client (process or people) encounters unknown data type. 2 Resolved to Type. 3 Response includes type definitions, relationships, properties, and possibly service pointers. Response can be used locally for processing, or, optionally 4 typed data or reference to typed data can be sent to service provider. -InfoType pe- Info -InfoType- 15 / 45

16 DTR Process Use Case 1 Client (process or people) encounters unknown data type. 2 Resolved to Type. 3 Response includes type definitions, relationships, properties, and possibly service pointers. Response can be used locally for processing, or, optionally 4 typed data or reference to typed data can be sent to service provider. -InfoType pe- Info -InfoType- 16 / 45

17 DTR Process Use Case 1 Client (process or people) encounters unknown data type. 2 Resolved to Type. 3 Response includes type definitions, relationships, properties, and possibly service pointers. Response can be used locally for processing, or, optionally 4 typed data or reference to typed data can be sent to service provider. -InfoType pe- Info -InfoType- 17 / 45

18 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 18 / 45

19 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 19 / 45

20 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 20 / 45

21 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 21 / 45

22 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 22 / 45

23 DTR Discovery Use Case 1 Clients (process or people) look for types that match their criteria for data processing 2 Type returns matching types. 3 Clients look up for data sets matching those types. 4 Appropriate typed data is returned. 5 Client can process this data. (Example: format conversion) -InfoType pe- Info -InfoType- 23 / 45

24 Die -InfoType pe- Info -InfoType- 24 / 45

25 Die Startseite Beispiele unter: InfoType Zustände sind: in preparation (21.T11148), candidate, approved, deprecated ( ) Startbildschirm der InfoType for preparation: -InfoType pe- Info -InfoType- 25 / 45

26 -InfoType- 26 / 45 Abfragen: -Info #objects/?query=type:"-infotype" -InfoType pe- Info

27 -InfoType- 27 / 45 Abfragen: -Info as JSON objects/?query=type:"-infotype" -InfoType pe- Info

28 -InfoType- 28 / 45 Abfragen: Suche latitude #objects/?query=latitude -InfoType pe- Info

29 -InfoType- 29 / 45 Abfragen: -InfoType latitude API #objects/21.t11148/5fcccdcf1d079c4a85c9 -InfoType pe- Info

30 JSON-Struktur von -Info name : der Name des Typs description : die Beschreibung des Typs identifier : der des Typs provenance : Herkunft, Erzeuger, Zeiten etc. properties : die verwendeten Untertypen representationsandsemantics : die Eigenschaften verwendeten Untertypen representationsandsemantics : die Eigenschaften des Typs validationschema : das Schema des Typs standards : für den Typ relevante Standards -InfoType pe- Info -InfoType- 30 / 45

31 -InfoType longitude: JSON objects/21.t11148/5fcccdcf1d079c4a85c9 -InfoType pe- Info -InfoType- 31 / 45

32 Struktur Was sind BasicInfo? name : der Name des Typs description : die Beschreibung des Typs identifier : des Typs provenance : Herkunft, Erzeuger, Zeiten etc. validationschema : das Schema des Typs standards : für den Typ relevante Standards datatype" : Datentyp: integer, string regexp : regular expression (bei String) flavour : der regexp, i.e. ecma-262-regexp enum : Aufzählung erlaubter Werte default : Angabe eines Defaults, wenn kein Wert angegeben restrict : Beschränkugen wie minimum, maxlength,... -InfoType pe- Info -InfoType- 32 / 45

33 mit -InfoType () -InfoType pe- Info -InfoType- 33 / 45

34 Code Wie sieht eine mit InfoType aus? erzeugen: curl -u user:pwd -H Accept:application/json -H Content-Type:application/json -X POST --data [{ type : 21.T11148/5fcccdcf1d079c4a85c9, parsed data : 90.0 S }] Code anzeigen über Handle Proxy: -InfoType pe- Info -InfoType- 34 / 45

35 Was sind valide und nicht valide? Code xmpls/valid/21.t11148/ -InfoType pe- Info -InfoType- 35 / 45

36 Was sind valide und nicht valide? Code wget -O - xmpls/invalid/21.t11148/5fcccdcf1d079c4a85c9 im Browser evt. Artefakte bei der Unicode-Darstellung -InfoType pe- Info -InfoType- 36 / 45

37 Code -Info hole den Inhalt eines Wertes eines Info und zeige ihn an: wget -O - 5fcccdcf1d079c4a85c9 python -c import sys, json; print json.load(sys.stdin)[ name ] -InfoType pe- Info -InfoType- 37 / 45

38 -InfoType-Instanz -InfoType pe- Info -InfoType- 38 / 45

39 -InfoType- 39 / 45 hole den JSON Inhalt einer über Proxy mit REST API: hdl.handle.net/api/handles/ Code wget -o /dev/null -O / E python -m json.tool -InfoType pe- Info

40 Code -InfoType- 40 / 45 hole den Inhalt eines Typs innerhalb der wget -o /dev/null -O / E python -c import sys, json; print json.load(sys.stdin)[ values ][0][ data ][ value ] -InfoType pe- Info

41 -InfoType- 41 / 45 validiere mit Online-JSON-Validators Hole den Wert eines Info innerhalb der (s.o.) Hole den Inhalt des validationschema -Wertes des Info (s.o.) -InfoType pe- Info

42 -InfoType- 42 / 45 nutze die Python Library PITclient.py wget PIT-DTR-Type-Verification/raw/master/PITclient.py Die Python Bibliothek enthält eine Reihe nützlicher Funktionen zum Bearbeiten von Werten in und Info. Beispiele (Auswahl): Type- in einer get a list of all types in this contains this a type with TypeID? get complete content in for given type get value for type in validates value in against schema of type Content of type definitions get the content in DTR of type get name/description/schema of a type -InfoType pe- Info

43 Wie wird der Inhalt eines -InfoType geprüft die Funktion typeinpidvalidatesagainstschema in PITclient.py validiert eine Typ-Instanz in einer gegen das Type-Schema -InfoType pe- Info -InfoType- 43 / 45

44 Was fehlt noch? Wie lege ich einen -InfoType an? Kann ich auch Typen anderer DTRs nutzen? Wie erfahre ich, welche Typen schon in einer DTR definiert sind? Wie geschieht die automatische Schema-Generierung bei epic? Welche Teile der -InfoType-Definition werden dabei genutzt? -InfoType pe- Info -InfoType- 44 / 45

45 Vielen Dank Questions??? T: , E: -InfoType pe- Info -InfoType- 45 / 45