Metadaten in CLARIN-D

Transkript

1 Metadaten in CLARIN-D Zielstellung, PIDs, CMDI, OAI-PMH, Fedora Prof. Dr. Gerhard Heyer Torsten Compart Abt. Automatische Sprachverarbeitung Institut für Informatik, Universität Leipzig Volker Boehlke Institut für Informatik 1

2 CLARIN-D CLARIN-D Eine web- und zentrenbasierte Forschungsinfrastruktur für die Geistes- und Sozialwissenschaften Linguistische Daten, Werkzeuge und Dienste sollen... in einer integrierten, interoperablen und skalierbaren Infrastruktur für die Fachdisziplinen der Geistes- und Sozialwissenschaften bereitgestellt werden gefördert durch das Bundesministerium für Bildung und Forschung Laufzeit: im Web: 2

3 CLARIN-D Zielstellung Ziel: Mehrwert für die eigene Forschung durch Nutzung einer Infrastruktur Metadaten & föderierte Suche sicheres Zitieren mittels PIDs SimpleStore, Workspaces, Zugriff auf eine größere Menge von Ressourcen und Werkzeugen einfache, webbasierte Anwendung ohne Installationen einfache Verbreitung eigener Ressourcen und Werkzeuge in der Fachdisziplin 3

4 PIDs PIDs Persistent Identifiers eindeutige Identifikatoren für digitale Objekte genau eine PID für genau eine Ressource (in genau einer Version) standortunabhängig über (sehr) lange Zeiträume verfügbar Ziel: einfaches, eindeutiges und sicheres Zitieren auf Teile einer Ressource kann mit Hilfe von PartIdentifiern verwiesen werden 4

5 CMDI CMDI Component MetaData Infrastructure eine Komponente dient der Beschreibung einer bestimmten Gruppe von Metadaten (Bsp.: Dublin Core) Komponenten sind wiederverwendbar Profil: die Vereinigung (einer oder mehrerer) solcher Komponenten Basis: XML (Instanzen) und XML-Schema (Komponenten / Profil) die Instanz einer Komponente / eines Profils ist ein XML-Dokument welches konform zum entsprechenden Schema ist ein Profil dient der Beschreibung eines bestimmten Ressourcentyps Komponenten und Profile können in einer Registry registriert (inkl. PID) und mit entsprechenden Tools editiert werden 5

6 CMDI Metadaten in CLARIN? XML-Dokumente welche einem bestimmten Profil entsprechen aber: Welche Bedeutung hat eine bestimmte Information? ISOcat - ISO 12620:2009 (ISO Standard Specification of data categories and management of a Data Category Registry for language resources ) data categories für CMDI: verschiedene Tags/Bezeichnungen aber gleiches Konzept 6

7 OAI-PMH OAI-PMH Open Archives Initiative Protocol for Metadata Harvesting dient dem einfachen Sammeln von Metadaten klassisch: Zugriff auf die bei data providern vorhandenen Datensätze (z.b.: Metadaten zu Büchern, ) CLARIN: ermöglicht den einfachen Zugriff auf die bei den Repositories hinterlegten Metadaten (im CMDI-Format) basiert auf HTTP/REST und XML Beispiel: Welche Datensätze im CMDI-Format wurden seit dem (Zeitpunkt des letzten Besuches) hinzugefügt? 7

8 OAI-PMH Liste alle Einträge im CMDI-Format auf (REST): 8

9 OAI-PMH Liste alle Einträge im CMDI-Format auf (REST): 9

10 OAI-PMH Liste alle Einträge im CMDI-Format auf (REST): 10

11 CLARIN-D Infrastruktur 11

12 Fedora Repository Metadaten in CLARIN sollen in Repositories verwaltet werden Repository: Verwaltung (digitaler) Objekte in einem (elektronischen) Archiv (in der Regel Unterstützung für DC und OAI-PMH) es existieren bereits zahlreiche verschiedene Systeme DSpace: sehr einfach einzuführen (relativ) hoher Aufwand bei Abweichung vom Standardszenario Fedora: Fedora: komplexeres Setup sehr flexibel (REST-API) beide Systeme verschmelzen: 12

13 Fedora Repository 13

14 Fedora Repository Grundkonzept: Fedora Digital Objects (FDOs) (Meta)Daten wie Label, ID, Datenströme festverdrahtete wie RELS_EXT für Relationen zusätzlich freie Definition eigener Datenströme möglich Daten entweder direkt in Fedora oder nur Verweis mittels URI OAI-PMH nur für DC-Metadaten zusätzlicher OAI-Provider Service (basierend auf ProAI) erlaubt die Auslieferung von Metadaten in alternativen Formaten ein bestimmter Datenstrom dient dabei als Quelle für die Metadaten (in Format X) eines FDO's 14

15 Fedora Repository 15

16 Virtual Language Observatory 16

17 Virtual Language Observatory 17

18 Virtual Language Observatory Suche: Volltext (Metadaten), Katalog, faceted/geographical browsing Daten aus: CLARIN LRT inventory (manuell und OAI-PMH) MPI IMDI Portal; u.a. DobeS (Dokumentation bedrohter Sprachen) ELRA catalogue of language resources WALS (World-Atlas of Languages) 18

19 Wiederholung CMDI: XML basiert minimales Schema beschreibt eine Grundfunktionen Meta-Meta -Sprache ist XML Schema durch Erweiterung werden individuelle Komponentenbeschreibungen definiert Beispiel: Komponente Korpus 19

20 Wiederholung PIDs: eindeutige Identifizierung einer Ressource/Entität CLARIN-D: PID Handling durch Handle-Server der GWDG handle.gwdg.de hdl.handle.net als globale Adresse Handle-Schema: Beispiel: 20

21 Vorgehen bei der Erstellung und Veröffentlichung von Metadaten für CLARIN: Erzeugung von Komponentenbeschreibungen Erzeugung eines Profils aus diesen Komponenten Generierung des daraus resultierenden XML-Schemas Verlinkung des XML-Schemas in Metadaten-Beschreibungen Einfügen der Metadaten in ein Repository-System => muss per OAI-PMH abfragbar sein die ersten 4 Schritte werden durch CLARIN-D Infrastrukturkomponenten (component registry) unterstützt 21

22 Profile beschreiben eine bestimmte Klasse von Ressourcen (Bsp.: Wortschatz-Datenbanken, Tools der ASV Toolbox, Webservices, ) Komponenten sind wiederverwendbare Bausteine zur Definition eines Profils bzw. von Komponenten (Rekursion) 22

23 Profile und Komponenten können in der CLARIN Component Registry hinterlegt und per PIDs referenziert werden 23

24 Profile und Komponenten können in der CLARIN Component Registry hinterlegt und per PIDs referenziert werden 24

25 25

26 26

27 ResourceProxyList erlaubt die Verknüpfung von Komponenten mit Ressourcen bzw. externen Komponenten 27

28 ResourceProxyList erlaubt die Verknüpfung von Komponenten mit Ressourcen bzw. externen Komponenten 28

29 Beispiel: Komponenten zur Beschreibung eines Wortschatz Korpus 29

30 ein Korpus besteht aus Sätzen bzw. Quellen (diese wiederum aus Sätzen) 30

31 auf diese externen Komponenten wird mit ResourceProxy's verlinkt 31

32 Beispiel: Komponenten zur Beschreibung eines Wortschatz Korpus 32

33 Metadaten zu einer Quelle; der dazugehörige Satz... 33

34 ... der dazugehörige Satz wird wieder per ResourceProxy addressiert 34

35 Registrierung eines Profils CorpusProfile (Wortschatz Korpus) 35

36 Komponente Korpus bestehend aus den Komponenten Metadata,... 36

37 Komponenten Metadata, SentenceList, SourceList und ToolList. 37

38 Editieren der Komponente Corpus 38

39 maschinenlesbare Varianten der Komponentenspezifikation hinter den (Meta)Daten stehende Konzepte, wie Corpus, Metadata, Name, werden über isocat identifiziert/beschrieben jedes Konzept wird geprüft und bekommt eine eindeutige ID eine Beschreibung in verschiedenen Sprachen 39

40 isocat Metadaten zu einer data category resource name 40

41 isocat Metadaten zu einer data category resource name 41

42 SHKs/WHKs gesucht Das Leipziger CLARIN-D Team sucht engagierte Mitstreiter nützliche Kenntnisse: Java Eclipse Webservices MySQL XML JAXB, Spring, Fedora, CMDI,... 42

43 Vielen Dank für Ihre Aufmerksamkeit! 43