CLARIN-D. Überblick, Metadaten, Demo. Christoph Kuras. Abt. Automatische Sprachverarbeitung Institut für Informatik, Universität Leipzig

Transkript

1 CLARIN-D Überblick, Metadaten, Demo Christoph Kuras Abt. Automatische Sprachverarbeitung Institut für Informatik, Universität Leipzig Institut für Informatik 1

2 CLARIN: Common Language Resource and Technology Infrastructure CLARIN ist eine europäische ESFRI-Initiative mit einer Vielzahl Mitgliedsländern (European Strategy Forum on Research Infrastructures) Das Ziel: Aufbau und Nutzung einer zentrenbasierten Forschungsinfrastruktur (linguistische Daten, Werkzeuge und Dienste) für die Geistes- und Sozialwissenschaften Der Weg: Enge Zusammenarbeit zwischen Fachdisziplinen (CLARIN-D F-AGs), CLARIN Zentren, Rechenzentren und Bibliotheken

3 CLARIN: Common Language Resource and Technology Infrastructure Mitglieder: (kürzlich beigetreten) Austria Bulgaria Czech Republic Denmark Dutch Language Union (Belgium, NL) Estonia Germany Greece Lithuania Netherlands Poland Portugal Slovenia Sweden Norway Finland Kandidaten (Observer): United Kingdom

4 CLARIN-D CLARIN-D CLARIN-D Eine web- und zentrenbasierte Forschungsinfrastruktur für die Geistesund Sozialwissenschaften Linguistic data, tools and services are provided... in einer integrierten, interoperabel und skalierbaren Infrastruktur für die Geistes- und Sozialwissenschaften. Gefördert vom Bundesministerium für Bildung und Forschung (BMBF) Gefördert bis Ende September 2020 Website:

5 CLARIN-D Nutzungsphase Ende Implementierungsphase: Auf- und Ausbauphase: Aufteilung in Kompetenzbereiche Historische Daten Gegenwartsbezogene Daten Einbettung in die digitalen Geisteswissenschaften Technische Infrastruktur

6 Webseite 6

7 CLARIN-D: Angebot Auffinden Virtual Language Observatory (VLO), Federated Content Search (FCS) Auswerten WebLicht, WebAnno, WebMAUS, CorpusDif Aufbereiten/ Aufbewahren Archivierung, individuelle Lösungen 7

8 CLARIN-D: Wichtige Infrastrukturelemente 8

9 Component MetaData Infrastructure CLARIN folgt einem komponentenbasierten Ansatz: CMDI Kein einzelnes neues Metadaten-Schema sondern: Koexistenz vieler kontrollierter Schemata Profile beschreiben Ressourcen gleichen Typs Profile bestehen aus Komponenten (CMDI Component Registry) Komponente: Paket zusammengehöriger Metadatenelemente, die einen Aspekt der Ressource beschreiben Für eine komplette Beschreibung einer Ressource können mehrere Komponenten nötig sein Kompontenten können Komponenten enthalten Komponenten sollten wiederverwendbar sein Semantik von Elementen ist in der Concept Registry definiert 9

10 Wiederverwendung von Komponenten Wiederverwendung existierender Profile & Komponenten wird empfohlen 10

11 Explizite Semantik Semantische Interoperabilität teilweise gelöst durch Referenz auf CLARIN Concept Registry 11

12 OAI-PMH OAI-PMH Open Archives Initiative Protocol for Metadata Harvesting ermöglicht den einfachen Zugriff auf die in den Repositorien hinterlegten Metadaten (im CMDI-Format) basiert auf HTTP/REST und XML OAI-PMH Harvester: Sammeln der Metadaten aller Zentren Beispiel: Welche Datensätze im CMDI-Format wurden seit dem letzten Besuch hinzugefügt? 12 12

13 Harvesting (1) 13

14 Harvesting (2) 14

15 Virtual Language Observatory Suche einer Ressource anhand von Metadaten 15

16 Persistent Identifier Ziel: sicheres Zitieren ermöglichen (durch Dereferenzierung) 16

17 Persistent Identifier Beispiel PID (altes Format) Beispiel PID (neues Format) corpus deu_news_2010_100k Dataprovider 1 BR Online source 4 Dataprovider 32 Berner Zeitung source 45 sentence 6439 sentence sentence sentence source 24 HANDLE@type=dataprovider&id=32 HANDLE@type=datasource&id=45 HANDLE@type=sentence&id=32756 source 68 sentence 5700 sentence sentence sentence / DE-2 17

18 Webservices & Webapp Angebot von Daten & Verfahren via Webapplikation und/ oder Webservices REST-Webservices (ggf. auch SOAP) optional: Anbindung an WebLicht Verkettung von Webservices (Vorverarbeitung, Annotation, z.b. Tokenizer, POS-Tagger) Anforderungen an WebLicht-Webservices: REST-Schnittstelle Unterstützung des TCF-Formats CMDI Metadaten (Spezifikation Inputs & Outputs) 18

19 Federated Content Search FCS Federated Content Search 19

20 Federated Content Search Grundlage: SRU/CQL (Search/Retrieve via URL + Contextual Query Language) Abfrage von Inhalten aus verschiedenen Quellen mittels standardisierter Schnittstelle 20

21 CLARIN-D Live-Demo Institut für Informatik 21