Die Metadateninfrastruktur des CLARIN-Projektes

Transkript

1 Die Metadateninfrastruktur des CLARIN-Projektes Thomas Eckart Abteilung Automatische Sprachverarbeitung Universität Leipzig, Deutschland 1

2 Agenda 1. Forschungsinfrastruktur CLARIN 2. Metadaten in CLARIN (CMDI) 3. Erstellungsprozess von Metadaten 4. Bereitstellung und Aufbereitung von Metadaten in föderierten Infrastrukturen 5. Problemfälle und Lösungsansätze 2

3 Metadaten? Metadaten [ ] sind Daten, die Informationen über Merkmale anderer Daten enthalten, aber nicht diese Daten selbst. Interoperable Metadaten sind [...] Metadaten aus potenziell unterschiedlichen Quellen, zwischen denen eine Beziehung in der Weise besteht, dass mit ihnen gemeinsam gearbeitet werden kann. ( 3

4 Wozu? FRBR User Tasks: Find: meeting a user's search criteria Identify/Select: confirm they have found what they looked for, meeting a user's requirements with respect to content, physical format, etc. Obtain: enables to acquire an entity (Navigate) ( 4

5 Schema vs. Instanz Bauplan vs. Konkrete Ausprägung Person vs. Thomas Eckart,... 5

6 1. CLARIN Eine Forschungsinfrastruktur für Sprachressourcen 6

7 CLARIN-D CLARIN-D Eine web- und zentrenbasierte Forschungsinfrastruktur für die Geistesund Sozialwissenschaften Linguistische Daten, Werkzeuge und Dienste werden bereitgestellt... In einer integrierten, interoperabel und skalierbaren Infrastruktur Entwickelt für und in enger Zusammenarbeit mit den Geistes- und Sozialwissenschaften Gefördert vom Bundesministerium für Bildung und Forschung (BMBF) CLARIN ist eine europäische InfrastrukturInitiative mit zur Zeit 15+ Mitgliedsländern Aktuelle Förderung bis September 2020 Website: 7

8 Ressourcen Textkorpora / Treebanks / Wörterbücher Audio (+Transkriptionen) Multimodale Daten (z.b. Video + Audio + Gesten) Werkzeuge: Annotation, Visualisierungen Services: SOAP/RESTful Webservices Beschreibung interner Projektstrukturen CLARIN-D, , Berlin 8

9 Architektur Keine monolithische Architektur Stattdessen: verteilte Architektur / föderiertes System CLARIN-D, , Berlin 9

10 Walkthrough VLO -> FCS -> WebLicht 11

11 Architektur Zertifizierungsprozess für Zentren u.a. Kontaktpersonen (administrativ/technisch) Data Seal of Approval Assessment Verwendung persistenter Identifier (PIDs) Beschreibung vorliegender Ressourcen über Metadaten CLARIN-D, , Berlin 12

12 Voraussetzungen 13

13 2. Component MetaData Infrastructure Metadaten in CLARIN 14

14 CMDI Beispiel: Beschreibung eines texttragenden Objektes 15

15 CMDI Beispiel: Aspekte der Beschreibung eines texttragenden Objektes Autor Titel/Name Beschreibung Sprache Identifier (ISBN, Handle, DOI,...) Zugriffsort (Regalnummer, URI) Zeitangaben: Publikation, Änderungen Schlüsselwörter/Keywords Bereitstellende Institution/Person Kontaktdaten Angaben zur Größe (Wörter, Sätze, Fläche, Gewicht,...) Angaben zum Zustand usw. usf. 16

16 CMDI Beispiel: Aspekte der Beschreibung eines texttragenden Objektes Autor Ersteller Titel/Name Beschreibung Sprache Identifier (ISBN, Handle, DOI,...) Zugriffsort (Regalnummer, URI) Zeitangaben: Publikation, Änderungen Schlüsselwörter/Keywords Bereitstellende Institution/Person Kontaktdaten Angaben zur Größe (Wörter, Sätze, Fläche, Gewicht,...) Angaben zum Zustand usw. usf. 17

17 CMDI CMDI: Allgemeines Framework zur Beschreibung von Metadatenformaten Metaformat zur Spezifikation von MDSchemata (ISO :2015) Ressourcentypen-übergreifend 18

18 CMDI Grundideen (1): Alle Ressourcen sollten beliebig (fein-)granular beschreiben werden können Alle Ressourcen(-typen) können durch verschiedene Aspekte beschrieben werden Aspekte können Ressourcentypen-spezifisch sein (sind es aber häufig nicht) Wiederverwendbarkeit ist gut Spart Zeit Erlaubt Berücksichtigung von Expertenwissen Verringert Fehler 19

19 CMDI - Komponente Beispiel: Aspekt Kontaktdaten Personenname Postadresse -Adresse Organisation Telefonnummer Webseite In CMDI: 1 Aspekt 1 Komponente Komponente = Bauplan / Template / Schema 20

20 CMDI - Komponente Beispiel: Aspekt Kontaktdaten Person: Erika Mustermann Adresse: Heidestrasse 17, Köln emuster@server.de emuster@server2.de Organisation: Telefon: 0123/ Website: - 21

21 CMDI Grundideen (2): Jeder (im Prinzip) kann solche Komponenten erstellen Gespeichert an zentralem Ort Ziel: beliebig detaillierte Beschreibung eigener Ressourcentypen 22

22 CMDI - Komponente Ziele: Formale Interpretierbarkeit Wiederverwendbarkeit Verständlichkeit Austauschbarkeit Ausnutzung von Expertenwissen Effizientere Arbeitsprozesse Offenheit 25

23 CMDI - Profil Bündelung aller Aspekte eines Ressourcentypen in einem Profil Profil = vollständiger Bauplan zur Beschreibung einer Klasse von Ressourcen 26

24 CMDI - Profil 27

25 CMDI - Komponente Zusammenfassung: Jeder Ressourcentyp = 1 Profil Profil besteht aus beliebig vielen Komponenten Profil dient zur Beschreibung beliebig vieler Instanzen (Ressourcen) 28

26 3. Erstellungsprozess von Metadaten in der CMDI 29

27 Erstellung von Metadaten Erstellung von Metadaten 1. Erstellen bzw. Finden eines passenden Schemas zentrale Registratur (Freie Lesezugriff, Login für Schreibzugriff) 2. Erstellen konkreter Instanzen als Beschreibung konkreter Objekte dezentral (zentrenabhängig) 30

28 Erstellung von Metadaten Component Registry (Testversion) ComponentRegistry 31

29 Erstellung von Metadaten Instanzerstellung Manuell XML-Editoren (Oxygen, XMLSpy,...) Web-Editoren (z.b. COMEDI) Automatisch Transformationen aus bestehenden Metadaten (z.b. XSLT) XML-Bibliotheken (z.b. XStream, JAXB) 32

30 Erstellung von Metadaten Beispiel für Instanzdatei eines Textkorpus: Name: deu_news_2010_1m Identifier: hdl:11022/ e0-e Sätze deutscher Zeitungstext von

31 4. Bereitstellung und Aufbereitung von Metadaten in föderierten Infrastrukturen 34

32 Bereitstellung in föderierten Infrastrukturen Metadateninstanzen liegen lokal vor was nun? Rechtliche Unterscheidung von Ressourcen und ihrer Metadaten Ziel: freie Verteilung über Standardprotokolle Populärer Standard: OAI-PMH 35

33 Bereitstellung in föderierten Infrastrukturen OAI: Open Archives Initiative PMH: Protocol for Metadata Harvesting Einfaches maschinenlesbares Protokoll Abfrage von XML-Dokumenten die lokalen Ressourcen-Bestand beschreiben 36

34 Bereitstellung in föderierten Infrastrukturen Verschiedene Anfragen ( verbs ) an einen OAI-PMH-Endpunkt: Identify ListMetadataFormats ListIdentifiers GetRecord Aufruf:

35 Bereitstellung in föderierten Infrastrukturen verb=identify 38

36 Bereitstellung in föderierten Infrastrukturen verb=listmetadataformats 39

37 Bereitstellung in föderierten Infrastrukturen verb=listsets 40

38 Bereitstellung in föderierten Infrastrukturen verb=listidentifiers 41

39 Bereitstellung in föderierten Infrastrukturen verb=getrecord (1/2) 42

40 Bereitstellung in föderierten Infrastrukturen verb=getrecord (2/2) 43

41 Bereitstellung in föderierten Infrastrukturen Weitere Abfragemöglichkeiten: Liste alle Einträge im CMDI-Format auf, welche zum Set myset gehören: PROVIDER_URL? verb=listrecords&metadataprefix=cmdi&set=myset Liste alle Einträge im CMDI-Format auf, welche nach dem um 8:30 hinzugefügt/geändert wurden: PROVIDER_URL? verb=listrecords&metadataprefix=cmdi&from= t08:30:00z 44

42 Bereitstellung in föderierten Infrastrukturen Weitere Beispiele für OAI-PMH-Endpunkte: TextGrid: textgridlab.org/1.0/tgoaipmh/oai Europeana: oai.europeana.eu/oaicat/ (restricted) DAI: opac.dainst.org/oai DNB: services.dnb.de/oai/repository (restricted) OAI-Liste (>3000 Einträge): 45

43 Bereitstellung in föderierten Infrastrukturen OAI-PMH-Harvester: Sammelt die dezentral in den Zentren hinterlegten Metadaten ein Anfrage: Welche Datensätze im CMDI-Format wurden seit der letzten Harvesting-Runde hinzugefügt? 46

44 Bereitstellung in föderierten Infrastrukturen Momentan zwei Harvester in CLARIN: 1. Alle Metadaten für zentrale Suchmaschine automatische Integration in das VLO 2. Alle Metadaten die Webservices beschreiben automatische Integration in Workflow-Engine WebLicht 47

45 Bereitstellung in föderierten Infrastrukturen Das Finale: Import in das VLO 48

46 Bereitstellung in föderierten Infrastrukturen Facettendefinition language Language ID (hdl:11459/ccr_c-2482_08eded e3f-88e5-e0807fb01e17) Language Name (hdl:11459/ccr_c-2484_669684e7-cb9e-ea96-59cb-a25fe89b9b9d) 49

47 Bereitstellung in föderierten Infrastrukturen Das Finale: Import in das VLO 50

48 VLO 51

49 5. Problemfälle und Lösungsansätze 52

50 Probleme und Lösungsansätze Robin Wendler: On a horse -Problem Theodore Roosevelt Collection Robin Wendler, The eye of the beholder: Challenges of image description and access at Harvard, In: Diane I. Hillmann and Elaine Westbrooks (editors). Metadata in Practice. Chicago: ALA Editions, pp

51 Probleme und Lösungsansätze (ein) Grundproblem: Relevance under change of context Abschätzung zukünftiger Interessenten/Kontexte Beispiel: transkribiertes Werk Avé-Lalleman: Das Deutsche Gaunerthum (BBAW) im VLO 54

52 Probleme und Lösungsansätze Woher wissen was den Nutzer interessiert? Nutzerfeedback! 55

53 Nutzerfeedback Kritik am VLO (u.a. Nutzerbefragung 2010): Nutzer wollen direkten Zugriff auf Ressourcen Rechtefrage Nutzer hassen falsche/veraltete Informationen u.a. inhärentes Problem föderierter Systeme Nutzer möchten möglichst schnell Ergebnisse Ungeeignete Suchfacetten (ongoing struggle) Inkompatible Vokabulare in Instanzen 56

54 Nutzerfeedback 57

55 Nutzeranfragen - Anfragetypen VLO 3 58

56 Nutzeranfragen - Facettennutzung VLO 3 59

57 Nutzerfeedback - Zusammenfassung Auswahl relevanter Metadaten: Sowohl Domänen-abhängig als auch Allgemeingültig (siehe Dublin Core)

58 Vokabulare Problem 2: Vokabulare (oder Was schreibe ich in die MD-Instanzen? )

59 Vokabulare Natürlicher Prozess Nutzung einheitlichen Vokabulares ist schwer Wird noch schwerer, falls Lange Zeiträume Verteilte Arbeitsprozesse Viele Teilprojekte Multilinguale / Multikulturelle Umgebung Dezentrale Strukturen 70

60 Vokabulare Weitere Probleme (kleiner Auszug): Datums/Zeitangaben ( 02/05/2017 vs ) Lizenzangaben ( CC-BY 2.0 vs. Creative Commons 2.0 ) Granularität der Beschreibung: Text, Document, Manuscript, Poem Volltext vs. Identifier ( German vs. deu ) Groß/Kleinschreibung (Problemfälle TüBa-D/Z)... 71

61 Vokabulare 1. mögliche Lösung: Manuelles Nachbearbeiten VLO: 16 Aufbearbeitungsdienste Beispiel: Sprachangabe 72

62 Vokabulare 2. mögliche Lösung: Zentrale Normdateien ein Verzeichnis von normierten Begriffen zur Verwendung als Deskriptor in der Dokumentation (de.wikipedia.org/normdatei) z.b. Gemeinsame Normdatei (GND) der DNB: Normdatei für Personen, Körperschaften, Kongresse, Geografika, Sachschlagwörter und Werktitel Idee: Statt Beschreibung lieber Verweis auf autoritative Instanz Weitere Normdateien auch in Ihrem Fachbereich! 73

63 Vokabulare Beispiel: 74

64 Vokabulare Weitere Normdateien/kontrolliertes Vokabular auch in Ihrem Fachbereich! Inter-Active Terminology for Europe (IATE) Schlagwortnormdatei (mittlerweile in GND) Library of Congress Control Number... 75

65 Zentrale Evaluierung - Feedbackschleife Qualität von Metadaten als zentrale Aufgabe Entsprechende Taskforces in CLARIN CMDI-Taskforce VLO working group Metadata curation 76

66 Zentrale Evaluierung - Feedbackschleife Idee: Feedbackschleife 77

67 Zentrale Evaluierung - Feedbackschleife Curation Module des ACDH Wien Automatische Auswertung aller bereitgestellten Metadaten Bewertet sowohl Schema als auch Instanz Überprüft: Anteil leerer Elemente Anteil gefüllter Suchfacetten im VLO... Zusammenfassung für einzelne Zentren 78

68 Zentrale Evaluierung - Feedbackschleife Curation Module (ACDH Wien) Beispiel: 79

69 Zusammenfassung Metadaten: 1. sind ein spannendes Thema 2. stellen häufig ersten Einstieg in Ressourcen her 3. erschließen große (riesige) Ressourcenbestände 4. sind Grundlage für verschiedenste Anwendungen, weit über einfache Kataloge hinaus 5. sind nur bei Einhaltung von Qualitätsstandards hilfreich 6. sind nicht statisch, sondern sollten müssen an veränderte Kontexte angepasst werden 80

70 Fragen? Anmerkungen? 81