Die DARIAH-DE Föderationsarchitektur

Transkript

1 Die DARIAH-DE Föderationsarchitektur Cluster 4 Workshop Forschungsdaten in den Geisteswissenschaften. Lizenzen und Best Practice de.dariah.eu Tobias Gradl

2 Überblick 1. Begriffe, Architektur, Überblick 2. Strukturelle Anreicherung Live Session I 3. Mappings / Transformation Live Session II 4. Fragen / Diskussion 2

3 DARIAH-DE Föderationsarchitektur Föderation vs. Integration 3

4 Dimensionen der Informationsintegration logisch geographisch Verteilung 4

5 Dimensionen der Informationsintegration logisch geographisch Verteilung Autonomie der Organisationen zu integrierender Systeme 4

6 Dimensionen der Informationsintegration logisch geographisch Verteilung Autonomie der Organisationen zu integrierender Systeme Heterogenität Schnittstellen Daten strukturell syntaktisch semantisch technisch 4

7 Dimensionen der Informationsintegration logisch geographisch Verteilung Autonomie der Organisationen zu integrierender Systeme Heterogenität Schnittstellen Daten strukturell syntaktisch semantisch technisch jeweils starke Ausprägung in den Kultur- und Geisteswissenschaften (bei breiter Betrachtung) 4

8 Heterogenität nicht nur Problem Integrationsproblem: Verteilung und Heterogenität verhindern integrierte Sicht auf Daten Interdisziplinäre Forschung? Übergreifende Dienste 5

9 Heterogenität nicht nur Problem Integrationsproblem: Verteilung und Heterogenität verhindern integrierte Sicht auf Daten Interdisziplinäre Forschung? Aber auch: Übergreifende Dienste Daten entstehen im Kontext spezifischer Forschung (Entstehungs-)Kontext wichtig für Interpretation 5

10 Heterogenität nicht nur Problem Integrationsproblem: Verteilung und Heterogenität verhindern integrierte Sicht auf Daten Interdisziplinäre Forschung? Aber auch: Übergreifende Dienste Daten entstehen im Kontext spezifischer Forschung (Entstehungs-)Kontext wichtig für Interpretation Heterogenität spiegelt Diversität der Domäne 5

11 Grundannahme z. B. Standards akuter Bedarf Daten sind in einer bewusst oder unbewusst festgelegten Form zugreifbar; eine Umwandlung in eine andere Form ist oft verlustbehaftet. 6

12 Grundannahme z. B. Standards akuter Bedarf Daten sind in einer bewusst oder unbewusst festgelegten Form zugreifbar; eine Umwandlung in eine andere Form ist oft verlustbehaftet. Informationsverlust kann akzeptabel sein, wenn Verwendungskontext definiert vgl. WiWi 6

13 Grundannahme z. B. Standards akuter Bedarf Daten sind in einer bewusst oder unbewusst festgelegten Form zugreifbar; eine Umwandlung in eine andere Form ist oft verlustbehaftet. Informationsverlust kann akzeptabel sein, wenn Verwendungskontext definiert vgl. WiWi Gegensätzliche Zielsetzungen durch: Diversität der Forschungsdaten, -fragen und -kontexte Notwendigkeit übergreifender Auswertungen 6

14 Integration von Daten Datenintegration versucht die Harmonisierung heterogener Darstellungsformen Lenzerini, M (2002): Data Integration: A Theoretical Perspective. In: Abiteboul, S (Ed.): Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, p ACM, ISBN:

15 Integration von Daten Datenintegration versucht die Harmonisierung heterogener Darstellungsformen eine globale Sicht für integrative Betrachtung Lenzerini, M (2002): Data Integration: A Theoretical Perspective. In: Abiteboul, S (Ed.): Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, p ACM, ISBN:

16 Integration von Daten Datenintegration versucht die Harmonisierung heterogener Darstellungsformen eine globale Sicht für integrative Betrachtung oft als einmaliger Aufwand realisiert z. B. ETL Lenzerini, M (2002): Data Integration: A Theoretical Perspective. In: Abiteboul, S (Ed.): Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, p ACM, ISBN:

17 Integration von Daten Datenintegration versucht die Harmonisierung heterogener Darstellungsformen eine globale Sicht für integrative Betrachtung oft als einmaliger Aufwand realisiert Spezifität von Daten irrelevant, wenn nicht in Integrationssicht assoziierbar z. B. ETL Lenzerini, M (2002): Data Integration: A Theoretical Perspective. In: Abiteboul, S (Ed.): Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, p ACM, ISBN:

18 Föderation von Daten Datenföderation beschreibt eine losere Zusammenführung von Daten Gradl, T.; Henrich, A. (2014): A novel approach for a reusable federation of research data within the arts and humanities, in: Digital Humanities 2014: Book of Abstracts. Lausanne: Ecole polytechnique fédérale de Lausanne; Université de Lausanne 2014, S

19 Föderation von Daten Datenföderation beschreibt eine losere Zusammenführung von Daten Daten bleiben im ursprünglichen Zustand erhalten Gradl, T.; Henrich, A. (2014): A novel approach for a reusable federation of research data within the arts and humanities, in: Digital Humanities 2014: Book of Abstracts. Lausanne: Ecole polytechnique fédérale de Lausanne; Université de Lausanne 2014, S

20 Föderation von Daten Datenföderation beschreibt eine losere Zusammenführung von Daten Daten bleiben im ursprünglichen Zustand erhalten Aufwand je notwendiger Sicht erforderlich globale Sichten auch hier als einmaliger Aufwand Standards Gradl, T.; Henrich, A. (2014): A novel approach for a reusable federation of research data within the arts and humanities, in: Digital Humanities 2014: Book of Abstracts. Lausanne: Ecole polytechnique fédérale de Lausanne; Université de Lausanne 2014, S

21 Föderation von Daten Datenföderation beschreibt eine losere Zusammenführung von Daten Daten bleiben im ursprünglichen Zustand erhalten Aufwand je notwendiger Sicht erforderlich globale Sichten auch hier als einmaliger Aufwand aber: mehrere globale Sichten denkbar Standards domänenspezifisch Gradl, T.; Henrich, A. (2014): A novel approach for a reusable federation of research data within the arts and humanities, in: Digital Humanities 2014: Book of Abstracts. Lausanne: Ecole polytechnique fédérale de Lausanne; Université de Lausanne 2014, S

22 Föderation von Daten Datenföderation beschreibt eine losere Zusammenführung von Daten Daten bleiben im ursprünglichen Zustand erhalten Aufwand je notwendiger Sicht erforderlich globale Sichten auch hier als einmaliger Aufwand aber: mehrere globale Sichten denkbar Standards domänenspezifisch Integrationsansätze nach spezifischen Bedürfnissen Gradl, T.; Henrich, A. (2014): A novel approach for a reusable federation of research data within the arts and humanities, in: Digital Humanities 2014: Book of Abstracts. Lausanne: Ecole polytechnique fédérale de Lausanne; Université de Lausanne 2014, S

23 Grundlegende Anwendungsfälle Digitale Kollektionen 9

24 Grundlegende Anwendungsfälle Breitensuche Digitale Kollektionen 9

25 Grundlegende Anwendungsfälle Breitensuche Digitale Kollektionen Tiefensuche 9

26 Grundlegende Anwendungsfälle Breitensuche Individuelle Analyse Digitale Kollektionen Tiefensuche 9

27 Grundlegende Anwendungsfälle Breitensuche Individuelle Analyse Digitale Kollektionen Tiefensuche Datenintegration 9

28 Horizontale und vertikale Integration z. B. Sprache Geschichte Religion Horizontale Integration - Verwendung eines gemeinsamen Nenners - Mapping auf übergreifende Sicht - Abstraktion domänenspezifischer Information Strukturelle Tiefe 10

29 Horizontale und vertikale Integration z. B. Sprache Geschichte Religion Horizontale Integration - Verwendung eines gemeinsamen Nenners - Mapping auf übergreifende Sicht - Abstraktion domänenspezifischer Information Strukturelle Tiefe Anfragen über eine große Menge verteilter Kollektionen möglich Komplexität wird reduziert durch Abstraktion von Details Vergleichbar mit traditionellen Integrationsansätzen basierend auf einem zentralen Schema / einer zentralen Ontologie 10

30 Horizontale und vertikale Integration z. B. Sprache Geschichte Religion Strukturelle Tiefe Vertikale Integration - Ursprungsdaten - Fokus auf individuelle Domänen oder Kollektionen Horizontale Integration - Verwendung eines gemeinsamen Nenners - Mapping auf übergreifende Sicht - Abstraktion domänenspezifischer Information 10

31 Horizontale und vertikale Integration z. B. Sprache Geschichte Religion Strukturelle Tiefe Vertikale Integration - Ursprungsdaten - Fokus auf individuelle Domänen oder Kollektionen Horizontale Integration - Verwendung eines gemeinsamen Nenners - Mapping auf übergreifende Sicht - Abstraktion domänenspezifischer Information Tiefe Analyse, Visualisierung und Referenzierung von Daten möglich Reduzierung der Komplexität durch Betrachtung einzelner Disziplinen Vergleichbar mit weiteren Ansätzen, deren Fokus auf einzelnen A+H Domänen liegt 10

32 Horizontale und vertikale Integration z. B. Sprache Geschichte Religion Strukturelle Tiefe Vertikale Integration - Ursprungsdaten - Fokus auf individuelle Domänen oder Kollektionen 10

33 DARIAH-DE Föderationsarchitektur Ziele und Funktionen 11

34 Ziele der Föderationsarchitektur Verzeichnung von Forschungsdatensammlungen und verwendeten Datenmodellen 12

35 Ziele der Föderationsarchitektur Verzeichnung von Forschungsdatensammlungen und verwendeten Datenmodellen Kombinierte Unterstützung: Domänenspezifische Integration auf Basis spezifischer inhaltlicher Bedürfnisse 12

36 Ziele der Föderationsarchitektur Verzeichnung von Forschungsdatensammlungen und verwendeten Datenmodellen Kombinierte Unterstützung: Domänenspezifische Integration auf Basis spezifischer inhaltlicher Bedürfnisse Übergreifender Zugriff auf Inhalte heterogener Sammlungen durch Standardschemata 12

37 Ziele der Föderationsarchitektur Verzeichnung von Forschungsdatensammlungen und verwendeten Datenmodellen Kombinierte Unterstützung: Domänenspezifische Integration auf Basis spezifischer inhaltlicher Bedürfnisse Übergreifender Zugriff auf Inhalte heterogener Sammlungen durch Standardschemata (Exemplarische) Anwendungen der Suche und Visualisierung von Kollektionen und Inhalten 12

38 Idee: Forschungsorientierte Föderation Fachwissenschaftler 1. identifizieren relevante Kollektionen 13

39 Idee: Forschungsorientierte Föderation S1 S3 S2 Fachwissenschaftler 1. identifizieren relevante Kollektionen 2. wählen semantisch passende Exportschemata aus Beispiel: drei Repräsentationsformen biographischer Daten 13

40 Idee: Forschungsorientierte Föderation S1 S3 S2 Fachwissenschaftler 1. identifizieren relevante Kollektionen 2. wählen semantisch passende Exportschemata aus 3. assoziieren Konzepte der gewählten Schemata Beispiel: drei Repräsentationsformen biographischer Daten 13

41 Idee: Forschungsorientierte Föderation S1 C1 S3 S2 Fachwissenschaftler 1. identifizieren relevante Kollektionen 2. wählen semantisch passende Exportschemata aus 3. assoziieren Konzepte der gewählten Schemata Beispiel: drei Repräsentationsformen biographischer Daten Ergebnis: Semantisch eng korrelierte Datenbasis 13

42 Idee: Forschungsorientierte Föderation C1 S1 S2 S3 14

43 Idee: Forschungsorientierte Föderation C1 C2 S1 S2 S4 C3 S3 S5 S6 S7 S8 S9 14

44 Idee: Forschungsorientierte Föderation C1 C2 S1 S2 S4 C3 S3 S5 S6 S7 S8 S9 14

45 Idee: Forschungsorientierte Föderation C1 C2 S1 S2 S4 C3 S3 S5 S6 S7 S10 S8 S9 Übergreifende Sicht z. B. mittels Dublin Core 14

46 DARIAH-DE Föderationsarchitektur Architekturkomponenten 15

47 Komponenten des Föderationskonzepts Föderationsschicht Repository Zugreifbare Kollektionen Zugreifbare Kollektionen 16

48 Komponenten des Föderationskonzepts Föderationsschicht Verweise auf digitale Kollektionen Repository Zugreifbare Kollektionen 16

49 Komponenten des Föderationskonzepts Föderationsschicht Repository Zugreifbare Kollektionen 16

50 Komponenten des Föderationskonzepts Föderationsschicht Beschreibung von Struktur und Inhalt verfügbarer Daten Repository Zugreifbare Kollektionen 16

51 Komponenten des Föderationskonzepts Föderationsschicht Repository Zugreifbare Kollektionen Assoziation lokaler Datenmodelle 16

52 Komponenten des Föderationskonzepts Nutzung der Schnittstellen für Zugriff auf Daten und Indexierung Föderationsschicht Repository Zugreifbare Kollektionen 16

53 Komponenten des Föderationskonzepts Föderation der Daten zur Anfragezeit Föderationsschicht Repository Zugreifbare Kollektionen 16

54 Repository Forschungsdatenarchiv mit Publish-GUI zur Publikation von Forschungsdaten Daten sind sicher und nachhaltig referenzierbar (PIDs) gespeichert Metadaten in DC OAI-PMH Export 17

55 Collection Registry Verzeichnis für Forschungsdatensammlungen located Collection access Suchen, Bearbeiten, Reviewen Location owns collects Service Zugriffsdienste zu Sammlungen OAI-PMH Export admin Agent admin 18

56 Schema Registry Live-Sessions 19

57 Generische Suche Breitensuche Facettierte Tiefensuche Adaptiert an modellierte Kontexte 20

58 aber auch: Cosmotool Biographische Profile aus verschiedenen Quellen 21

59 aber auch: Cosmotool Biographische Profile aus verschiedenen Quellen Kontextspezifische Auswertung der Daten 21

60 aber auch: Cosmotool Biographische Profile aus verschiedenen Quellen Kontextspezifische Auswertung der Daten Transformation in integriertes Datenmodell 21

61 aber auch: Cosmotool Biographische Profile aus verschiedenen Quellen Kontextspezifische Auswertung der Daten Transformation in integriertes Datenmodell Assoziationen der Schema Registry 21

62 Funktionsprinzip Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. 22

63 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. 22

64 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. Das Schema der Daten wird ausgewählt oder neu angelegt. 2 Titel Author Schema definieren 22

65 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. Das Schema der Daten wird ausgewählt oder neu angelegt. Titel Author Schema definieren 2 3 Mappings erstellen Schemata werden miteinander assoziiert. 22

66 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. Das Schema der Daten wird ausgewählt oder neu angelegt Titel Author Schema definieren Mappings erstellen Suche Schemata werden miteinander assoziiert. Die generische Suche indiziert die Daten der Kollektion. 22

67 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. Nachnutzung Das Schema der Daten wird ausgewählt oder neu angelegt. Titel Author Schema definieren 2 3 Mappings erstellen Schemata werden miteinander assoziiert. 4 Suche Die generische Suche indiziert die Daten der Kollektion. 22 Forscherinnen und Forscher können Sammlungsbeschreibung, Schema, Mapping und Suche für ähnliche Anfragen nachnutzen.

68 Funktionsprinzip Die Sammlung wird eingetragen und die Zugriffsschnittstelle auf Daten der Sammlung beschrieben. Sammlung beschreiben 1 Forscherin möchte Daten einer Sammlung, für die es keine geeigneten Suchmöglichkeiten gibt, analysieren und vergleichen. Nachnutzung Das Schema der Daten wird ausgewählt oder neu angelegt. Titel Author Schema definieren 2 3 Mappings erstellen Schemata werden miteinander assoziiert. 4 Suche Die generische Suche indiziert die Daten der Kollektion. 22 Forscherinnen und Forscher können Sammlungsbeschreibung, Schema, Mapping und Suche für ähnliche Anfragen nachnutzen.

69 DARIAH-DE Föderationsarchitektur Strukturelle Anreicherung 23

70 Fachliche Datenaufbereitung Schema Registry unterscheidet zwei Phasen: 24

71 Fachliche Datenaufbereitung Schema Registry unterscheidet zwei Phasen: Datenaufbereitung: Daten nach Vorgaben des Modellierers evaluieren und in erweiterter Form abgespeichert dadurch Integrationsvorbereitung bei Import Original bleibt erhalten generisch oder kontextspezifisch 24

72 Fachliche Datenaufbereitung Schema Registry unterscheidet zwei Phasen: Datenaufbereitung: Daten nach Vorgaben des Modellierers evaluieren und in erweiterter Form abgespeichert dadurch Integrationsvorbereitung bei Import Original bleibt erhalten generisch oder kontextspezifisch Mappings & Transformation: Überführung von (aufbereiteten) Daten in Zielform Aufwand reduziert kontextspezifisch 24

73 Beispiel: Pangaea Beispiele: - Substrukturen z. B. Listen - Muster wie Nachname, Vorname 25

74 Beispiel: Pangaea Beispiele: - Substrukturen z. B. Listen - Muster wie Nachname, Vorname 25

75 Beispiel: Pangaea Beispiele: - Substrukturen z. B. Listen - Muster wie Nachname, Vorname Beispiel für Substruktur... <dc:coverage> LATITUDE: * LONGITUDE: * MINIMUM AGE: ka BP * MAXIMUM AGE: ka BP * MINIMUM DEPTH, sediment: 0.0 m * MAXIMUM DEPTH, sediment: 11.7 m </dc:coverage>

76 Aufgabe 1: Datenbeschreibung Beschreibung der Daten mit dem Ziel der Einarbeitung von Hintergrundwissen zu Daten in ihrem Erstellungskontext 26

77 Aufgabe 1: Datenbeschreibung Beschreibung der Daten mit dem Ziel der Einarbeitung von Hintergrundwissen zu Daten in ihrem Erstellungskontext durch Domänenexperten 26

78 Aufgabe 1: Datenbeschreibung Beschreibung der Daten mit dem Ziel der Einarbeitung von Hintergrundwissen zu Daten in ihrem Erstellungskontext durch Domänenexperten Daten werden ohne Rücksicht auf spätere Verwendung erweitert 26

79 Aufgabe 1: Datenbeschreibung Beschreibung der Daten mit dem Ziel der Einarbeitung von Hintergrundwissen zu Daten in ihrem Erstellungskontext durch Domänenexperten Daten werden ohne Rücksicht auf spätere Verwendung erweitert Kombination explizit vorliegender Strukturinformationen und Wissen um Instanzen 26

80 Aufgabe 1: Datenbeschreibung Anwendung von Methoden aus dem Bereich sprachbasierter Anwendungen: 27

81 Aufgabe 1: Datenbeschreibung Anwendung von Methoden aus dem Bereich sprachbasierter Anwendungen: Kernidee: Daten werden durch grammatikalische Regeln definiert und erklärt 27

82 Aufgabe 1: Datenbeschreibung Anwendung von Methoden aus dem Bereich sprachbasierter Anwendungen: Kernidee: Daten werden durch grammatikalische Regeln definiert und erklärt Es werden domänenspezifische Sprachen (domain specific language, DSL) konstruiert und mit schematischen Informationen hinterlegt 27

83 Aufgabe 1: Datenbeschreibung Anwendung von Methoden aus dem Bereich sprachbasierter Anwendungen: Kernidee: Daten werden durch grammatikalische Regeln definiert und erklärt Es werden domänenspezifische Sprachen (domain specific language, DSL) konstruiert und mit schematischen Informationen hinterlegt Explikation von Wissen auf Instanzebene 27

84 Aufgabe 1: Datenbeschreibung Kontextfreie Grammatik Modelliert durch Domänenexperten EBNF grammar PangaeaCoverage; substruct subelem : subelem+; : (longitude latitude start end mindepth maxdepth otherelem) SEPARATOR?; longitude : LONGITUDE : value; latitude : LATITUDE : value;... otherelem : key : value; 22 Zeilen insgesamt key : ID; value : DATE ID; 28 10/25/2016

85 Aufgabe 1: Datenbeschreibung Kontextfreie Grammatik Modelliert durch Domänenexperten EBNF grammar PangaeaCoverage; substruct subelem : subelem+; : (longitude latitude start end mindepth maxdepth otherelem) SEPARATOR?; longitude : LONGITUDE : value; latitude : LATITUDE : value;... otherelem : key : value; 22 Zeilen insgesamt key : ID; value : DATE ID; Syntaxbaum substruct subelem subelem subelem subelem latitude * longitude * start * end * LATITUDE : value LONGITUDE : value DATE/TIME START : value DATE/TIME END : value T17:49: T17:49: /25/2016

86 Aufgabe 2: Datentransformation Beschreibung von Transformationsregeln zur Verfeinerung, Erweiterung, Bereinigung von Daten 29

87 Aufgabe 2: Datentransformation Beschreibung von Transformationsregeln zur Verfeinerung, Erweiterung, Bereinigung von Daten Ebenfalls durch Domänenexperten 29

88 Aufgabe 2: Datentransformation Beschreibung von Transformationsregeln zur Verfeinerung, Erweiterung, Bereinigung von Daten Ebenfalls durch Domänenexperten wenn möglich, auch hier ohne konkrete Ausrichtung auf Verwendungskontext 29

89 Aufgabe 2: Datentransformation Beschreibung von Transformationsregeln zur Verfeinerung, Erweiterung, Bereinigung von Daten Ebenfalls durch Domänenexperten wenn möglich, auch hier ohne konkrete Ausrichtung auf Verwendungskontext Vorbereitung der Umwandlung von Daten in andere Formate, Befragung externer Quellen wie Thesauri, Ontologien etc. 29

90 Aufgabe 2: Datentransformation Syntaxbaum substruct subelem subelem subelem subelem... latitude * longitude * start * end * LATITUDE : value LONGITUDE : value DATE/TIME START : value DATE/TIME END : value T17:49: T17:49:00 lon Zuweisung 30

91 Aufgabe 2: Datentransformation Syntaxbaum substruct subelem subelem subelem subelem... latitude * longitude * start * end * LATITUDE : value LONGITUDE : value DATE/TIME START : value DATE/TIME END : value T17:49: T17:49:00 lon lat = { value }; Zuweisung Generierung untergeordneter Elemente 30

92 Aufgabe 2: Datentransformation Syntaxbaum substruct subelem subelem subelem subelem... latitude * longitude * start * end * LATITUDE : value LONGITUDE : value DATE/TIME START : value DATE/TIME END : value T17:49: T17:49:00 lon lat = { value }; Zuweisung Generierung untergeordneter Elemente combined = CONCAT( "]"); Erweiterbarer Funktionssatz 30

93 Session 1: Datenbeschreibung Live-Session 31

94 Gesamtüberblick Schema (RTG) Pangaea DC Title Regelframework Datenbeschreibung. Transformation. Ausgabeelemente (Syntaxbäume) FirstName ROOT LastName Creator PangaeaCreator-DSL f Trans Subject PangaeaSubject-DSL f Trans ROOT Subject* Description f Trans Coverage PangaeaCoverage-DSL f Trans ROOT... Latitude Longitude... Generierter Java-Code Transformationsfunktion 32

95 Beispiel: Wikipedia <page> <title>lujo Brentano</title> <ns>0</ns> <id>142397</id> <revision> <id> </id> <parentid> </parentid> <timestamp> t13:12:04z</timestamp> <contributor> <username>gelehrter11</username> <id>993293</id> </contributor> <minor/> <comment>/* Leben */ Spätere Distanzierung vom "Manifest der 93" gem. dem Artikel "Manifest der 93"</comment> <text xml:space="preserve">... * [[19. Dezember]] [[1844]] in [[Aschaffenburg]]; [[9. September]] [[1931]] in [[München]]) war ein [[Deutschland deutscher]] [[Volkswirtschaftslehre Nationalökonom]] und [[Sozialreform]]er. == Leben == Lujo Brentano wurde hineingeboren in die prominente, aus Italien stammende katholische Intellektuellenfamilie Brentano:... 33

96 Beispiel: Wikipedia <page> <title>lujo Brentano</title> <ns>0</ns> Metadaten eher irrelevant <id>142397</id> <revision> <id> </id> <parentid> </parentid> <timestamp> t13:12:04z</timestamp> <contributor> <username>gelehrter11</username> <id>993293</id> </contributor> <minor/> <comment>/* Leben */ Spätere Distanzierung vom "Manifest der 93" gem. dem Artikel "Manifest der 93"</comment> <text xml:space="preserve">... * [[19. Dezember]] [[1844]] in [[Aschaffenburg]]; [[9. September]] [[1931]] in [[München]]) war ein [[Deutschland deutscher]] [[Volkswirtschaftslehre Nationalökonom]] und [[Sozialreform]]er. == Leben == Lujo Brentano wurde hineingeboren in die prominente, aus Italien stammende katholische Intellektuellenfamilie Brentano:... 33

97 Beispiel: Wikipedia <page> <title>lujo Brentano</title> <ns>0</ns> <id>142397</id> <revision> <id> </id> <parentid> </parentid> <timestamp> t13:12:04z</timestamp> <contributor> <username>gelehrter11</username> <id>993293</id> </contributor> <minor/> Metadaten eher irrelevant Biographische Daten im Fließtext <comment>/* Leben */ Spätere Distanzierung vom "Manifest der 93" gem. dem Artikel "Manifest der 93"</comment> <text xml:space="preserve">... * [[19. Dezember]] [[1844]] in [[Aschaffenburg]]; [[9. September]] [[1931]] in [[München]]) war ein [[Deutschland deutscher]] [[Volkswirtschaftslehre Nationalökonom]] und [[Sozialreform]]er. == Leben == Lujo Brentano wurde hineingeboren in die prominente, aus Italien stammende katholische Intellektuellenfamilie Brentano:... 33

98 Beispiel: Wikipedia <page> <title>lujo Brentano</title> <ns>0</ns> <id>142397</id> <revision> <id> </id> <parentid> </parentid> <timestamp> t13:12:04z</timestamp> <contributor> <username>gelehrter11</username> <id>993293</id> </contributor> <minor/> Aber: relevante Substruktur Metadaten eher irrelevant Biographische Daten im Fließtext <comment>/* Leben */ Spätere Distanzierung vom "Manifest der 93" gem. dem Artikel "Manifest der 93"</comment> <text xml:space="preserve">... * [[19. Dezember]] [[1844]] in [[Aschaffenburg]]; [[9. September]] [[1931]] in [[München]]) war ein [[Deutschland deutscher]] [[Volkswirtschaftslehre Nationalökonom]] und [[Sozialreform]]er. == Leben == Lujo Brentano wurde hineingeboren in die prominente, aus Italien stammende katholische Intellektuellenfamilie Brentano:... 33

99 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF

100 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF Grammatik: Definition sprachlicher Elemente Extraktion von Inhalt

101 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF Grammatik: Definition sprachlicher Elemente Extraktion von Inhalt Transformation des Inhalts in Elemente des Profils

102 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF Grammatik: Definition sprachlicher Elemente Extraktion von Inhalt Transformation des Inhalts in Elemente des Profils Ergebnis: Paare von Überschriften und Text

103 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF GTF Grammatik: Definition sprachlicher Elemente Anwendung technischer Verfahren Extraktion von Inhalt Transformation des Inhalts in Elemente des Profils Ergebnis: Paare von Überschriften und Text

104 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF GTF Grammatik: Definition sprachlicher Elemente Anwendung technischer Verfahren Extraktion von Inhalt Iteration im Beispiel: Transformation des Inhalts in Elemente des Profils Ergebnis: Paare von Überschriften und Text Satzerkennung Anwendung typischer NLP- Verfahren (mehrfach) Ableitung von Korrelationen

105 Beispiel: Wikipedia Cosmotool Wikipedia Dump Profil- Speicher Grammatical Transformation Framework GTF GTF Grammatik: Definition sprachlicher Elemente Anwendung technischer Verfahren Extraktion von Inhalt Iteration im Beispiel: Transformation des Inhalts in Elemente des Profils Ergebnis: Paare von Überschriften und Text Satzerkennung Anwendung typischer NLP- Verfahren (mehrfach) Ableitung von Korrelationen Wiki-Entities

106 Implementierte Adapter Profil- Speicher GTF

107 Implementierte Adapter Profil- Speicher GTF Datei: wird genutzt für Wikipedia/Wikidata-Dumps

108 Implementierte Adapter Profil- Speicher GTF Datei: wird genutzt für Wikipedia/Wikidata-Dumps OAI-PMH (aus generischer Suche): derzeit noch nicht verwendet

109 Implementierte Adapter Profil- Speicher GTF Datei: wird genutzt für Wikipedia/Wikidata-Dumps OAI-PMH (aus generischer Suche): derzeit noch nicht verwendet HTTP-GET: Abruf aus Webseiten Bezeichner als GET-Parameter

110 Implementierte Analysefunktionalität Profil- Speicher GTF

111 Implementierte Analysefunktionalität Profil- Speicher GTF Core String-Funktionen Logische Funktionen

112 Implementierte Analysefunktionalität Profil- Speicher GTF Generisch wiederverwendbar Core String-Funktionen Logische Funktionen NLP Adapter Stanford OpenNLP

113 Implementierte Analysefunktionalität Profil- Speicher GTF Generisch wiederverwendbar Core String-Funktionen Logische Funktionen NLP Adapter Stanford OpenNLP Biographische Korrelationsanalyse

114 DARIAH-DE Föderationsarchitektur Datentransformation 37

115 Einschränkung generischer Crosswalks Keine Abbildung kollektionsspezifischer Verwendung Nur einfache Assoziationen zw. Elementen möglich 38

116 Aufgaben der Mappings wie bei Erweiterung von Schemata sind auch hier Beschreibung und Transformation der Daten möglich 39

117 Aufgaben der Mappings wie bei Erweiterung von Schemata sind auch hier Beschreibung und Transformation der Daten möglich Hier aber: Fokus auf Verwendungskontext 39

118 Aufgaben der Mappings wie bei Erweiterung von Schemata sind auch hier Beschreibung und Transformation der Daten möglich Hier aber: Fokus auf Verwendungskontext Modellierer: Experte der Anwendungsdomäne 39

119 Mappings verfeinern Wertkorrespondenzen Assozierte Konzepte Title Type1 Lang Ψ Title_en Ψ Title_de Ψ Interpretation Title Type1 Lang Ψ Title_en Ψ Title_de Ψ 40 10/25/2016

120 Mappings verfeinern Wertkorrespondenzen Assozierte Konzepte Title Type1 Lang Ψ Title_en Ψ Title_de Ψ Interpretation Title Type1 Lang Ψ Title_en Ψ Title_de Ψ 40 10/25/2016

121 Mappings verfeinern Wertkorrespondenzen Assozierte Konzepte Title Type1 Lang Ψ Title_en Ψ Title_de Ψ Interpretation Title Type1 Lang Ψ Title_en Ψ Title_de Ψ Creator Type2 Person Name Type6 ForeName Ψ SurName Ψ Person Type1 Ψ Interpretation Creator Type2 Person Name Type6 ForeName Ψ SurName Ψ Person Type1 Ψ 40 10/25/2016

122 41 Mappings vs. Anreicherung Assoziierte Konzepte Generic DC Title Creator Subject Description Publisher Contributor Date Type Format Identifier Source Language Relation Coverage Rights Pangaea DC Title Creator LastName FirstName Subject Description Publisher Contributor Date Type Format Identifier Source Language Relation Coverage Latitude Longitude Start DateTimeEnd MinimumDepth MaximumDepth Rights Wertkorrespondenzen Konzept mappings Transformations output

123 Session 2: Mappings Live-Session 42

124 Vielen Dank! Fragen? 43