Historische Textkorpora für die Geistes- und Sozialwissenschaften. Fragestellungen und Nutzungsperspektiven

Transkript

1 Historische Textkorpora für die Geistes- und Sozialwissenschaften. Fragestellungen und Nutzungsperspektiven - Begrüßung und Einführung - Alexander Geyken BBAW (DWDS/DTA/CLARIN-D) DTA-/CLARIN-D-Konferenz und -Workshops BBAW Einstein-Saal,

2 DTA Konferenzorganisation Team Susanne Haaf, Christian Thomas, Frank Wiegand, Matthias Schulz (wissenschaftliche MitarbeiterInnen) Nicole Postelt, Kristin Schulz, Cornelia Binnyus, Maria Ermakova, Elena Kirillova (studentische MitarbeiterInnen) CLARIN-D Axel Herold, Kai Zimmer, Lothar Lemnitzer (wissenschaftliche Mitarbeiter) 2

3 Themen der Konferenz... Aufbau historischer Korpora Verfahren der Erfassung, Qualitätskriterien Strukturierung, Annotation Interoperabilität von Korpusressourcen Analyse historischer Korpora Maschinell: Normalisierung der Schreibung, morphosyntaktische Analyse, Eigennamenextraktion, Kulturwissenschaftliche und linguistische Auswertung Infrastruktur für die linguistische Analyse Nachhaltige Sicherung der Ressourcen 3

4 eingebettet in langfristiges Ziel Momentaner Stand historischer deutscher Korpora (~ Jh.): (1) Historische Korpora vielfältig vorhanden, aber sie liegen verstreut in der Korpuslandschaft (2) Unterschiedliche Kodierungsformate; Problem der Interoperabilität (3) Kein anerkanntes System der Qualitätssicherung (4) Keine etablierte Kultur des Teilens von Ressourcen (Lizenzen!) (5) Unsicherheit über die nachhaltige Verfügbarkeit von Korpora Ziel: Ein (verteilter) Ort, an dem man die verfügbaren bzw. verlässlichen Texte finden kann und eine (verteilte) Plattform, auf der diese analysiert werden können 4

5 Stand der Korpusarbeiten DTA/CLARIN Erreichter Stand Korpusaufbau, Vereinheitlichung der Formate Korpusanalyse Aufbau einer Community des Korpus-Infrastrukturzentrums (BBAW/DTA) und von CLARIN-D als Nukleus einer verteilten Plattform interoperabler Korpora 5

6 Stand der Korpusarbeiten DTA/CLARIN 1. DTA-Kernkorpus und neue Website 2. Kollaborative Qualitätssicherung (DTAQ) 3. DTAE: Erweiterungen und Kooperationen 4. DTA und CLARIN-D a. Interoperabilität: das DTA-Basisformat und die CLARIN-D Infrastruktur b. Nachhaltigkeit 6

7 1. DTA-Kernkorpus und die neue Website DTA-Kernkorpus: Disziplinen- und gattungsübergreifender Grundbestand (~1600 ~1900) Textauswahl auf der Grundlage von kommentierten Vorschlägen von Mitgliedern aller wissenschaftlichen Klassen der BBAW Sprachstand wird abgebildet Frei zugänglich (CC-Lizenz) Korpus schreibweisentolerant durchsuchbar 7

8 Neue DTA-Website (Testversion) (a) Zugreifbar 771 Werke, Seiten (Bild-/Text-Ansicht) 8

9 Neue DTA-Website (Testphase) (b) Neue Version der Suchmaschine DDC 9

10 Neue DTA-Website (Testphase) (c) Verschiedene Ansichten (TEI, Text, HTML), Faksimiles (d) Analysen: Wortwolken Lemma-/Typelisten (e) Download aller Texte (TEI, Text, HTML) 10

11 Wortwolke lemmatisiert (Nomen) G. Simmel 11

12 2. DTAQ: Kollaborative Korrekturumgebung 12

13 2. DTAQ: Kollaborative Korrekturumgebung 13

14 2. DTAQ: Kollaborative Korrekturumgebung 14

15 2. DTAQ: Kollaborative Korrekturumgebung 15

16 Tickets, davon korrigiert 150 aktive Nutzer Wachsender Bestand: 1000 Werke (500 M. Zeichen), Nov Werke (~550 M. Zeichen), Jan DTAQ: Fakten Download aller Werke möglich 16

17 3. DTAE: Erweiterungen und Kooperationen Kooperation mit 12 Partnern, u.a.: Forschungsstelle für Personalschriften, Marburg (AdW Mainz) HAB Wolfenbüttel (DFG-Projekt AEdit) Dinglers Polytechnisches Journal (HU Berlin) CLARIN-D Kurationsprojekt MPI für Bildungsforschung Gesamt: Seiten (ohne Polytechnisches Journal) 17

18 3. DTAE: CLARIN-D Kurationsprojekt Kuration von historischen Textressourcen ( Jh.) und deren Integration in die CLARIN-D-Infrastruktur (F-AG1) Partner

19 3. DTAE: CLARIN-D Kurationsprojekt Kuration von historischen Textressourcen ( Jh.) und deren Integration in die CLARIN-D-Infrastruktur (F-AG1) Ziele Sammlung verlässlicher Transkripte (im Unterschied zu OCR-Rohdaten) historischer Textressourcen ( Jh.) Integration eines Textäquivalents von mehr als Druckseiten über die DTA/HAB-Infrastruktur Aufnahme der Texte in die CLARIN-D- Infrastruktur über BBAW- bzw. IDS- Servicezentrum Partner

20 3. DTAE: Key features Alle Texte in DTAE: als Volltexte frei verfügbar (CC-BY-(NC SA)) zum Herunterladen in verschiedenen Formaten: XML/TEI (DTA-Basisformat), HTML, Text, TCF Metadaten: CMDI, DC, <teiheader> (harvestbar via OAI-PMH) Qualitätskontrolle DTAQ Query API (JSON) für die linguistische Suchmaschine des DTA

21 3. DTAE: Beispiel Metadaten Auffinden von Metadaten über den OAI-Standard in zentralen Verzeichnissen möglich DTA-Metadaten in CLARIN Europeana (im Rahmen des DM2E- Projekts) Akademie_der_Wissenschaften.html 21

22 Stand der Korpusarbeiten DTA/CLARIN 1. DTA-Kernkorpus und neue Website 2. Kollaborative Qualitätssicherung (DTAQ) 3. DTAE: Erweiterungen und Kooperationen 4. DTA und CLARIN-D a. Interoperabilität: das DTA-Basisformat und die CLARIN-D-Infrastruktur b. Nachhaltigkeit 22

23 4. CLARIN-D: Kurzvorstellung Common Language Resources and Technology Infrastructure Deutschland 9 Partner + 7 Facharbeitsgruppen verschiedener Disziplinen Verteilte, zentrenorientierte Forschungsinfrastruktur für Sprachressourcen in den Geistes- und Sozialwissenschaften > 60 Werkzeuge (Syntax, NE-Erkennung, Visualisierung), Zusammenfassung in einer Toolchain (WebLicht) nachhaltige Verfügbarkeit und Interoperabilität 23

24 4a. Interoperabilität TEI-P5 als Startpunkt 2005: DWDS-Kernkorpus (20. Jh.) in TEI-P5 2007: DTA startet mit der Idee eines Basisformats Idee: geeignete Untermenge von TEI-P5 für die Strukturierung von hist. gedrucktem Text Grundidee: Interoperabilität (Unsworth 2011) gewährleisten focus on non-controversial aspects of the text, thus providing unambiguous solutions for text annotation establish high quality transcription of the text provide high quality metadata 2012: DTABf : Best Practice für hist. Texte in CLARIN-D (Benutzerhandbuch, 24

25 4b. Infrastruktur und Lifecycle dig. Texte Software zur Integration in die CLARIN-D Infrastruktur: (1) Teilautomatisierte Integration der Metadaten (2) Konvertierung in TEI-P5 a. OxGarage b. DTA-Import (teilautomatisch) (3) TEI-P5 DTABf via DTA-oXygen Framework (4) Qualitätskontrolle über DTAQ (5) Generisches web-basiertes Framework zur Integration in die CLARIN-D Infrastruktur (6) Analysen via WebLicht 25

26 Mehrwert CLARIN-D am Beispiel Dingler Normalisierung der Struktur (DTABf, TCF) Normalisierung Orthographie: <choice> mit <orig> und <reg> Bsp.: seyn und sein CLARIN-D Re-Analyse der Texte in Tübingen, Stuttgart, Leipzig (NER, Syntax, Visualisierung) nachhaltige Speicherung nach Projektförderung in BBAW-Servicezentrum 26

27 Eine Lösung dieser scheinbaren Anomalie dürfte einigen Lesern nicht unwillkommen sein. 27

28 Eine Lösung dieser scheinbaren Anomalie dürfte einigen Lesern nicht unwillkommen seyn. 28

29 POS-Verteilung normalisiert vs. original Normalisierte Fassung, weniger bei: NE (-20% ), XY (-41% ), ADJA (-5% ) Dafür mehr bei: VAINF (+14%), ITJ (+57%) sowie mehr analysierte Funktionswörter (Analyse: IMS-Stuttgart, A. Blessing, 2013) 29

30 Zusammenfassung Themen dieser Konferenz: Aufbau, Annotation und Analyse hist. Korpora Nicht unabhängig von: Interoperabilität Gemeinsame Maßstäbe bei der Qualitätsmessung Kultur des Teilens: Win-Win Situation auf Standards beruhende Infrastrukturen Vielen Dank für Ihre Aufmerksamkeit! 30