Projektseminar "Texttechnologische Informationsmodellierung"

Transkript

1 Projektseminar "Texttechnologische Informationsmodellierung"

2 Ziel dieser Sitzung Nach dieser Sitzung sollten Sie: Einige standards und projekte vom Namen her kennen Einen Überblick über und einen Eindruck von der Arbeit mit haben

3 Was sind?

4 sind Sammlungen von Texten oder Äußerungen einer Sprache genauer: Sammlungen von Textsorten Zentraler Bestandteil linguistischer Verarbeitung natürlicher Sprachen Lange Zeit konzentrierten sich auf einen Aspekt von Sprache (Syntax, Morphologie, Diskursanalyse) Jetzt werden mehrfach (hinsichtlich verschiedener Ebenen) annotiert Verschiedene Betrachtungsebenen sind von Interesse

5 (Auswahl) Referenzkorpora: BNC (British National Corpus), umfasst ca. 100 Millionen Wörter ( DeReKo (Deutscher Referenzkorpus) ( Weitere : Zeitungen: IDS Mannheim, COSMAS System ( Literarische Werke: 1984 von George Orwell, als Korpus aufbereitet im Projekt Multext-East ( Juristische Texte aus Official Journal of the European Community im Projekt Multext (

6 in der Computerlinguistik Ressource zur Modellbildung, d.h. der Beschreibung (syntaktischer) Merkmale Trainingsmaterial für Anwendungen wie Korrekturprogramme, Textmining, Dialogsysteme, morphologische Tagger, Übersetzungssysteme, Grundlage automatischer Annotationen: 1. Erstellen eines Korpus 2. Erzeugen von Annotationsregeln anhand des Korpus 3. automatische Annotation an neuen Daten

7 Arbeiten mit : 1. Korpuserstellung a) Auswahl einer Textsorte b) Identifikation von repräsentativen Texten c) Vorverarbeitung (Digitalisierung, Vereinheitlichung) 2. Annotation a) Auswahl des Untersuchungsgegenstandes b) Identifikation der relevanten Informationseinheiten c) Auswahl eines Annotationsschemas

8 Annotationsverfahren Automatische Annotation: Regelbasiert, z.b. mittels der Constraint Grammar ( Statistisch, z.b. (hauptsächlich für Spracherkennung verwendete) Hidden Markov Models Kombinierte Verfahren, z.b. für große, unbekannte Textmengen Nachteil: keine Fehlerfreiheit gewährleistet Manuelle Annotation: Vorteil: Verlässlichere Annotationen, auf verschiedenen Annotationsebenen: POS (Part of Speech Wortarten) Syntaktische Strukturen Lemmatisierung Semantische Informationen Nachteil: Große Datenmengen nur schwer zu erstellen

9 Rolle der Texttechnologie: Standardisierte Repräsentationsformate (z.b. Auszeichnungssprachen wie SGML/ XML) erleichtern die Wiederverwertbarkeit von Verbreitete Formate, die auf XML zurückgreifen (z.b. XHTML) erleichtern die Erschließung großer Datenmengen Neue Analysegegenstände werden erschlossen, z.b. durch kombinierte Repräsentation verschiedener Schriftsysteme Annotation auf mehreren Ebenen: Neue Kombination und Wiederverwendung der Annotationen

10 spezifikationen und standards Als Ergebnisse von Projektarbeiten: NITE CES TUSNELDA (aufbauend auf XCES) E-MELD MATE TASX Verbmobil Als Ergebnis von Standardisierungsbemühungen: TEI (als Standard für allgemeine Textstrukturierung) XCES Dublin Core (als Metadatenstandard)

11 Ihre Aufgabe: Untersuchen Sie die im Ordner Kursvorlagen abgelegten Beispieldaten Entscheiden Sie sich für eine linguistische Fragestellung, nach der diese Textsorte annotiert werden kann (bei Audiodaten: transkribieren Sie zunächst die Rohdaten) Identifizieren Sie die strukturgebenden Informationseinheiten Erstellen Sie eine XML DTD, anhand derer diese Textsorte annotiert werden kann Annotieren Sie den Text gemäß Ihrer DTD