Florian Zipser Humboldt-Universität zu Berlin

Transkript

1 Humboldt-Universität zu Berlin LAUDATIO Workshop

2 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie 2

3 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Syntax 3

4 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Koreferenz Syntax 4

5 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Koreferenz Syntax Rhetorische Strukturen 5

6 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Koreferenz Syntax Gesprochene Daten Rhetorische Strukturen 6

7 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Koreferenz Dialoge Syntax Gesprochene Daten Rhetorische Strukturen 7

8 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Unterschiedliche Sprachen Koreferenz Dialoge Syntax Gesprochene Daten Rhetorische Strukturen 8

9 Heterogene Domäne Linguistische Daten und Phänomene erfordern viele Annotationsarten Morphologie Unterschiedliche Sprachen Koreferenz Dialoge Verschiedene Syntax Sprachstufen Gesprochene Daten Rhetorische Strukturen 9

10 Heterogene Domäne Viele Tools, um Daten zu bearbeiten: Manuelle Annotationstools semi-automatische Annotationstools Automatische Annotationstools Suchtools Visualisierungstools 10

11 Heterogene Domäne Viele Tools, um Daten zu bearbeiten: EXMARaLDA Praat ELAN Tiger search ANNIS TrED Parser (Berkley, MALT, ) Arborator Toolbox Synpathie TreeTagger Weblicht MMAX2 RST UIMA WebANNO ATOMIC UAM UIMA (dkpro,...)... 11

12 Heterogene Domäne Viele verschiedene Formate GATE XML ELAN format MMAX2 format TEI TreeTagger format Generic XML TextGrid TCF GrAF TigerXML ANNIS format UAM format Toolbox format PTB format EXMARaLDA format rs3 PAULA CoNLL UIMA CAS Negra MAF PML XLSX 12

13 Interoperabilität Problem 1: Interoperabilität Viele Tools gut, Nutzer können wählen Aber Tools können nur selten interagieren Primärdaten müssen mehrmals aufbereitet werden (Tokenisierung) 13

14 Mehrebenenkorpora Problem 2: Mehrebenenkorpora Annotation unterschiedlicher Annotationsarten (Morphologie, Syntax, Koreferenzen) erfordert defacto unterschiedliche Korpora Aber: wir brauchen ein Korpus, das alles enthält 14

15 Nachhaltigkeit Problem 3: Nachhaltigkeit Einige Tools werden nicht mehr weiterentwickelt Formate werden nicht weiter unterstützt Was ist mit den Daten??? 15

16 Nachhaltigkeit Nachhaltigkeit der Daten erfordert Nachhaltigkeit der Speicherung Im Web: HTML (W3C) Allgemeine Datenbeschreibung: XML (W3C), JSON Modellierung: UML/ XMI (OASIS) Freitext: PDF bzw. pdf-a 16

17 Nachhaltigkeit Es gibt ideen zur Standardisierung: TEI (TEI consortium) GrAF (ISO) MAF (ISO) SynAF/isoTiger (ISO) Aber nur wenige Tools arbeiten damit, z.t. Sehr komplex Unausgereift Standards oft jünger als Tool 17

18 Anforderungen Was wir brauchen: Übertragung alter Daten in neue Formate/ Standards (Nachhaltigkeit) Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität) Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora) 18

19 SaltNPepper Nachhaltigkeit: Format XXX TEI GrAF MAF SynAF 19

20 SaltNPepper Austausch: ELAN format EXMARaLDA format 20

21 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format 21

22 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format Praat format Praat format 22

23 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format Praat format Praat format PAULA PAULA TigerXML TigerXML ANNIS format ANNIS format

24 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format Praat format PAULA n²-n Mappings Jedes einzelne muss implementiert werden Praat format PAULA TigerXML TigerXML ANNIS format ANNIS format

25 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format Praat format PAULA TigerXML Gemeinsammes Modell Praat format PAULA TigerXML ANNIS format ANNIS format

26 SaltNPepper Austausch: ELAN format EXMARaLDA format EXMARaLDA format ELAN format Praat format PAULA TigerXML ANNIS format Gemeinsames Modell Reduzierung auf 2n Mappings Praat format PAULA TigerXML ANNIS format

27 Salt Anforderungen an Metamodell: Tagsetunabhängig Beliebige Annotationsebenen Unterschiedliche Annotationsarten Theorieneutral 27

28 Salt Salt ist ein Graph? Ein Graph G= (V, E) mit: Einer Menge an Knoten V Einer Menge an Kanten E mit e= (v 1 V, v2 V) E. 28

29 Salt Ein Graph in der Linguistik? 29

30 Salt Ein Graph in der Linguistik? 30

31 Salt Ein Graph in der Linguistik? 31

32 Salt Ist das noch ein Graph? 32

33 Salt Und das? 33

34 Salt Oder das? 34

35 Salt Für Salt ja! 35

36 Salt Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 36

37 Salt Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 37

38 Salt Tokenisierung: t 1 t 2 t 1 t 2 t 3 t 4 t 5 t 6 t 7 0,4 5,16 17,19 20,26 27,33 34,37 38,47 Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 38

39 Salt Annotation: ART NN APPR NE VMFIN ART NN Tokenisierung: t 1 t 2 t 1 t 2 t 3 t 4 t 5 t 6 t 7 0,4 5,16 17,19 20,26 27,33 34,37 38,47 Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 39

40 Salt Annotation: Inf-Stat= new Inf-Stat= new Inf-Stat= new Mengen: s 1 s 2 s 3 Tokenisierung: t 1 t 2 t 1 t 2 t 3 t 4 t 5 t 6 t 7 0,4 5,16 17,19 20,26 27,33 34,37 38,47 Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 40

41 Salt Kanten: Tokenisierung: Primärtext: 41

42 Salt s 1 S SB HD OA Hierarchien: NP NK s 2 NK MNR AC s 14 NK PP NK s 3 NK NP Tokenisierung: t 1 t 2 t 1 t 2 t 3 t 4 t 5 t 6 t 7 0,4 5,16 17,19 20,26 27,33 34,37 38,47 Primärtext: Die Jugendlichen in Zossen wollen ein Musikcafé. 42

43 Salt Anforderungen an Metamodell: Tagsetunabhängig frei wählbare Attribut-Wert-Paare für Labels Beliebige Annotationsebenen unbegrenzte Anzahl an Labels Unterschiedliche Annotationsarten alles, was als Graph darstellbar ist Theorieneutral Semantikarmut, Salt kennt nur Zeichenketten 43

44 Pepper Pepper Converterframework Basiert auf Salt Nur eine Infrastruktur, die Arbeit machen die Plugins Pepper Salt SGraph SGraph SNode SNode SRelation SRelation Pepper module Pepper module Pepper module Pepper module TigerXML PAULA ANNIS

45 Pepper Drei Arten von Modulen: Importer: Format A Salt Manipulator: Salt Salt Exporter: Salt Format B PAULAImporter PAULA Salt ANNISExporter ANNIS format 45

46 Pepper Drei Arten von Modulen: Importer: Format A Salt Manipulator: Salt Salt Exporter: Salt Format B PAULAImporter PAULA Salt ANNISExporter ANNIS format Kombinierbarkeit TigerImporter TigerXML Salt ANNISExporter ANNIS format 46

47 Pepper Manipulation PAULAImporter PAULA Salt Manipulator (Sentencer) Salt ANNISExporter ANNIS format 47

48 Pepper Manipulation PAULAImporter PAULA Salt Manipulator (Sentencer) Salt ANNISExporter ANNIS format Kombinierbarkeit TigerImporter TigerXML Salt Manipulator (Sentencer) Salt ANNISExporter ANNIS format 48

49 Anforderungen Was wir brauchen: Übertragung alter Daten in neue Formate/ Standards (Nachhaltigkeit) Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität) Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora) 49

50 Mehrebenenkorpora Mehrebenenkorpora: verschiedene Annotationsarten gemeinsam durchsuchen und anzeigen 50

51 Mehrebenenkorpora Problem: es gibt nur wenige Mehrebenenannotationstools (bspw. WebAnno, ATOMIC) Idee: Verschmelzen der unterschiedlichen Formate (und somit der Ebenen) RS3 TigerXML CoNLL PTB 51

52 Mehrebenenkorpora Salt reduziert Merging zu Graphmerging new new new s 1 s 2 s 3 t 1 t 2 t 3 t 4 t 5 t 6 t 7 52

53 Mehrebenenkorpora Salt reduziert Merging zu Graphmerging new new new s 1 s 2 s 3 t 1 t 2 t 3 t 4 t 5 t 6 t 7 53

54 Mehrebenenkorpora Merger ist Plugin für Pepper (Manipulator) TigerImporter Merger TigerXML RSTImporter Salt Salt ANNISExporter ANNIS format rs3 Salt 54

55 Anforderungen Was wir brauchen: Übertragung alter Daten in neue Formate/ Standards (Nachhaltigkeit) Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität) Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora) 55

56 Fazit SaltNPepper Konvertierung von Korpora zwischen Formaten Erweiterbarkeit um neue Formate (Plugins) Open Source (Apache License 2.0) Öffentliche Plattform: GitHub

57 Fazit Nachhaltigkeit von Korpora, Formaten und Software hängt zusammen Problem: Projekte sind befristet! Oft stirbt Software nach Ende eines Projektes Verlust von Geld und Zeit 57

58 Fazit Nachhaltigkeit von Korpora, Formaten und Software hängt zusammen Problem: Projekte sind befristet! Oft stirbt Software nach Ende eines Projektes Verlust von Geld und Zeit Software braucht zum Überleben: Aktive Entwicklercommunity Open Source Öffentliche Plattform Gute Dokumentation 58

59 Danke für Ihre Aufmerksamkeit you the format monster Tiger PAULA ANNIS GrAF EXMARaLDA Pepper PTB TEI RST MMAX2 your weapon 59

60 Diese Folien wurden erstellt unter Verwendung von: Yuml Openclipart 60