Aufbau Linguistischer Ressourcen für Hindi/Urdu

Transkript

1 Aufbau Linguistischer Ressourcen für Hindi/Urdu Sebastian Sulger Urdu-ParGram-Projekt 26. April, Zürich 1/40

2 Hindi/Urdu Ressourcenarmut Hindi/Urdu Hindi/Urdu: strukturell sehr ähnlich, Unterschiede in Vokabular, Orthographie Hindi vor allem in Indien, Urdu vor allem in Pakistan (auch in Indien) unterschiedliche Schriftsysteme: arabische Schrift für Urdu, Devanagari-Schrift für Hindi oft als eine einzelne Sprache betrachtet (Hindustani) 240 Mio. Muttersprachler 2/40

3 Hindi/Urdu Ressourcenarmut Ressourcenarmut Hindi/Urdu: leidet unter Ressourcenarmut nur ein paar lexikalische Ressourcen, keine offiziellen Corpora erhältlich, keine Parser mit größerer Abdeckung lange Zeit kein großes Interesse an Hindi/Urdu nur wenige Institute/Universitäten in Pakistan mit Interesse an NLP/CL Center for Language Engineering (CLE) ( 3/40

4 Hindi/Urdu Ressourcenarmut Übersicht 4/40

5 Urdu in Konstanz Urdu: Syntax Demo Übersicht 5/40

6 Urdu in Konstanz Urdu: Syntax Demo Das Urdu-ParGram-Projekt in Konstanz I DFG-gefördertes Projekt (März 2009 Februar 2013) Erstellung einer komputationellen Grammatik für Urdu/Hindi mit Flächenabdeckung zugrundeliegende Theorie: lexikalisch-funktionale Grammatik (LFG; Dalrymple (2001)) Kollaboration mit dem ParGram Projekt Entwicklung paralleler LFG-Grammatiken für verschiedene Sprachen (Englisch, Deutsch, Chinesisch, Japanisch, Türkisch, Ungarisch, Indonesisch, Norwegisch, Urdu...) Entwicklung eigener Ressourcen für Urdu/Hindi Butt and King (2007), Bögel et al. (2009) urdu 6/40

7 Urdu in Konstanz Urdu: Syntax Demo Das Urdu-ParGram-Projekt in Konstanz II Anspruch: tiefes Parsing (linguistisch gehaltvolles Parsing), kein shallow Parsing (Chunking etc.) LFG-Syntax implementiert mittels XLE (Crouch et al. 2011) Morphologie implementiert mittels xfst (Beesley and Karttunen 2003) Abdeckung kontinuierlich verbessert: Relativsätze, Korrelativsätze Tempus/Aspekt Modalverben unterbrochene Nominalphrasen 7/40

8 Urdu in Konstanz Urdu: Syntax Demo Kurzübersicht: LFG C-Struktur: The student wanted to drive the tractor. IP NP: ( SUBJ) = VP: = The student V: = VPinf: ( XCOMP) = wanted PARTinf: = VP: = to V: = NP: ( OBJ) = drive the tractor 8/40

9 Urdu in Konstanz Urdu: Syntax Demo Kurzübersicht: LFG F-Struktur: The student wanted to drive the tractor. PRED want<( SUBJ)( XCOMP)> PRED student [ [ ] SUBJ SPEC DET PRED the NUM sg, PERS 3 PRED drive<( SUBJ)( OBJ)> PRED student [ SUBJ SPEC DET XCOMP NUM sg, PERS 3 PRED tractor [ [ ] OBJ SPEC DET PRED the NUM sg, PERS 3 TENSE past [ PRED the ] 9/40

10 Urdu in Konstanz Urdu: Syntax Demo Urdu: Syntax 10/40

11 Urdu in Konstanz Urdu: Syntax Demo Urdu: Syntax freie Wortstellung kanonische Wortfolge: SOV generell sind fast alle Abweichungen möglich 10/40

12 Urdu in Konstanz Urdu: Syntax Demo Urdu: Syntax freie Wortstellung kanonische Wortfolge: SOV generell sind fast alle Abweichungen möglich Pro-Drop (Problem für Generierung) 10/40

13 Urdu in Konstanz Urdu: Syntax Demo Urdu: Syntax freie Wortstellung kanonische Wortfolge: SOV generell sind fast alle Abweichungen möglich Pro-Drop (Problem für Generierung) umfangreiche Benutzung von komplexen Prädikaten (Butt 1995, Hautli et al. 2012) 10/40

14 Urdu in Konstanz Urdu: Syntax Demo Urdu: Syntax freie Wortstellung kanonische Wortfolge: SOV generell sind fast alle Abweichungen möglich Pro-Drop (Problem für Generierung) umfangreiche Benutzung von komplexen Prädikaten (Butt 1995, Hautli et al. 2012) Komplexe Interaktion zwischen Morphologie, Syntax & Semantik Tempus/Aspekt Kasus-Markierung Reduplikation... 10/40

15 Urdu in Konstanz Urdu: Syntax Demo Freie Wortstellung nadiyah ne yasin ko mara Nadya schlug Yassin. (1) a. nadiyah ne yasin ko mara Nadya Erg Yassin Akk schlagen.perf b. yasin ko nadiyah ne mara c. nadiyah ne mara yasin ko d.... Argumente werden durch Kasus-Markierung angezeigt 11/40

16 Urdu in Konstanz Urdu: Syntax Demo Demo Demo des aktuell implementierten Urdu-Parsers in XLE Parsing Generierung 12/40

17 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Übersicht 13/40

18 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Zwei Schriftsysteme, eine Sprache Urdu: arabische Schrift, Hindi: Devanagari-Schrift 14/40

19 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Zwei Schriftsysteme, eine Sprache Urdu: arabische Schrift, Hindi: Devanagari-Schrift derselbe Zweizeiler des Dichters Mirza Ghalib in beiden Schriften: 14/40

20 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Zwei Schriftsysteme, eine Sprache Urdu: arabische Schrift, Hindi: Devanagari-Schrift derselbe Zweizeiler des Dichters Mirza Ghalib in beiden Schriften: Urdu vs. Hindi 14/40

21 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Zwei Schriftsysteme, eine Sprache Urdu: arabische Schrift, Hindi: Devanagari-Schrift derselbe Zweizeiler des Dichters Mirza Ghalib in beiden Schriften: Urdu vs. Hindi gemeinsame Transliteration im lateinischen Alphabet: han bhala kar tira bhala hoga yes good.m.sg do then good be.fut.m.sg Or darves ki sada kya he and dervish Gen.F.Sg call.f.sg what be.pres.3.sg Yes, do good then good will happen, what else is the call of the dervish. 14/40

22 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? wir hatten also 2 Möglichkeiten: 15/40

23 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? wir hatten also 2 Möglichkeiten: (1) Grammatik und Lexikon in beiden Schriften kodieren 15/40

24 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? wir hatten also 2 Möglichkeiten: (1) Grammatik und Lexikon in beiden Schriften kodieren (2) versuchen, von den Schriften weg zu abstrahieren zu einer gemeinsamen Umschrift 15/40

25 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? wir hatten also 2 Möglichkeiten: (1) Grammatik und Lexikon in beiden Schriften kodieren (2) versuchen, von den Schriften weg zu abstrahieren zu einer gemeinsamen Umschrift eine Grammatik und ein Lexikon genügen für beiden Varietäten... 15/40

26 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration 16/40

27 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration derzeitiger Ansatz: 16/40

28 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration derzeitiger Ansatz: von beiden Schriftsystemen wegabstrahieren 16/40

29 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration derzeitiger Ansatz: von beiden Schriftsystemen wegabstrahieren Benutzung einer gemeinsamen Umschrift basierend auf lateinischem Alphabet (A-Z, a-z, 0-9) 16/40

30 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration derzeitiger Ansatz: von beiden Schriftsystemen wegabstrahieren Benutzung einer gemeinsamen Umschrift basierend auf lateinischem Alphabet (A-Z, a-z, 0-9) Kodierung einer einzigen Grammatik und Lexikon im lateinischen Alphabet 16/40

31 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Entscheidung: Transliteration derzeitiger Ansatz: von beiden Schriftsystemen wegabstrahieren Benutzung einer gemeinsamen Umschrift basierend auf lateinischem Alphabet (A-Z, a-z, 0-9) Kodierung einer einzigen Grammatik und Lexikon im lateinischen Alphabet Effizienz, Größe der Grammatik 16/40

32 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Urdu-Schriftsystem Hindi-Schriftsystem Gemeinsame Transliteration im lateinischen Alphabet LFG-Grammatik 17/40

33 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Urdu-Schriftsystem Hindi-Schriftsystem Gemeinsame Transliteration im lateinischen Alphabet LFG-Grammatik Größe des Lexikons bleibt minimal 17/40

34 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Eine gemeinsame Umschrift? Urdu-Schriftsystem Hindi-Schriftsystem Gemeinsame Transliteration im lateinischen Alphabet LFG-Grammatik Größe des Lexikons bleibt minimal Grammatik-Entwicklung wird nicht erschwert 17/40

35 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Implementation vorerst Konzentration auf Urdu-Schrift (Devanagari ist in Arbeit) Implementation mit Hilfe von endlichen Automaten (Interface: xfst; Beesley and Karttunen (2003)) in Form eines Transducers Transliterator ist für XLE eine Black Box eigenständige Ressource (für andere Zwecke nutzbar) Lower Side des Transducers: arabische Schrift; Upper Side des Transducers: lateinische Schrift Output des Transliterators ist Input für das restliche XLE-System (morphologische Analyse, Syntax-Parser) 18/40

36 Zwei Schriftsysteme, eine Sprache Unser Ansatz Implementation Demo Demo Demo des aktuell implementierten Transliterators in xfst eingebettet in die XLE-Grammatik-Umgebung 19/40

37 Übersicht 20/40

38 Baumbanken Baumbanken sind wichtige linguistische Ressourcen für die theoretische Sprachwissenschaft: erleichtern die Arbeit von Syntaktikern erlauben das Aufstellen und Überprüfen von linguistischen Hypothesen für die Computerlinguistik: ermöglichen das Trainieren von Parsern verbessern bereits trainierte Parser (statistische Auswertung) sind nützlich in der maschinellen Übersetzung (parallele Baumbanken) 21/40

39 (HUTB) neue Baumbank-Ressource für Hindi/Urdu kollaborative Forschung zwischen 5 Universitäten (University of Colorado at Boulder, Columbia University, University of Massachusetts at Amherst, University of Washington, International Institute of Information Technology in India) Projekt gestartet in 2008 (Arbeit läuft) Ziel: eine Baumbank, die multi-representational, multi-layered ist Palmer et al. (2007), Bhatt et al. (2009) 22/40

40 HUTB: multi-layered, multi-representational drei Ebenen der Annotierung: zwei syntaktisch, eine lexikalisch-semantisch 23/40

41 HUTB: multi-layered, multi-representational drei Ebenen der Annotierung: zwei syntaktisch, eine lexikalisch-semantisch 1. syntaktische Ebene: Annotation der Phrasenstruktur inspiriert durch Chomsky-Syntax binäre Bäume, Traces (Bewegung) 23/40

42 HUTB: multi-layered, multi-representational drei Ebenen der Annotierung: zwei syntaktisch, eine lexikalisch-semantisch 1. syntaktische Ebene: Annotation der Phrasenstruktur inspiriert durch Chomsky-Syntax binäre Bäume, Traces (Bewegung) 2. syntaktische Ebene: Annotation von Dependenzen Computational Pāṇinian Grammar (CPG) (Bharati et al. 1995) kaṛaka-beziehungen (vgl. thematische Rollen) modellieren Kopf-Argument-Abhängigkeiten 23/40

43 HUTB: multi-layered, multi-representational drei Ebenen der Annotierung: zwei syntaktisch, eine lexikalisch-semantisch 1. syntaktische Ebene: Annotation der Phrasenstruktur inspiriert durch Chomsky-Syntax binäre Bäume, Traces (Bewegung) 2. syntaktische Ebene: Annotation von Dependenzen Computational Pāṇinian Grammar (CPG) (Bharati et al. 1995) kaṛaka-beziehungen (vgl. thematische Rollen) modellieren Kopf-Argument-Abhängigkeiten lexikalisch-semantische Ebene: PropBank (Palmer et al. 2005) semantische Rollen (Arg0, Arg1 etc.) werden den Argumenten des Verbs zugeordnet Rollen werden außerdem auf die kaṛaka-beziehungen gemappt ( multi-layeredness ) 23/40

44 Unser Ziel Hindi/Urdu-Baumbank (HUTB) neue Baumbank-Ressource 24/40

45 Unser Ziel Einführung Hindi/Urdu-Baumbank (HUTB) neue Baumbank-Ressource anreichern mit?? Urdu-ParGram-Grammatik LFG-Grammatik für Hindi/Urdu 24/40

46 Unser Ziel Einführung Hindi/Urdu-Baumbank (HUTB) neue Baumbank-Ressource anreichern mit?? Urdu-ParGram-Grammatik LFG-Grammatik für Hindi/Urdu verbesserte Hindi/Urdu-Baumbank Kann die HUTB von unserer Urdu-ParGram-Grammatik profitieren? Wenn ja, wie? 24/40

47 aus der Baumbank e к u a dutavas adhikariyon=ne use acchi Botschaft.Masc.Sg Angestellter.Masc.Pl=Erg er.acc gut.fem.sg sehat=men pa-ya Gesundheit.Fem.Sg=Loc finden-perf.masc.sg Botschaftsangestellte fanden ihn bei guter Gesundheit vor. 25/40

48 Syntaktische Annotation (( NP <fs drel= k1:vgf name= NP > XC NN e к PSP )) (( NP <fs drel= k2:vgf name= NP2 > PRP u )) (( NP <fs drel= k7:vgf name= NP3 > JJ a NN PSP )) (( VGF VM SYM. )) Abbildung: Beispielsatz aus der HUTB 26/40

49 Syntaktische Annotation (( NP <fs drel= k1:vgf name= NP > XC NN e к PSP )) Abbildung: NP dutavas adhikariyon=ne Botschaftsangestellte 27/40

50 Syntaktische Annotation (( NP <fs drel= k1:vgf name= NP > XC NN e к PSP )) Abbildung: NP dutavas adhikariyon=ne Botschaftsangestellte preterminale Knoten: Part of Speech (XC, NN, etc.) 27/40

51 Syntaktische Annotation (( NP <fs drel= k1:vgf name= NP > XC NN e к PSP )) Abbildung: NP dutavas adhikariyon=ne Botschaftsangestellte preterminale Knoten: Part of Speech (XC, NN, etc.) Knoten gruppiert in Konstituenten (Klammern) 27/40

52 Syntaktische Annotation (( NP <fs drel= k1:vgf name= NP > XC NN e к PSP )) Abbildung: NP dutavas adhikariyon=ne Botschaftsangestellte preterminale Knoten: Part of Speech (XC, NN, etc.) Knoten gruppiert in Konstituenten (Klammern) Dependenzen werden an Konstituenten angefügt 27/40

53 Lexikalisch-semantische Annotation pa finden Arg0 Agens e к dutavas adhikariyon=ne Botschaftsangestellte Arg1 Patiens (Theme) u use ihn ArgM-MNR Modifier (Manner) a acchi sehat gute Gesundheit Tabelle: PropBank-Frame für pa finden 28/40

54 Lexikalisch-semantische Annotation pa finden Arg0 Agens e к dutavas adhikariyon=ne Botschaftsangestellte Arg1 Patiens (Theme) u use ihn ArgM-MNR Modifier (Manner) a acchi sehat gute Gesundheit Tabelle: PropBank-Frame für pa finden PropBank-Rollen werden gemappt auf kaṛaka-rollen 28/40

55 Lexikalisch-semantische Annotation pa finden Arg0 Agens e к dutavas adhikariyon=ne Botschaftsangestellte Arg1 Patiens (Theme) u use ihn ArgM-MNR Modifier (Manner) a acchi sehat gute Gesundheit Tabelle: PropBank-Frame für pa finden PropBank-Rollen werden gemappt auf kaṛaka-rollen e.g., Agens Arg0 mappt auf kaṛaka-rolle k1 (dutavas adhikariyon=ne Botschaftsangestellte ) 28/40

56 Welche Information kann die Urdu-ParGram-Grammatik zur HUTB beitragen? F-Strukturen kodieren Dependenz-Information explizit aber: nicht nur Kopf-Argument-Dependenzen, sondern detaillierte Feature/Value-Kombinationen, die als Input zu komputationeller Semantik dienen können 29/40

57 Welche Information kann die Urdu-ParGram-Grammatik zur HUTB beitragen? F-Strukturen kodieren Dependenz-Information explizit aber: nicht nur Kopf-Argument-Dependenzen, sondern detaillierte Feature/Value-Kombinationen, die als Input zu komputationeller Semantik dienen können F-Strukturen enthalten mehr und genauere Infos als HUTB 29/40

58 Welche Information kann die Urdu-ParGram-Grammatik zur HUTB beitragen? F-Strukturen kodieren Dependenz-Information explizit aber: nicht nur Kopf-Argument-Dependenzen, sondern detaillierte Feature/Value-Kombinationen, die als Input zu komputationeller Semantik dienen können F-Strukturen enthalten mehr und genauere Infos als HUTB detailliertere, Tempus/Aspekt, komplexen Prädikaten,... 29/40

59 Welche Information kann die Urdu-ParGram-Grammatik zur HUTB beitragen? F-Strukturen kodieren Dependenz-Information explizit aber: nicht nur Kopf-Argument-Dependenzen, sondern detaillierte Feature/Value-Kombinationen, die als Input zu komputationeller Semantik dienen können F-Strukturen enthalten mehr und genauere Infos als HUTB detailliertere, Tempus/Aspekt, komplexen Prädikaten,... ASPECT perf, TENSE pres, DEGREE positive, MODALITY can, ADDRESS rude, DEIXIS proximal, MOOD imperative, PROPER-TYPE location,... 29/40

60 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples 30/40

61 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples Information gesammelt durch Parses der Urdu-Grammatik 30/40

62 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples Information gesammelt durch Parses der Urdu-Grammatik Feature/Value-Informationen aus F-Strukturen extrahiert, in der Form von Triples 30/40

63 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples Information gesammelt durch Parses der Urdu-Grammatik Feature/Value-Informationen aus F-Strukturen extrahiert, in der Form von Triples flexibler, XLE-interner Prozess; Übersetzung von F-Strukturen in das Triples-Format (Merkmale können gelöscht und eingeebnet werden) 30/40

64 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples Information gesammelt durch Parses der Urdu-Grammatik Feature/Value-Informationen aus F-Strukturen extrahiert, in der Form von Triples flexibler, XLE-interner Prozess; Übersetzung von F-Strukturen in das Triples-Format (Merkmale können gelöscht und eingeebnet werden) erfolgreich angewandt für Teile der PennTreebank (PARC700, King et al. (2003)) 30/40

65 Vorhaben: eine zusätzliche Ebene für die HUTB Format der Ebene: XLE-Triples Information gesammelt durch Parses der Urdu-Grammatik Feature/Value-Informationen aus F-Strukturen extrahiert, in der Form von Triples flexibler, XLE-interner Prozess; Übersetzung von F-Strukturen in das Triples-Format (Merkmale können gelöscht und eingeebnet werden) erfolgreich angewandt für Teile der PennTreebank (PARC700, King et al. (2003)) Parser, die auf dieser angereicherten HUTB trainiert werden, können in bestimmten Bereichen verbessert werden 30/40

66 Das XLE-Triples-Format 31/40

67 Das XLE-Triples-Format Einebnung des TNS-ASP-Features, entfernen des CLAUSE-TYPE-Features 31/40

68 Das XLE-Triples-Format Einebnung des TNS-ASP-Features, entfernen des CLAUSE-TYPE-Features resultierende Triples-Auswahl: aspect(pa,perf) mood(pa,indicative) passive(pa,-) vtype(pa,main) 31/40

69 Modalität in Hindi/Urdu zwei dedizierte Modalverben: sak können, cahiye brauchen (defektes Paradigma: nur cahiye) 32/40

70 Modalität in Hindi/Urdu zwei dedizierte Modalverben: sak können, cahiye brauchen (defektes Paradigma: nur cahiye) restliche Modalität wird konstruktiv ausgedrückt: Kombinationen Hauptverb + pa finden, par fallen, ho sein (Bhatt et al. 2011) 32/40

71 Modalität in Hindi/Urdu zwei dedizierte Modalverben: sak können, cahiye brauchen (defektes Paradigma: nur cahiye) restliche Modalität wird konstruktiv ausgedrückt: Kombinationen Hauptverb + pa finden, par fallen, ho sein (Bhatt et al. 2011) Beispiel: yasin vuh kar sak-a Yassin.Masc.Sg das.sg.nom tun können-perf.masc.sg Yassin konnte das tun. 32/40

72 Modalität in der HUTB Modalkonstruktionen werden auf der PropBank-Ebene annotiert PropBank-Label ARGM-Mod markiert Modalverben 33/40

73 Modalität in der HUTB Modalkonstruktionen werden auf der PropBank-Ebene annotiert PropBank-Label ARGM-Mod markiert Modalverben aber: die modale Bedeutung wird nicht weiter spezifiziert: Modal constructions in Hindi convey notions such as ability, desire, obligation, permission, etc. In P[rop]bank, we will annotate the following cases using the ARGM-Mod label. (PB guidelinesnov2010.pdf, p. 29) 33/40

74 Modalität in der Urdu-ParGram-Grammatik Hindi/Urdu-Modalverben wurden kürzlich in der Urdu-ParGram-Grammatik implementiert (Bhatt et al. 2011) Features kodieren nicht nur Modalität als solche detaillierte Feature/Value-Paare geben die exakte Natur der ausgedrückten Modalität an Modalität wird unter F-Struktur-Feature [MODALITY] subsumiert 34/40

75 Modalität in der Urdu-ParGram-Grammatik "yasin vuh kar saka" PRED 'sak<[22:kar]>[1:yasin]' PRED 'yasin' SUBJ NTYPE NSEM PROPER PROPER-TYPE name NSYN proper 1 CASE nom, GEND masc, NUM sg, PERS 3 PRED 'kar<[1:yasin], [19:vuh]>' SUBJ [1:yAsIn] XCOMP PRED 'vuh' OBJ NTYPE NSYN pronoun 19 CASE nom, NUM sg, PERS 3, PRON-TYPE pers 22 PASSIVE - TNS-ASP ASPECT perf, MOOD indicative 51 CLAUSE-TYPE decl, MODALITY CAN, VTYPE main Abbildung: F-struktur zu yasin vuh kar saka Yassin konnte das tun. 35/40

76 Modalität in der zusätzlichen Annotationsebene der HUTB pred(root,sak) subj(sak,yasin) xcomp(sak,kar) subj(kar,yasin) obj(kar,vuh) modality(sak,can) Abbildung: Set der Triples für Modalverben 36/40

77 Modalität in der zusätzlichen Annotationsebene der HUTB pred(root,sak) subj(sak,yasin) xcomp(sak,kar) subj(kar,yasin) obj(kar,vuh) modality(sak,can) Abbildung: Set der Triples für Modalverben Feature-Wert-Paar [MODALITY can] wird in Triples beibehalten, um Modalität zu kodieren 36/40

78 Ausblick Übersicht 37/40

79 Ausblick nach wie vor Ressourcenarmut für Urdu/Hindi aber: die Verhältnisse bessern sich neue Ressourcen werden entwickelt bestehende Ressourcen werden verbessert manche Ressourcen können miteinander verknüpft werden was noch fehlt: lexikalische Ressourcen verlässliche/balancierte Corpora wichtig für semantisch motivierte Aufgaben in NLP (Word Sense Disambiguation, Sentiment Analysis, etc.) 38/40

80 Ausblick Lexikalische Ressourcen für Urdu neues, DAAD-gefördertes Projekt in Konstanz Erstellung lexikalischer Ressourcen für Urdu POS Tagset und manuelles Tagging Entwicklung eines Urdu-WordNet Entwicklung eines Urdu-VerbNet balancierte, standardisierte Corpora getaggt nach Senses Ziel: Word Sense Disambiguation urdu/daadlex/ 39/40

81 Beesley, Kenneth R. and Lauri Karttunen Finite State Morphology. CSLI Publications. Bharati, Akshar, Vineet Chaitanya, and Rajeev Sangal Natural Language Processing A Paninian Perspective. Prentice Hall of India. Bhatt, Rajesh, Tina Bögel, Miriam Butt, Annette Hautli, and Sebastian Sulger Urdu/Hindi Modals. In M. Butt and T. H. King, eds., Proceedings of the LFG11 Conference. Hong Kong. Bhatt, Rajesh, Bhuvana Narasimhan, Martha Palmer, Owen Rambow, Dipti Sharma, and Fei Xia A Multi-Representational and Multi-Layered Treebank for Hindi/Urdu. In Proceedings of the Third Linguistic Annotation Workshop, pages Suntec, Singapore: Association for Computational Linguistics. Bögel, Tina, Miriam Butt, Annette Hautli, and Sebastian Sulger Urdu and the Modular Architecture of ParGram. In Proceedings of the Conference on Language and Technology 2009 (CLT09). Butt, Miriam The Structure of Complex Predicates in Urdu. Stanford: CSLI Publications. Butt, Miriam and Tracy Holloway King Urdu in a Parallel Grammar Development Environment. Language Resources and Evaluation 41(2): Crouch, Dick, Mary Dalrymple, Ronald M. Kaplan, Tracy Holloway King, John T. Maxwell III, and Paula Newman XLE Documentation. Palo Alto Research Center. Dalrymple, Mary Lexical Functional Grammar, vol. 34 of Syntax and Semantics. Academic Press. Hautli, Annette, Sebastian Sulger, and Miriam Butt Adding an Annotation Layer to the Hindi/Urdu Treebank. Linguistic Issues in Language Technology 7(3). King, Tracy Holloway, Richard Crouch, Stefan Riezler, Mary Dalrymple, and Ronald Kaplan The PARC700 Dependency Bank. In Proceedings of the EACL03: 4th International Workshop on Linguistically Interpreted Corpora (LINC-03). Palmer, Martha, Rajesh Bhatt, Bhuvana Narasimhan, Owen Rambow, Dipti Misra Sharma, and Fei Xia Hindi Syntax: Annotating Dependency, Lexical Predicate-Argument Structure, and Phrase Structure. In Proceedings of ICON 07: 7th International Conference on Natural Language Processing, pages Palmer, Martha, Daniel Gildea, and Paul Kingsbury The Proposition Bank: An Annotated Corpus of Semantic Roles. Computational Linguistics 31(1): /40