Dependenzgrammatik-Parsing

Transkript

1 Dependenzgrammatik-Parsing LMT-/Watson-Parser, MaltParser, Stanford Parser Kurt Eberle 03. August / 45

2 Übersicht Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers 2 / 45

3 Übersicht Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers 3 / 45

4 Dependenzgrammatik Dependenzgrammatik vs Phrasenstrukurgrammatik Eigenschaften der Dependenzgrammatik Dependenz-Parser: Regelbasiert und statistisch (IBM s) LMT (WebSphere Translation Server), Watson Malt und Stanford 4 / 45

5 DG und PSG Small birds sing loud songs Konstituentenstruktur... 5 / 45

6 DG and PSG Small birds sing loud songs Dependenzstruktur... 6 / 45

7 Übersicht Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers 7 / 45

8 Regelbasiertes Dependenz-Parsing: LMT/(Deep analysis-)watson Nichtdeterministischer Left-to-right-Parser (mit Regelgewichten) Shift-Reduce mit Chart Für zahlreiche Sprachen Englisch, Französisch, Deutsch, Italienisch, Spanisch, Hebräisch, Arabisch Slotgrammar Repräsentation: LMT-Dependenzlabels, sehr detaillierte morphosyntaktische Features, Referenzen ins semantische Lexikon nutzt Second-Level -Repräsentation, um semantische Bezüge zu repräsentieren 8 / 45

9 Regelbasiertes Dependenz-Parsing: LMT/(Deep analysis-)watson Anzeige: Um 90 Grad gedrehter Baum Mittelachsen-gespiegelt... (CoNLL-Struktur) 9 / 45

10 Slotgrammar-Regeln Konstruktion AdjunktDeklaration (Welche Adjunkte sind erlaubt?) Obligatorizität von Slots (Kontrollphänomene, Raising) Slotfiller-Regeln Slotordnungsregeln Extrapositionsregeln Koordination Zeichensetzung Evaluation 10 / 45

11 Repräsentationskern Phrase 11 / 45

12 Adjunkt-Deklaration 12 / 45

13 Slotfiller-Regel 13 / 45

14 Slotfiller-Regel 14 / 45

15 Übersicht Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers 15 / 45

16 Statistisches Dependenz-Parsing: Malt-Parser Datengetriebene Parser-Generierung Deterministischer, Probabilitäts-basierter Left-to-right-Parser Vortrainierte Modelle für Englisch, Französisch, Schwedisch, Spanisch 16 / 45

17 Einige Papers Nivre, J. (2003). An Efficient Algorithm for Projective Dependency Parsing. (IWPT03) Nivre, J., J. Hall and J. Nilsson (2006) MaltParser: A Data-Driven Parser-Generator for Dependency Parsing. (LREC 06) Nivre et al. (2007) MaltParser: A language-independent system for data-driven dependency parsing. Natural Language Engineering, 13(2) Hall, J. and J. Nivre (2008) A Dependency-Driven Parser for German Dependency and Constituency Representations (ACL, PaGe 08) 17 / 45

18 Einige Basiseigenschaften MaltParser System generiert Dependenz-Parser von Baumbanken Parser erreichen % accuracy auf der Basis von bescheidenen Daten (in der Ordnung von 100k Tokens oder weniger). frei nutzbar für Forschung und Lehre 18 / 45

19 Dependenzstrukturen lexikalische Knoten durch binäre Relationen verbunden: Dependenzen Dependenzgraph Grammatik: besteht aus D-Regeln 19 / 45

20 Grammatik-Transformation Eine allgemeine Dependenzgrammatik kann in D-Regelformat überführt werden: 20 / 45

21 MaltParser-Parsing similar to general shift/reduce algorithm General data structure: S, I, A where S... stack of (active) nodes (= tokens = word+position) I... list of (remaining) input tokens A... dependency relation recognized so far Start configuration: nil, W, End configuration: S, nil, A accept if N W, A is well-formed 21 / 45

22 Well-formedness 22 / 45

23 Parsing-Typen arc-standard arc-eager 23 / 45

24 Parsing-Typen arc-standard 24 / 45

25 Parsing-Typen arc-standard 25 / 45

26 Arc-Standard-Ableitung 26 / 45

27 Parsing-Typen arc-eager 27 / 45

28 Arc-Eager-Ableitung 28 / 45

29 Parsing-Aktionen arc-eager mit (gelernter) Grammatik 29 / 45

30 MaltParser: weiteres Arc-Eager Beispiel 30 / 45

31 Wahl der Aktionen per se nicht-deterministisch in der Praxis deterministische Selektion (Komplexität O(n)) a) baseline parser LA > RA > R > S b) S/R parser as (a) + S > R if S(0) can be a transitive head of I(0) c) S/RA parser as (b) + lookahead: S > RA if I(0) can be a pre-modifier of I(1)/I(2), / 45

32 Wahl der Aktionen S/RA ambiguity - example 32 / 45

33 Training und Ergebnisse (2003) Stockholm-Unmeå Corpus (mixed) 4000 tokens vocabulary: word-pos-tag pairs 257 sentences with manually annotated dependency graphs hand-crafted grammar with 126 rules (90 left-headed, 36 right-headed) 33 / 45

34 Training und Ergebnisse (2003) Attachment Score: percentage of words in the sentence with correct head 34 / 45

35 Feature-basierter Ansatz (2006) Data Structure Stack of tokens... Stack(0), Stack(1),... Input list of (remaining) input tokens... Input(0), Input(1),... Unattached tokens between Stack(0) and Input(0)... Context(0), Context(1),... Partial function Head where Head(i)=syntactic head of i Function Dep with Dep(i) giving the label of the relation to Head(i) Function LC with LC(i) = leftmost child of i Function RC with RC(i) = rightmost child of i Function LS with LS(i) = next left sibling of i Function RS with RS(i) = next right sibling of i 35 / 45

36 Feature-basierter Ansatz (2006) Feature model Offsets 3. column: stack/input/context element 4. column: negative/positive offset to (3.) 5. number of applications of head function 6. number of applications of LC/RC 7. number of applications of LS/RS 36 / 45

37 Beispiele Abbreviation: 37 / 45

38 Das Standard-Modell 38 / 45

39 Lernen und Parsing MaltParser 3.0: provides 2 learning algorithms Memory-based learning and classification (Daelemans and Van der Bosch 2000) Application of support vector machines can be run in 2 modes learning mode parsing mode 39 / 45

40 Malt-TAB Format 40 / 45

41 Übersicht Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers 41 / 45

42 Stanford-Parsers Different versions (lexicalized) PCFG (probabilistic context-free grammar) parsers (lexicalized)dependency grammar parsers (English, Chinese, German, Arabic,... ) 42 / 45

43 Einige Papers PCFG parser: Klein, D., Manning, Ch. (2003) Accurate Unlexicalized Parsing.(ACL 03) (English) Stanford Dependencies representation: de Marneffe, M.C., MacCartney, B., Manning, Ch. (2006) Generating Typed Dependency Parses from Phrase Structure Parses. (LREC 2006). Neural-network dependency parser: Chen, D. Manning, Ch. (2014) A Fast and Accurate Dependency Parser using Neural Networks (EMNLP 2014) Compositional Vector Grammar parser: Socher, R., Bauer, J., Manning, Ch., Ng, A. (2013) Parsing With Compositional Vector Grammars. (ACL 2013) 43 / 45

44 Beispiel 44 / 45

45 Beispiel 45 / 45