Grundlegende Parsingalgorithmen

Transkript

1 Grundlegende Parsingalgorithmen Einführung und formale Sprachen Kurt Eberle (Viele Folien, Teile von Folien, Materialien von Helmut Schmid s Parsing-Kurs WS14 Tübingen, u.a.) 30. Juli, / 61

2 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 2 / 61

3 Ziele Organisatorisches Motivation Plan Formale Sprachen 3 / 61

4 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 4 / 61

5 Zeiten / 61

6 Übungen Übungsblätter Besprechung (teilweise) im Unterricht (letzte Stunde) 6 / 61

7 Vorbedingungen Einführung in CL Kenntnisse in Programmierung nicht wirklich notwendig Eher theoretisch und Block & Bleistift Aber: Algorithmen soweit angegeben, dass sie leicht implementiert werden können 7 / 61

8 Kriterien für einen Schein Klausur 17. August? 8 / 61

9 Kurshomepage URL: http: // mehr Material, etwas ausführlicher: keberle/parsing/ ParsingHP.html 9 / 61

10 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 10 / 61

11 Was bedeutet Parsing? von Lateinisch pars = der Teil parsen = in Teile zerlegen = analysieren Strings/strukturierte Informationen/Sätze in Teile zerlegen! 11 / 61

12 Motivation Parsing Warum? 12 / 61

13 Motivation Parsing Warum? Finde Informationsatome und beziehe diese aufeinander Um eine Maschine zu steuern (Programmiersprache) Um den Inhalt kategorial richtig zu erfassen (Lexika, etc.) Um den Inhalt zu verstehen (Natürliche Sprache) 13 / 61

14 Parsing Problem Mehrdeutigkeit! Deshalb: unterscheide Anwendung bezogen auf Formale Sprachen: nicht mehrdeutig und Natürliche Sprachen: mehrdeutig = viel schwieriger 14 / 61

15 Beispiel: (XML-strukurierter) Lexikoneintrag - nur eine Lesart Struktur der internen Repräsentation 15 / 61

16 Beispiel: Natürliche Sprache: mehrere Lesarten 16 / 61

17 Ambiguität Explosion Ambiguitäten können sich multiplizieren! 17 / 61

18 Syntaktische Ambiguität 18 / 61

19 Syntaktische Ambiguität 19 / 61

20 Natürliche Sprache Ambiguität morphologische Ebene syntaktische Ebene semantische Ebene pragmatische Ebene 20 / 61

21 Naturliche Sprache Suchraum ist ein Problem Versuche den effizientesten Algorithmus zu finden! 21 / 61

22 Natürliche Sprache Der Grammatiktyp ist wichtig Kann ich eine Sprache mit einer regulären / Kontext-freien / Kontext-sensitiven Grammatik beschreiben? unterschiedliche Problemklassen für das Erkennungsproblem 22 / 61

23 Programm 23 / 61

24 Literatur I Folien auf und ebenfalls dort: Skript von Helmut Schmid Nederhof/Satta: Tabular Parsing http: // arxiv. org/ pdf/ cs/ pdf Andreas Kunert: LR(k)-Analyse für Pragmatiker https: // amor. cms. hu-berlin. de/ kunert/ papers/ lr-analyse/ lr. pdf 24 / 61

25 Literatur II Grune/Jacobs: Parsing Techniques: A Practical Guide http: // dickgrune. com/ Books/ PTAPG_ 1st_ Edition/ BookBody. pdf Informatik-orientiert Aho/Sethi/Ullman: Compilers: Principles, Techniques, and Tools LL- and LR Parsing, Informatik-orientiert Jurafsky/Martin: Speech and Language Processing (Draft auf der Webseite) Linguistik-orientiert Aho/Ullman: The Theory of Parsing, Translation, and Compiling. Vol. 1 (Parsing) Grundlagen, Kontext-freie Analyse (ohne Tomita Parser) Hopcroft/Ullman: Introduction to Automata Theory, Languages and Computation Zu formalen Sprachen 25 / 61

26 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 26 / 61

27 Parsing und Formale Sprachen: Grundbegriffe Was wird geparst? Strings eines Alphabets Alphabet: set of symbols Σ = {a, b, c} Σ n, Σ, Σ + String: w Σ cbaac, baca Concatenation of strings ww Length of a string w Empty string ε (True) prefix/suffix Notation: a n b m 27 / 61

28 Das Wortproblem Das Wortproblem Aufgabe Gegeben eine formale Grammatik und ein Eingabestring: Entscheide, ob der String eine Ableitung aus der Grammatik hat Folgt er aus dem Startsymbol der Grammatik, ist er ein Satz der zur Grammatik gehörenden Sprache Eine Ableitung ist eine Analyse Analysen können als Parse-Bäume oder Regelsequenzen dargestellt werden Es ist möglich, dass ein Satz mehrere Analysen hat 28 / 61

29 Grammatik Grammatik Grammar: G = (V, Σ, P, S) V : finite set of non-terminal symbols Σ : finite set of terminal symbols (V Σ = ) P : finite set of productions (grammar rules) S : start symbol of the grammar (S V ) Productions p P have the form α β, where α (V Σ) V (V Σ) and β (V Σ) Notational convention: a, a i Σ; A, B, C V ; w, r Σ ; α, β (V Σ) 29 / 61

30 Grammatik Sprache einer Grammatik Die aus G erzeugte Sprache: L(G) Derivability: v is immediately derivable from u (u v), iff u = γαδ, v = γβδ and α β P n v is in n steps derivable from u ( ), iff u 0... u n : u = u 0 u 1... u n = v v is (in any number of steps) derivable from u ( ), iff u n v for some n 0. Sentential form: {s (V Σ) S s} Language generated by G: L(G) = {w Σ S w} Equivalence of grammars: G G L(G) = L(G ) 30 / 61

31 Grammatik Einige Ableitungen I 31 / 61

32 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 32 / 61

33 Erkenner und Parser Recognizer: checks whether w L(G) Parser: additionally prints the parse(s) Parse: Sequence of rules used in a derivation (i.e.: history of derivation) N.B. not necessarily displayed graphically Left-most/right-most parse ambiguous/unambiguous grammar (ambiguous: more than one (left-most/right-most) parse) ambiguous/unambiguous language (language L is unambiguous iff exists unambiguous G with L = L(G)) 33 / 61

34 Parse-Baum (1) S NP VP (2) NP a n (3) NP n (4) VP v NP S NP VP n v NP n 34 / 61

35 Parse und Parse-Baum Parse = sequence of derivations (+ reference to rule) vs. Parse tree (without sequential information) 35 / 61

36 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 36 / 61

37 Formale Sprachen Chomsky Hierarchie Type-0 grammars: α β (unrestricted) Type-1 grammars (context sensitive): α β with α β (exception: S ε) Type-2 grammars (context free): A α Type-3 grammars (regular): A wb or A w (right linear) and A Bw or A w (left linear) respectively where w Σ (= extended RG vs strict RG: w = a, A ɛ) General phrase structure, Context sensitive, context free, regular languages 37 / 61

38 Reguläre Grammatiken und Reguläre Ausdrücke Reguläre Ausdrücke Given an alphabet of symbols Σ, the following are all and only the regular expressions over the alphabet Σ ( {, ɛ,, [, ], * } ): empty set ɛ the empty string (sometimes: 0 or [] ) a for all a Σ [α β ] Union (for α, β reg. expr.) (α β) [α β ] Concatenation (for α, β reg. expr.) [α*] Kleene star (for α reg. expr.) 38 / 61

39 Reguläre Ausdrücke Sind L(A), L(B), L(C) regulär, so sind: L(A) & L(B), L(A) - L(B), L(A) regulär. Deshalb können die folgenden Operatoren dazugenommen werden: α & β α - β α intersection relative complement complement 39 / 61

40 Reguläre Sprache Definition durch regulären Ausdruck 40 / 61

41 Reguläre Sprache Definition durch regulären Ausdruck durch reguläre Grammatik ( syntaktische Definitionen) 40 / 61

42 Reguläre Sprache Definition durch regulären Ausdruck durch reguläre Grammatik ( syntaktische Definitionen) durch FSA ( prozedurale Definition) 40 / 61

43 Finite-state Automata Definition (FSA) A finite-state automaton is a quintuple (Σ, Q, i, F, ) where Σ is a finite set called the alphabet, 41 / 61

44 Finite-state Automata Definition (FSA) A finite-state automaton is a quintuple (Σ, Q, i, F, ) where Σ is a finite set called the alphabet, Q is a finite set of states, 41 / 61

45 Finite-state Automata Definition (FSA) A finite-state automaton is a quintuple (Σ, Q, i, F, ) where Σ is a finite set called the alphabet, Q is a finite set of states, i Q is the initial state, 41 / 61

46 Finite-state Automata Definition (FSA) A finite-state automaton is a quintuple (Σ, Q, i, F, ) where Σ is a finite set called the alphabet, Q is a finite set of states, i Q is the initial state, F Q the set of final states, and 41 / 61

47 Finite-state Automata Definition (FSA) A finite-state automaton is a quintuple (Σ, Q, i, F, ) where Σ is a finite set called the alphabet, Q is a finite set of states, i Q is the initial state, F Q the set of final states, and Q x (Σ ɛ) x Q is the set of edges (the transition relation). 41 / 61

48 FSA - Example 42 / 61

49 Chomsky Hierarchy - Examples Regular Languages G, Σ, S, R 43 / 61

50 Chomsky Hierarchie - Beispiele Rechtslinearer Baum 44 / 61

51 Chomsky Hierarchie - Beispiele Kontext-freie Sprachen L = {a n ba n n 0} is not regular! G, Σ, S, R 45 / 61

52 Chomsky Hierarchie - Beispiele Kontext-sensitive Sprachen L = {a n b n c n n 1} ist nicht Kontext-frei! G, Σ, S, R mit 46 / 61

53 Chomsky Hierarchie - Beispiele Sprachen zu allgemeinen Phrasen-Struktur Grammatiken L = {a 2n n 1} ist nicht Kontext-sensitiv! 47 / 61

54 Eigenschaften von Grammatiken ε rule: A ε ε free: A V : A ε (Exception: S ε) cycle free: A V : A + A. chain rules: A B unreachable non-terminals: S αaβ unproductive non-terminals: w Σ : A w left-recursive/right-recursive non-terminals: A + Aα bzw. A + αa. left-recursive/right-recursive Grammars 48 / 61

55 Eigenschaften von Kontext-freien Grammatiken Chomsky normal form: p P : p = A BC or p = A a (Exception: S ε) Greibach normal form: p P : p = A aα where: a Σ and α V (Exception: S ε) 49 / 61

56 Eigenschaften von Kontext-freien Grammatiken It can be shown that for all context-free grammars G there is a context-free grammar G with: L(G) = L(G ); G is ε-free; G does not contain chain rules; G is cycle free; G does not contain unreachable non-terminals; G does not contain unproductive symbols. 50 / 61

57 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 51 / 61

58 Sprachen - Unterscheidungskriterien Pumping Lemma Notwendige Bedingung für reguläre Sprachen 52 / 61

59 Sprachen - Unterscheidungskriterien Pumping Lemma Entsprechend für Kontext-freie Sprachen 53 / 61

60 Sprachen - Unterscheidungskriterien Pumping Lemma Illustration 54 / 61

61 Überblick Organisatorisches Einführung Formale Sprachen Das Wortproblem Grammatik Grammatik Erkenner und Parser Chomsky Hierarchie Unterscheidungskriterien Natürliche Sprache 55 / 61

62 In welche Klasse fallen die natürlichen Sprachen? Unterscheidung syntaktisch korrekt semantisch korrekt pragmatisch korrekt 56 / 61

63 In welche Klasse fallen die natürlichen Sprachen? Beispiele der Hund jagt die Katze jagt der Hund die Katze (*)jagt der die Hund Katze (*) der Hund jagst die Katze (*)(?) Colorless green ideas sleep furiously (Chomsky 57) (*)(?) The king of France is bald (Russell) 57 / 61

64 In welche Klasse fallen die natürlichen Sprachen? Sascha Brawer: 58 / 61

65 In welche Klasse fallen die natürlichen Sprachen? Annahme Kontext-freier Kern /Syntax) Aber / 61

66 Offene Frage Zürich-Deutsch 60 / 61

67 In welche Klasse fallen die natürlichen Sprachen? 61 / 61