Einführung. Heute. Parsing. Parser - Arten Parsing - Arten grob klassifiziert Interessante Parser Arten detailierter.

Transkript

1 Heute Parsing Methoden der Sprachverarbeitung Hauke Traulsen Parser - Arten Parsing - Arten grob klassifiziert Interessante Parser Arten detailierter Einführung Grammatik Parser I Bedeutung Parsing Zuweisung einer Strukturbeschreibung zu einer Texteingabe engl. to parse: grammatikalisch bestimmen Interpretierender Parser deklarative Grammatik Grammatik losgelöst von der Analyse Interpretiert vom Parser Grammatik - Parser II Grammatik Parser III Prozeduraler Parser Grammatik in Algorithmus integriert Grammatik ist prozedural als eine Menge von Instruktionen formuliert. Neue Prozedur für jede neue Grammatik Kompilierter Parser (Deklarative) Grammatik Erzeugung eines prozeduralen Parsers durch Generator (JavaCC)

2 Grammatik Spezifikation Grammatik Spezifikation II Produktionsregeln Möglichkeit, mit diesen alle wohlgeformten Sprachkonstrukte zu generieren Start bei einer Root Kategorie (meistens S oder sentence genannt kontextfreie Grammatik Übergangsnetzwerke (transition networks) Knoten: Zustände in einem Prozess Kanten: Übergänge, beschriftet mit den Wortkategorien RTN, ATN Grammatik Spezifikation III Strukturelle Beschreibung I complement slots syntaktische Einheit (z.b. Verb) Fordert andere Konstrukte (Subjekt,...) Suche nach diesen Konstrukten Im Lexikon für jedes Item festgehalten constituency structure (Teilbildung) typischer Parsebaum Komplement: Vervollständigung (zu einem Satz) Strukturelle Beschreibung II Konstruktion Parsebaum I dependency structures Alle Knoten sind elementare Segmente der Eingabe Aber: Komplexe Strukturen wiederum als Dependency Trees (Subjekt, Objekt,...) Top Down Analyse Beginn an der Wurzel Produktionsregeln: von links nach rechts Expansion expectation driven, da Hypothesen

3 Konstruktion Parsebaum II Konstruktion Parsebaum III Bottom Up Analyse Beginn an der Eingabe data driven Nutzt Produktionsregeln von rechts nach links Reduktion SR-Parser Depth First Sowohl TD als auch BU einsetzbar(td sinnvoll) Linkeste / rechteste Symbol zuerst Überwindet schnellstmöglich die gesamte Höhe des Baumes (im Falle TD) schnellstmögliche Überprüfung der bisher getroffenen Entscheidungen anhand der Daten Konstruktion Parsebaum IV Alternativen Breadth First bottom up sinnvoll Abarbeitung aller Symbole in der Reihenfolge ihrer Entstehung Dadurch: Bearbeitung in der Breite Selten Grund: ungenügende Informationen mehrdeutige Informationen Lösungsansätze Backtracking Parallele (nebenläufige) Ausführung Lookahead (z.b. LL(k) Grammatiken) Charts Vorgestellte Parser Abspeicherung bereits erkannter Substrukturen in einer Tabelle Effizienz Bekanntester Algorithmus: Earley (Jay Earley 1970) Top Down mit Backtracking Top Down mit Parallel Processing Top Down mit Divided Productions Bottom Up mit Charts Tabellengesteuerter SR Parser Parser mit RTN Erweiterte Übergangsnetzwerke (ATN) Chart Parsing nach Slot Filler Prinzip

4 Top Down Parser mit Backtracking Top Down mit Backtracking II Erkennung expectation driven Resultat constituency tree Grammatikspezifikation kontextfreie Produktionsregeln Man nehme: Eine Menge von Produktionsregeln Ein Lexikon für die Wortkategorien Eine Eingabetabelle (Wort,Kat.,Pos.) Eine Positionsvariable P i.d. Eingabe Ein Arbeitsraum (organisiert als Stack) Ein Backtrackingstack (hält alternative Produktionen) Top Down mit Backtracking III Top Down mit Backtracking IV Das Vorgehen: 1. Start bei Root (Produktion S) 2. Innerhalb einer Produktion entwickelt man von links nach rechts (S NP VP : NP wird zuerst weiterentwickelt) 3. Alternativen der Reihe nach (Backtracking) Kategorie passt (sonst BT): betrachte Rest der aktuellen Produktion: Rest leer und Eingabe enthält noch Elemente Backtracking Rest nicht leer Weiterentwickeln des linkesten NT- Symbols 4. Depth-First 5. Vergleichen, ob die erwartete Kategorie mit der des nächsten Wortes der Eingabe übereinstimmt. Rest leer und Eingabe leer: Matching Ausgabe Backtrackingstack nicht leer Backtracking Sonst Ende Top Down mit Backtracking V Bewertung Durch das Backtracking gehen bereits gefundende Teile wieder verloren + Durch Left-Right und Depth-First erhält man schnell ein erstes Ergebnis Überdeckung Kontextfreie Grammatiken ohne Linksrekursion Top Down mit Parallel Processing Kaum Unterschied zu Backtracking Einzigster Unterschied: Statt Backtracking parallele Auswertung der Produktionsalternativen

5 Produktionen Produktionen II Erkennung expectation driven Resultat constituency tree Grammatikspezifikation kontextfreie Produktionsregeln Anders ist: Generell zwar TD, jedoch mit zwischenzeitlichen BU-Phasen Kein Backtracking, stattdessen substring-table Linksrekursion in Grammatik erlaubt Earley s Algorithmus: Active Chart Parser Top Down mit geteilten Produktionen III Man nehme: Eine Menge von Produktionsregeln einer kfg Ein Lexikon für die Wortkategorien Eine Eingabetabelle (Wort, Kat., Berandungen) Eine Arbeitstabelle (Substring-Tabelle, auch Chart) Zwei Variablen CUR und NEW Produktionen IV Eingabetabelle (Beispiel) Berandungen! Produktionen V Arbeitstabelle CUR und NEW initial auf dieser Zeile 1 (sonst Tabelle leer) Punkt teilt linken und rechten Teil einer ganzen Grammatikproduktion Links wird hier verarbeitet, rechts noch ungeprüft. Produktionen VI Vorgehensweise 1. Predictor Wenn in Zeile CUR ein NT-Symbol hinter dem Punkt zu finden ist neue Zeile einfügen, mit Produktion, die dieses NT-Symbol entwickelt.

6 Produktionen VI Immer: NEW auf die neue Zeile Predictor: rechten Rand von CUR erben Undo, falls Dublikat Top-Down mit geteilen Produktionen VII Wenn kein NT-Symbol in der CUR- Zeile hinter dem Punkt steht Scanner Mögliche Bedeutung: a. Der Punkt wurde durch alle Bestandteile der Eingabe bewegt b. Ein Lex-Symbol steht hinter dem Punkt der CUR-Zeile Produktionen VIII Produktionen IX Scanner: Wenn Lex-Symbol erwartet: Von der Eingabe lesen. Wenn Wort der Eingabe passt Kopiere CUR-Produktion in neue Zeile Bewege den Punkt hinter den erkannten Teil Setze NEW auf diese neue Zeile ERHÖHE RECHTEN RAND + 1 Wenn ein NT- oder Lex-Symbol in der CUR-Produktion stand: CUR = CUR +1 und von vorne Versetzen des Punktes führt dazu, dass irgendwann die Phase Completer auf eine Zeile angewendet werden kann. Produktionen X Produktionen XI 3. Completer Wenn die Produktion X Y in Zeile CUR komplett ist (Punkt ist ganz rechts) Betrachte linke Margin Suche in entsprechender Sektion, ob X in einer Teilproduktion S genau rechts vom Punkt benutzt wird Bemerke: Lrand == Rrand (keine Überlappung durch Randnumerierung) Wenn neue Produktion NEW auf neue Produktion neue Produktion wie S, aber X nun links vom Punkt Ende des Algorithmus Wenn eine Aktion des Completers dazu führt, dass # S. Linke Margin = 0 Rechte Margin = Wortanzahl der Eingabe Dann hat man die Eingabe komplett parsen können.

7 Produktionen XII Betreff: Margins Beginnend mit (0,0) für #.S Predictor: Vererbung der rechten Margin für daraus ableitbare Teilproduktionen (links und rechts: (1,2) - - > (2,2) ) Scanner: Erhöht rechte Margin um 1 Completer:Linke Margin der kleineren, Rechte Margin der größeren Bedeutung? Produktionen XIII Warum vererbt man von Produktion X aus im Predictor den rechten Rand? Weiterentwicklung im Predictor nur des jeweils ersten Symbols rechts vom Punkt Aus der Sicht der Produktion X betrachtet X alle Eingabesymbole zwischen seinen Begrenzungen: Diese sind auch bereits gelesen worden (Erhöhung nur durch Scannereinsatz) Für das Symbol rechts vom Punkt in X sind noch keine Eingaben gelesen worden, folglich Vererbung des rechten Randes von X Produktionen XIV Warum wird beim Scanner der rechte Rand um 1 erhöht? Trivial: ein Eingabewort mehr gelesen und somit von der neuen Produktion bearbeitet. Produktionen XV Warum bekommt die im Completer entstehende neue Produktion den linken Rand von X und den rechten Rand der Teilproduktion Y, die man in X einpflanzen kann? X hatte bereits alle Eingabezeichen von xl bis xr behandelt, Y hat nun alle Eingabezeichen von xr+1 bis yr behandelt Resultat: gesamte neue Produktion behandelt alle Eingabezeichen von xl bis yr Produktionen XVI Bottom-Up mit Chart Bewertung Eine Menge von unbenötigten Produktionen werden generiert. Nicht wird zweimal getan, da alle Zwischenergebnisse wiederverwendet werden. Kein Backtracking TD kombiniert mit BU (BU im Completer) kfg ohne Beschränkungen Erkennung data driven Resultat constituency tree UND dependency tree Grammatikspezifikation kontextfreie Produktionsregeln

8 Bottom-Up mit Chart II Bottom-Up mit Chart III Man nehme: Eine kontextfreie Grammatik in Chomsky Normalform Ein Lexikon (wie bekannt) Eine Variable P, die durch die Eingabe läuft Eine Arbeitstabelle (Chart) Drei Variablen CUR,NEW, NEIGHBOR Aufbau der Arbeitstabelle Wie gehabt: Unteilung in Sektionen gemäß des rechten Randes Jede Zeile Kategorie eines Segmentes der Eingabe linker und rechter Rand Segment durch Reduktion Angabe des linken und des rechten Bestandteils (durch Zeilennummer) Bottom-Up mit Chart IV Bottom-Up mit Chart V Beispiel Tabelle (Auszug) Variablen CUR: aktuell bearbeitete Zeile NEW: Zeile neu erstelltes Segment am Ende der Tabelle NEIGHBOR: ein linker Nachbar von CUR (?...kommt) Kategorie in Zeile CUR ist momentan zu verarbeitendes Symbol Bottom-Up mit Chart VI Bottom-Up mit Chart VII Vorgehen 1. Shift-Phase Holen einer Terminal-Kategorie (von Position P) auf die Tabelle = Lesen von Eingabe Rechter Rand = P Linker Rand = P-1 Setze Bestandteile auf Null ( - ) Falls mehrere Kategorien für gelesenes (Mehrdeutigkeit): ebenfalls neue Zeile für diese 2. Reduce Symbol in CUR ist Kandidat für Reduktion Suche nach der nächsten Produktion X, die Symbol in CUR als rechten Teil besitzt. Suche linken Nachbarn (Produktion) im Chart (NEIGHBOR) Falls existent, Reduktion mit neuer Zeile, NEW erhöhen, Nachbarn eintragen Wiederhole Reduce, bis keine Produktion X mehr zu finden

9 Bottom-Up mit Chart VIII Bottom-Up mit Chart IX 3. Endbedingung überprüfen Erhöhe CUR um 1 Wenn CUR ungleich NEW Reduce Andernfalls erhöhe P um 1: P hinter dem letzten Eingabewort komplettes Resultat? Sonst Shift 4. Komplettes Resultat Min. eine Zeile mit: Linker Rand = 0 Rechter Rand = Anzahl Eingabewörter Arbeitstabelle ist Chart (Beispiel) 6 und 10 sind überflüssige Reduktionen (keine weiteren Reduktionen von diesen aus möglich) Bottom-Up mit Chart X Bottom-Up mit Chart XI Ausgabe Als contituency trees leicht aus Chart ableitbar: Ausgabe 2 Auch möglich als dependency trees: Beginn: Zeile mit komplettem Resultat wird Root Unterscheidung: dominant ist fettgedruckt (vgl. Produktionsregeln; auch Working table) Ersetzung eines Knotens durch seinen dominanten Teil (untergeordneter Teil wird Subknoten) Runter bis zu den lexikalischen Kategorien Bottom-Up mit Chart XII Bottom-Up mit Chart XIII Beispiel Bildung eines dependency trees (14:S) (12:Vi (1:Nu) ) ( 5:Vi (1:Nu) (9:PP) ) ( 2:Vt (1:Nu) (4:Nu) (9:PP) ) ( 2:Vt (1:Nu) (4:Nu) (7:Prep (8:Nu) ) ) ( 2:study (1:they) (4:fish) (7:in (8:cans) ) ) Bewertung Erzeugt nichts zweimal (Wiederverwendung) Aber alle möglichen Kombinationen (Overhead) Gegenüber geteilten Produktionen : eingängiger Algorithmus Zwei mögliche Darstellungsarten (nettes Feature)

10 Rekursive Übergangsnetzwerke (RTN) RTN II Interpretierender Parser Erstellt Consituency Trees Erstellung von RTNs aus einer Menge von kf Produktionsregeln spezifiziert die Grammatik Man nehme: Menge von kf Produktionsregeln (keine Links- Rekursion) Lexikon Eingabetabelle (wie in TD mit Backtracking) Menge von RTNs (erstellt aus kfg) Arbeitstabelle Backtrackingmechanismus RTN III RTN IV Beispiel: RTNs für G1 S NP 1 VP 2/e vi VP 3 5/e vt NP 4 ε ε ε PP NP det 6 adj 7 n 8/e Vorgehen Beginnend mit S.intuitiv.intuitiv Wenn am Pfeil eine lexikalische Kategorie steht Scanner bei nicht passen Backtracking Wenn am Pfeil der initiale Zustand eines anderen Netzwerkes steht Abarbeitung dieses Netzwerkes einfügen Erfolgreiches Ende, wenn Arbeitstabelle (Stackartig!) wieder leer ist + komplette Eingabe gelesen intuitiv intuitiv PP prep 9 NP 10/e RTN V Erweiterte Übergangsnetzwerke (Augmented Transition Networks) Bewertung Nutzt dieselben Prinzipien wie TD mit BT und ist deshalb auch nicht besser! ATN Erkennung Gewöhnlich TD, Pattern orientiert Verhältnis Grammatik-Parser Prozeduraler P., keine Trennung

11 ATN II ATN III Wie in RTN: - Knoten, Übergänge ( Arcs ), rekursive Subnetzaufrufe - Erweiterung der Übergänge durch - Vorbedingungen - Aktionen vor / nach einem Übergang - Erweiterungen in Prog.-sprache (LISP) - Möglichkeit, Register zu erschaffen (sogar globale Variablen möglich) Mächtigkeit einer Turing-Maschine (Generierung jeder aufzählbaren Sprache) - Turing-Mächtigkeit ist Overkill, darum Selbstrestriktion für natürliche Sprachen Sprachverarbeitung Verschiedene Pfeilarten CAT-Arc: Übergang weist lexikalische Kategorie auf 1. Übereinstimmung mit Kategorie aktuelles Wort, andernfalls BT 2. Spezifizierte Vorbedingungen bestehen, andernfalls BT 3. Spezifizierte Aktionen ausführen 4. Neuen Knoten betreten ATN IV ATN V WRD-arc Erwartet lexikalisches Element 1. Identität zwischen erwartetem Element und Eingabewort, andernfalls BT 2. Tests 3. Aktionen 4. Nächsten Knoten betreten Einige weitere Übergangsarten Push-Arc: Rekursiv Subnetz aufrufen Pop-Arc: Aus Rekursion zurückkehren Jump-Arc: Übergang ohne Erhöhung der aktuellen Eingabeposition ATN VI ATN VII Erfolg des Algorithmus Beispiel eines ATN-Formalismus für NL-Parsing Durch Erreichen des Eingabeendes garantiert!

12 ATN VIII ATN IX Ausschnitt von gleichem Auschnitt in prozeduraler Schreibweise Beispielgrammatik (Ausschnitt) ATN graphisch ATN X Bewertung Da ATN für eine spezielle Grammatik erschaffen sehr effizient Backtracking vermeidbar: (geschickte Registernutzung) Sehr sorgfältige Programmierer benötigt (sideeffects in Registern) ENDE Aufgrund ihrer Mächtigkeit einziger Parser, der alle sprachlichen Möglichkeiten verarbeiten könnte! (z.b. Ellipsen)