Programmieren in natürlicher Sprache: Alice-Kontrollstrukturen

Transkript

1 Programmieren in natürlicher Sprache: Alice-Kontrollstrukturen Bachelorarbeit betreut von Mathias Landhäußer Ronny Hug 20. August 2014 IPD TICHY KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Motivation Problem: Nur Beschreibung sequentieller Handlung möglich Ziel: Beschreibung komplexerer Handlung Lösung: Verwendung von Alice-Kontrollstrukturen The bunny hops. The frog taps its foot. The bunny hops while the frog taps its foot. Ronny Hug Alice-Kontrollstrukturen 20. August /24

3 Verwandte Arbeiten Programmieren in natürlicher Sprache NLP for NLP [MLL06] Alice-Kontrollstrukturen aus natürlicher Sprache [Koh13] Zeitliche Einordnungen und Relationen Machine Learning of Temporal Relations [Man+06] Zeitliches Sortieren [Hey13] Ronny Hug Alice-Kontrollstrukturen 20. August /24

4 Alice-Kontrollstrukturen Kontrollstruktur in dieser Arbeit bereits behandelt behandelt Do together X Do in order X For all together X For all in order X While X Loop X If/else X Ronny Hug Alice-Kontrollstrukturen 20. August /24

5 Beispiele: Alice-Kontrollstrukturen Do together Aktionen werden gleichzeitig gestartet Bsp.: The bunny hops and at the same time the frog taps its foot twice. For all together Aktionen werden von einer Gruppe von Entitäten gleichzeitig ausgeführt Bsp.: The bunny and the frog hop twice. Ronny Hug Alice-Kontrollstrukturen 20. August /24

6 Vorgehen Konfigurierbare Abhängigkeitsverfolgung mit Schlüsselwörtern Verfolge rekursiv vorher festgelegte Abhängigkeiten Beginne bei Schlüsselwörtern wie while Do together, Do in order, While Nutzung von atomaren Sätzen ([Wei14]) Nutze Subjekt-Verb-Objekt-Kapselung atomarer Sätze aus z.b.: Eine Aktion, die in mehreren atomaren Sätzen ist, wird von mehreren Aktoren ausgeführt For all together, For all in order Anschließend: Nachbearbeitung Ronny Hug Alice-Kontrollstrukturen 20. August /24

7 Erkennung von Do (bzw. While): Abhängigkeitsverfolgung Konfiguration für Do together Betrachte Schlüsselwörter: at the same time Verfolge Abhängigkeiten: prep, conj Erkenne als Aktion: Verben (Markierungen: VB* conj prep det nsubj cc det nsubj The bunny hops and at the same time the frog nods DT NN VBZ CC DT NN VBZ Ronny Hug Alice-Kontrollstrukturen 20. August /24

8 Erkennung von Do (bzw. While): Abhängigkeitsverfolgung Konfiguration für Do together Betrachte Schlüsselwörter: at the same time Verfolge Abhängigkeiten: prep, conj Erkenne als Aktion: Verben (Markierungen: VB* conj prep det nsubj cc det nsubj The bunny hops and at the same time the frog nods DT NN VBZ CC DT NN VBZ Ronny Hug Alice-Kontrollstrukturen 20. August /24

9 Erkennung von Do (bzw. While): Abhängigkeitsverfolgung Konfiguration für Do together Betrachte Schlüsselwörter: at the same time Verfolge Abhängigkeiten: prep, conj Erkenne als Aktion: Verben (Markierungen: VB* conj prep det nsubj cc det nsubj The bunny hops and at the same time the frog nods DT NN VBZ CC DT NN VBZ Ronny Hug Alice-Kontrollstrukturen 20. August /24

10 Erkennung von Do (bzw. While): Abhängigkeitsverfolgung Konfiguration für Do together Betrachte Schlüsselwörter: at the same time Verfolge Abhängigkeiten: prep, conj Erkenne als Aktion: Verben (Markierungen: VB* conj prep det nsubj cc det nsubj The bunny hops and at the same time the frog nods DT NN VBZ CC DT NN VBZ Ronny Hug Alice-Kontrollstrukturen 20. August /24

11 Erkennung von Do (bzw. While): Abhängigkeitsverfolgung Konfiguration für Do together Betrachte Schlüsselwörter: at the same time Verfolge Abhängigkeiten: prep, conj Erkenne als Aktion: Verben (Markierungen: VB* conj prep det nsubj cc det nsubj The bunny hops and at the same time the frog nods DT NN VBZ CC DT NN VBZ Ronny Hug Alice-Kontrollstrukturen 20. August /24

12 Erkennung von Do (bzw. While): Nachbearbeitung Assoziation von Aktionen Bsp.: The bunny hops and nods and at the same time the frog nods and waves. Verschachtelungen Bsp.: The bunny hops and then the frog simultaneously nods and waves. Do-Typumwandlung bei und-verknüpfungen The bunny hops and nods. The bunny hops and nods simultaneously. Ronny Hug Alice-Kontrollstrukturen 20. August /24

13 Erkennung von For all: Nutze atomare Sätze 2 Verfahren Suche nach Verben in mehreren atomaren Sätzen Bsp.: The bunny and the frog hop. Suchen nach Subjekten, die eine Gruppe beschreiben Bsp.: The animals hop. Ronny Hug Alice-Kontrollstrukturen 20. August /24

14 Erkennung von For all: Nutze Verben in atomaren Sätzen The bunny and the frog hop. Assoziation von hop mit bunny und frog Fasse bunny und frog in eine Gruppe zusammen For all-konstrukt: diese Gruppe + hop (im Rumpf) Ronny Hug Alice-Kontrollstrukturen 20. August /24

15 Erkennung von For all: Nutze Subjekte in atomaren Sätzen The animals hop. animals ist ein Gruppenbegriff (markiert als Pluralnomen) Fasse Subjekte im Text in eine Gruppe zusammen, die zur Klasse animal gehören For all-konstrukt: diese Gruppe + hop (im Rumpf) Ronny Hug Alice-Kontrollstrukturen 20. August /24

16 Erkennung von For all: Nachbearbeitung Assoziation zusammengehöriger Aktionen The animals jump and move forward. Bestimmung des Typs The animals jump. (For all together) The animals jump consecutively. (For all in order) Einordnung in verschachtelte Strukturen Ausschluss von Aktoren Everyone, except the girl, move forward. Ronny Hug Alice-Kontrollstrukturen 20. August /24

17 Evaluation - Aufbau Animationen Farm : 40 Sekunden, 8 Kontrollstrukturen Beachday : 20 Sekunden, 9 Kontrollstrukturen jeweils 14 gesammelte Beschreibungstexte Gefordert: möglichst detaillierte Handlungsbeschreibung Evaluation Annotation von Kontrollstrukturen Fehlerbehaftete Eingabe, Standardkonfiguration Fehlerbehaftete Eingabe, angepasste Konfiguration Korrigierte Eingabe, Standardkonfiguration Übersicht: korrekte/falsche/fehlende/falsch platzierte Annotationen falsche/fehlende sind meist die Ursache für falsche Platzierung Ronny Hug Alice-Kontrollstrukturen 20. August /24

18 Evaluation - Ergebnisse Text #Annotationen korrekt inkorrekt nicht falsch erkannt platziert beachday farm Gesamt % 79% 5% 15% 1% beachday farm Gesamt % 91% 2% 4% 2% beachday farm Gesamt % 98% 0% 2% 0% Ronny Hug Alice-Kontrollstrukturen 20. August /24

19 Evaluation - Ergebnisse Text #Annotationen korrekt inkorrekt nicht falsch erkannt platziert beachday farm Gesamt % 79% 5% 15% 1% beachday farm Gesamt % 91% 2% 4% 2% beachday farm Gesamt % 98% 0% 2% 0% Ronny Hug Alice-Kontrollstrukturen 20. August /24

20 Evaluation - Ergebnisse Text #Annotationen korrekt inkorrekt nicht falsch erkannt platziert beachday farm Gesamt % 79% 5% 15% 1% beachday farm Gesamt % 91% 2% 4% 2% beachday farm Gesamt % 98% 0% 2% 0% Ronny Hug Alice-Kontrollstrukturen 20. August /24

21 Zusammenfassung Möglichkeit komplexere Handlung zu beschreiben Erkennung verschiedener Alice-Kontrollstrukturen Abhängigkeitsverfolgung Atomare Sätze Gute Erkennungsrate Konfigurierbare Abhängigkeitsverfolgung für fehlerbehaftete Eingabetexte Sehr gute Erkennungsrate bei fehlerfreien Eingabetexten Ronny Hug Alice-Kontrollstrukturen 20. August /24

22 Ausblick Verbesserung der Auflösung von Gruppenbegriffen Koreferenzanalyse Ermittlung der Gültigkeitsbereiche von Schlüsselwörtern Bessere Auflösung nicht eindeutiger Satzkonstruktionen Ronny Hug Alice-Kontrollstrukturen 20. August /24

23 References I Hey, Tobias (2013). Programmieren in natürlicher Sprache: Zeitliches Sortieren. Bachelor s Thesis. Karlsruher Institut für Technologie (KIT) IPD Tichy. URL: https: //svn.ipd.kit.edu/trac/alicenlp/wiki/theses/hey_ba. Kohlmann, Andrea (2013). Programmieren in natürlicher Sprache: Alice-Kontrollstrukturen aus natürlicher Sprache. Bachelor s Thesis. Karlsruher Institut für Technologie (KIT) IPD Tichy. URL: https: //svn.ipd.kit.edu/trac/alicenlp/wiki/theses/kohlmann_ba. Mani, Inderjeet u. a. (2006). Machine Learning of Temporal Relations. In: Proceedings of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics. ACL-44. Sydney, Australia: Association for Computational Linguistics, S URL: Literatur Ronny Hug Alice-Kontrollstrukturen 20. August /24

24 References II Mihalcea, Rada, Hugo Liu und Henry Lieberman (2006). NLP (Natural Language Processing) for NLP (Natural Language Programming). In: Computational Linguistics and Intelligent Text Processing. Hrsg. von Alexander Gelbukh. Bd Lecture Notes in Computer Science. Springer Berlin Heidelberg, S ISBN: URL: Weigelt, Sebastian (2014). Programmieren in natürlicher Sprache: Erkennung und semantische Assoziation von Entitäten in natürlichsprachlichen Texten. Diplomarbeit. Karlsruher Institut für Technologie (KIT) IPD Tichy. URL: https: //svn.ipd.kit.edu/trac/alicenlp/wiki/theses/weigelt_da. Literatur Ronny Hug Alice-Kontrollstrukturen 20. August /24

25 Programmablauf Literatur Ronny Hug Alice-Kontrollstrukturen 20. August /24

26 Problem: Auflösung von Gruppenbegriffen Prüfe jede Entität mit einer Ontologie Suchschema: n n-3 Satz 1 Satz 2 aktueller Satz Satz 4... Satz n Problem: Begriffe wie both können nicht aufgelöst werden n-2 Literatur Ronny Hug Alice-Kontrollstrukturen 20. August /24