Übersicht. 23. Praktische Verarbeitung natürlicher Sprache

Größe: px

Ab Seite anzeigen:

Download "Übersicht. 23. Praktische Verarbeitung natürlicher Sprache"

Jonas Kappel
vor 6 Jahren
Abrufe

1 Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlußfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen VII Kommunizieren, Wahrnehmen und Handeln 22. Kommunizierende Agenten 23. Praktische Verarbeitung natürlicher Sprache 24. Wahrnehmung 25. Robotik

2 Anwendungsfelder für Sprachverarbeitung (1) Sprachübersetzung - Erster Ansatz basierend auf Wort-zu-Wort-Übersetzungen in den sechziger Jahren gescheitert. - Derzeit gibt es ca. ein Dutzend Übersetzungssysteme in kommerziellem Einsatz. - Allgemeine Übersetzung im Grenzbereich praktischer Nützlichkeit. - Bessere Ergebnisse bei einfacher Sprache oder beschränktem Einsatzgebiet, z.b. Gebrauchsanweisungen oder Wetterbericht Datenbankabfrage - Erster kommerzieller Erfolg von Sprachverarbeitung. - Derzeit relativ hoher Stand. - Problem: Grafische Benutzungsoberflächen und Integretation mit anderen Programmen (Textverarbeitung, Tabellenkalkulation) ist oft wichtiger.

3 Anwendungsfelder für Sprachverarbeitung (2) Textverstehen Derzeit sehr attraktives Anwendungsgebiet, da es viele Texte (z.b. im Internet) in elektronischer Form gibt. Teilbereiche: - Informationsabfrage: Suchmaschinen im Internet: überwiegend wortbasiert, kaum Berücksichtigung von Syntax - Textkategorisierung: z.b. Dämon, der alle Informationen zu einem bestimmten Thema (Industrie, Region, Firma,...) sucht. Da die Themen vorgegeben sind, lohnt es sich, gewisse Zeit auf Optimierungen durch Sprachverstehen zu verwenden. - Datenextraktion: Aus einem Text Informationen extrahieren, die z.b. in einer Datenbank abgelegt werden können.

4 Beispiel: Datenbankabfrage (1) (2)

5 Effizientes Parsen Das vorrangige Ziel beim effizienten Parsen ist das Vermeiden doppelter oder überflüssiger Parse-Schritte mit Backtracking. Das Problem wird deutlich an folgendem Beispiel: Have the students in section 2 of Informatics 101 take the exam. Have the students in section 2 of Informatics 101 taken the exam? Lösungsideen: Wenn konsistente Satzstrukturen erkannt sind, dann speichere sie und kombiniere sie geeignet mit anderen Strukturen: "chart parsers", "Unifikationsgrammatiken". Verwende eine Mischung von bottom-up und top-down Parsing.

6 Beispiel für Chart-Parser 4 Arten, Kanten zum Chart hinzuzufügen: - Inititalizer - Predictor: Sagt für eine unvollständige Kante voraus, was für ein NT-Typ erwartet wird. - Completer: Kombiniert erwarteten NT-Typ mit gefundenen Satzteilen - Scanner: Kombiniert erwarteten NT-Typ mit den Input-Wörtern

7 Beispiel: Chart-Parser (1)

8 Satz: (0) I (1) feel (2) it (3) Beispiel: Chart-Parser (2)

9 Algorithmus für Chart-Parser

10 Vermeidung unnötiger Parse-Bäume durch linksseitigen Start

11 Deterministische Version des Chart-Parsing-Algorithmus

12 Skalieren des Lexikons (1) Ein zentrales Problem beim Entwurf eines Lexikons ist, zu vermeiden, dass ein Wort in vielen Varianten gespeichert werden muß. Lösungsidee: Kodierung von Regeln, wie Wörter variiert werden können. Dies geschieht in 4 Schritten: Tokenization: Aufbrechen eines Wortes in Wörter & Zeichen wie., - Morphologische Analyse: Wissen über Wortendungen und -ableitungen mit grammatikalischer Bedeutung (z.b. Singular / Plural), über Wortbildungen mit demselben Stamm (z.b. spielen, Spiel, spielerisch) und über zusammengesetzte Wörter (z.b. Donaudampfschifffahrtsgesellschaft). Nachschauen im Wörterbuch (z.b. als Hash-Tabelle). Weitermachen bei Fehlern: 4 Typische Prozeduren sind: Ausprobieren morphologische Regeln zur Herleitung eines Wortes, Erkennen von Eigennamen, Erkennen spezieller Formate (z.b. Zeiten) und Rechtschreibkorrektur.

13 Skalieren des Lexikons (2) Techniken der Rechtschreibkorrektur: Buchstabenbasierte Berechnung der Nähe zweier Wörter: Als eine Operation zählt das Einfügen, Löschen, Vertauschen, oder Ersetzen eines Buchstabens durch einen anderen. Für ein Wort mit 10 Buchstaben sind 555 andere Wörter eine Fehleroperation weit weg! Lautbasierte Berechung: Ähnlichkeit wird aufgrund der Aussprache ermittelt. Praktisch genutzte Lexika haben oft eine Größe von bis Wörtern. Es gibt wenig frei verfügbare Lexika. Nützlich sind Informationen über die Häufigkeit verschiedener Wortbedeutungen und semantische Restriktionen.

14 Auszug aus Lexikon Wordnet

15 Beispiel für natürlichsprachliche Sätze

16 Skalieren der Grammatik Zusammengesetzte Substantive Apposition (z.b. "David, der Würzburger Informatiker" oder "Tarzan, Herr des Dschungels") Advektive zu Substantiven (kompositionelle Semantik: das rote Auto und Ausnahmen). Artikel (Kardinalität prüfen) Subjekt-Verb-Übereinstimmung Teilsätze als Bestandteile von Verbphrasen (z.b. believe, want). Relativsätze, in denen das Bezugsobjekt nicht wiederholt wird, z.b. "the person that I saw..." vs "the person that saw me". Fragen (ja/nein; W-Fragen) Behandlung ungrammatikalischer Sätze

17 Semantiken zusammengesetzter Substantive

18 Probleme der Kompositionellen Semantik von Adjektiven

19 Kardinalität von Artikeln

20 Mehrdeutigkeiten (1) Je umfassender die Domäne, desto mehr potentielle Mehrdeutigkeiten. Die meisten Ansätze versuchen Mehrdeutigkeiten auschließlich mit logischen Mitteln aufzulösen. In jüngster Zeit werden auch vermehrt probabilistische Modelle eingesetzt (bei gesprochener Sprache sind Hidden Markov Modelle sehr erfolgreich). In jedem Fall müssen alle Wissensquellen kombiniert werden: Syntaktische Evidenz Bsp.: Lee asked Kim to tell Toby to leave on Saturday. Lexikalische Evidenz Bsp.: Lee positionierte den Anzug auf dem Kleiderständer. Kim wollte den Anzug auf dem Kleiderständer.

21 Mehrdeutigkeiten (2) Semantische Evidenz Bsp.: - Ich aß Spaghetti mit Parmesankäse. - Ich aß Spaghetti mit Salat. - Ich aß Spaghetti mit einer Gabel. - Ich aß Spaghetti mit Schwierigkeiten. - Ich aß Spaghetti mit einer Serviette. - Ich aß Spaghetti mit Freude. - Ich aß Spaghetti mit einem Freund. Metonymie: Ein Objekt steht für ein anderes. Bsp.: - VW kündigte ein neues Modell an. - Washington brach die Beziehungen ab. - Ich lese gerne Hesse. Metapher: Ein Satz mit wörtlicher Bedeutung legt eine andere Bedeutung durch Analogie nahe. Bsp.: Mehr ist oft "höher": Preise fallen, steigen. Menschliche Eigenschaften von Computer: "Rechner spinnt."

22 Wissensarten: Verständnis von Zusammenhängen Allgemeines Weltwissen Allgemeines Wissen über die Struktur kohärenter Diskurse Allgemeines Wissen über Syntax und Semantik Spezielles Wissen über die Situation Spezielles Wissen über die Personen Spezielles Wissen über den Sprecher Bsp.: John ging in ein teures Restaurant. Er was zufrieden und gab dem Kellner ein gutes Trinkgeld (Tip). Er gab 50$ aus.

23 Kontextabhängigkeit beim Verstehen von Zusammenhängen

24 Nicht-Kommutativität natürlicher Sprache Die Reihenfolge gibt Hinweise auf den Zusammenhang zwischen den Sätzen,z.B.istSatz(1)eineVoraussetzung (enablement) für Satz (2). Andere Zusammenhänge (Kohärenztypen) können sein: - Entwicklung (evaluation) - Verfeinerung (elaboration) - Erklärung (explanation) - Kausalität (causal relation)

25 Kohärenz-Relation in einer Geschichte Struktur kohärenter Diskurse: Der Sprecher will eine Botschaft rüberbringen Er hat dafür eine Motivation oder ein Ziel. Er will es dem Zuhörer leicht machen, zu verstehen. Er muss die neue Information mit dem Wissen des Zuhörers verbinden. Diese Annahmen erleichtern das Analysieren der Kohärenztypen.

Ähnliche Dokumente

NLP Eigenschaften von Text

NLP Eigenschaften von Text Dr. Andreas Hotho Dominik Benz Beate Krause Sommersemester 2008 Folie: 1 Übersicht Einführung Eigenschaften von Text Words I: Satzgrenzenerkennung, Tokenization, Kollokationen