Spezielle Themen der KI

Transkript

1 Spezielle Themen der KI NLP Natural Language Processing Marc Erich Latoschik AI & VR Lab, Faculty of Technology University of Bielefeld

2

3 NLP Dave Bowman: Open the pod bay doors, HAL. HAL: I m sorry, Dave, I m afraid I can t do that. StanleyKubrick and Arthur C. Clarke screenplay of 2001: A Space Odyssee 3

4 Was ist Sprache? Menschliche Sprache universelles Kommunikations- und Speichermedium Interaktion zw. Menschen über verschiedene Kanäle von denen Sprache besonders dominant scheint Wissensvermittlung, kollektiver Erkenntnisgewinn Sprache und Denken sind eng verknüpft Kategorisierung, Benennung, Abstraktion Erkenntnisgewinn bei Arbeit an sprachlicher Formulierung mentale Abläufe menschlicher Sprachverarbeitung nicht bekannt 4

5 Natürliche Sprachen formale Sprachen natürliche Sprache menschliche Sprachen (Deutsch, Englisch... sehr mächtig in den Ausdrucksmöglichkeiten (kann alles beschreiben) oft mehrdeutig: Ambiguitäten formale Sprache Computersprachen, Logiken (Aussagelogik, Prädikatenlogik,...) einfach zu verstehen aber eingeschränkte Ausdrucksfähigkeit (fachspezifische Benutzung), eindeutig definiert 5

6 Spezielle Themen der KI NLP Kognitionswissenschaftliche Betrachtungen: Sprachverstehen als Informationsverarbeitung Marc Erich Latoschik AI & VR Lab, Faculty of Technology University of Bielefeld

7 Sprache und Kommunikation Kommunikation: wechselseitige, weitgehend beabsichtigte Informationsübertragung zwischen (mindestens) zwei Partnern Wie lassen sich die von einem Sender produzierten und kommunizierten Nachrichten bei einem Empfänger verstehen im Bedeutungsgehalt rekonstruieren? Beispiel 7

8 Sprache und Kommunikation Kommunikation: wechselseitige, weitgehend beabsichtigte Informationsübertragung zwischen (mindestens) zwei Partnern Wie lassen sich die von einem Sender produzierten und kommunizierten Nachrichten bei einem Empfänger verstehen im Bedeutungsgehalt rekonstruieren? Beispiel 8

9 Kommunikation und Sprache - eine alternative Sicht Kommunikation: Als kommunikatlves Verhalten bezeichnen wir als Beobachter solches Verhalten, das im Rahmen sozialer Koppelung auftritt; als Kommunikation bezeichnen wir jene Koordination des Verhaltens, die aus der sozialen Koppelung resultiert (Varela & Maturana, 1987, S.196). Sprache: Als sprachlich bezeichnen wir ein ontogenetisches kommunikatives Verhalten (d. h. ein Verhalten, das in der ontogenetischen Strukturkoppelung von Organismen entsteht), welches ein Beobachter semantisch beschreiben kann (Varela & Maturana, 1987, S.223)...dass Sprache kein Instrument der Informationsübertragung und kein System der Kommunikation darstellt, sondern eine Art und Weise des Zusammenlebens in einem Fluss der Koordination von Verhaltenskoordinationen, die dem Strukturdeterminismus interagierender Systeme nicht widerspricht (Maturana & Pörksen, 2000, S84). Erkennen: Erkennen nicht als eine Repräsentation der "Welt da draussen" versteht, sondern als ein andauerndes Hervorbringen einer Welt durch den Prozeß des Lebens selbst (Varela & Maturana, 1987, S.7). Varela & Maturana, 1987: Francisco Varela und Humberto Maturana: Der Baum der Erkenntnis, Scherz Verlag Maturana & Pörksen, 2000: Humberto Maturana und Bernhard Pörksen: Vom Sein zum Tun - Ursprünge der Biologie des Erkennens, Carl Auer

10 Sprachverstehen unter dem Informationsverarbeitungsparadigma Prozess oder Funktion welcher physikalische Form einer Sprachäußerung auf die Repräsentation ihrer Bedeutung abbildet. Im kognitionswissenschaftlichen Paradigma der Informationsverarbeitung werden kognitive Prozesse des Sprachverstehens als Berechnungsvorgänge und Manipulation von Information verstanden. 10

11 Sprachverstehen als Interaktion von Wissenssystemen Zwei Typen von Kenntnis- und Wissenssystemen lassen sich im Kontext des Sprachverstehens unterscheiden: 1. Allgemeine Kenntnissysteme mit kognitivem Status außerhalb der Sprachverarbeitung Ó Ó Wissen über Entitäten Wissen über Zusammenhänge in der Welt, etc. 2. Spezifische Kenntnissysteme im Rahmen der Sprachverarbeitung: Phonologisches Wissen Syntaktisches Wissen Lexikalisches Wissen 11

12 Betroffene Disziplinen Neurolinguistik - Sprache und Gehirn Lokalisierung der Hirnfunktionen Messung aktiver Neuronenareale mithilfe von MRI (aktive Hirnareale bei Fingertapping- Aufgabe) Untersuchung von Störungen/Aphasien z.b. bei Verletzungen im Gehirn Organistion der menschlichen Sprechfähigkeit Hirnareale für die Sprachverarbeitung Verstehen und Erzeugen von Sprache im Broca- und Wernike-Zentrum 12

13 Betroffene Disziplinen Linguistik: Sprachspezifische Kenntnissysteme. Sprachübergreifende Theorie der strukturellen Regularitäten der Sprache. Psycholinguistik: Experimentell fundierte Prinzipien der Verarbeitung sprachlichen Wissens die sprachliches Verhalten determinieren. Kognitionswissenschaft: Annahmen über die Repräsentation benötigten Wissens und deren Auswirkungen auf die Verarbeitung unter Zugrundelegung dedizierter parametrisierter Verarbeitungsprinzipien für empirisch überprüfbare Hypothesen. 13

14 Betroffene Disziplinen, as psycholinguistics has become more computational, and therefore more explicit, researchers with different perspectives are increasingly able to translate their metatheoretical disagreements into empirical questions. [Tanenhaus, 1988, S.30] Detaillierte Spezifikation eines Verarbeitungsmodells. KI und Theoretische Informatik entwickeln Werkzeuge für kognitive Modellierung hochkomplexer Sprachverarbeitungsprozesse. Einschränkung der Klasse der möglichen Modelle menschlicher Sprachverarbeitung durch psychologische, linguistische, neurophysiologische und informatische (Korrektheit, Handhabbarkeit, Berechenbarkeit) Rahmenbedingungen. 14

15 Betroffene Disziplinen Philosophie: Rolle oder Funktion der Sprache als Vermittler zwischen Mensch und Umwelt. (Denken<->Sprache<->Wirklichkeit). [Austin, 1962; Grice, 1975; Searle, 1969] Rolle der Sprache im menschlichen Handeln. Rolle der Sprache als wirklichkeitskonstituierende Strukturierungshilfe. [Hörmann, 1976] 15

16 Betroffene Disziplinen Künstliche Intelligenz Zentrale Frage der KI Sprachverstehen: Extraktion von Wissen/Bedeutung aus der Sprache (geschrieben oder gesprochen) Interaktion mit dem Computer Sprache und menschliche Intelligenz Intelligenzbegriff eng verknüpft mit Sprache Vorschlag zum operationellen Nachweis von Intelligenz: Turing Test Verarbeitung natürlicher Sprache (natural language processing NLP) Sprachverstehen Satz -> Bedeutung Spracherzeugung Bedeutung -> Satz Maschinelle Übersetzung Satz -> Bedeutung -> Satz gesprochene oder geschriebene Sprache Einzelne Worte, Sätze, lange Texte 16

17 Kommunikationsmodell der KI (nach Winograd 1983; Bild angelehnt an Russell & Norvig, Fig. 22.3) Sprecher/Produzent Hörer/Versteher 17

18 Geschichte der maschinellen Sprachverarbeitung 1791: Erste Sprechmaschine von Wolfgang von KEMPELEN 1940er-1950er Automatentheorie: 1936: Turings Modell der algorithmischen Berechnung 1943: McCulloch-Pitts Neuron, Berechnungelement in Propositionallogik 1948: Shannon, Probabilistische Modelle diskreter Markov-Prozesse für Sprachautomaten 1951/1956: Kleene, endlicher Automat und reguläre Ausdrücke 1956: Chomsky, Schaffung der Theorie der formalen Sprachen (außerhalb der KI) 1959/1060: Backus und Naur et al., kontextfreie Grammatiken (parallel zu Chomsky), ALGOL Probabilistische oder informationstheoretische Modelle: - Shannons Metapher des noisy channels und des decodens - Begriff der Entropie, erste Anwendung auf englische Sprache 1946: Koenig, Entwicklung des Spektographen - Grundlegende Erforschung instrumenteller Phonetik frühe 50er: Erste Spracherkenner 1952: Bell Labs (Davis et al., 1952), statistischer Sprecher-abhängiger Erkenner für 10 digits, 97%-99% 18

19 Geschichte der maschinellen Sprachverarbeitung 50er/60er Symbolisch: : Zelig, Harris, TDAP - Transformations and Discourse Analysis Project 1956: McCarthy, Minsky, Shannon, Rochester, Artificial Itelligence - Newell und Simons Logic Theorist und GPS - NLP mit einfachen Mustertransformationen. Prototyp: ELIZA (Weizenbaum) - Wissensrepräsentation mit Hilfe semantischer Netze (Quillian) Stochastisch: Ende der 50er: Bayes-Modell für optische Buchstabenerkennung 1964: Mosteller und Wallace, Bayesansatz für Authorenzuweisung (The Federalist Papers) Sonst: - erste validierbare psychologische Modelle der menschlichen Sprachverarbeitungssystems - erste Korpora 19

20 Geschichte der maschinellen Sprachverarbeitung 70er/80er (4 Lager) Stochastisch: - statistische Modellierung (Hidden-Markov-Modelle) - Diktiermaschine DRAGON DICTATE: - SPICOS II - vollständiges Dialogsystem zur Datenbankabfrage - dynamischer Mustervergleich, dynamische Programmierung Logisch: 1970/75: Colmerauer, Q-system und metamorphosis grammers 1979: Kay, Functional Grammars 1980: Pereira und Warren, Prolog Vorläufer, DCGs 1982: Kaplan, LFG Natural Language Understanding (auch... Processing - NLP): - Effektive Grammatikformalismen (ATN-Grammatiken) - SCHOLAR - Beantwortung von Fragen über Südamerika - SHRDLU (Terry Winograd) NLP und Logik: - LUNAR (Wood) - Auskunftssystem über Gesteinsproben Diskursmodellierung: 1977, Grosz und 1983, Sidner: Unterstrukturen im Diskurs 1978: Hobbs, BDI (Logik-basiert) _ÉáëéáÉä=Ñüê=ÉáåÉ=ÄÉëÅÜê åâíé jáâêçïéäíw=aáé= häöíòåüéåïéäí îçå=peoair 20

21 Geschichte der maschinellen Sprachverarbeitung 90er- - TANGORA - sprecherabhängiges automatisches Diktiersystem, - EVAR - IC-Zugauskunft Probabilistische Modelle werden mehr und mehr Standard Integration verschiedener Modelle WWW motiviert Sprach-basiertes Informationretrieval... 21

22 SHRDLU a blocks world [Winograd, 1972] SHRDLU: Konversation über eine Blockwelt. What is sitting on the red block? What shape is the blue block on the table? Place a green pyramid on the red brick. Is there a red block? Pick it up. What color is the block on the blue brick? Modell für die Bearbeitung von Syntax und Semantik Vollständige Szenenbeschreibung (Welt oder Domäne) 22

23 Turing Test I propose to consider the question "Can machines think?" This should begin with definitions of the meaning of the terms "machine" and "think. [Turing, 1950] Turing Test soll untersuchen ob eine Maschine intelligent ist Vorschlag von Turing: Imitationsspiel Mann A, Frau B, Fragesteller C C kann über Terminal mit A und B kommunizieren (räumlich getrennt) und Fragen stellen Ziel: C soll festsstellen wer Mann und wer Frau ist (Kommunikationspartner mit X und Y bezeichnet), z.b X ist A und Y ist B Turing Test für Intelligenz Fragesteller ist mit Person und Computer über Terminal verbunden Wenn das Programm den Befrager glauben machen kann, dass es ein Mensch ist muß es intelligent sein Kritik am Turing Test: Betrug möglich, Chinesisches Zimmer (Searl) 23

24 Versuch eines Turing-Tests Loebner Preis Wettbewerb im Stil des Turing Test Kommunikation eines Fragestellers mit Menschen und Computerprogrammen über eine bestimmte Zeit Gewinner des Loebner-Preises 2003: Jabberwock Gewinner 2004: Richard Wallace Gewinner 2005: Jabberwock Zukünftiges Preisgeld $ für eine audio-visuelle Täuschung Einschränkungen Beschränkung auf bestimmte Gesprächsthemen Jury befindet über Zulässigkeit von Fragen Fragesteller bewertet wie überzeugend er das Gespräch fand Kritik: geschickte Täuschung ist effektiver als echtes Sprachverstehen 24

25 Konversationsprogramme Programme, die mit Benutzern in natürlicher Sprache kommunizieren Chatbots Computer-Benutzer-Schnittstelle im Internet Assistenzsysteme, Kundenberatung Eliza - Geprächsprogramm nach dem Konzept von J. Weizenbaum Programm handelt/spricht wie ein Psychotherapeut Arbeitet mit Schlüsselworten und Kontextmustern Wissen ist abgelegt in Skripten Kein Sprachverstehen Eliza-Effekt Eliza wirkt wie ein verstehender Gesprächspartner Gesprächspartner interpretieren Bedeutungen in die Aussagen des Gegenüber hinein 25

26 ELIZA Programmierung ELIZA SCRIPT FILE: Sxxxxxxxxx - DEFINE SIGNON MESSAGE Txxxxx Txxxxx - DEFINE PAIR OF WORDS TO TRANSPOSE Nxxxxx - RESPONSE FOR NULL ENTRY Mxxxxx - DEFINE RESPONSE FOR LATER USE OF "MY Xxxxxxx - DEFINE RESPONSE FOR NO KEYWORD FOUND Kxxxxxx - DEFINE KEYWORD Rxxxxxx - DEFINE RESPONSE FOR PREVIOUS KEYWORD... NO KEYWORD FOUND XPLEASE GO ON. XWHAT DOES THAT SUGGEST TO YOU? TRANSPOSITION TABLE T ARE T AM T AM T ARE T WERE... SIGNON MESSAGE SHI, I'M ELIZA. WHAT DO YOU WANT TO TALK ABOUT? SSO HOW ARE YOU DOING TODAY? NULL RESPONSES Nyou're gonna wear your enter key out if you keep that up.... DEFINE KEYWORDS AND RESPONSES KCAN I RPERHAPS YOU DON'T WANT TO*. RDO YOU WANT TO BE ABLE TO*? KFRIEND RWHY DO YOU BRING UP THE TOPIC OF FRIENDS? RDO YOUR FRIENDS WORRY YOU? RDO YOUR FRIENDS PICK ON YOU? 26

27 George (Icogno)

28 Max: Multimodale Eingabe/Ausgabe und Kognition

29 Ebenen linguistischer Analyse akustisch-phonetisch: Welche Worte wurden kommuniziert? Erkennung eines Schalleindrucks als Folge von Worten Erkennung der Wortgrenzen (Segmentierung) morphologisch-syntaktisch: die Wortfolge als Satz erkennen funktionale Struktur der Satzkonstituenten? verschiedene Lesarten (Mehrdeutigkeiten) aufzulösen? semantisch-pragmatisch: Verstehen der Satzbedeutung In welcher Sinnrelation stehen die Worte zueinander? Was intendiert die Äußerung? 29

30 Linguistisches Glossar Morphologie (Wortbildungslehre): betrifft die Zusammensetzung von Wörtern aus Stämmen, Vor- und Nachsilben sowie anderen Wörtern Syntax (Lehre vom Satzbau): befaßt sich mit den Regeln, nach denen sich Wörter zu Satzteilen und Satzteile zu Sätzen verbinden. Semantik (Bedeutungslehre): befaßt sich mit der Bedeutung von Wörtern und Sätzen. Pragmatik (umstandsbezogene Bedeutungsinterpretation): Abhängigkeit der Bedeutungen von Kontext und Sprechsituation Konstituente/Satzteil: Durch die Grammatik definierter Teil eines Satzes oder Satzteils. Konstituentenstruktur: Struktur eines Satzes, die ausdrückt, wie Teile des Satzes sich zu größeren Einheiten verbinden. Syntaxbaum/Strukturbaum/Parse Tree: Darstellung der Konstituentenstruktur eines Satzes. Lexikon (Dictionary): eine Datenbasis, die Wörter einer Sprache mit der zugehörigen morphologischen, syntaktischen und semantischen Information enthält. 30

31 Syntax, Semantik, Pragmatik Beispiel: Was ist denn das Grüne hier in der Suppe? mögliche Antwort: Wenn es dir hier nicht schmeckt, kannst du ja woanders essen gehen! Syntax strukturelle Beschreibung des Satzbaus (Subjekt, Prädikat, Objekt; Schema der Fragebildung) Semantik formale Beschreibung des propositionalen Gehalts ((grün(x), Suppe(y), in(x,y)),?) Pragmatik Verwendung in der kommunikativen Situation, intendierte Funktion (Information, Lob, Kritik) 31