Sprachtechnologie und Künstliche Intelligenz Prof. Dr. Stephan Busemann

Transkript

1 Sprachtechnologie und Künstliche Intelligenz Prof. Dr. Stephan Busemann Stv. Leiter Bereich Sprachtechnologie Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Saarbrücken , Frankfurt answers2018

2 Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) Das DFKI ist weltweit eines der wichtigsten Zentren für Forschung und Anwendung in KI 1988 als Public-Private-Partnership gegründet Verbunden mit sechs Universitäten Geschäftsführer: Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster Einige DFKI-Fakten: 938 Beschäftigte (740 FTE) 41,4 M Umsatz (2016) 19 Forschungsbereiche 334 laufende Projekte Osnabrück Bremen Kaiserslautern Saarbrücken Berlin (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 2

3 Gesellschafter der DFKI GmbH (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 3

4 Künstliche Intelligenz (KI) Intelligenz? Künstlich?? Artificial Intelligence Keine klare Definition, auch nach über 60 Jahren nicht Erfordert Schachspielen Intelligenz? Oder vielleicht nur Rechenfähigkeit? Natürlich-intelligente Systeme sind jedenfalls keine Fachidioten KI in DFKI Klare Unterscheidung von Fantasien und realen Chancen Zukunftsorientierte Lösungen mit innovativer Softwaretechnologie (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 4

5 Arbeitsdefinition für KI Künstliche Intelligenz (KI) ist die Eigenschaft eines IT-Systems, der menschlichen Kognition ähnliche Fähigkeiten zu zeigen. Ansatzweise: Dialogfähigkeit heutiger Smartphones. Übermenschlich: Auswertung zehntausender MRT-Scans. KI-Systeme verfügen in unterschiedlichen Anteilen über die Fähigkeiten situatives Wahrnehmen, Kommunizieren, Planen, Handeln, Schlussfolgern und Lernen. (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 5

6 Evolution in der KI Ausgabe Ausgabe Ausgabe Maschinelles Algorithmus, Heuristik Suche, Inferenz, Planung Lernen Merkmalsextraktion, Mustererkennung, Merkmalsabbildung Computerprogramm Wissensverarbeitung Programmierer erstellt Software Wissensbasis Fakten, Regeln, Modelle Datenbasis Trainingsdaten, Metadaten, Testdaten Eingabe Eingabe Eingabe Flaschenhals: Programmierer hoher Entwicklungsaufwand aufwändige Adaption geringe Erklärungsfähigkeit Flaschenhals: Wissensbasis hoher Entwicklungsaufwand hoher Pflegeaufwand gute Erklärungsfähigkeit Flaschenhals: Trainingsdaten geringer Entwicklungsaufwand leichte Anpassbarkeit schlechte Erklärungsfähigkeit (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 6

7 Maschinelles Lernen mit Neuronalen Netzen Erfolge mit NN aus dem Jahr 2017, u.a.: Maschinelle Übersetzung (DeepL, Google, DFKI) Text2Speech (DeepMind) Lippen lesen (DeepMind, besser als Menschen) Visual Reasoning(95,5% accuracy, besser als Menschen) Quelle: (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 7

8 Warum sind Neuronale Netze so erfolgreich? Daten (Paare von Eingabe und gewünschter Ausgabe) Trainingsdaten werden verwendet, um ein Modell zu erzeugen Müssen repräsentativ für die zu lösende Aufgabe sein Testdaten werden verwendet, um ein Modell zu verifizieren Müssen zu Trainingsdaten passen Daten haben oft gefehlt jetzt in sehr großen Mengen verfügbar. Konstruktion von Modellen Extrem rechenintensiv und auf Standard-PCs eine Frage von Monaten Mit GPU-Maschinen lassen sich Modelle sehr viel schneller generieren. Neuronale Netze werden jetzt immer häufiger in industrieller Umgebung eingesetzt. (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 8

9 Sprache und Text Menschliche Sprachen: elegant, effizient, flexibel und komplex Ein Wort viele Bedeutungen Eine Bedeutung viele Wörter Bedeutung abhängig vom Kontext Wörtliche und bildliche Bedeutung Sprache und Kultur Phonologie, Morphologie, Syntax, Semantik, Pragmatik und: Sprache ändert sich ständig... (c) DFKI GmbH S. Busemann, DFKI GmbH answers2018 9

10 Sprache und Verstehen Zeitungsüberschriften From lecture notes by Chris Manning Minister Accused Of Having 8 Wives In Jail Juvenile Court to Try Shooting Defendant Teacher Strikes Idle Kids Miners refuse to work after death Local High School Dropouts Cut in Half Red Tape Holds Up New Bridges Clinton Wins on Budget, but More Lies Ahead Hospitals Are Sued by 7 Foot Doctors Police: Crack Found in Man's Buttocks (c) DFKI GmbH S. Busemann, DFKI GmbH answers

11 Maschinelle Lernverfahren Textklassifikation Gegeben eine Menge von Kategorien; zu welcher gehört ein hereinkommender Text? Maschinelle Übersetzung Gegeben ein Satz in einer Sprache L; wie lautet eine Übersetzung in eine Sprache L? Erkennung von Namensausdrücken Gegeben ein Text;welche Wörter sind Namen und von welchem Typ? Erkennung von Relationen Gegeben ein Text; welche Elemente stehen in Beziehung zueinander und wie heißen die Beziehungen? (c) DFKI GmbH S. Busemann, DFKI GmbH answers

12 Maschinelle Lernverfahren Textklassifikation Gegeben eine Menge von Kategorien; zu welcher gehört ein hereinkommender Text? Maschinelle Übersetzung Gegeben ein Satz in einer Sprache L; wie lautet eine Übersetzung in eine Sprache L? Erkennung von Namensausdrücken Gegeben ein Text;welche Wörter sind Namen und von welchem Typ? Erkennung von Relationen Gegeben ein Text; welche Elemente stehen in Beziehung zueinander und wie heißen die Beziehungen? (c) DFKI GmbH S. Busemann, DFKI GmbH answers

13 Linguistische Verarbeitung von unstrukturierten Daten Linguistische Pipeline Sprachidentifizierung Segmentierung Tokenisierung Part-of-Speech-Tagging Lemmatisierung Entity Linking Morphologische Analyse Erkennung von Namensausdrücken Relationsextraktion Dependenz-Parsing (c) DFKI GmbH S. Busemann, DFKI GmbH answers

14 Maschinelle Übersetzung Maschinen, die Unsere Sprache sprechen und verstehen Fragen beantworten, Information auffinden, Text erzeugen, Text klassifizieren, Übersetzen: Überwindung von Sprachbarrieren (c) DFKI GmbH S. Busemann, DFKI GmbH answers

15 Neuronale Maschinelle Übersetzung (c) DFKI GmbH S. Busemann, DFKI GmbH answers

16 Statistische vs. Neuronale MÜ Statistische MÜ Viele lokale Entscheidungen = Unabhängigkeitsannahmen Manchmal grobe Ausgabe: Stücke, die nicht ganz passen und einige von ihnen an der falschen Stelle. Nicht so reibungslos und flüssig wie menschliche Übersetzungen. Neuronale MÜ Viel mehr ganzheitlich als statistische MÜ Entscheidungen im vollen Kontext Verteilte kontinuierliche Darstellungen von Wörtern und Sätzen statt diskreter Blöcke Flüssigere, menschenähnliche Übersetzung Quelle: Wie kann ich die Farbe, mit der ich arbeite, ändern? Referenz: How can I change the color I am working with? SMÜ: How can I change the colour, with whom I work, change? NMÜ: How can I change the color I work with? (c) DFKI GmbH S. Busemann, DFKI GmbH answers

17 Künftige Herausforderungen Neuronale Netze (ebenso wie andere Optimierungsverfahren) liefern Ausgaben, die wahrscheinlich korrekt sind Menschen können unterscheiden zwischen beweisbar korrekten und wahrscheinlichen Ergebnissen Sicherheitsrelevante Aufgaben erfordern extrem viel Training, z.b. Autonomes Fahren Neuronale Netze können ihre Ergebnisse nicht erklären; ihre Verhalten ist jedoch visualisierbar, z.b. mit sog. attention heatmaps Erklärbarkeit ist ein wichtiges Forschungsthema (c) DFKI GmbH S. Busemann, DFKI GmbH answers

18 Daten, Daten, Daten! Daten sind wertvoll! Entscheidend für hohe Performanz ist die Verfügbarkeit von Daten In möglichst großer Anzahl, In hoher Qualität (exaktes Alignment) und Möglichst genau zur Aufgabe passend. Beispiel: maschinelle Übersetzung in einer medizinischen Domäne Spezial-Terminologie Spezieller Satzbau (z.b. Arztbriefe) Daten für unterschiedliche Sprachpaare unterschiedlich zahlreich und auf einmal zeigt sich, dass doch nicht genügend Daten existieren!? (c) DFKI GmbH S. Busemann, DFKI GmbH answers

19 Mensch und Maschine: Ein Siegerteam! MÜ ist heute durch NN in vielen Gebieten sehr brauchbar, aber bei Weitem nicht perfekt Nachbearbeitung durch Mitarbeiter Mit steigender Systemqualität zunehmend schneller Ergebnisse können in die Trainingsdaten einfließen und so das System verbessern. MÜ- System Manuell nachbearbeiteter Text (c) DFKI GmbH S. Busemann, DFKI GmbH answers

20 Künstliche Intelligenz wird unser Leben nachhaltig verändern Quelle: DFKI, Bitkom (Hrsg.): Entscheidungsunterstützung mit Künstlicher Intelligenz Tiefgreifende Veränderungen in den Unternehmen und staatlichen Institutionen durch Automatisierung und Mensch-Maschine-Teamarbeit. Organisationale Veränderungen besonders dort, wo der KI-Einsatz besonders vielversprechend ist, z.b.: die menschliche Interaktion, die Situationserkennung, die Entscheidungsunterstützung sowie die Entwicklung von Vorhersagen. (c) DFKI GmbH S. Busemann, DFKI GmbH answers

21 Künstliche Intelligenz wird unser Leben nachhaltig verändern Quelle: DFKI, Bitkom (Hrsg.): Entscheidungsunterstützung mit Künstlicher Intelligenz Routinetätigkeiten werden nicht mehr auf den Arbeitsmärkten nachgefragt werden Der Mensch wird nicht ersetzt werden. Zahlreiche neue Berufe Aufwertung von Berufsgruppen in Bereichen wie soziale Dienstleistungen, Kunst und Kultur, Unterhaltung, Freizeitgestaltung, Ausbildung und Umwelt Kreative Arbeit wird gestärkt. (c) DFKI GmbH S. Busemann, DFKI GmbH answers

22 Prozesse in intelligenten Systemen Wahrnehmen/ Erkennen Planen/ Handeln Verstehen/ Wissen (c) DFKI GmbH S. Busemann, DFKI GmbH answers

23 Prozesse in intelligenten Systemen Wahrnehmen/ Erkennen Dialogäußerung, z.b. als Frage Dialogäußerung als Antwort Planen/ Handeln Verstehen/ Wissen Bedeutung und Intention (c) DFKI GmbH S. Busemann, DFKI GmbH answers

24 Maschinelles Lernen Grenzen!? Maschinelles Lernen Wahrnehmen/ Erkennen Explizites, nachvollziehbares Verstehen findet nicht statt! Planen/ Handeln Verstehen/ Wissen (c) DFKI GmbH S. Busemann, DFKI GmbH answers

25 Herausforderung: ML in allen Prozess- Schritten Wahrnehmen/ Erkennen Maschinelles Lernen Planen/ Handeln Verstehen/ Wissen (c) DFKI GmbH S. Busemann, DFKI GmbH answers

26 Zusammenfassung Der aktuelle Hype um KI basiert auf dem Erfolg von tiefgehendem Lernen und Neuronalen Netzen. Neuronale Netze bringen Durchbrüche in vielen Anwendungen, auch der Sprachtechnologie. Neuronale Netzesind reif für Anwendungen sofern der Mensch nicht ausgeschlossen wird! Die Digitalisierung unserer Gesellschaft wird zunehmend schneller intensiviert. Es bleiben wichtige Fragen offen, die weitere Forschung erfordern. Wir stehen am Ende des Anfangs. (Fei FeiLi) (c) DFKI GmbH S. Busemann, DFKI GmbH answers

27 Danke! --- Ihre Fragen? (c) DFKI GmbH S. Busemann, DFKI GmbH answers