Intelligente Sprachtechnologie aus dem Saarland SemVox GmbH: Natürlich-sprachliche Assistenzsysteme

Transkript

1 Intelligente Sprachtechnologie aus dem Saarland SemVox GmbH: Natürlich-sprachliche Assistenzsysteme

2 UNTERNEHMEN UND ANWENDUNGEN 2

3 Natürlich-sprachliche Bedienung bei SemVox: Von der Forschung zum Produkt BMBF-, BMWi- und EU-Projekte im Bereich multimodale Interaktion Aufbau der multimodalen Dialogplattform ODP 2007 Prototyp Natürlichsprachlicher Zugriff auf Musik im Fahrzeug / Virtual Car Assistant 2008 Benchmarkstudie Dialogmanagement im Fahrzeug 2008 CeBIT 08: BabbleTunes - Natürlichsprachlicher Zugriff auf Apples ipod 08/2008 Gründung der SemVox GmbH als Spin-Off des DFKI Technologietransfer der Dialogplattform ODP seit 2008 Natürlichsprachlicher Dialog mit ODP in diversen Kundenprojekten 2010 talkingterminal: Plattform für interaktive Kiosksysteme 2010 Geschäftsbereich Mobile Lösungen wird etabliert 01/2012 Umzug der SemVox GmbH in die Ursulinenstraße, Saarbrücken 2012 Unterstützung von Hybrid-ASR und Open Domain NLU 05/2013 Formale Spezifikation und automatisierter Test von Sprachdialogen 08/2013 ODP S3: Release der aktuellen Generation der ODP-Technologie 09/2013 Umzug der SemVox GmbH in die Mainzer Straße, Saarbrücken 04/2014 Launch des ODP Developer Portals 3

4 Die Köpfe hinter SemVox Das Team 25 Mitarbeiter 100+ Mannjahre Erfahrung in der Entwicklung intelligenter Bedienschnittstellen und multimodaler Dialogsysteme Spezialisten aus den Bereichen Natürlich-sprachliche Interaktionsmuster, Grammatikerstellung, Sprachverstehen (NLU), Multimodale Fusion, Referenzauflösung, Diskursverarbeitung, Interaktions- und Dialogmanagement, Multimodale Fission, Sprachgenerierung Semantische Technologien, Multiagentensysteme Softwarearchitektur, Entwicklungsprozesse Mobile Betriebssysteme (Android, ios, Windows Phone), Embedded *NIX Softwareentwicklung in Java, C, C++, C#, Objective-C, Java-Script, HTML, PHP 4

5 SemVox GmbH Leistungen SemVox Technologieberatung Beratung zu Sprachsteuerung, Spracherkennung, Semantischen Technologien, mobilen Anwendungen, Gestensteuerung etc. SemVox Branchenlösungen Anwendungsentwicklung im Bereich Sprach- und Gestensteuerung für Automotive, Hausautomation, Digital Signage, Health Care, Mobile etc. SemVox APP Entwicklung Entwicklung mobiler Anwendungen auf Android, ios sowie Windows Phone 5

6 SemVox GmbH Auszug aus unserer Kundenliste 6

7 SemVox GmbH Lösungen 7

8 Hausautomation Sprachsteuerung für das vernetzte Haus Steuerung aller Gebäudefunktionen inkl. Programmierung Schaltung von Szenen Bedienung per Smartphone, Tablet, Wanddisplay oder offenem Mikrofon Video: 8

9 Home Entertainment Sprach- und Gestensteuerung Zusätzlicher Freiheitsgrad in der Bedienung von Geräten und Anwendungen Multimodale Interaktion (z.b. in Verbindung mit Sprachsteuerung) Navigation in Listen oder Menüstrukturen Video: 9

10 Automotive Natürliche Bedienung im Fahrzeug Proaktive Assistenzfunktionen Sprachbedienung für Infotainment-Funktionen mit wachsender Komplexität Sprachbedienung von Online-Diensten Senkung der kognitiven Belastung des Fahrers und Erhöhung der Fahrsicherheit Video: 10

11 Digital Signage Interaktive Informationen für Kunden & Besucher SemVox talkingterminal als interaktiver Informationskiosk Einbindung beliebiger Inhalte Self-Service, Verkaufsförderung, Orientierung Videos:

12 Health Care Sprachsteuerung im medizinischen Sektor Sprachsteuerung am Patientenbett: Zugang zu Infotainment-Angeboten Sprachsteuerung von PACS-Systemen im OP (Pilotprojekt mit UKSH) Mobile Lösungen für medizinische Anwendungen Video: 12

13 Unternehmenslösungen Sprachtechnologie in der Private Cloud Serverbasierte Spracherkennungs-, Dialog- und Sprachausgabetechnologien Gehostet in einer unternehmenseigenen IT-Infrastruktur Cloud-Diktiererkenner, z.b. für CRM Client-Software für nahezu alle Plattformen (Soundkarte & HTTP-fähig) 13

14 NATÜRLICHSPRACHLICHE BEDIENUNG 14

15 Motivation Warum natürlichsprachliche Bedienung? Effiziente Erfüllung der Aufgaben des Benutzers Benutzer delegiert seine Aufgaben System arbeitet zielorientiert Freie Wahl der Eingabemodalität (Sprache, Haptik) Flexible Dialogführung: Viele Wege führen zum Ziel Adaptives und personalisierbares Systemverhalten Senkung der kognitiven Belastung des Benutzers Steigerung der User Experience Proaktive Assistenz des Dialogsystems System macht Vorschläge (z.b. für den Zielort einer Fahrt) System ermittelt Daten aus dem Kontext Minimierung von Fehlerkennungen und Missverständnissen Ziel: Unterbrechungsfreier Dialog Vermeidung von Ich habe Sie leider nicht verstanden 15

16 Natürlich-sprachliche Systeme Phänomene (I) Spontansprachliche Phänomene HÄSITATIONEN &VARIATION Äh, ja. Spiele [den Song das Lied den Track] Yesterday. KORREKTUR Nein, nach München meine ich. Hamburg äh nein München. BARGE-IN S: Meinen Sie Peter Müller aus Hamburg oder B: Ja, den. System-bedingte Phänomene OUT-OF-DOMAIN Ich möchte Tickets bestellen. (System kennt diese Funktion nicht) OUT-OF-VOCABULARY Peter Czelniak anrufen. (Name nicht im Adressbuch) AMBIGUITÄTEN Rufe Peter Müller an. (Name existiert mehrfach im Adressbuch) 16

17 Natürlich-sprachliche Systeme Phänomene (II) Dialogphänomene REFERENZEN Diese vorlesen. Spiele den dritten Song. UNTERSPEZIFIZIERTE ANFR. B: Navigation. S: Nennen Sie den Zielort. ELLIPSEN Welche Termine habe ich am Dienstag? Und am Mittwoch? OUT-OF-FOCUS S: Bitte nennen Sie den Zielort. B: Spiele etwas von U2. MIXED INITIATIVE S: Möchten Sie diesen Termin eintragen? B: Was hab ich sonst an diesem Tag? ÜBERBEANTWORTUNG S: Bitte nennen Sie mir das Datum! B: in München. 17

18 Natürlich-sprachliche Dialogsysteme Systemüberblick (vereinfachte Darstellung) Kern der Dialogverarbeitung ist die Erkennung der Intentionen des Benutzers, die Erfüllung seiner Aufgaben im Kontext und die transparente Reaktion. 18

19 Robustheit bei natürlicher Sprache Cloud Embedded Spracherkennung Technologien im Überblick Grammatik-basierter ASR Beherrschbar; hohe Out-of-Grammar -Rate bei natürlicher Sprache; Stand der Technik bei Automotive Hamburg, Innere Wiener Straße 14. Grammatik-basierter ASR + Garbage-Modell Ergänzung der Grammatiken durch Garbage-Regeln; Steigerung der Robustheit Statistisches Sprachmodell (SLM) Größere Robustheit bei Spontansprache; Hoher Aufwand für Datensammlung/Training Open Domain / Diktat (SLM-basiert) Sprecher-unabhängige Diktiererkennung; i.a. über ext. Dienst (Nuance, Google) Hmm, Hamburg, Innere Wiener Straße ähm, 14. Ich will dann doch lieber in die Feldmann Straße 63a. Erstelle eine Nachricht an Peter Müller: Bin in einer Stunde da. Hybride Spracherkennung, also Parallelbetrieb von Embedded- und Cloud-ASR bzw. SLM, eröffnet neue Chancen, die Robustheit bei natürlicher Sprache zu steigern. 19

20 Natürlich-sprachliche Systeme Spracherkennung vs. Dialog Die Spracherkennung hat in den vergangenen 10 Jahren große Fortschritte gemacht und legt die Basis für natürliche Bedienung Nächster Schritt: Transfer aktueller Ansätze (SLM, Open Domain, Hybrid) in Automotive-Systeme ABER Allein durch robuste Spracherkennung ist ein System nicht intelligent und die Bedienung nicht natürlich Robuste Spracherkennung muss ergänzt werden durch intelligentes Sprachverstehen, alternative Eingabemodalitäten und flexiblen Dialog 20

21 MEHRWERT 21

22 Mehrwert von Sprachsteuerungs- und Assistenzlösungen (1) Grundsätzlich: Was immer schon einfach war, sollte auch einfach bleiben! Beispiel: Lichtschalter Aber: Das Programmieren von Einschaltzeiten- und Ausschaltzeiten aller Heizungsthermostate in einem Haus kann Zeit kosten! Selbst wenn man eine App dafür hat. Der Einsatz von Sprachtechnologie und Gestensteuerung sollte einen Mehrwert für den Benutzer generieren! 22

23 Mehrwert von Sprachsteuerungs- und Assistenzlösungen (2) Beispiele: Handsfree-Interaktionen: Arbeiter tragen Handschuhe oder Hände werden für Werkzeuge o.ä. benötigt. Auch im medizinischen Bereich ein relevanter Mehrwert von alternativen Interaktionsformen (wg. Sterilität). Effizienz: Die natürliche Sprache ist das effizienteste Kommunikationsmedium, über das wir verfügen ( Schalte alle Heizungen um 20 Uhr ein und um 22 Uhr aus. komplexer Bedienschritt) Zugang zu heterogenen Diensten: Sprachsteuerung kapselt verschiedene Anwendungen und Datenquellen zu einer einheitlichen Bedienschnittstelle (z.b. Auto). Barriere-Freiheit: Bei körperlichen und sensorischen Beeinträchtigungen können alternative Interaktionsformen eine Bedienung einer Technologie überhaupt erst ermöglichen (z.b. bei Sehschwächen oder motorischen Einschränkungen). Automatisierung & Qualitätssicherung: Interaktives Handbuch für Produktionsaufgaben, Rüstprozesse, Fertigung von Bauteilen. Mobilität: Ausfüllen von Formularen und Abruf von Daten von unterwegs aus. Bildschirmgröße und Aufmerksamkeit der Benutzer sind oft eingeschränkt. 23

24 Mehrwert von Sprachsteuerungs- und Assistenzlösungen (3) Müssen in Ihrem Unternehmen Geräte und Funktionen bedient werden? Haben die Mitarbeiter dafür Ihre Hände frei? Müssen Handschuhe abgelegt werden, damit ein Touchscreen bedient werden kann? Werden Informationen von verschiedenen Diensten gleichzeitig benötigt? Stellen diese Informationen einen zentralen Bestandteil der aktuellen Tätigkeit dar? Müssen für die Bedienung einer Maschine, eines Gerätes oder Produktes vielschichtige Menüs durchlaufen werden? Werden Standard-Aufgaben mobil durchgeführt (z.b. Ausfüllen von Formularen, Abruf von Kundendaten im CRM)? Sind Benutzer in Ihrer sensorischen Wahrnehmung oder in Ihrer körperlichen Bewegungsfähigkeit eingeschränkt? Haben sich Ihre Anwender schon mal über die Bedienbarkeit beschwert? 24

25 Foto auf Folie 22: Gianmaria Zanotti, Gear / Ralla Some rights reserved Quelle: SemVox GmbH (HRB 17196, Amtsgericht Saarbrücken), Mainzer Straße 120, Saarbrücken Tel: / Fax: / info@semvox.de Copyright 2014 SemVox GmbH. All rights reserved. Other names may be trademarks of their respective owners.