Open-Source Sprachsteuerung für die Heimautomatisierung

Transkript

1 G Exposé zur Bachelorarbeit im Studiengang Informatik (BCS) Open-Source Sprachsteuerung für die Heimautomatisierung von Bojan Krstic Erstgutachter: Zweitgutachter: Prof. Dr. Karl Jonas Prof. Dr. Stefan Böhmer

2 Inhaltsverzeichnis Abbildungsverzeichnis Einleitung Problemstellung und Stand der Forschung Fragestellung Ziel und Inhalt der Arbeit Vorgehensweise Inhaltsverzeichnisentwurf Literatur Zeitplan für die Abschlussarbeit

3 Abbildungsverzeichnis Abbildung 1: Lokaler Rechner mit Spracherkennungs- und Heimautomationssoftware. 5 2

4 1 Einleitung 1.1 Problemstellung und Stand der Forschung Mit dem Fortschritt der Digitalisierung ändern sich auch die Bedürfnisse, sowie die Anforderungen der Menschen. In letzter Zeit wurde recht viel in die Forschung der Sprachsteuerung investiert. Infolgedessen wurde die Technologie deutlich verbessert. Der Wunsch, möglichst viel zu automatisieren und durch einfache Sprachbefehle zu steuern, wird immer häufiger geäußert. Außerdem sollte die Technologie den älteren Menschen, sowie den Menschen mit motorischen Behinderungen als Hilfestellung dienen. Mittels den Sprachkommandos können bestimme Geräte gesteuert werden, um das Leben der betroffenen Menschen einfacher und angenehmer zu gestalten. Man befasste sich grundsätzlich mit den Problemen, wie man beispielsweise den Unterschied feststellt, ob ein Benutzer einzelne Buchstaben, das gesamte Wort oder die ganze Sätze an die Anwendung kommuniziert. Trotz des Bemühens und dem Fortschritt in dem Bereich sind viele Verbesserungspunkte zu bemerken. Einige Anbieter von der Sprachsteuerungssoftware setzen die Techniken ein, die bei den akustischen Signalen fehlerhaftes Verhalten darstellen. Es existieren viele Ursachen, u.a. die Störungen, die von außen einen Einfluss auf das Signal haben. Es kann ebenso vorkommen, dass gewisse Befehle nicht erkannt werden. Die Spracherkennungssoftware werden unter anderem durch Marktführer, wie Google Inc., Apple Inc. und Microsoft Inc. bereitgestellt, die über einen Cloud-Dienst angeboten werden. Dadurch muss eine Internetverbindung vorhanden sein. Falls diese nicht vorhanden ist, ist die Kommunikation mit der Spracherkennungssoftware unmöglich und unbrauchbar. Außerdem entsteht die Gefahr, dass die Befehle von Großunternehmen analysiert und gespeichert werden. Dadurch wird die Privatsphäre der Betroffenen verletzt. Eins der bekanntesten Open Source Projekt in Bereich Spracherkennung ist CMU Sphinx. Die CMU Sphinx ist ein Projekt der Carnegie Mellon University [Cmus15]. Neben CMU Sphinx gibt es noch weitere bekannte Programme: Simon listens, I.L.A. Voice Assistent [ILAVA15]. In Bereich der kostenpflichtigen Software ist einer der bekanntesten der Dragon von Nuance Communications Ireland Limited. Dragon unterstützt natürliches Sprechen. Dies bedeutet, dass die Software ganze natürliche Sätze erkennt. 1.2 Fragestellung Bei der Kommunikation zwischen den Menschen spielt neben Gestik und Mimik die Sprache eine wichtige Rolle. Die Sprachen, wie beispielsweise Deutsch oder Englisch, sind mehrdeutig und an vielen Stellen ungenau. Eine durchschnittliche Sprache besteht aus mehreren tausend Wörtern [DIEWELT]. Bei so einer großen Anzahl an Wörter kann es zu einer fehlerhaften Interpretation kommen. In Vergleich zu den menschlichen Sprachen ist die Computersprache sehr präzise und eindeutig. Computer verstehen nur Bitfolgen 1, 0 oder Strom an, aus und haben kein Gehirn und Verständnis um selbst zu entscheiden. So stellt sich Frage, wie gut das akustische Signal von einer Spracherkennungssoftware erkannt wird. Wo durch erkennt die Spracherkennungssoftware, wann ein Wort anfängt und wann ist zu Ende ist. Wie werden die Homonyme Wörter, die gleich ausgesprochen aber anders geschrieben werden wie zum Beispiel (Lehre-Leere), erkannt [DUD]. Open Source Spracherkennungssoftware benutzen verschiedenen Modelle und Algorithmen. Hier stellt sich Frage welche Modelle und welche Algorithmen eingesetzt werden und wie gut werden die einzelnen Wörter erkannt. 3

5 Dabei wird unterschieden, ob die lokalen Software oder die online angebotene Software, besser das akustische Signal (menschliche Sprache) erkennt oder doch nicht. Als nächste Frage ergibt sich, welche Heimautomatisierungssoftware stabil funktioniert mit der Spracherkennungssoftware. Viele verschiedene Geräte von verschiedenen Herstelle sollen durch Heimautomatisierungssoftware gesteuert werden. So soll geprüft werden, ob es eine herstellerunabhängige Lösung gibt. 1.3 Ziel und Inhalt der Arbeit Das Hauptziel der Arbeit ist eine Bewertung von frei verfügbarer Spracherkennungssoftware für den Einsatz in der Heimautomatisierung. Hierfür wird zunächst die Theorie der Spracherkennung aufgearbeitet. Wesentliche Algorithmen werden detailliert beschrieben. In einer Zusammenfassung aktueller Forschungsarbeiten wird der Stand der Forschung dargestellt. Anschließend werden verfügbare Implementierungen von Spracherkennungssoftware kurz beschrieben und verglichen. Hier wird insbesondere auf den unterschiedlichen Ansatz lokaler und cloud-basierter Analyse eingegangen. Eine mögliche Bewertung erfolgt auch vor dem Hintergrund des angestrebten Einsatzszenarios, bei dem nur eine begrenzte Anzahl von Kommandos möglichst zuverlässig erkannt werden muss. Im praktischen Teil der Arbeit wird eine Open-Source Spracherkennung eingesetzt, um in einer Heimautomatisierung Kommandos absetzen und Aktionen auslösen zu können. Der praktischen Umsetzung folgt ein Vergleich der Erkennungsqualität mit unterschiedlicher Hardware (Mikrofone), unterschiedlichen Distanzen (zwischen Sprecher und Mikrofon), sowie unterschiedlichen Sprechern. In einem Fazit soll bewertet werden, wie geeignet eine Open-Source-Spracherkennung für den Einsatz in der Heimautomatisierung ist. 1.4 Vorgehensweise Für die Analyse und Realisierung einer Heimautomation, die durch eine Sprachsteuerung gesteuert wird, müssen zuerst die Methoden und die Techniken beschrieben werden. Dies übermittelt dem Leser das Verständnis grundlegender Abläufe einer Spracherkennung. Demnach werden einzelne Konzepte, die Open Source Software und die Cloud Software beschrieben. Bei der Beschreibung der Cloud Software wird auf die Produkte, wie zum Beispiel Google Now von Google, Cortana von Microsoft oder Siri von Apple genauer eingegangen. Da es verschiedene Modelle gibt, die zur Spracherkennung dienen, so werden auch die Modelle, die bei Google, Apple und Microsoft zu Einsatz kommen, untersucht. Anschließend findet eine Analyse und Vergleich der einzelnen Software und akustischen Modellen, die für lokale Systeme und Cloud Systeme verwendet werden. Mit den erarbeiteten Konzepten für die Spracherkennung soll im praktischen Teil der Arbeit die Geräte im Haushalt gesteuert werden. Die ganze Spracherkennung und Hausautomatisierung soll als ein kostengünstiges Sprachsteuerungssystem werden. Dementsprechend wird ein Open Source Spracherkennungssoftware auf ein kostengünstiges Einplatinencomputer installiert. Die Einplatinencomputer wie Raspberry Pi oder Arduino sind am besten geeignet, da diese leistungsschwacher und preisgünstiger als normale Rechner sind. Eine begrenzte Anzahl von Wörtern soll durch Spracherkennungssoftware erkannt werden und an die Heimautomatisierungssoftware weiter geleitet werden. Auf dem gleichem Einplatinencomputer soll die Heimautomatisierungssoftware für die Steuerung von Geräten installiert werden. Hier wird eine Open Source Lösung 4

6 eingesetzt. Eine herstellerunabhängige Hardware und eine unabhängige Software wird für den Einsatz in Smart Home ausgesucht. Nach der Installation wird analysiert, ob die Hardware Voraussetzungen für Spracherkennung ausreichend sind. Die Abbildung 1 zeigt den Aufbau und Installation von Spracherkennungssoftware und Heimautomatisierungssoftware, sowie Kommunikation zwischen den einzelnen Komponenten. Zum Schluss wird die Implementierung mit der Auswertung und dem Test durchgeführt. Abbildung 1: Lokaler Rechner mit Spracherkennungs- und Heimautomationssoftware 5

7 2 Inhaltsverzeichnisentwurf Während der Bearbeitungszeit können Änderungen bei dem Inhaltsverzeichnis stattfinden. 1. Einführung in die Thematik 1.1. Motivation 1.2. Zielsetzung der Spracherkennung 1.3. Stand der Forschung 1.4. Anforderung der Spracherkennungssoftware 1.5. Anwendungsgebiete 2. Theoretische Grundlagen 2.1. Vorverarbeitung 2.2. Digitalisierung von Signal Abtastung Quantisierung 2.3. Merkmalextraktion Filterung Transformation Diskrete Fourier Transformation 2.4. Erkennung Sprachverarbeitung Akustikmodell Sprachmodell 2.5. Modelarten N-Gramm Modell Hidden Markov Modell (HMM) DTW- Modell 3. Konkrete Realisierungen 3.1. Kommerzielle Systeme Google Apple Amazon Microsoft 3.2. Open Source Systeme CMU Sphinx Julius mit HTK RWTH ASR 4. Anwendung der Spracherkennung, Sprachsteuerung in der Heimautomatisierung 4.1. Zusammenhang von Sprachsteuerung und Heimautomatisierung 6

8 Kommerzielle Software RWE Philips Open Source Software OpenHAB Eclipse FHEM 4.2. Zusammenhang von Sprachsteuerung und Heimautomatisierung in Zukunft Kommerzielle Software RWE Philips Open Source Software OpenHAB Andere 5. Hardwareanforderungen 5.1. Hardware Voraussetzungen für die Spracheerkennung CPU Soundkarte 5.2. Hardware für Aufnahme mit dem Mikrofon 6. Konzeption der Sprachsteuerung in der Heimautomatisierung 6.1. Heimautomatisierungssoftware 6.2. Sprachsteuerungssoftware 6.3. Zusammenhänge zwischen Sprachsteuerungssoftware und Heimautomatisierungssoftware 7. Evaluation 7.1. Drei Preisklassen von Mikrofonen Untere Preisklasse bis 10 Test Zwei abständen jeweils ca. 5 Personen Mittelepreisklasse von Preis Zwei abständen jeweils ca. 5 Personen Höhere Preisklasse Mikrofon bis 100 Zwei abständen jeweils ca. 5 Personen Demonstration und Präsentation (Kolloquium) 8. Zusammenfassung ausgearbeitete Thema 9. Anhang 7

9 3 Literatur [CMUSPX] [DEBIAN] [DIEWELT] [DITRICK08] [DUD] [ENGEF13] [EULER06] [GITOPEHAB] [OPEHAB] [RASBERPI] CMU Sphinx. Stand Debian Stand Die Welt Stand Shell-Skript Programmierung. 3. Auflage, Redline GmbH, Heidelberg Duden Stand Hausautomation mit Raspberry PI. 1. Auflage, Franzis Verlag GmbH,München Grundkurs Spracherkennung. 1. Auflage, GWV Fachverlag GmbH, Wiesbaden Git OpenHAB. Stand OpenHAB. Stand Raspberry PI Stand

10 4 Zeitplan für die Abschlussarbeit Anmeldung der Abschlussarbeit: Datum dd.mm.yyyy Gesamt Bearbeitungszeit: 12 Wochen 1. Einführung in die Thematik Dauer ab Anmeldung: 3-4 Tage Einleitung, Kapitel 1 2. Theoretische Grundlagen Woche 1 Probleme, Funktionsweise und Vorverarbeitung bei der Spracherkennung. Woche 2 Woche 3 Spracherkennung und Modellerkennung. Modellarten, ob sich um ein Sprachmodell oder ein Akustikmodell handelt. 3. Konkrete Realisierungen Woche 4 Woche 5 Kommerzielle, Clous Systeme, Beschreibung und welche es gibt. Open Source Systeme. Welche Modelle, Arten werden benutzt. 4. Anwendung der Spracherkennung, Sprachsteuerung in der Heimautomatisierung Woche 6 Was gibt es schon. Die Kommerzielle und Open Source Software für die Heimautomatisierung. Woche 7 Was kann man sich vorstellen und wo könnte das Spracherkennungssoftware eingesetzt werden. 5. Hardwareanforderungen für Spracherkennung Woche 8 Hardware Voraussetzung für die Spracherkennung. Test, Analyse von Mikrofonen die Eingesetzt werden. 6. Konzeption der Sprachsteuerung in der Heimautomatisierung Woche 9 Woche 10 Realisierung der Sprachsteuerung in der Heimautomatisierung. Installation, einrichten und anpassen von Software. Beschreibung und Vorschlag. Einrichtung das Heimautomatisierungssoftwares für Spracherkennung. 9

11 7. Evaluation und Test von Erkennungssoftware Woche 11 Testen von drei Preisklassen Mikrofonen zusammen mit 5 Verschiedenen Personen. 8. Zusammenfassung ausgearbeitete Thema Woche 12 Zusammenfassung und Ausblick gesamter Arbeit. 10