Allgemeines. Installation. Wie funktioniert simon. Erklärung des Schattenlexikons. Client/Server Architektur und die Beweggründe dafür

Transkript

1 Allgemeines Wie funktioniert simon simon ist eine Spracherkennungssoftware, deren Ziel es ist, auch sprachlich und körperlich beeinträchtigten Personen die Bedienung eines Computers die Produktion eines schriftlichen Outputs durch Diktation zu ermöglichen. Erklärung des Schattenlexikons Da man für die Spracherkennung der Software angeben muss, wie ein Wort ausgesprochen wird, muss beim Hinzufügen des Wortes die Lautschrift angegeben werden. Da man jedoch in den seltensten Fällen dazu in der Lage ist ein Wort korrekt in der sogenannten Sampa-Notation wiederzugeben, greift simon auf ein sogenanntes Schattenlexikon zurück. Sinn davon ist es, beim Hinzufügen von Wörtern gleich eine passende Sampa-Notation und eine grammatikalische Zuordnung vorschlagen zu können. Client/Server Architektur und die Beweggründe dafür simon besteht aus 2 Komponenten. simon selbst, welcher als sogenannter Client fungiert und die erkannten Befehle ausführt und simond, der Server, auf dem die eigentliche Erkennung läuft und mit dem das Sprachmodell verwaltet wird.. Installation Download von simon Um simon aus dem Internet herunter laden zu können. Muss man nur die Seite besuchen. Dort befindet sich auf der Startseite ein Button Download. Hier können Sie dann simon, passend für die jeweilige Plattform (Windows oder Linux) herunterladen.

2 Ausführen des Setups Um das Setup auszuführen, müssen Sie nur auf die heruntergeladene ausführbare Datei doppelt klicken und den Anweisungen des Installationsassistenten folgen. HTK-Installation Um HTK, welches für die Kompilierung des Sprachmodells nötig ist, herunterzuladen müssen Sie sich unter registrieren. Wenn Sie von dort Benutzername und Passwort erhalten haben, können Sie das Paket von htk.eng.cam.ac.uk/ftp/software/htk-3.3-windows-binary.zip herunterladen. (Anm.: Das Paket beinhaltet nur Windows-Dateien. Für die Linux-Version lesen Sie bitte den Artikel in unserem Wiki unter Die Dateien, die die Datei htk- 3.3-windows-binary.zip beinhaltet, sollten in den Ordner /bin im simon- Installationsordner (Standardmäßig: C:\Program Files\simon 0.2\ ) entpackt werden. Hadi-Bomp Um benötigte Daten für das Schattenlexikon zur Verfügung zu haben, wird ein Lexikon benötigt. Wir arbeiten mit dem HADI-BOMP der Universität Bonn. Dies kann unter angefordert werden. Hierzu ist lediglich eine , in der Sie die Lizenzbestimmungen ( abteilung-sprache-undkommunikation/phonetik/sprachsynthese/bomp/forschung/abteilung-sprache-undkommunikation/phonetik/sprachsynthese/bomp/bomp-license-terms) anerkennen, mit dem Betreff BOMP Download an bomp@ifk.uni-bonn.de zu richten. In der

3 sollte weiters stehen, dass Sie das Hadi-Bomp Lexikon und ob Sie es als ZIP oder als TAR.GZIP erhalten wollen (Empfohlen: ZIP). Wortliste: Kurze Erklärung des Interfaces Das Interface teilt sich in 2 Bereiche auf: das Vokabular und das Worttraining. Vokabular Worttraining Wie man Wörter trainiert Um Wörter zu trainieren muss man es lediglich aus dem Vokabular auf der rechten Seite in das Feld vom Worttraining auf der linken Seite ziehen. Alternativ markiert man das Wort im Vokabular und drückt auf den Button Zum Training hinzufügen. Um das Training zu starten muss man nur mehr auf Trainiert die ausgewählten Wörter klicken und den Anweisungen des Assistenten folgen. Da man die Möglichkeit hat, auch mehrere Wörter gleichzeitig zu trainieren kann man mit dem Button Wort aus Training löschen auch unerwünschte Wörter aus der Trainingsliste entfernen. Anmerkung: Es können nur Wörter trainiert werden, die vorher hinzugefügt wurden (Siehe Wort hinzufügen). Bei einer Neuinstallation ist die Wortliste leer. Wörterbücher importieren Um ein Wörterbuch zu importieren muss man lediglich auf den Button Wörterbuch importieren drücken und den Anweisungen des Assistenten folgen. Da wir das Hadi- Bomp der Universität Bonn empfehlen sind alle Standardeinstellungen bereits darauf ausgelegt. Sollten Sie ein anderes Wörterbuch importieren wollen, müssen sie die jeweiligen Einstellungen gegebenenfalls anpassen.

4 Schattenlexikon Über das Optionsfeld Zeige auch unverwendete Wörter an (Schattenlexikon) kann man die im Schattenlexikon vorhandenen Wörter anzeigen lassen. Dies sind die Wörter die im Sprachmodell nicht vorhanden sind. Beim Hinzufügen eines neuen Wortes wird allerdings darauf zugegriffen um einen Vorschlag zur Sampa-Notation zu liefern. Wort hinzufügen: Erklärung der Dialoge Wenn man ein neues Wort hinzufügen möchte, muss man im Menü auf den Button Wort hinzufügen drücken. Danach startet der Assistent zum hinzufügen neuer Wörter, der einen durch den Aufnahmeprozess hindurchführt. Auf der ersten Seite muss man das Wort angeben, welches man hinzufügen will. Danach muss man das Wort definieren. Erklärung mit SAMPA, Terminal, Ähnliche Wörter, Beispiele Unter einem Terminal versteht man die grammatikalische Definition eines Wortes. So ist zum Beispiel das Wort Tisch ein Nomen und hat infolgedessen, laut Hadi-Bomp den Terminal NOM. Hierzu muss man Anmerken, dass das Terminal nicht normiert ist und man daher auch beliebige neue Terminale hinzufügen kann. Das Terminal wird über die Grammatik bei der Erkennung so verwendet, als dass nur gewissen Wortkonstellationen erlaubt sind. So ist es, wenn man die Worte Seite (Terminal: NOM) und Runter (Terminal: TME) im Wörterbuch hat und die Grammatik nur die Konstellation NOM TME erlaubt, nur möglich, dass Seite Runter erkannt wird aber nicht Runter Seite. Die Sampa-Notation beschreibt simon wie das Wort ausgesprochen wird. Ist also

5 nichts anderes als eine Standardisierte Lautschrift. Dadurch wird es simon ermöglicht sprachunabhängig zu agieren und auch mehrere Sprachen zu vermischen. Im Reiter Ähnliche Wörter werden die von simon gefundenen Wörter aufgelistet, die im Schattenlexikon vorhanden sind. Im Reiter Beispiele schlägt simon zwei Wortkombinationen vor, welche im Anschluss trainiert werden. Diese werden aus der vorhandenen Grammatik und den bereits in der Wortliste vorhandenen Wörtern erstellt. Erklärung wie man die Sampa-Notation eines unbekannten Wortes herleitet Sollte simon einmal ein Wort nicht vorschlagen können, weil es zum Beispiel nicht im Schattenlexikon vorhanden ist, so muss man die Sampa-Notation selbst herleiten. Dies sollte allerdings kein großer Aufwand sein und wird hier mittels eines Beispieles veranschaulicht:

6 Annahme:Wir wollen das Wort Lesezeichen hinzufügen, welches allerdings nicht im Hadi-Bomp Wörterbuch vorhanden ist. Da sich das Wort primär aus Lese ( l e: ) und Zeichen ( ts ai n ) zusammensetzt kann man die Sampa-Notation kombinieren, indem man die Wörter Lese und Zeichen getrennt im Schattenlexikon sucht und so zur Sampa-Notation kommt die man händisch zusammensetzen kann. Heraus kommt dann einfach l e: ts ai n. Funktion Verwandte Wörter Die Funktion Verwandte Wörter ermöglicht es einem, von bereits vorhandenen Wörtern, in denen das gesuchte Wort Bestandteil ist, zu wählen. So kann man auch Rückschlüsse auf die Sampa-Notation schließen. Beispiel: Wenn man nach dem Wort Lese sucht und die Funktion Zeige verwandte Wörter aktiviert, so werden einem im Reiter Ähnliche Wörter auch Wörter angezeigt, die Lese beinhalten, wie zum Beispiel belesen. Besonderheiten auf die man beim Aufnehmen achten muss Hat man alle Einstellung des Wortes definiert, muss man das Wort zweimal aufnehmen. Hier sollte man folgendes Beachten: Bei der Aufnahme wäre optimal vorher und nachher ein bis zwei Sekunden Stille zu lassen. Sprich man sollte, nachdem man auf den Aufnahmeknopf gedrückt hat, ein bis zwei Sekunden warten bevor man spricht. Ebenso ist darauf zu achten, dass das gesprochen wird, was simon im Textbereich hinschreibt. Dies sind immer die Beispiele aus dem Reiter Beispiele. Sollte man nur das eine Wort sprechen wollen und simon stellt ein anderes Wort davor oder dahinter, so muss man einen Schritt zurück gehen und es im Reiter anpassen. Grammatik: Erklärung zur Grammatik Um ein Terminal in die Grammatik hinzuzufügen gibt man den Namen des neuen Terminals in das Textfeld ein und bestätigt durch einen Klick auf die Schaltfläche hinzufügen. Nun erscheint der neue Terminal in der Liste, wodurch es möglich ist ihn wiederum durch anwählen und klicken der Schaltfläche löschen aus der Grammatik zu entfernen. Anmerkung: Bei einer Neuinstallation von simon ist die Liste leer und muss händisch eingetragen werden. Hierzu MUSS jeder vorhandene Terminal der Wörter der Wortliste mindestens einmal vorhanden sein. Die Definition der Grammatik hängt davon ab welches Szenario mit welchen Wörtern und Wortkombinationen man umsetzen will.

7 Grammatik aus Text importieren Durch die Schaltfläche Aus Text importieren ist es möglich Textdateien zu importieren, aus denen automatisch die Grammatik heraus gefiltert und zur Grammatik von simon hinzugefügt wird.

8 Die Funktionen Terminal umbenennen und Terminale verbinden Terminal umbenennen: Durch einen Klick auf die Schaltfläche Terminal umbenennen wird ein Dialog geöffnet, der es ermöglicht ein bestehendes Terminal umzubenennen. Terminale verbinden: Durch klick auf die Schaltfläche Terminale verbinden wird ein Dialog gestartet, der es ermöglicht 2 Terminale miteinander zu verbinden, wodurch die Lesbarkeit der Grammatik sowie der Wortliste erhöht werden kann.

9 Training: Erklärung des Interfaces Durch wechseln in den Training -Tab gelangt man in das Trainingsmenü, wo man bereits importierte Trainingstexte trainieren kann, um die Erkennungsrate aufgenommener Wörter zu verbessern bzw. nicht aufgenommene Wörter, die in den Trainingstexten vorkommen direkt aufzunehmen. Man startet das Training eines Textes durch dessen Auswahl und klickt auf die Training starten Schaltfläche. Erklärung des Trainingswizards Durch starten des Wizards wird zuerst auf noch nicht aufgenommene Wörter geprüft, die im Trainingstext vorkommen. Der Wizard ermöglicht die direkte Aufnahme der Wörter. Sind nun alle Wörter aufgenommen, führt der Wizard weiter durch das Training und gibt immer bestimmte Wörter aus dem Text zum Training vor. Wenn man alle vorgegebenen Wörter aufgenommen hat klickt man auf Training beenden um das Training dieses Trainingstextes abzuschließen und die Trainingsdaten in simon einfließen zu lassen. Erklärung Text importieren Der Dialog, welcher durch klick auf Text importieren gestartet wird, bietet die Möglichkeit neue Trainingstexte sogleich in die Liste der vorhandenen Texte aufzunehmen, um diese je nach Belieben zu Trainieren bzw. auf diesem Weg neue Wörter aufzunehmen.

10 Kommandos: Erklärung des Interfaces Das Interface ist in 3 Spalten aufgeteilt. Die linke Spalte beinhaltet die Kategorien, die mittlere Spalte die Liste der Kommandos und die rechte Spalte die Details zu einem Kommando Erklärung des Plugins: Tastenkürzel Tastenkürzel sind das gleichzeitige oder aufeinander folgende Drücken mehrerer Tasten auf Computertastaturen in einer bestimmten Reihenfolge. Um dies zu simulieren wird dieses Plugin verwendet. Hier sind alle Kombinationen bis auf 3 Ausnahmen möglich. Diese Ausnahmen werden im Feld Spezial-Tastenkürzel angezeigt und können dort eingestellt werden.

11 Erklärung des Plugins: Programm Mit dem Plugin Programm ist es möglich beliebige Programme auszuführen. Dazu kann man den Pfad und das Programm manuell eingeben oder es über einen Assistenten auswählen (experimentell!). Erklärung des Plugins: Ort Hiermit ist es möglich einen Ort aufzurufen. Unter einem Ort versteht man ein Verzeichnis, welches sich am lokalen Computer oder auch im Internet befindet. Da man auch das entsprechende Protokoll angeben kann, ist es auch möglich Adressen anzugeben. Hierfür muss man lediglich Mailto: vor die adresse schreiben. (Beispiel: würde das Standard- - Programm starten.)

12 Erklärung des Plugins: Text-Makro Mit dem Plugin Text-Makro ist es möglich ganze Texte auf einen Befehl hin schreiben zu lassen. Erklärung des Plugins: Liste Unter einer Liste versteht simon eine Auswahl an Kommandos die über Zahlen angesteuert werden können. So kann man sich zum Beispiel eine Liste mit Lesezeichen auf den Befehl Lesezeichen anzeigen lassen. Hierfür muss man jedes Lesezeichen als Ort anlegen und diese dann in die Liste Lesezeichen aufnehmen. Es ist möglich jedes vorhandene Kommando in eine Liste aufzunehmen. Wie bereits erwähnt sind diese dann mit Zahlen ansteuerbar. Sollte infolgedessen mehr als 9 Möglichkeiten zu Auswahl stehen, erkennt simon dies und teilt dies automatisch in mehrere Gruppen auf.

13 Erklärung von verschachtelten Listen mit Beispielen Da für Listen alle bereits vorhandenen Kommandos zur Verfügung stehen, kann man auch andere Listen einfügen. Bildliches Beispiel von Textbausteinen: Mit einem Beliebigen Befehl wird die Liste der verschiedenen Satztypen aufgerufen. Über 2 wird dann der Katalog mit Fragen aufgerufen. Nun wählt man aus wie die Frage beginnt. Wir wählen wann... 1 Jetzt kann man den endgültigen Satz auswählen. Erklärung des Plugins: Kombination Mit dem Plugin Kombination ist es möglich ganze Befehlsabläufe zu speichern und auf Befehl auszuführen. Man erstellt eine Liste mit Befehlen, welche dann der Reihe nach abgearbeitet werden. Beispiel: Wenn ich eine Nachricht an einen Freund über einen Instantmessenger schicken will, kann ich in der Kombination davon zuerst das Programm starten, danach soll simon den passenden Benutzer auswählen und das Nachrichtenfenster öffnen.

14 Erklärung des Plugins: Diktation Das Plugin Dikation ermöglicht es nur, dass die Wörter, welche von simon erkannt werden, geschrieben werden. Erklärung des Plugins: Zahl eingeben inkl. Konfiguration Über das Plugin Zahl eingeben ist es möglich auch komplexere Zahlen einzutippen, ohne dass es nötig ist, die jeweiligen Wörter aufzunehmen und zu trainieren. Die einzigen Wörter die hierfür benötigt werden sind die Zahlen von 0-9, zurück um eine Eingabe zurückzunehmen, ok um eine Eingabe zu bestätigen, abbrechen um eine Eingabe abzubrechen und eventuell Komma um ein Dezimalzeichen zu setzen. Erklärung des Plugins: Desktopgitter inkl. Konfiguration Das Desktopgitter teilt den Bildschirm im 9 Teile auf, die mit Zahlen ansteuerbar sind. Das Feld teilt sich dann wieder in neun Teile auf. Dies geht so weiter bis die kleinst mögliche Aufteilung erreicht ist. Wählt man dann das passende Feld, klickt simon einmal auf eben jenen Bereich. Simon ermöglicht damit auch Befehle anzusteuern die mittels Tastatur nicht erreichbar sind.

15 Zuweisung eines Icons an einen Befehl 1 2 ksimond Um bei einem Kommando das Icon zu ändern muss man in die Einstellung des Kommandos gehen. Durch einen Klick auf das Icon rechts oben kommt man in den Icon-Dialog, mit dem Benutzer anlegen/löschen Um in ksimond einen neuen Benutzer anzulegen, muss man als erstes auf den Tab Benutzer wechseln. Nun kann man durch klicken auf Neu einen Dialog starten, bei dem nach einem Benutzernamen und Passwort gefragt wird. Durch bestätigen des Dialogs erscheint nun ein neuer Benutzer in der Liste, wodurch es wiederum möglich ist diesen durch anwählen und durch einen klick auf löschen wieder zu entfernen. Bei simon wird beim ersten Verbinden automatisch nach Benutzername und Passwort gefragt, wo sie die selben Angaben einfügen müssen. Benutzerpasswort ändern Durch anwählen eines Benutzers aus der Liste und klick auf Passwort ändern kann man nun mit Hilfe eines weiteren Dialogs des bei der Erstellung eingegebene Passwort wieder ändern. Hierzu muss man nur das alte Passwort, sowie das neue eingeben und bestätigen. Interface von simon Verbinden/Aktivieren erklären Wenn simon noch nicht mit simond verbunden ist hat man nur die Möglichkeit eben beide Programme zu verbinden. Hierfür reicht ein einfacher Klick auf den Schalter. Um die Verbindung wieder zu trennen muss man auf den Abwärtspfeil rechts vom Button drücken und Verbindung trennen auswählen. Ist simon mit simond verbunden gibt es 2 verschiedene Stadien: Aktiviert und Deaktiviert. Ist simon bereits aktiviert kann man es durch drücken des Buttons deaktivieren und umgekehrt.

16 Synchronisieren Über den Button synchronisieren hat man die Möglichkeit das Sprachmodell mit dem Server zu synchronisieren. Ist das Sprachmodell synchronisiert worden, dann beginnt simond damit es zu kompilieren und man kann es danach auch schon einsetzen.