Markov- Modelle, Ketten und Prozesse

Transkript

1 Universität zu Köln Institut für Linguistik, Abt. Sprachliche Informationsverarbeitung Hauptseminar Selbstlernende Systeme Prof. Dr. Jürgen Rolshoven Markov- Modelle, Ketten und Prozesse in der Linguistik von Pascal Christoph Kalscheurer Weg Köln Tel.: Fachsemester Matrikelnr.: Abgabedatum: 01. Juli 2005

2 Inhalt 1. Zielsetzung der Arbeit 2 2. Hintergrund zu Markov-Modelle Genese Qualitativ vs. Quantitativ Markov-Prozess Markov-Kette Markov-Modell Visible Markov Model (VMM) Hidden Markov Model (HMM) Markov-Modelle n-ter Ordnung: n-gramme Erzeugung von Markov-Modellen 8 3. Java-Programm: Markov Modelle Allgemeines Starten der Programme und Datenmanagment Datenstrukturen GUI Import zugrundeliegender Zustände Persistieren der Ergebnisse Erzeugung eines VMMs Algorithmen Probleme Erstellung einer Matrix ohne passendes Modell Tooltip Schwellwert Ergebnisse, Erwartungen, Einsätze Deutung der Ergebnisse Verbesserte Modelle Einsatz zur Korrektur von Tippfehlern Einsatz in der Semantik Zusammenfassung der Ergebnisse und offene Fragen Literatur 17 1

3 Die Arbeit wurde unter Verwendung folgender Umgebung erstellt: Rechner: 1.2 GHz G4 Prozessor mit 768 MB RAM Betriebssystem: Mac OS X Programmierumgebung: Eclipse 3.0, Java Textverarbeitung: OpenOffice.org 1.1. Font: Lucida Grande, HelveticaNeueItalic Grafikverarbeitung: Gimp Zielsetzung der Arbeit Vorliegende Hausarbeit ist die Ausarbeitung eines Referats 1, das im WiSe 2004/05 an der Universität zu Köln gehalten wurde. Der Vortrag behandelte die Domäne "Markov 2 -Modelle, Ketten und Prozesse in der Quantitativen Linguistik". Thema des ersten Teils der Arbeit sind die theoretischen Grundlagen hierzu. Im Referat wurde anhand eines selbstkonstruierten Beispiels gezeigt, wie die Anwendung von (mit nur durch einigen wenigen linguistischen Vorannahmen modellierten) Markov-Prozessen auf ein kleines Korpus die Wohlgeformtheit einer beliebigen Literalsequenz bestimmbar macht 3. Das Korpus gilt dabei als Trainingssatz aus dem sich mit Hilfe einfacher Algorithmen ein Visible Markov Modell berechnen lässt. Das dieser Hausarbeit zugrundeliegende, selbstständig entwickelte Java-Programm zur "Erstellung von Markov-Modellen und deren Prozessierung" setzt diese Algorithmen um und folgt damit nicht nur theoretisch dem Thema des Seminars "Selbstlernende Systeme". Der zweite Teil der Arbeit behandelt die Darstellung des Programms, seine Bedienung, Probleme und interpretiert Ergebnisse. Aufgrund des Umfangs des Stoffes beschränkt sich diese schriftliche Arbeit (wie auch die Prozessierung durch das Java-Programm) vornehmlich auf sog. "Visible Markov Models" erster Ordnung. 1 Referatsfolien "Markov-Ketten". URL< 2 Da der Auslaut des russischen Namens "Markov" originär durch einen Frikativ realisiert wird (und nicht etwa durch einen Approximanten), wird in dieser Arbeit der aus der anglizistischen Literatur stammenden Schreibweise "Markov" der in der Deutschsprachigen häufig vorkommenden Variante "Markow" den Vorrang gegeben. 3 Der ermittelte Grad der Wohlgeformtheit ist durch die dem Modell inhärente linguistische Präsupposition sowie durch die Art des Markov-Modells (v.a. des Grades des Modells) bestimmt, mithin ohne absolut gültige Ergebnisse, doch nützlich zur Vorfilterung von wahrscheinlich/möglichen und unwahrscheinlichen/unmöglichen Sequenzen. 2

4 2. Hintergrund zu Markov-Modelle Thema dieses Kapitels ist die allgemeine Beschreibung der Eigenschaften der Modelle und die Erläuterung der Funktionsweise ihrer Prozessierung. Dieser Teil der Arbeit nimmt die notwendigen Begrifssdefinitionen vor und bildet somit den theoretischen Hintergrund für die Kapitel 3 und 4, in denen die Umsetzung konkreter Markov-Modelle und Algorithmen beschrieben ist. Jeder abstrakten mathematischen Definition folgt ein anschauliches Beispiel. 2.1 Genese Namensgeber des Modells ist sein Entwickler Andrei A. Markov ( ). Markov studierte bei dem bekannten Mathematiker Chebyshev 4 (siehe u.a. "Das Gesetz der großen Zahlen") dessen Spezialgebiet Kombinatorik und Statistik war. Markov berechnete 1913 die Buchstabensequenzen in russischer Literatur um die Notwendigkeit der Unabhängigkeit für das Gesetz der großen Zahlen nachzuweisen. 5 Die Berechnungen konnten zudem als Aussage über die Wohlgeformtheit der Orthographie von Buchstabenketten interpretiert werden. Aus diesem Ansatz entwickelte sich ein allgemeines statistisches Werkzeug, der sog. stochastische Markov-Prozess, "bei dem sich die Kenntnis der zukünftigen Entwicklung lediglich aus der des gegenwärtigen Standes ergibt." Qualitativ vs. Quantitativ Markov-Modelle gehören zu den Instrumenten der Quantitativen Linguistik. Hinter dem Begriff Quantitativ stehen Elemente der Ordinalskala: sie sind also komparativ, da sie eine Hierarchie bilden. Die Bemessung der Quantität erfolgt durch diskrete 7 oder stetige 8 numerische Werte. Mit Hilfe dieser Werte lassen sich Variabilitität und Vagheit ausdrücken. 4 In der deutschsprachigen Literatur wird oft "Tschebyschowsch" geschrieben. 5 Artikel "Markow-Ketten". In: Demleitner, Markus. 2003/2004. Einführung in die Statistik. URL< 6 Gottwald: Meyers Kleine Enzyklopädie Mathematik. S.: Diskrete Daten sind im Prinzip ganzzahlige Werte. 8 Auch als "kontinuierliche Daten" bezeichnet: Werte, die aus dem gesamten Raum der reellen Zahlen stammen. 3

5 Beispiel hierfür sind die Zugehörigkeitsfunktionen in der Fuzzy-Logik 9 sowie die Ergebnisse von Prozessen der Stochastik, die quantitative Attribute darstellen. Beispiel für eine quantitative Aussage: "Das Wasser ist zu 90% vergiftet." Im Gegensatz dazu steht der Begriff Qualitativ dessen Elemente nominalskaliert und damit deterministisch sind. Sie lassen nur ein-eindeutige Zuordnungen von Elementen auf eine Menge zu; somit fallen sie in die "Ja/Nein Dichotomie". Das Mittel zur Bemessung von Qualität in diesem Sinne 10 ist z.b. die boolesche Algebra und die diskrete Mengenlehre. Beispiel für eine qualitative Aussage: "Das Wasser ist vergiftet." 2.3 Markov-Prozess Der Markov-Prozess wird manchmal synonym zur Markov-Kette verwendet, ist aber allgemeiner, da sich die Verteilungsfunktion zu einem beliebigen, auch nicht- diskretem Zeitpunkt bestimmen lässt. In der Computerlinguistik kommen die spezielleren Markov-Ketten zum Einsatz. 2.4 Markov-Kette Eine Markov-Kette ist ein diskreter stochastischer Prozess, der die Berechnung "sequentieller (syntagmatischer) Abha ngigkeit von Einheiten in einer linearen Verkettung auf Grundlage von Übergangswahrscheinlichkeiten 11 " 12 vornimmt, der folgenden Bedingung genu gend: P ( X t+1 X t ) Die Wahrscheinlichkeit einer Zustandssequenz X zum Zeitpunkt t+1 hängt also lediglich von seinem Zustand zum Zeitpunkt t ab. 9 "Der Grad an Zugehörigkeit wird meist durch eine Zugehörigkeitsfunktion µ beschrieben, die den Elementen einer Grundmenge eine reelle Zahl zwischen 0 und 1 zuordnet." Artikel "Fuzzy_Logik". In: Wikipedia. Die Freie Enzyklopädie. URL< 10 Vergleiche andere Lesarten in der Wikipedia, z.b. im Kontext Technik: Artikel "Qualität". In: Wikipedia. Die Freie Enzyklopädie. URL< 11 Auch Transitionswahrscheinlichkeiten genannt. 12 Köhler&Altmann:Einführung in die Quantitative Linguistik. S: 5. 4

6 Die U bergangswahrscheinlichkeiten fu r m verschiedene Zusta nde P ij : P (X t+1 = i X t = j), i,j = 1,..., m werden in einer U bergangsmatrix 13 gefasst: (P ij ) = M = [ p11... p1m : : : pm1... pmm ]14 Diese Matrix ist Teil des Markov-Modells. Sei z.b. 15 die folgende Literaltransitionsmatrix gegeben: j \ i a l m a 0,3 0,6 0,1 l 0,3 0,3 0,3 m 0,8 0,1 0,1 Tabelle 1: Literaltransitionsmatrix Die Wahrscheinlichkeit P der Zustandsfolge P(m,a,l) wird durch Multiplikation der Einträge in den betreffenden Zellen berechnet: P(m,a,l)= P(a m) * P(l a)= 0.8 * 0.3= Markov-Modell Ein Markov-Modell ist eine Datenstruktur, die die nötigen Werte für die Prozessierung einer Markov-Kette bereitstellt. Dieses Kapitel beschreibt den Unterschied des ursprünglichen, einfachen Modells (direkte Beobachtung - direkte Vorhersage (VMM)) zu einem Modell zur Vorhersage auf Grundlage indirekter Evidenz (HMM) Visible Markov Model (VMM) Ein VMM ist definiert durch: a) eine Matrix mit allen Zuständen, in denen sich der Prozess befinden kann 16 b) eine Matrix mit den Transitionswahrscheinlichkeiten dieser Zustände Auch Transitionsmatrix genannt. 14 Artikel "Markow-Kette". In: Wikipedia. Die Freie Enzyklopädie. URL< 15 Referatsfolien "Markov-Ketten". URL< 16 Auf das obere Beispiel bezogen also : {a,l,m}. 5

7 c) eine "Initiale Zustandsmatrix" d) die zu berechnende Sequenz Das Merkmal c) gibt den jeweiligen Zuständen aus a) initiale Wahrscheinlichkeitswerte. Die Prozessierungsfunktion wird durch den Wert des ersten (also: initialen) Zustandes der Zustandsfolge modifiziert; dieser Wert dient als zusätzlicher Faktor für die Berechnung der Wahrscheinlichkeit der Zustandsfolge. Das Merkmal c) ist wohl dem Umstand geschuldet, dass Markov feststellte, dass z.b. gilt: *# ß y x 18 Diagramm 1: Zustandsdiagramm für {a,l,m} Diagramm 1 ist eine Abbildung des in Kapitel 2.4 beschriebenen VMMs (siehe Tabelle 1). Es handelt sich um einen nichtdeterministischen endlichen Automaten mit Wahrscheinlichkeiten an den Transitionspfeilen. Die initiale Wahrscheinlichkeit ist durch die senkrechten Pfeile symbolisiert. Die in der Literatur auffindbaren, weiteren Merkmale 19 der Markov-Modelle sind lediglich direkte Ableitungen aus den hier angegebenen Merkmalen. Eine Zustandsfolge, also eine solche Markov-Kette, kann anders als in einem HMM als Ausgabe betrachtet werden Hidden Markov Model (HMM) Ein HMM ist ein um eine Transitionswahrscheinlichkeitsmatrix erweitertes VMM: Siehe z.b. Tabelle Im Russischen gibt es ähnliche Beobachtungen. 19 Wie z.b. die Anzahl der Zustände, also die Länge der Matrix in a). 20 Stamp: Foundations of statistical natural language processing. S:3. 6

8 e) eine Matrix mit allen möglichen Beobachtungen f) eine Matrix mit den Transitionswahrscheinlichkeiten, die Beobachtungen und zugrundeligende Zustände verknüpft g) eine zu berechnende Beobachtungsssequenz In diesem Modell der "indirekten Evidenz" ist f) die Verknüpfung von e) mit b), wie z.b. Tabelle 3 21 zeigt. Hot Cold Hot 0,7 0,3 Cold 0,4 0,6 Tabelle 2: Transitionsmatrix der Zustände Small Medium Large Hot 0,1 0,4 0,5 Cold 0,7 0,2 0,1 Tabelle 3: verknüpfte Transitionsmatrix Die Wahrscheinlichkeit einer Zustandssequenz X=(Hot,Cold) mit den initialen Wahrscheinlichkeiten π={hot=0.6, Cold=0.4} und der Beobachtungssequenz O=(Small, Medium) ist allgemein: P(X O) = π * P(X t+1 X t ) * P(O t X t ) und hier also: P(X O) = 0.6 * (0.3) * ( 0.1 * 0.2) = Markov-Modelle n-ter Ordnung: n-gramme Ein n-gramm ist eine geordnete Menge mit n Zeichen. Die wichtigsten Vertreter der n-gramme sind das Bigramm und das Trigramm. 22 Das Bigramm besteht aus zwei, das Trigramm aus drei Zeichen. Im Kapitel 2.4 wurde für die Markov- Kette erster Ordnung festgestellt, dass die Wahrscheinlichkeit einer Zustandssequenz X zum Zeitpunkt t+1 von seinem Zustand zum Zeitpunkt t abhängt. Es handelt sich also offensichtlich um ein Bigramm. Markov-Modelle der Ordnung n (wobei n>1) berücksichtigen nicht nur den ersten Vorgängerzustand, sondern n Vorgängerzustände, und sind dementsprechend n+1-gramme. Prinzipiell gilt: je höher die Ordnung des Modells, desto genauer die Vorhersage. Da der Grad der Gramme zugleich die Anzahl der Dimensionen der Transitionsmatrizen beschreibt, gilt ausserdem: mit höherer Ordnung steigt der Rechenaufwand exponentiell. 21 Die Breite der Jahresringe eines Baumes lässt Rückschlüsse auf das Wetter zur Zeit des Wachstums des Ringes zu. Die Matrizen und das folgende Beispiel entstammen,leicht modifiziert, aus Stamp: Foundations of statistical natural language processing. 22 Artikel "Bigramm". In: Wikipedia. Die Freie Enzyklopädie. URL< 7

9 2.5.4 Erzeugung von Markov-Modellen Es lässt sich leicht ein Algorithmus erdenken, der aus einem Korpus die Transitionswahrscheinlichkeiten der Beobachtungen errechnet. Im Java- Programm ist ein solcher implementiert. 23 Er gehört zum Typus "unsupervised learning (unüberwachtes Lernen): der Algorithmus erzeugt für eine gegebene Menge von Eingaben ein Modell, das die Eingaben beschreibt und Vorhersagen ermöglicht." Das Java-Programm MarkovModels In diesem Kapitel werden die grundlegenden Arbeitsweisen und die Features des Programms dargestellt. Durch Beispiele wird die Bedienung des Programms nachvollziehbar. Unter den einzelnen Kapitelüberschriften finden sich nicht alle zum Thema ausführbaren Erläuterungen, sondern nur die Wichtigsten: so ist unter dem Kapitel Datenstruktur lediglich der Unterschied von interner und externer Darstellung der Observationssequenz dargelegt. Der Aufbau des Programms orientierte sich am Prinzip des Model-View- Controller (MVC) Allgemeines Grundsätzlich kann das Programm sowohl VMMs als auch HMMs verarbeiten, wobei Kapitel 3.7 darlegt, auf welche Weise VMMs erstellt werden können. Das Programm arbeitet mit UTF-8 Dateien. 3.2 Starten der Programme und Datenmanagment Die Programme liegen in einer JAR-Datei vor. In diesem Archiv befinden sich 23 Der Algorithmus berechnet lediglich die Transitionswahrscheinlichkeiten zwischen zwei aufeinanderfolgenden Variablen vom Typ char. Ausserdem kann lediglich ein VMM berechnet werden. 24 Artikel "Maschinelles_Lernen". In: Wikipedia. Die Freie Enzyklopädie. URL< >. 25 Siehe u.a. Goll,Weiß,Müller(2001): Java als erste Programmiersprache. S:

10 zwei Projekte: MarkovModels und SearchEngine 26. Ein Doppelklick auf das Archiv mm.jar startet das MarkovModel-Programm. Um SearchEngine zu öffnen muss in das Verzeichnis gewechselt werden, in dem sich das File mm.jar befindet, und " java -jar mm.jar arg" eingegeben werden. Dabei ist arg ein beliebiges Argument 27. Die Ressourcen liegen außerhalb des JARs, damit auf sie leicht zugegriffen werden kann. Dort liegen die Dateien, die SearchEngine für die Initialisierung braucht, aber auch der Ordner data, in dem die Modell-Daten gehalten werden. Die File-Chooser der Programme sind so eingestellt, dass sie automatisch den richtigen Ordner öffnen. 3.3 Datenstrukturen Die Datenstruktur für die Zustände der Modelle bestehen aus char-arrays, die sich aus Performanzgründen anboten. Sie sind "entschlüsselbar" und damit für Menschen besser lesbar zu machen. So gibt es zwei Darstellungen der Observationssequenzen, z.b.: - Observation sequence (intern): Observation Sequence (extern): klein mittel klein gross Die Berechnungen werden nur mit der internen Darstellung durchgeführt. 3.4 GUI MarkovModels besitzt ein GUI, das allerdings wenig intuitiv zu bedienen ist. Nach dem Starten von MarkovModels erscheint das Hauptfenster Markov Chains, das die Menüauswahl sowie eine Tabelle 28 beinhaltet, und der View of Debugging. Wird nun View->show Model gewählt, so wird das Modell gezeigt - standardmäßig ist dies das HMM Stamps (2004). Mit Compute->compute P(X=O) lässt sich die Gesamtwahrscheinlichkeit der Observationssequenz anzeigen, unter Compute->compute all werden alle Permutationen der zugrundeliegenden Zustände erzeugt, berechnet und sortiert dargestellt, wie Screenshot 1 zeigt: 26 Die Hausarbeit des Autors vom Juli SearchEngine ist eine Suchmaschine, die u.a. einen Wortindex über die indizierten Worte erstellt. 27 Die Main-Klasse von MarkovModels startet SearchEngine, wenn ein Argument angegeben ist. 28 Die Tabelle zeigt die Ergebnisse der Prozessierung. 9

11 Screenshot 1: Hauptfenster Um eine bestimmte Observationssequenz kalkulieren zu lassen kann der Wert im Feld Observation sequence (intern) geändert werden. Die Tabelle hat einen TableModelListener implementiert und aktualisiert das Modell automatisch. Durch den einzigen Eintrag unter dem Menüpunkt Edit wird das Fenster des Modell-Controllers geöffnet. Diese Ansicht erlaubt das Editieren des Modells 29 und dessen Persistierung durch File->save Model, wobei zu beachten ist, dass überhaupt erst durch das Speichern des Modells das interne Modell (und dadurch auch der Model-View ) aktualisiert wird. 3.5 Import zugrundeliegender Zustände Über den Menüpunkt File->import Underlying States sind die Zustände, deren Wahrscheinlichkeiten kalkuliert werden sollen, auch importierbar. Dies ist nützlich, wenn z.b. durch eine Präprozessierung eine Aussortierung der vorher beschriebenen Permutationen stattgefunden hat. Als Beispiel ist die Datei literal_passwd.uss mitgeliefert. Realer Hintergrund ist dieser: eine Firma hat durch einen Algorithmus 1 Mio mögliche Kundenpasswörter bestimmt. 30 Die Firma hat noch keine Millionen Kunden und möchte anfangs möglichst leicht zu merkende Passwörter verteilen. MarkovModels kann bestimmen helfen, welche Passwörter gute Kandidaten sind. Dazu muss zuerst ein passendes Modell geladen werden, z.b. das mitgelieferte literal_philosophie.vmm. 31 Dann wird das literal_passwd.uss importiert. Daraufhin erfolgt automatisch die Prozessierung der eingeladenen Zustände über das VMM. Vor dem Einsortieren in die Java- 29 In das Fenster können die Daten direkt geschrieben werden. 30 In der Beispieledatei literal_passwd.uss sind nur einige wenige davon übernommen. 31 Die Transitionswahrscheinlichkeiten wurden aus ca von SearchEngine indizierten Wörtern der digitalen Gutenberg-Projekt-Büchern "Kant_Kritik der reinen Vernunft.txt" und "Freud_Die Zukunft einer Illusion.txt" erzeugt. Dieses Korpus wird im weiteren das Philosophische Korpus genannt. 10

12 Datenstrukur TreeMap wird zuerst ein Schwellwert aufgrund des ersten Wortes aus der literal_passwd.uss geschätzt 32, dessen Wert unter dem der prozessierten Zustände liegen muss, um einsortiert zu werden. Sollte der Schwellwert zu hoch sein, wird er selbsttätig adaptiert, bis wenigstens vier Einträge in der TreeMap vorliegen oder der Wertebereich von double unterschritten ist. 3.6 Persitieren der Ergebnisse Das Programm bietet momentan keine Möglichkeit, die TreeMap zu persistieren. Der Benutzer kann die Daten aber aus dem Fenster 33 Markov Chains per Copy and Paste übertragen. 3.7 Erzeugung eines VMMs Durch Auswahl von creatematrix->first Order lassen sich mit Hilfe des vom mitgelieferten Programm SearchEngine erzeugten Wortindex-File Markov- Modelle erster Ordnung erzeugen. Die so erzeugten Modelle sind persistierbar. Leider kann SearchEngine noch nicht UTF-8 verarbeiten sondern nur ASCII- Daten, womit die prinzipielle Möglichkeit der Verarbeitung von z.b. dem Kyrillischen noch ungenutzt bleiben muss, es sei denn, ein Modell läge bereits vor oder würde anders erstellt als durch die von MarkovModels bereitgestellte Methode. 3.8 Algorithmen Die Algorithmen wurden in den vorherigen Kapiteln, insbesondere im Kapitel 2, weitgehend dargestellt. Abweichend vom Default-Modell Stamps werden bei der Erzeugung durch creatematrix->first order (noch) keine row-stochastischen Einträge erzeugt. Alle rechenintensiven Methoden sind iterativ-arbeitend geschrieben. So wird z.b. erst eine Permutation erzeugt, dann berechnet und evtl. gespeichert Hier gelte es noch die Größe der Datei zu berücksichtigen. 33 Dort werden nur die ersten 1000 Ergebnisse angezeigt. 34 Dies hängt von einem (momentan zwar nur intern setzbaren, aber sich selbstadaptierenden) Schwellwert ab, damit z.b. der Speicher nicht mit der Speicherung sowieso unmöglicher/unwahrscheinlicher Sequenzen überlastet wird. 11

13 bevor die nächste Permutation erzeugt wird. Auf diese Weise liessen sich auf dem Rechner 35 alle Permuationen der Länge 6 aus einem Pool von 30 Elementen, also 6 30 = ca. 7*10 7 an Zahl, erzeugen, berechnen und die ca. 3*10 6 Wahrscheinlichsten sortiert in eine TreeMap speichern Probleme Es gibt Möglichkeiten der Bedienung des Programms, die zu ungewollten Effekten führen. Darauf vorbereitend wirken soll dieses Kapitel Erstellung einer Matrix ohne passendes Modell Bevor durch creatematrix->first Order eine Matrix berechnet wird, muss ein passendes Modell geladen sein. Sind z.b. die Grundlage der Berechnung Wörter aus Buchstaben des deutschen Alphabets, so sollte das Modell mindestens alle diese Buchstaben kennen. Ansonsten wird der DebugView schnell vollgeschrieben werden mit Meldungen wie "Konnte Transition von (fehlender Zustand) nach (fehlender Zustand) nicht finden". Es bleibt momentan nur das Beenden des Java-Prozesses Tooltip Am Anfang der Programmentwicklung wurde nach einer Möglichkeit gesucht, unterschiedliche Zeilenanzahl in einer Zelle einer JTable darzustellen. Eine Recherche im Internet verwies auf die Alternative Tooltip, der für die jeweilige Zelle, die den mehrzeiligen Inhalt anzeigen sollte, zu generieren sei. Für das Modell Stamps ist das auch praktikabel - größere Modelle erzeugen aber Konfusion. Es ist vorstellbar, dass, wenn sich der Mauszeiger über der entsprechenden Zelle des Model-Views befindet, im Zusammenhang mit einem langsameren Rechner und einem großen Modell die Anzeige des Tooltips zur Verlangsamung der grafischen Betriebsoberfläche führt (siehe Screeshot 2). 35 Spezifikationen siehe S: Das komplette Prozedere dauerte ca. 2o Minuten. 12

14 3.9.3 Schwellwert Die automatische Absenkung des Schwellwertes bei Nichteintragung eines Wertes kann zu längerer Wartezeit führen, wenn es z.b. prinzipiell keine Ergebniswerte geben kann. Screenshot 2: Zahlen, bitte! 4. Ergebnisse, Erwartungen, Einsätze Im Laufe des Testens des Programms wurden verschiedene Modelle erzeugt. basiert auf der Verarbeitung des literal_philosophie.vmm: Philosophisches Korpus ohne initialen Zuständen (Pi) 37 dein nder eier deie inde ende nden dend dier iein Philosophisches Korpus mit initiale-zuständen (Pi) dein deie dend dier dene dien dere eier deic diei Technisches Korpus 38 mit initialen-zuständen (Pi) dein dend deie dier dere dien dene iein eier inde Die Ergebnisse in der Tabelle zeigen deutlich, dass die Werte zwischen den verschiedenen Spalten nicht direkt kommensurabel sind 39. Wichtig ist, dass die Werte innerhalb der Spalten in Relation zueinander stehen. 37 Es befindet sich unter data/models/literal_philosophie-withoutpi.vmm. 38 Bestehend aus den ca. 4 Mio deutschen Wörter der Informationsverarbeitungsfachschafts-CD. Es befindet sich unter data/models/literal_technik.vmm. 39 Die fehlende Eigenschaft, row-stochastisch zu sein, soll später implememtiert werden. 13

15 4.1 Deutung der Ergebnisse Distributionen wie in Spalte 1 nder müssen ausgeschlossen sein 40, ebenso wie deic in der 2. Spalte. Die fehlenden phonologischen Bedingungen könnten aber modelliert werden, indem statt einer initialen Wahrscheinlichkeitsmatrix eine initiale Transitionswahrscheinlichkeitsmatrix gebraucht würde: P(d n) =0.0 Um ein Wortfinales c auszuschliessen gäbe es die Möglichkeit, als Zustand für Markov-Ketten ein leeres Zeichen aufzunehmen 41. Durch ähnliches "Drehen" am Modell liesse sich weiteres phonologisches Wissen kodieren. Mit einem HMM könnte die zugrundeliegende hidden Schicht der Silbenphonologie (unter der sich wiederum eine Phonetische befindet) berücksichtigt werden Verbesserte Modelle und präzisere Prozessierung Wie in 4.1 erläutert sind die Modelle nur so gut wie das Vorwissen, das über die zu berechnenden Beobachtungen in dieses kodiert wurde. Ohne Wissen um eine den Wortbildungsprozess zugrundeliegende Silbenphonologie bleibt eine Vorhersage der Wohlgeformtheit von Wörter notgedrungen fehlerbehaftet. Wenn auch nicht vergessen werden darf, dass es sich letztlich um stochastische, also vom Zufall abhängige Zusammenhänge handelt, so kann doch die Fehlerquote minimiert werden. Folgende Möglichkeiten des "Tunings" stehen dem Modellierer zur Verfügung: - Modellbildung höherer Ordnung - Verarbeitung der Kette in beide Richtungen - Kombination mehrerer HMMs durch deren Hintereinanderschaltung ("pipen") - Präprozessierung der Eingabeketten mit Hilfe anderer Algorithmen - Gestaltung eines "offenen Systems", indem die Zellen der Matrizen nicht mit dem Wert 0 initialisiert werden, sondern mit dem Minimalwert: ein Effekt wäre, dass komplexe Ketten, deren Prozessierung momentan durch den Faktor 0 ebenfalls 0 ergeben, komparativ würden. 40 Denn es gilt: *# nd 41 Das bedingt die Erstellung eines Index' mit Leerzeichen am Ende jeder Symbolkette. 42 Im Rahmen der Spracherkennung, in der HMMs zu sehr guten Ergebnisse führten, wurde dies bereits bewerkstelligt. 14

16 Dem durch die höhere Komplexitätsstufe bedingten höheren Rechenaufwand wird durch Algorithmen begegnet, die hier nur beispielhaft und stichwortartig genannt seien: Speicherung in Trellis, Viterbi, Forward-Backward- Algorithmus Einsatz zur Korrektur von Tippfehlern Das mitgelieferte Model literal_technik.vmm könnte dazu verwendet werden, um eine unwahrscheinliche Eingabe (z.b. wegen Tippfehler) durch eine Wahrscheinliche zu ersetzen Einsatz in der Semantik In einem Referat über "Self-Organizing-Maps" wurde die Möglichkeit der automatischen Erzeugung von unscharfen semantischen Karten beschrieben. An dieser Stelle wird kurz der Versuch einer Adaptierung auf HMMs vorgestellt: Das mit dem Programm mitgelieferte Modell Ritter&Kohonen_1989.hmm ist zu öffnen. Wird das Modell durch Compute->compute all prozessiert erscheinen die zu den Observationen passenden zugrundeliegenden Zustände 45. Würden auf diese Weise alle Möglichen Observationen durchgerechnet und die Ergebnisse in Vektoren gespeichert, liesse sich durch die Berechnung der Abstände der Vektoren eine semantische Karte ähnlich die Ritters & Kohonens erstellen. 46 Die Prozessierung durch Markov-Modelle hätte dabei den Vorteil der Darstellung unscharfer Attribute, da keine boolsche Matrix zum Einsatz kommt, sondern eine mit dem Wertebereich Double. 47 Das Modell wirkt reichlich "künstlich", da nur diejenigen Transitionen einen Wert > 0 bekommen, deren Zustand auf den gleichen Zustand übergehen. 43 Siehe u.a. Demleitner: Einführung in die Statistik und Manning & Schütze: Foundations of statistical natural language processing. 44 In Kombination mit dem Levensthein-Algorithmus und einem großen Wortindex. 45 Eine Erklärung über Verweise der Zustände ist dem Modell zu entnehmen. 46 Ob dies sinnvoll ist, d.h. u.a. ob der Rechenaufwand nicht zu hoch ist, ist noch ungeklärt. 47 Nur Angemerkt sei das grundsätzliche Problem der Relationalität der Attribute, also ihrer Kontextabhängigkeit (eine sehr große Mücke ist immer noch kleiner als ein sehr kleiner Elefant ). 15

17 5. Zusammenfassung der Ergebnisse und offene Fragen Markov-Modelle sind beschreibungsadequat, nicht erklärungsadequat. Doch immerhin sind die Prozesse nachvollziehbar - dies im Gegensatz etwa zur Black-Box Neuronaler Netze. Die zugrundeliegende Mathematik ist denkbar einfach, sodass die Modelle prinzipiell leicht zu erzeugen sind. Dies mag sich durch die in Kapitel 4.2 beschriebenen Erweiterungen ändern - doch dürften hier die erwähnten ausgefeilteren Algorithmen, wie etwa dem Zwischenspeichern von Ergebnissen im Zusammenhang mit dem Abschätzen der Wahrscheinlichkeit und dem Setzen eines vernünftigen Schwellwertes, im Vergleich zu anderen Modellen der Vorhersage schneller Ergebnisse liefern. Es bleibt festzuhalten, dass 1. es erst herauszufinden gilt, ob spezifische Fragestellungen, wie etwa der nach der Auflösung von Ambiguitäten oder der nach der Einordnung von Wörtern in Kategorien, prinzipiell mit Markov-Modelle begegnet werden kann, 2. nicht jede Berechnung, die sich mittels Markov-Modelle durchführen lässt, damit zugleich auch sinnvoll ist (vergleiche Kapitel 4.4) und 3. die Erstellung aussagekräftiger, funktionierender Modelle die Adaption eingehender Kenntnisse über die zu verarbeitenden Inhalte bedingt. 16

18 Literatur Artikel "Bigramm". In: Wikipedia. Die Freie Enzyklopädie. URL< (abgerufen am 25. Juni 2005). Artikel "Fuzzy_Logik". In: Wikipedia. Die Freie Enzyklopädie. URL< (abgerufen am 25. Juni 2005). Artikel "Markow-Ketten". In: Demleitner, Markus. 2003/2004. Einführung in die Statistik. URL< (abgerufen am 2.Juli 2005). Artikel "Markow-Kette". In: Wikipedia. Die Freie Enzyklopädie. URL< (abgerufen am 25. Juni 2005). Artikel "Maschinelles_Lernen". In: Wikipedia. Die Freie Enzyklopädie. URL< (abgerufen am 25. Juni 2005). Artikel "Qualität". In: Wikipedia. Die Freie Enzyklopädie. URL< (abgerufen am 25. Juni 2005). Demleitner, Markus. 2003/2004. Einführung in die Statistik. URL< (abgerufen am 2.Juli 2005). Goll,Weiß,Müller Java als erste Programmiersprache. Gottwald, Siegfried (Hrsg).Meyers Kleine Enzyklopädie Mathematik Hall, T. Alan Phonologie - Eine Einführung. Berlin: Walter de Gruyter. 17

19 Köhler, Reinhard & Altmann,Gabriel. Einführung in die Quantitative Linguistik. URL< [PDF]. (abgerufen am 25. Juni 2005). Manning, Christopher D. & Schütze, Hinrich Foundations of statistical natural language processing. Cambridge: MIT Press. Referatsfolien "Markov-Ketten". URL< 2.pdf> [PDF]. (abgerufen am 2. Juli 2005). Stamp, Mark A Revealing Introduction to Hidden Markov Models. URL< [PDF]. (abgerufen am 2. Juli 2005). Vater, Heinz. [1994] Einführung in die Sprachwissensschaft. München: Fink. 18