Mit der Entwicklung des Internets sind endliche Automaten noch weiter in den Fokus gerückt. Dafür sind mehrere Gründe ausschlaggebend:

Transkript

1 Einleitung Endliche Automaten sind das Ergebnis der Entwicklung mathematischer Modelle für verschiedene mathematische, technische und naturwissenschaftliche Anwendungsbereiche. Als Pionierarbeiten gelten die Arbeiten von Huffman (1954), Mealy (1955) und Moore (1956), und auch Arbeiten von McCulloch /Pitts (1943) und Kleene (1956). Die Elektroingenieure Huffman, Mealy und Moore untersuchten Schaltkreise und beschrieben voneinander unabhängig deterministische Automaten auf ähnliche Weise. Hufmann entwickelte den Begriff des abstrakten Automaten, und Mealy und Moore führten abstrakte Automaten als mathematische Strukturen ein. Der Neurologe Warren McCulloch und der Mathematiker Walter Pitts beschrieben 1943 ein einfaches Modell der Nervenzellen. Kern dieses Modells sind Knoten, die Eingabesignale empfangen und Ausgabesignale senden können. Mit diesem Modell untersuchten sie die Berechenbarkeit von Funktionen. Sie zeigten, dass mit Hilfe von Netzwerken untereinander verschalteter Einheiten prinzipiell jede arithmetische und logische Funktion berechnet werden kann entwickelte der Mathematiker Stephen Cole Kleene, angeregt durch diese Untersuchung, reguläre Ausdrücke und endliche Automaten und modellierte die neuronalen Netze von McCulloch und Pitts durch endliche Automaten. Die Verwendung endlicher Automaten in der Sprachverarbeitung in der Zeit von 1958 bis 1999 skizziert und dokumentiert Kornai (1999). Das Buch dokumentiert eine frühe Entwicklung endlicher Automaten zum Parsing menschlicher Sprachen bereits im Jahr 1958 an der University of Pennsylvania unter der Leitung von Zellig S. Harris (Joshi/Hopely, 1999). Der akademische Hauptstrom entwickelte sich bis in die 80er-Jahre des 20. Jahrhunderts jedoch anders. Chomsky hatte in seinem Buch Syntactic Structures 1957 geschrieben: English is not a finite state language. Dieser Satz wurde in den folgenden Jahrzehnten zur Grundlage der Forschung nach einer erweiterten Komplexität natürlicher Sprachen und der Entwicklung von Grammatikformalismen (wie z.b. generative Transformationsgrammatik, Government and Binding, Generalized Phrase Structure Grammar, Lexical Functional Grammar, Head-driven phrase structure Grammar), die einer erweiterten Komplexität Rechnung tragen sollten. Kornai schreibt dazu: At that time neither careful attendance to linguistic detail nor husbanding of computational resources held much appeal, and the excitement Karin Haenelt Endliche Automaten: Einleitung Seite 1 von 6

2 generated by the breathtaking pace of development from Syntactic Structures to Aspects and the Standard Model, the Extended Standard Model, and the Revised Extended Standard Model kept most computational linguists too busy to think through the implications. (S. 3) Unterdessen entstand jedoch der Großteil der tatsächlich laufenden sprachtechnologischen Anwendungen auf der Basis der Technologie endlicher Automaten, und mit der Entwicklung der Anwendungen entwickelte man auch die Theorie weiter und umgekehrt. Als Beispiele praktischer und theoretischer Weiterentwicklungen seien genannt - Mathematische Analysen und Beweise (Schützenberger, 1961, und weitere Arbeiten, Choffrut, 1978) - grep-familie der UNIX-Werkzeuge zur Verarbeitung von Zeichenketten (Thompson, 1968) - XEROX finite state calculus (Kaplan/Kay, 1981) (Karttunen/Koskenniemi/Kaplan, 1987) - Two-level Morphologie (Koskenniemi, 1983) (Karttunen, 1983) - Programmbibliotheken mit Algorithmen für gewichtete Transduktoren (z.b. Mohri/Riley, 2002) - Open-Source-Bibliotheken (z.b. Helsinki Finite-State Transducer Technology HFST) Zusammenstellungen verschiedener Ansätze in mehreren Bereichen der Sprachverarbeitung geben Roche/Schabes (1997) und Kornai (1999). Die Anwendungsbereiche umfassen: Lexikalische Beschreibung, Morphologie, Phonologie, Part-of-Speech-Tagging, Satz-Parsing, Spracherkennung, OCR- Modellierung, Informationsextraktion, Maschinelle Übersetzung geschriebener und gesprochener Sprache, Sprachgenerierung. Neuere Zusammenstellungen finden sich in den Tagungsbänden der Finite-State Methods and Natural Language Processing-Konferenzen. Mit der Entwicklung des Internets sind endliche Automaten noch weiter in den Fokus gerückt. Dafür sind mehrere Gründe ausschlaggebend: - Besondere Eignung endlicher Automaten für die Massendatenverarbeitung: Um solche Massen von Daten verarbeiten zu können, wie sie im Internet vorliegen, stehen Robustheit, Schnelligkeit und Kompaktheit an oberster Stelle Karin Haenelt Endliche Automaten: Einleitung Seite 2 von 6

3 der Anforderungen. Endliche Automaten erfüllen diese Anforderungen besonders gut - Fortschritte in der Weiter-Entwicklung der Theorie endlicher Automaten für Zwecke der Sprachverarbeitung (einige Beispiele: Komplexe reguläre Ausdrücke im Xerox finite state caluclus, effiziente Algorithmen für gewichtete Transduktoren, Zusammenstellung zu Bibliotheken (Mohri) und Entwicklung von Open Source-Bibliotheken) - Fortschritte in der Bewertung der Adäquatheit endlicher Automaten für die Sprachverarbeitung o Die Frage nach der Komplexität menschlicher Fragen beurteilt man heute allgemein differenzierter. Bereits Chomsky (1957) erwähnt, dass die Aussage, dass die Strukturen menschlicher Sprachen an Komplexität die Möglichkeiten endlicher Automaten übersteigen, auf einer theoretischen Annahme beruht, die in der Praxis nicht unbedingt zutrifft: nämlich auf der Annahme, dass die betreffenden Konstruktionen unbegrenzt sind. Kein Mensch bettet aber beispielsweise Relativsätze in unbegrenzter Tiefe ein. Die Daten, die das Internet zur Verfügung stellt, ermöglichen es heutzutage, entsprechende Untersuchungen in großem Umfang durchzuführen und zu prüfen, wie weit endliche Automaten für die jeweiligen Aufgaben hinreichend sind. o Es hat sich gezeigt, dass es nicht adäquat ist, menschliche Sprachen mit einem abgeschlossenen Regelsatz zu modellieren. Vielmehr ist es erforderlich, Dimensionen wie Erfahrung und Kreativität zu berücksichtigen (Manning/Schütze, 1999, S. 3). Zu einer verbesserten Modellierung menschlicher Sprachen gehören nach heutiger Auffassung mindestens drei Komponenten Regeln Beispiele statistische Daten Für alle drei Komponenten gibt es etablierte Methoden der Modellierung mit endlichen Automaten o Es hat sich gezeigt, dass eine Modellierung menschlicher Sprachen mit endlichen Automaten auch zu nicht-trivialen Erkenntnissen über die Natur des Objekts führt. So konnte beispielweise eine klare Unterscheidung der Strukturen, die mit rein formalen Mittel erkennbar sind, und solcher, für die man eine weitere Interpretation benötigt, erarbeitet werden. Ein Ergebnis ist beispielsweise das partielle Parsing Karin Haenelt Endliche Automaten: Einleitung Seite 3 von 6

4 o von Satzstrukturen, das auf einer klaren Trennung syntaktischer und semantischer Eigenschaften der Satzstrukturen beruht (Abney, 1996). Es lassen sich zwar nicht alle Phänomene menschlicher Sprachen mit endlichen Automaten modellieren. Aber auch nicht alle Anwendungen benötigen eine vollständige und tiefgehende Verarbeitung. Vielmehr ermöglichen partielle Lösungen sehr viele nützliche Anwendungen. Überhaupt entsprechen partielle Lösungen viel besser dem Verhalten sozialer Gebilde als ein Streben nach vermeintlicher Vollständigkeit. Auch Sprache ist ein soziales Gebilde, und soziale Interaktion ist immer eine partielle Aktion: es werden nur so viele Ressourcen mobilisiert, wie für einen aktuellen Zweck benötigt werden. Dieses Skript ist angesichts des aktuellen Entwicklungsstandes und Bedeutung der Methoden als Einführung in das Gebiet endlicher Automaten für die Sprachverarbeitung gedacht. Im Fokus steht die tutorialartige Erschließung der Algorithmen und formalen Konstrukte, die insbesondere für die Sprachverarbeitung (wie beispielsweise komplexe reguläre Ausdrücke) entwickelt wurden. Ziel ist es, einerseits einige Grundlagen zu vermitteln und andererseits die Fähigkeit zu fördern, komplexere Fachliteratur einfacher lesen zu können. Literatur Steven ABNEY (1996). Tagging and Partial Parsing. In: Ken Church, Steve Young, and Gerrit Bloothooft (Hrsg.), Corpus-Based Methods in Language and Speech. Kluwer Academic Publishers, Dordrecht. Christian Choffrut (1978). Contributions à l étude de quelques familles remarquables de functions rationelles. Ph.D. thesis (these de doctorat d Etat), Université Paris 7, LITP: Paris. Warren MCCULLOCH und Walter PITTS (1943). A logical calculus of the ideas immanent in nervous activity. In: Bulletin of Mathematical Biophysics, 5, S David Albert HUFFMAN (1954). The synthesis of sequential switching circuits. In: Journal of the Franklin Institute 257, S. 3-4, und Karin Haenelt Endliche Automaten: Einleitung Seite 4 von 6

5 Aravind K. JOSHI und Philip HOPELY (1999). A parser from antiquity: an early application of finite state transducers to natural language parsing. In: András Kornai (Ed.) (1999). Extended Finite State Models of Language. (Studies in Natural Language Processing). Cambridge: Cambridge University Press. Ron M. KAPLAN und Martin KAY (1981). Phonological rules and finite-state transducers. In: Linguistic Society of America Meeting Handbook, Fifty-Sixth Annual Meeting, New York. Abstract Lauri Karttunen (1983). KIMMO: a general morphological processor. In: Texas Linguistic Forum, Nr. 22, S Department of Linguistics, The University of Texas at Austin, Austin, TX. Lauri Karttunen, Kimmo KOSKENNIEMI und Ron M. KAPLAN (1987). A compiler fort wolevel phonological rules. Technical report. Xerox Palo Alto Research Center and Center for the Study of Language and Information, Stanford University. Stephen Cole KLEENE (1956). Representation events in nerve nets and finite automata. In Shannon, McCarthy (Hrsg.) Automata Studies, Princeton. András KORNAI (Ed.) (1999). Extended Finite State Models of Language. (Studies in Natural Language Processing). Cambridge: Cambridge University Press. Kimmo KOSKENNIEMI (1983). Two-level morphology: A general computational model for word-form recognition and production. Publication 11, University of Helsinki, Department of General Linguistics, Helsinki. Christopher D. MANNING und Hinrich SCHÜTZE (1999). Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. Mohri, Mehryar (1997). Finite State Transducers in Language and Speech Processing. In: Computational George H. MEALY (1955). A method for synthesizing sequential circuits. Bell System Technical Journal 34:5, S Mehryar MOHRI und Michael RILEY (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial). Edward F. MOORE (1956). Gedanken experiments on sequential machines. In: Automata Studies, , Princeton University Press, Princeton, New Jersey, Karin Haenelt Endliche Automaten: Einleitung Seite 5 von 6

6 Emmanuel ROCHES und Yves SCHABES (1997). Finite-State Language Processing. Cambridge, Mass.: MIT Press. Marcel Paul SCHÜTZENBERGER (1961). A Remark on Finite Transducers. Information and Control, 4(2-3), S Ken THOMPSON (1968). Regular expression search algorithm. In: Communications oft he ACM, 11, S Karin Haenelt Endliche Automaten: Einleitung Seite 6 von 6