Statistische Verfahren in der Computerlinguistik. Einführung in die Computerlinguistik Sommersemester 2009 Peter Kolb

Transkript

1 Statistische Verfahren in der Computerlinguistik Einführung in die Computerlinguistik Sommersemester 2009 Peter Kolb

2 Übersicht Statistische vs. symbolische Verfahren in der CL Statistik beschreibende Statistik uni- und multivariate Deskription von Daten schließende Statistik Wahrscheinlichkeitsrechnung bedingte Wahrscheinlichkeit Bayes'sche Statistik Markov-Modelle

3 Statistische vs. symbolische CL anfänglich vor allem statistische Ansätze: maschinelle Übersetzung als Anwendung kryptoanalytischer und statistischer Methoden (Locke u. Booth 1955) Informationstheorie (Shannon u. Weaver 1949): Übersetzung = Übertragung über gestörten Kanal bald Aufspaltung in statistische und symbolische Ansätze symbolische Ansätze dominierten CL bis 1990

4 Statistische vs. symbolische CL Gründe für die Dominanz symbolischer Ansätze: mangelnde Leistungsfähigkeit der Hardware Chomsky 1957: prinzipiell ist kein statistischer Ansatz fähig, Unterschied zwischen den Sätzen (1) Colorless green ideas sleep furiously. (2) Furiously sleep ideas green colorless. zu erfassen, da keiner je in einem engl. Korpus vorkommen wird. Kompetenz/Performanz: in Korpora können nur Performanzdaten beobachtet werden, Linguisten aber an Kompetenz interessiert

5 Statistische vs. symbolische CL Wiederentdeckung statistischer Verfahren: Baker CMU 1975, Jelinek IBM 1976: erste Implementierung von Hidden-Markov-Modellen prakt. Anwendung: Rabiner 1989 Spracherkennung PoS-Tagging (DeRose 1988) statistische maschinelle Übersetzung (Brown et al. 1990) in den 90er Jahren wird die CL von statistischen Verfahren überrollt heute eher hybride Ansätze

6 beschreibende vs. schließende Statistik beschreibende (deskriptive, explorative) Statistik graphische Darstellung von Daten Ermittlung von Kenngrößen (z.b. Mittelwert) verwendet keine stochastischen Methoden schließende Statistik versucht über erhobene Daten hinaus Schlussfolgerungen zu ziehen verwendet stochastische Methoden Stochastik: Wahrscheinlichkeitstheorie und Informationstheorie

7 Grundbegriffe der Statistik Daten werden an statistischen Einheiten erhoben Grundgesamtheit (Population) z.b. Phoneme Phoneminventar einer Sprache untersucht wird meist nur eine Teilmenge der Grundgesamtheit, die Stichprobe an statistischen Einheiten in Stichprobe werden interessierende Größen beobachtet, die Merkmale oder Variablen statistische Einheiten heißen auch Merkmalsträger Merkmale besitzen Werte oder Ausprägungen

8 Grundbegriffe der Statistik Beispiele: Merkmal Ausprägungen Merkmalsträger Wortlänge in Silben 1,2,3,... Wort Satz grammatisch? ja, nein Satz Lautdauer von Phonemen 0 sek. Phonem Affixart Präfix, Suffix,... Affix Wortart Verb, Nomen,... Wort

9 Grundbegriffe der Statistik interessierende Variable = Zielgröße wird beeinflusst von beobachtbaren Variablen: Einflussgrößen, Faktoren nicht beobachtbaren Variablen: Störgrößen, latente Faktoren

10 Grundbegriffe der Statistik Beispiel: statistische Einheiten: Sätze Grundgesamtheit: Sätze der deutschen Schriftsprache Stichprobe: NEGRA-Korpus Zielgröße: Anteil von Sätzen mit Verbzweitstellung Einflussgrößen: Textsorte, Autor Störgrößen: Annotierungsfehler

11 Univariate Deskription von Daten univariate (= eindimensionale) Daten bestehen aus Beobachtungen eines einzelnen Merkmals Stichprobe vom Umfang n: an n stat. Einheiten werden die Werte x 1, x 2,..., x n eines Merkmals X beobachtet Beispiel: Merkmal Wortart. An den ersten n = 20 Wörtern eines Korpus werden die folgenden Ausprägungen beobachtet (x 1,..., x 20 ): Konj, Pron, Det, N, V, Konj, Pron, Präp, Adj, N, Präp, N, Konj, N, V, Adv, V, Pron, Adv, Präp Rohdaten, Urliste

12 Univariate Deskription von Daten Urliste Liste der vorkommenden Merkmalsausprägungen: a 1 Konj 3 a 2 Pron 3 a 3 Det 1 a 4 N 4 a 5 V 3 a 6 Präp 3 a 7 Adj 1 a 8 Adv 2

13 Univariate Deskription von Daten Urliste Liste der vorkommenden Merkmalsausprägungen: a 1 Konj 3 a 2 Pron 3 a 3 Det 1 a 4 N 4 a 5 V 3 a 6 Präp 3 a 7 Adj 1 a 8 Adv 2 absolute Häufigkeit von a 8

14 Univariate Deskription von Daten Anzahl Vorkommen einer Ausprägung a j in Urliste = absolute Häufigkeit von a j : h(a j ) = h j, z.b. h(konj) = 3. Summe aller Häufigkeiten h(a 1 ) + h(a 2 ) h(a k ) gleich Stichprobenumfang n. relative Häufigkeit von a j = Anteil von a j -Werten in Urliste: f(a j ) = h j / n. z.b.: f(konj) = h(konj) / n = 3 / 20 = 0,15 = 15%.

15 Univariate Deskription von Daten graphische Darstellung von Häufigkeitsverteilungen 4 3,75 3,5 3,25 3 2,75 2,5 2,25 2 1,75 1,5 1,25 1 0,75 0,5 0,25 0 N V Präp Konj Pron Adv Adj Det abs. Häuf.

16 Univariate Deskription von Daten Beschreibung von Verteilungen Lagemaße und Kenngrößen erlauben den Vergleich von Häufigkeitsverteilungen arithmetisches Mittel: x am = (x 1 +x x n ) / n (in Excel/OpenOffice Funktion MITTELW ) Median x med : Wert in Datenmitte Modus x mod : häufigster Wert

17 Univariate Deskription von Daten Beispiel: zwei Urlisten: 2,5; 3,0; 3,0; 3,5: x am = 3,0, x med = 3,0 1,0; 2,0; 4,0; 5,0: x am = 3,0, x med = 3,0 gleiche Lagemaße, Verteilungen sehen aber sehr unterschiedlich aus weitere Kenngröße: Varianz 5 4,5 4 3,5 3 2,5 2 1,5 1 0, A B

18 Univariate Deskription von Daten Varianz: Maß für Streuung einer Verteilung um ihren Mittelwert s² = (x 1 x am )² (x n x am ) / n Excel: Funktion VARIANZEN Beispiel: 2,5; 3,0; 3,0; 3,5: x am = 3,0, x med = 3,0, s² = 0,125 1,0; 2,0; 4,0; 5,0: x am = 3,0, x med = 3,0, s² = 2,5 Standardabweichung = Wurzel aus Varianz

19 Univariate Deskription von Daten zwei Textkorpora: FABELN und PHILOSOPHIE: Autor Token Autor Werk Token Aesop Hegel PhdG Lessing Kant KdrV Novalis Nietzsche JGB Pestalozzi Marx Manifest Wördemann Spinoza Ethik zwei Stichproben im Umfang n = 5 aus den Grundgesamtheiten Fabeln und philosophische Werke

20 Univariate Deskription von Daten 7,5 7 6,5 6 5,5 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 f(konj) Fabeln Philosophie

21 Univariate Deskription von Daten f(art) Fabeln Philosophie

22 Univariate Deskription von Daten f(nomen) 22, , ,5 10 Fabeln Philosophie 7,5 5 2,

23 Univariate Deskription von Daten f(verb) Fabeln Philosophie

24 Multivariate Deskription von Daten Vergleiche bisher eindimensional jedes Merkmal einzeln betrachtet multivariater Vergleich: mehrere Merkmale zugleich beobachten Streudiagramm erlaubt gleichzeitigen Vergleich von zwei Merkmalen ein Merkmal wird auf x-achse aufgetragen, das andere auf der y-achse jedes Element der Stichprobe ein Punkt im Diagramm

25 Multivariate Deskription von Daten 12 11, ,5 10 f(verb) 9,5 9 8,5 8 7,5 7 6, f(nomen)

26 Multivariate Deskription von Daten Bei geeigneter Wahl der Merkmale bilden sich im Streudiagramm distinkte Gruppen, sogenannte Cluster dadurch kann festgestellt werden, welche Merkmale und Werte für Klassifizierungen nutzbar sind Streudiagramm veranschaulicht auch Zusammenhang, den zwei Merkmale aufeinander ausüben

27 Multivariate Deskription von Daten 9 8,5 f(pronomen) 8 7,5 7 6,5 6 5,5 5 4,5 4 3,5 3 2,5 2 1,5 4,5 4,6 4,7 4,8 4,9 5 5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 Wortlänge

28 Multivariate Deskription von Daten h("a") Textlänge

29 Multivariate Deskription von Daten Streudiagramm zeigt Korrelation der beiden Merkmale wenn die Punkte im Diagramm nahe einer gedachten Geraden liegen, korrelieren die Merkmale positive Korrelation: je größer die x-werte, desto größer die zugehörigen y-werte negative Korrelation: je größer die x-werte, desto kleiner die zugehörigen y-werte Korrelationsmaße geben Stärke des Zusammenhangs an: z.b. Korrelationskoeffizient nach Bravais-Pearson (Excel-Funktion PEARSON)

30 Multivariate Deskription von Daten statistisch gefundene Korrelation zwischen zwei Merkmalen begründet keinen kausalen Zusammenhang! Beispiel (aus [4]): hohe Korrelation für Merkmale Orangenimport in Tonnen und Anzahl Krebserkrankungen, trotzdem besteht offensichtlich kein Zusammenhang (Scheinkorrelation) verdeckte Korrelation: Merkmale korrelieren mit einer unberücksichtigten dritten Variable Richtung der Beeinflussung

31 Wahrscheinlichkeitsrechnung Wahrscheinlich regnet es morgen Sprecher weiß nicht, ob Ereignis eintritt oder nicht Ziel der Wahrscheinlichkeitsrechnung: Grad der Unsicherheit auf quantitatives Maß zurückführen und damit rechnen Z.B. Wurf eines Würfels: Zufallsvorgang mit mehreren, sich auschließenden Ergebnissen Zufallsexperiment: mögliche Ausgänge bekannt: 1,2,3,4,5,6. Heißen Elementarereignisse. Ereignisraum R = {1,2,3,4,5,6}

32 Wahrscheinlichkeitsrechnung Beispiel: Wurf zweier Münzen. Mögliche Ausgänge sind die vier Elementarereignisse Kopf&Kopf, Kopf&Zahl, Zahl&Kopf, Zahl&Zahl. Sie bilden den Ereignisraum R. Ereignis = Teilmenge des Ereignisraums. Ereignis kann Elementarereignis oder Zusammenfassung mehrerer Elementarereignisse sein. z.b. Würfel: Ereignis Augenzahl ungerade besteht aus Elementarereignissen {1,3,5}. ist Teilmenge für Ereignis = R: sichere Ereignis ist Ereignismenge R = Ø: unmögliche Ereignis

33 Wahrscheinlichkeitsrechnung Ereignisraum R bestehe aus N gleichmöglichen Elementarereignissen Teilmenge von R, die Ereignis A entspricht, bestehe aus N A Elementarereignissen Wahrscheinlichkeit für Eintreten des Ereignisses A: p = N A / N. z.b. Wahrscheinlichkeit ungerade Zahl zu würfeln: p = N A / N = {1,3,5} / {1,2,3,4,5,6} = 3 / 6 = 0,5.

34 Wahrscheinlichkeitsrechnung Wahrscheinlichkeiten immer größer oder gleich Null unmögliches Ereignis hat Wahrscheinlichkeit Null sicheres Ereignis hat Wahrscheinlichkeit 1 Additionssatz: wenn A B = Ø dann P(A U B) = P(A) + P(B) z.b. R = {Kopf, Zahl}, A = {Kopf}, B = {Zahl}, entweder Kopf oder Zahl : P(A U B) = 0,5 + 0,5 = 1. wenn A B Ø dann P(A U B) = P(A) + P(B) P(A B) z.b. Würfel: A = {1,3,5}, B = {1,6}: P(A U B) = 3/6 + 2/6 1/6 = 4/6

35 Wahrscheinlichkeitsrechnung Wahrscheinlichkeit von Verbundereignissen gleichzeitiges Auftreten zweier Ereignisse A und B Multiplikationssatz: P(A B) = P(A) P(B) gilt für statistisch unabhängige Ereignisse Urnenmodell: Ziehen mit Zurücklegen

36 Wahrscheinlichkeitsrechnung Ziehen ohne Zurücklegen Ausgang des ersten Zugs beeinflusst Wahrscheinlichkeit im zweiten Zug Multiplikationssatz: P(A B) = P(A) P(B A) gilt für statistisch abhängige Ereignisse bedingte Wahrscheinlichkeit: P(B A): Wahrscheinlichkeit von B, wenn A bereits eingetreten ist (a posteriori-wahrscheinlichkeit von B)

37 Literatur [1] Chris Manning und Hinrich Schütze: Foundations of Statistical Natural Language Processing. MIT Press, [2] Michael P. Oakes: Statistics for Corpus Linguists. Edinburgh University Press, [3] Gabriel Altmann: Statistik für Linguisten. Wissenschaftlicher Verlag Trier, [4] Hans Kellerer: Statistik im modernen Wirtschafts- und Sozialleben. Rowohlt, [5] Walter Krämer: So lügt man mit Statistik. Piper, 2000.