5. Statistische Assoziationspaare / Kollokationen (weitgehend nach

Transkript

1 03. JULI 006: BLATT 9 5. Statistische Assoziationsaare / Kollokationen (eitgehend nach Manning/Schütze, Terminologie Im olgenden Kaitel verenden ir olgende Begrie: Wortaar Ein Wortaar ist ein Paar aus zei Wörtern bz. Wortormen. Bigramm Ein Bigramm ist ein Wortaar aus zei im Text direkt aueinanderolgenden Wörtern oder Wortormen. Assoziationsaar Ein Assoziationsaar ist ein Paar aus zei Wörtern bz. Wortormen, die statistisch assoziiert sind. Weiter unten erden ir verschiedene Maße kennen lernen, um die Assoziiertheit zu berechnen. Fenster Im Zusammenhang mit der Extraktion von Wortaaren aus Korora verstehe ich unter einem Fenster den Bereich, innerhalb dessen zei Wörter als Wortaar angesehen erden. Im Falle der Extraktion von Bigrammen hat das Fenster die Größe zei - d.h. es erden stets nur Wörter betrachtet, die direkt aueinander olgen. Komositionalität Semantische Eigenschat eines Syntagmas: die Bedeutung des gesamten Ausdrucks ergibt sich systematisch aus der Bedeutung der Komonenten. So ist ein kranker Raucher ein Raucher der krank ist, ein starker Raucher aber ist nicht ein Raucher der stark ist - sondern ein Raucher der sehr viel raucht; d.h. der Ausdruck starker Raucher ist nicht voll komositionell; das Nomen Raucher behält aber seinen Bedeutung, eshalb ir hier von einem semikomositionellen Ausdruck srechen. Der Ausdruck rotes Tuch in der nicht-örtlichen Bedeutung ist nicht komositionell, da es sich dabei eder um ein Tuch, noch um einen roten Gegenstand handelt. Kollokationen Semikomositionelle Ausdrücke ie starker Raucher und Stützverbkonstruktionen ie Kritik üben erden als Kollokationen bezeichnet; dabei ird der semantisch nicht verschobene Begri als Kollokant htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

2 03. Juli 006: Blatt 30 (Raucher; Kritik der semantisch reduzierte Ausdruck als Kollokat bezeichnet. Der Begri der Kollokation hat allerdings unterschiedlichste Deinitionen und ird teileise in der Literatur auch ür Assoziationsaare allgemein verendet. 5.. Übersicht Statistische Assoziationsaare sind Paare von Wörtern oder Wortormen, die häuig gemeinsam autreten. Die linguistischen Phänomene, die sich in Assoziationsaaren niederschlagen, sind in olgender Tabelle augelistet: Phänomen Wortarten (V: Verb, N: Nomen, A: Adjektiv, Ad: Adverb Selektionsräerenzen in reien Syntagmen Verb-Argument VN Attribute in NPn AN Semikomositionelle Bildungen (Kollokationen im linguistischen Sinn: Stützverbkonstruktionen VN Funktionsverbgeüge VN semantisch reduzierte Attribute AN in NPn Adverbiale Idiome (nicht-komositionell Beisiel aschen Wäsche schöner Auslug üben Kritik in Gang bringen starker Raucher kli und klar verbal NPn adverbial satzertig (Srichörter VN, AN... AN, NN AA, AdAd, AN... Alle lesen Leviten; Ko verdrehen rotes Tuch, Hinz Kunz Jacke ie Hose Morgenstund Gold Mund Tabelle : Linguistische Phänomene, die Assoziationsaaren zugrunde liegen Zur Bestimmung von Assoziationsaaren erden Textkorora statistisch ausgeertet. Dabei sind olgende Parameter relevant: Srechstunde nach Vereinbarung

3 03. JULI 006: BLATT 3 Fensterty und -größe: Assoziationsaare erden innerhalb eines Fensters im Korus ermittelt. Das Fenster hängt ab von der verügbaren Inormation (z.b.: ist das Korus gearst? sind Satzgrenzen markiert? und vom Ty von Assoziationsaaren, die extrahiert erden sollen. Ein Fenster kann z.b. sein: o Satz, Teilsatz oder andere Syntagmen (z.b. NP, Verbalhrase; o N Wörter nach links bz. rechts (z.b. Wort nach links zur Ermittlung von Adjektiv-Nomen-Paaren oder 0 Wörter nach links und rechts ür Ermittlung von Verb-Nomen-Paaren. Was ird ermittelt? Statistische Assoziation zischen Grundormen oder Vollormen o Für die Ermittlung von Assoziationsaaren von Vollormen ist keine Lemmatisierung notendig und es können olglich keine Fehler in der Grundormenreduzierung unterlauen; allerdings ist die benötigte Datenmenge höher. o Die Grundormenreduzierung ist vor allem ür Lexeme mit zahlreichen verschiedenen Wortormen (v.a. Verben, Adjektive sinnvoll, da damit verschiedene Formen der selben Konstruktion au eine Grundorm abgebildet erden und die Chance erhöhen, dass auch ür seltenere Assoziationsaare genug Daten geunden erden. Zur Lemmatisierung ist ein Vollormenlexikon oder ein Modul zur morhologischen Analyse erorderlich. Korusgröße (in Wörtern, bz. Zahl aller extrahieren Bigramme Häuigkeit jeder Wortorm im Text bz. in der Wortaarliste (bz. bei Ermittlung von Grundormen: Häuigkeit jeder Grundorm. Häuigkeit jedes Wortaares im Text bz. in der Wortaarliste (Wortaare können sein: Wortaare von Wortormen oder Grundormen. Die meisten statistischen Tests können mit diesen Parametern durchgeührt erden; ür einige komlexere Tests kann noch die Varianz und die Verteilung der Wortormen/Lemmata im Korus eine Rolle sielen. Hier die Tabelle mit einigen gängigen statistischen Werten. Dabei ist: i die Häuigkeit der Wortorm oder des Lemmas i in der Wortaarliste i;j ist die Häuigkeit des Wortaars i, j N die Zahl aller Wortaare htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

4 03. Juli 006: Blatt 3 Statistischer Wert Formel relative (i;j /N Wortaarrequenz Mutual Inormation Allgemein Im Fall von Wortaaren I( A ; A ( A A = log ( A * ( A (, * N I ( ; = log ( * ( Anmerkung Je häuiger die Einzelörter, desto eher ist auch dieser Wert hoch. Ergibt zu hohe Werte ür Wortaare aus häuigen Wörter, auch enn sie überhaut nicht assoziiert sind Problematisch ür seltene Wortaare (hier ist der MI- Wert zu hoch; Wortaare mit Frequenz3 sollten daher herausgeiltert erden t-test Allgemein t = x i; j m s i; N i; j j Herleitung s..u. Im Fall von Wortaaren Chi-Quadrat-Test t = i; j χ = ( O i * N i; j + O j N *( O * O OO ( O + O ( O + O ( O + O Log-Likelihood Tabelle Assoziationsmaße 5.3. Der T-test Der T-Wert (T-Score ist ein Maß ür die Signiikanz einer Abeichung eines Werts vom Erartungsert. Im Falle von Assoziationsaaren in einem Korus misst er die Signiikanz der Abeichung der tatsächlichen Häuigkeit des Wortaars von der Häuigkeit, die zu erarten äre, enn die beiden Wörter zuällig über das Korus verteilt ären. Die olgende Formel ist die allgemeine Form ür den T-Test. Srechstunde nach Vereinbarung

5 03. JULI 006: BLATT 33 X ist der Mittelert der Stichrobe m ist der Mittelert der Reerenzstichrobe s ist die Varianz - um den t-test anenden zu können, sollte die Varianz in der Stichrobe und der Reerenzstichrobe in eta gleich sein. N ist die Größe der Stichrobe. t = x i; j m s i; N i; j j Der t-wert muss dann anhand einer Tabelle interretiert erden. Bei einer hohen Zahl N kann olgende Tabelle benutzt erden. Wahrscheinlichkeit, dass die Abeichung l zuällig zustande kommt T-Test Wert Tabelle 3 : T-Test-Tabelle 5.3. Beisiel - Wortlänge Nehmen ir an, die durchschnittliche Wortlänge in einem großen Korus (0 Mio. Wörter mit Texten aller Art sind 5 Buchstaben. Wir haben nun einen kleinen linguistischen Fachtext aus dem Korus vor uns. Dieser Text enthält 00 Wörter und die durchschnittliche Wortlänge ist 7 Buchstaben, die Varianz der Wortlänge in diesem Text ist 4,0. Unsere Hyothese ist nun olgende: diese Abeichung ist nicht zuällig - linguistische Texte (oder dieser Text hat eine größere durchschnittliche Wortlänge und die geundene Abeichung ist tatsächlich signiikant. Die Gegenhyothese: der Mittelert eicht hier nur zuällig ab, und die Abeichung ist im Rahmen des Normalen bei solch einer Stichrobe. Versuchen ir nun diese Formel ür unsere Zecke zu verenden: X ist der Mittelert im linguistischen Text, also 7 m ist der angenommene Mittelert ür die Gegenhyothese, also 5 s ist 4,0 N ist die Größe der Stichrobe, also 00 Dann ist der T-Wert (7-5/Wurzel(4/00 = / (/5 = 0. htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

6 03. Juli 006: Blatt 34 Das heißt nun, die Wahrscheinlichkeit, dass diese Abeichung zuällig ist, ist esentlich kleiner als 0,00 (eniger Promille Übertragung au Assoziationsaare Wie enden ir nun den T-Test au Assoziationsaare an? Nehmen ir an, ir haben aus einem Korus Million Wortaare der Form extrahiert. Wir interessieren uns nun ür das Wortaar i j Die Häuigkeit (i ist 00 Die Häuigkeit (j ist 00 Die Häuigkeit (i;j ist 0. N = Million Unsere Hyothese: das Wortaar i,j hat eine Häuigkeit, die signiikant höher ist, als der Erartungsert, alls alle Wörter zuällig über das Korus verteilt ären. Statistische Vorannahmen Die durchgeührte Zählung ist ein Bernoulli-Exeriment (ein Exeriment mit den Ausgängen 0 oder. steht ür: ein Wortaar ist das untersuchte Wortaar i,j 0 steht ür: ein Wortaar ist nicht das gesuchte Wortaar. Was ist nun der Mittelert ür die tatsächliche Verteilung, also x? Dieser ist ( i, j (Häuigkeit des Wortaars geteilt durch die Menge der Wortaare N. ( i, j / N = 0/ Million = / (Dieser Wert ist also einach die relative Häuigkeit h(i,j; bz. die Wahrscheinlichkeit, dass ein zuällig herausgegrienes Wortaar genau das untersuchte Wortaar ist Was äre nun der Mittelert bei einer zuälligen Verteilung? Ganz einach. Wenn Wort i 00 mal im Korus vorkommt, und j ebenalls, dann ist die Wahrscheinlichkeit, bz. h( jeeils / Die Wahrscheinlichkeit, dass ein Wortaar aus, besteht ist also /0 000 * /0 000, das ist /00 Millionen. Die erartete Häuigkeit in allen Bigrammen ( Million äre also /00 - der erartete Mittelert somit / 00 Millionen. Was ist nun die Varianz der Stichrobe? Die Varianz ist bekanntlich die Summe der Quadrate aller Abeichungen vom Mittelert / Stichrobengröße, in unserem Fall: Srechstunde nach Vereinbarung

7 03. JULI 006: BLATT 35 * (- h t = + ( * h N steht hier ür ( i, j ; h steht hier ür die h( i, j Warum? Der Mittelert ist h (Zahl der Treer geteilt durch N Die Abeichung vom Mittelert ür alle Werte (Bigramm tritt au ist also -h, im Quadrat (- h. Diese Abeichung tritt mal au. Die Abeigung vom Mittelert ür alle Werte 0 ist h, im Quadrat h. Diese Abeichung tritt N- mal au. Setzt man /N = h lässt sich die Formel umormen: h-h +h 3 + (h /N Bei sehr kleinen h ist h, h 3 und h /N in dieser Formel vernachlässigbar klein, und der Wert kann mit h aroximiert erden - diesen Wert setzen ir als Varianz ein. Damit kommen ir au die olgende Formel: t = h ; h * h i j h i; j N i j Im Ergebnis gibt dies ür unsere Beisielzahlen oben ca 3,6 - ir können also (s.tabelle 3 recht sicher sein, hier ein signiikantes Paar, srich ein Assoziationsaar, vor uns zu haben Mutual Inormation Mutual Inormation ist ein Maß ür die Assoziation zeier Zuallsvariablen aus der Inormationstheorie. Die hier vorgestellte Formel berechnet allerdings nur die unkteise Mutual Inormation (ointise mutual inormation ür einen bestimmten Wert einer Zuallsvariablen, d.h. ür zei Elementarereignisse. Die Formel ür die MI von zei Ereignissen A und A ist die olgende: ( A A I( A ; A = log ( A * ( A D.h. Die Mutual Inormation errechnet sich aus zei Wahrscheinlichkeiten: a der tatsächlichen Wahrscheinlichkeit dass beide Ereignisse gemeinsam autreten. b aus der Wahrscheinlichkeit, die ein gemeinsames Autreten hätte, gegeben, die beiden Ereignisse sind unabhängig. Der Logarithmus dient htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

8 03. Juli 006: Blatt 36 dazu, die Werte, die zischen 0 und unendlich liegen, mit dem neutralen Punkt bei, au eine Skala abzubilden, die ihren neutralen Punkt bei 0 hat, und au der ositive Werte Assoziiertheit bedeuten. Die MI ist das einachste und au Anhieb einsichtigste Maß zur Errechnung von Assoziationsaaren. Zur Errechnung von Assoziationsaaren nehmen ir olgendes an: Es handelt sich um ein Bernouilli-Exeriment (s.o. ( = h(; d.h. die Wahrscheinlichkeit eines Wortes ist gleich der relativen Häuigkeit (, = h(,. Die entsrechenden Werte müssen dann nur noch in die obige Formel eingesetzt erden. Die MI bringt als Assoziationsmaß die Schierigkeit mit sich, dass sie die Signiikanz nicht berücksichtigt. Dies ist v.a. ür Bigramme mit niedriger Häuigkeit (insbesondere Häuigkeit roblematisch Chi-Quadrat-Test Der Chi-Quadrat-Test ist ein Hyothesentest, der sich besonders gut dazu eignet, erartete Häuigkeiten mit tatsächlich beobachteten Häuigkeiten zu vergleichen. Er berechnet die Signiikanz der Abeichung einer Menge von Zuallsvariablen von einem hyothetisch angenommenen Wert. In unserem Fall sind ie bei den bisher genannten Tests - die tatsächlichen Häuigkeiten die Wortaarhäuigkeiten im Korus, ährend die hyothetischen Häuigkeiten die Bigrammrequenzen sind, die anzunehmen ären unter der Bedingung, dass die Verteilung der Wörter im Korus zuällig ist. Die Werte zur Durchührung des Chi-Quadrat-Tests sind die Häuigkeitsaulistungen in einer Kreuztabelle. Im Falle von Wortaarhäuigkeiten ergibt sich olgende Tabelle mit zei Zeilen und zei Salten der Frequenzen aller möglicher Kombinationen aus zei Wörtern und : ~ ~ ~ ~ ~~ Tabelle 4 Kreuztabelle der tatsächlichen Frequenzen ür eine gegebene Wortkombination Es ist deutlich, dass die hier verendeten Werte sich aus den bisher verendeten Frequenzen von Einzelörtern und Wortaaren im t-test und der Mutual Inormation ableiten lassen, enn man berücksichtigt, dass die Summe der ersten Salte die Frequenz von, die Summe der ersten Zeile die Srechstunde nach Vereinbarung

9 03. JULI 006: BLATT 37 Frequenz von ist. Damit lassen sich aus, und, soie N (Zahl der Wortaare alle Werte der Tabelle berechnen. Wesentlich bei der Beurteilung der Ergebnisse des X-Quadrat-Tests sind die so genannten Freiheitsgrade, d.h. die Zahl der Parameter die im angenommenen Bezugsrahmen variieren können. Unter der Annahme, dass N, und nicht variieren, ist es in der gegebenen Tabelle nur möglich, einen Parameter zu ändern - die Frequenz alle anderen Frequenzen ergeben sich dann in Abhängigkeit aus diesem Wert und den Rahmenbedingungen, d.h. der Beurteilung des Chi-Quadrat-Test-Werts liegt der Freiheitsgrad zu Grunde. Die Formel ür die Berechnung des Chi-Quadrat-Wertes ist nun sehr einach (vgl. Manning/Schütze 999: 69: χ ( O E ij = ij i, j E ij Hier sind i und j die Indizes ür die Felder in der Tabelle d.h. es ird über alle Felder in der Kreuztabelle ausummiert - in unserem Falle ür die Werte, ~, ~, ~~. Dabei sind die Oij-Werte jeeils die tatsächlich observierten Werte, die Eij-Werte die Erartungserte unter der Prämisse, dass das Vorkommen von und unabhängig ist. Diese Erartungserte lassen sich nun sehr einach berechnen: Fest gegeben sind N, und. Die Wahrscheinlichkeit ür das Autreten von, unter der Prämisse der Unabhängigkeit urde bereits ür die anderen statistischen Werte berechnet und ist E = /N * /N. Daraus ergibt sich ür unser Korus als angenommene durchschnittliche Häuigkeit ür, in einem Korus der Größe N unter der Prämisse der Unabhängigkeit der Wert E, = E * N. Daraus lassen sich nun all anderen Werte der Kreuztabelle ür die Hyothese der Unabhängkeit ableiten: ~ * /N -( * /N ~ -( * /N N--+ ( * /N Tabelle 5 Kreuztabelle der angenommenen Frequenzen ür eine gegebene Wortkombination unter der Prämisse der Unabhängigkeit Da sich die Werte ür die angenommene Unabhängkeit der Ergebnisse aus den tatsächlich vorhandenen Werten berechnen lassen aus dem obigen olgt dass - E, = /N * /N.* N lässt sich nun auch der chi-quadrat-wert aus den gegebenen Werten in der Tabelle berechnen. Durch eine Umormung der oben genannten Formel ür den Chi-Quadrat-Test erhält man: htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

10 03. Juli 006: Blatt 38 χ = ( O + O N *( O * O OO ( O + O ( O + O ( O + O (vgl. Manning Schütze 999: 70. Mit dem hieraus errechneten Wert muss nun ie beim T-Test augrund einer Tabelle die Signiikanz der Abeichung der tatsächlichen Werte von den Erartungserten ermittelt erden. Um Deutlichkeit zu erlangen, ie sich der errechnete Wert verhält ist es sinnvoll sich einige Extrembeisiele zu betrachten, ür die eine linguistische Intuition besteht. Bei der Mutual Inormation hatten ir bereits gesehen, dass der Wert entgegegen den Erartungen, die ir an einen Assoziationsert zeier Wörter stellen bei gleich bleibender Koruslänge ür ein Wortaar aus zei Wörtern, die nur innerhalb des Wortaars d.h. in keinem anderen Wortaar autritt mit steigender Frequenz des Wortaars tatsächlich sinkt. In der Kreuztabelle sind in diesem Falle zei Werte gleich 0 Wie verhält es sich nun der Chi-Quadrat-Wert in diesem Fall? ~, 0 ~ 0 N-, Tabelle 6 Kreuztabelle der angenommenen Frequenzen ür eine gegebene Wortkombination ür ein Wortaar aus zei Wörtern, die stets gemeinsam autreten Für die Formel ergibt sich damit durch die Einsetzung des Wertes 0 ür die Werte olgende Vereinachung, enn alle Produkte, die Null ergeben, eggelassen erden: N *( O * O χ = ( O ( O ( O ( O Durch Kürzung ergibt sich der Wert N d.h. das Ergebnis des Chi-Quadrat-Test ist in diesem Fall völlig unabhängig von der Häuigkeit der Wörter. Dies ist ür die Extraktion von Assoziationsaaren ebenalls nicht otimal an sich äre es ünschensert, dass häuigere Paare in diesem Fall etas höher geichtet ürden Log-Likelihood Augrund der Unzureichendheiten bei der Berechnung von Assoziiertheit zischen Wörtern über die Mutual Inormation, den T-Test, den Chi-Quadrat-Test, und anderen bis dahin vorgeschlagene Assoziationsmaße schlägt Dunning (993 als Assoziationsmaß die log-likelihood (Log- Wahrscheinlichkeit vor. Der Ausgangsunkt seiner Argumentation ür dieses Assoziationsmaß ist die Tatsache, dass die meisten der anhand von Korora untersuchten Phänomene sich mit seltenen Srechstunde nach Vereinbarung

11 03. JULI 006: BLATT 39 Ereignissen beschätigen, die meisten vorgeschlagenen statistischen Maße sich aber nicht dazu eignen, die Signiikanz seltener Ereignisse korrekt zu erassen, und insbesondere nicht zum Vergleich von seltenen Ereignissen mit häuigeren, as zu einer Überbeertung von Wortaaren mit geringer Frequenz ührt. Dies ist leicht nachvollziehbar, enn man die Erörterung der Extremälle ür die Mutual Inormation und den Chi-Quadrat-Test betrachtet. Hier konnte ja in den vorangehenden Abschnitten bereits gezeigt erden, dass seltene Bigramme tatsächlich einen zu hohen Assoziationsert erhalten. Der Log-Likehood-Wert vergleicht die Wahrscheinlichkeiten zeier Hyothesen. Als Datengrundlage des Log-Likelihood-Tests dienen die olgenden Werte die sich iederum aus der bereits ür den Chi-Quadrat-Test herangezogenen Kreuztabelle ergeben:,: Die Zahl der Wortaare aus Wort und Wort,~: Die Zahl der Wortaare mit Wort ohne Wort o (hieraus: =,~+, N: die Zahl aller Wortaare In unserem Fall beginnen ir mit der olgenden Annahme: die Zahlen in der Kreuztabelle (s.o. beim Chi- Square-Test lassen sich esentlich besser erklären unter der Annahme, dass ( ~ und ( ungleich sind das also die Distribution des Wortes nicht von der Tatsache abhängt, ob es vor autritt oder nicht. Unter der Gegenannahme äre ( ~ = ( d.h. die beiden Wahrscheinlichkeiten ären gleich. Formalisieren ir die beiden Hyothesen: Hyothese : Die Frequenzen der Wortaare der Art, und,~ im Korus ergeben sich aus der bedingten Wahrscheinlichkeit des Wortes ( und der bedingten Wahrscheinlichkeit ( ~, obei beide Wahrscheinlichkeiten unterschiedlich sind. Hyothese 0: Die Frequenz der Wortaare ergibt sich aus der allgemeinen Wahrscheinlichkeit des Autretens (, d.h. ( = ( ~ und damit =(. Die Wahrscheinlichkeiten ür die tatsächlich beobachteten Frequenzen,: und ~, lasen sich nun au der Basis der olgenden Formel ür die Wahrscheinlichkeit von Binomialverteilungen ür Bernoulli-Exerimente errechnen: Zur Erinnerung: Die Binomialahrscheinlichkeit ist die Wahrscheinlichkeit, dass ein bestimmtes Ereignis in einer Kette von Bernoulli-Versuchen also von Zuallsexeriment mit zei möglichen Ergebnissen bei n Versuchen k- htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

12 03. Juli 006: Blatt 40 Srechstunde nach Vereinbarung k n k k n n k P = (, ; ( Hier ist: k :Zahl der Treer, in unserem Fall, Zahl der Autreten von (in einem Fall mit bz. ohne n : Zahl der Versuche, in unserem Fall, Zahl der Wortaare mit bz. ohne : Wahrscheinlichkeit ür das Autreten eines Treers, in unserem Falle das Autreten von. Die Wahrscheinlichkeit, dass genau (, mal vor dem Wort autritt ist dann, unter Verendung der bedingten Wahrscheinlichkeit ür, zu errechnen als P(,,,. Die Wahrscheinlichkeit, dass das genau,~ mal in anderen Kontexten autritt ist: P(,~, ~, ~. Die Wahrscheinlichkeit, dass beide Werte gemeinsam autreten ist das Produkt beider Wahrscheinlichkeiten. Der analoge Wert ird nun berechnet unter der Annahme, dass und ~ = sind, d.h. ir berechnen das Produkt, obei ir als Wahrscheinlichkeit die Wahrscheinlichkeit des Wortes setzen: P(,,,.* P(,~, ~,. unter Hyothese ist die Wahrscheinlichkeit ür die beobachteten Frequenzen ür gegeben bz. nicht gegeben : P((,,, * P((,~,(~,. unter Hyothese 0 ist die Wahrscheinlichkeit ür die beobachteten Frequenzen ür mit bz. ohne : P((,,,.* P((,~,(~, Der maximale Wert beider Wahrscheinlichkeiten soll nun verglichen erden. Dazu erden die beiden Werte in einem Bruch zueinander in Relation gesetzt dies ist der Likelihood-Bruch: =,~ ~,~,,,~ ~,~,, ~ ( * ( max ( * ( max,~ ~, ~ ~,~ ~,, λ Nun lässt sich zeigen, dass die maximalen Wahrscheinlichkeiten sich setzen lassen als die tatsächlich beobachteten Wahrscheinlichkeiten (d.h. relativen Häuigkeiten im gegebenen Korus. Das heißt, die mal autritt. In unserem Fall ird die Wahrscheinlichkeit berechnet, dass ein Wort in n Bigrammen k-mal zu inden ist, und dies unter verschiedenen Parameterannahmen ür (der Wahrscheinlichkeit ür ein Einzelereignis.

13 03. JULI 006: BLATT 4 höchste Wahrscheinlichkeit ür die gegebene Verteilung ird dann erzielt, enn man die tatsächliche Wahrscheinlichkeit bz. die relative Häuigkeit im Korus anschaut. Das heißt: Die maximal bedingte Wahrscheinlichkeit unter den Daten im gegebenen Korus - genauer: die Wahrscheinlichkeit des Autretens von vor errechnet sich olgendermaßen: ( =, / (. Die maximale bedingte Wahrscheinlichkeit ~, genauer: die bedingte Wahrscheinlichkeit des Autretens von vor allen anderen Wörtern als. Sie ist ( ~ =,~/N, Die maximale bedingte Wahrscheinlichkeit von ist die Wahrscheinlichkeit im Korus an sich, dh. h Diese beiden Wahrscheinlichkeiten erden nun über den Likelihood-Bruch in Relation zueinander gesetzt ir lassen einach das "max" eg, und nehmen ür die bisher hyothetischen Wahrscheinlichkeiten die tatsächlichen Wahrscheinlichkeiten an. Da die N über X Ausdrücke oben ie unten gleich sind, lässt sich dieser Bruch erreulichereise olgendermaßen kürzen: λ =,, ( (,, * *, ~, ~ ~ ( ( ~, ~ ~ ~, ~ Nun haben ir den Wert des Wahrscheinlichkeitsbruchesberechnet, der iedergibt, ie viel ahrscheinlicher die NULL-Hyothese als unsere Annahme ist. Tatsächlich ist allerdings der Wert -log interessant, da dieser sich in der Chi-Quadrat-Tabelle nachschlagen lässt, um die Wahrscheinlichkeit der Zuälligkeit der Abeichung nachzurüen. Will man diesen Wert berechnen, ird der Bruch durch die Logarithmierung zur Dierenz, ir erhalten dann:,,,~ ~,~ log λ = log( *( + log( *( ~ ~,,,~ ~,~ (log *( log( *( Anzumerken zu diesem Maß:. die Werte ür seltene Wortaare sind eniger stark geichtet. Häuige Wortaare erden damit stärker geichtet.. Nur ür Wortaare mit einer Häuigkeit 5 ührt dies zu einer entscheidenden Herunterstuung des Werts gegenüber anderen Assoziationsmaßen htt://.cis.uni-muenchen.de/kurse/stean/statistik_so06

14 03. Juli 006: Blatt 4 3. der Wert ird ebenalls hoch ür statistische disassoziierte Wortaare d.h. Wortaare aus Wörtern, die mit hoher Signiikanz nicht gemeinsam autreten. Diese müssen mit Hile eines Wertes, der Abeichung nach oben von Abeichung nach untern unterscheidet, aussortiert erden 4. denselben Eekt ie durch die Berechnung dieses statistisch etas auendigen Wertes kann man durch eine ad-hoc Reduzierung des Assoziationserts seltener Bigramme ür einache Assoziationsmaße erreichen 5.7. Weitere Assoziationsmaße Es gibt noch einige eitere Assoziationsmaße - ür eine Übersicht s. Manning-Schütze, Kaitel 5. Srechstunde nach Vereinbarung