SEMINAR KLASSIFIKATION & CLUSTERING STATISTISCHE GRUNDLAGEN. Stefan Langer WINTERSEMESTER 2014/15.

Größe: px

Ab Seite anzeigen:

Download "SEMINAR KLASSIFIKATION & CLUSTERING STATISTISCHE GRUNDLAGEN. Stefan Langer WINTERSEMESTER 2014/15."

Maria Lange
vor 5 Jahren
Abrufe

1 SEMINAR KLASSIFIKATION & CLUSTERING WINTERSEMESTER 2014/15 STATISTISCHE GRUNDLAGEN Stefan Langer

2 Frequenz & Häufigkeit: Übersicht Absolute Häufigkeit Relative Häufigkeit Dokumentfrequenz IDF (inverse document frequency) TF (term frequency) TF/IDF

3 Übung Sie haben eine Sammlung von 10 Dokumenten Term t kommt in 3 Dokumenten vor D1, 99 Terme: t kommt 3 mal vor D4, 50 Terme: 5 mal D6: 200 Terme: 1 mal Was ist die absolute Häufigkeit und die relative Häufigkeit des Terms in D4? Was ist die IDF des Terms? Berechnen sie TF-IDF für t in D4

4 Absolute Häufigkeit und relative Häufigkeit Absolute Häufigkeit: f (einfaches Abzählen) Gesamtzahl der zählbaren Einheiten (z.b. Wörter): N Relative Häufigkeit: h = f/n

5 TF-IDF Maß für die Signifkanz eines Terms in Bezug auf ein Dokument tf (= h) is die relative Häufigkeit eines Terms in einem Dokument df (document Frequency) df = d:t d (Anzahl der Dokumente, die den Term t enthalten) idf (inverse document frequency) ist der Logarithmus aus der invertierten relativen Dokumentenfrequenz des Terms idf = log D d:t d Kombination aus tf und idf. tf-idf = tf*idf

6 TF-IDF - Erläuterungen Gewichtung von Termen Je höher die idf, desto signifikanter ist ein Term für Dokumente (da er ja in wenigen Dokumenten vorkommt) Je höher die Termfrequenz, desto wichtiger ist ein Term für ein Dokument

7 TF-IDF: Varianten - Vorkommen (binär) statt relative Häufigkeit - Logarithmus (log2, log10.) - Andere Abwandlungen (Bezug auf Klasse statt auf Dokumente )

8 Grundbegriffe der Wahrscheinlichkeitsrechnung Zufallsvorgang, Zufallsexperiment und Ergebnismenge/Ergebnisraum (sample space) Ein Zufallsvorgang führt zu einem oder mehreren möglichen Ergebnissen. Ein Zufallsexperiment ist ein Zufallsvorgang unter kontrollierten, wiederholbaren Bedingungen. Die Menge der möglichen Ergebnisse eines Zufallsvorgangs ist der Ergebnisraum (auch Ergebnismenge o. Stichprobenraum). Er wird notiert als Ω (großes Omega).

9 Elementarereignis Ereignis, Elementarereignis Eine Menge von möglichen Ergebnissen (ω 1.. ω n ) eines Experiments ist ein Ereignis. Ein Ereignis ist damit stets eine Untermenge von Ω. Ω selbst heißt das sichere Ereignis, die leere Menge ist das unmögliche Ereignis. Eine Menge, die nur ein mögliches Ergebnis eines Experiments enthält, wird als Elementarereignis bezeichnet. Der Ereignisraum ist die Menge aller Teilmengen von Ω.

10 Bernoulli Bernoulli-Experiment (Bernoulli trial) Ein Bernoulli-Experiment ist ein Zufallsexperiment mit zwei möglichen Ergebnissen. Die beiden möglichen Ergebnisse werden als "Treffer" bzw. "Niete" (success / failure) bezeichnet, bzw. auf die Zahlen 0 oder 1 abgebildet.

11 Wahrscheinlichkeitsraum Wahrscheinlichkeitsraum Tripel aus Ω, F, P Ω ist ein Ergebnisraum; F ist eine Ereignismenge, genauer, die Menge aller möglichen Untermengen von Ω (Potenzmenge); P ist eine Funktion, die Ereignissen aus F eine reelle Zahl zwischen 0 und 1 zuordnet (eine Wahrscheinlichkeit).

12 Wahrscheinlichkeitsraum: Axiome Für P gelten folgende Axiome (Grundannahmen): P(Ω) = 1 P(Ø) = 0 Für disjunkte Ereignisse A 1 -A n aus F gilt, dass die Wahrscheinlichkeit der Vereinigungsmenge dieser Ereignisse gleich der summierten Wahrscheinlichkeit dieser Ereignisse A i ist.

13 Laplace Laplace-Wahrscheinlichkeitsraum Ein Laplace-Wahrscheinlichkeitsraum entsteht bei einem Laplace-Experiment: Alle Elementarereignisse eines Laplace-Experiments haben dieselbe Wahrscheinlichkeit.

14 Bernoulli Wahrscheinlichkeit von Bernoulli-Experimenten Für ein Bernoulli-Experiment mit genau zwei möglichen Ergebnissen (s.o.) muss nur die Wahrscheinlichkeit für ein Elementarereignis angegeben werden da es nur zwei Elementarereignisse gibt ({ERFOLG} oder {NIETE}) ergibt sich die Wahrscheinlichkeit des einen aus der Wahrscheinlichkeit des anderen, denn die Wahrscheinlichkeiten müssen sich auf den Wert 1 aufsummieren (die Wahrscheinlichkeit von Ω = 1, s.o.). Ist die Wahrscheinlichkeit für {ERFOLG} = p, so ist die Wahrscheinlichkeit für {NIETE} = 1-p

15 Unabhängige Ereignisse Kombinierte Wahrscheinlichkeiten von unabhängigen Ereignissen Angenommen, zwei Ereignisse A und B sind unabhängig. Dann ist die Wahrscheinlichkeit von P(A B) d.h. die Wahrscheinlichkeit, dass beide Ereignisse gemeinsam auftreten das Produkt der Einzelwahrscheinlichkeiten. P(A B) = P(A) * P(B).

16 Bedingte Wahrscheinlichkeit Bedingte Wahrscheinlichkeit (conditional probability) Die Wahrscheinlichkeit für ein bestimmtes Ereignis A, gegeben Ereignis B. Sie ist P(A B) = P(A B) / P(B)

17 Unabhängigkeit von Ereignissen Unabhängigkeit Ist P(A) = P(A B) dann spricht man davon, dass zwei Ereignisse unabhängig voneinander sind.

18 Satz von Bayes Berechne die bedingte Wahrscheinlichkeit P(A B) aus P(B A) Es seien A 1 - A k eine disjunkte Zerlegung von Ω. P(B A j ) P(A j ) P(B A j ) P(A j ) P(A j B) = = (P(B A i ) * P(A i ) P(B)

19 Wahrscheinlichkeitsrechung und Frequenz Fragestellungen: - Wie approximiert man aus dem Trainingskorpus die Wahrscheinlichkeit eines Terms in einem Dokument? - Wie berechnet man die Wahrscheinlichkeit, dass eine Dokument einen Term enthält? p(t) wird approximiert als h(t)

20 Wahrscheinlichkeit: Glättung (smoothing) Wahrscheinlichkeit das ein Dokument mit den Wörtern W 1 -W n zur Klasse K gehört: P(D K) = P(W 1 K) * P(W 2 K) * * P(W N K) = P(Wi K) Problem: Zahlreiche Wörter sind für K nicht aufgetreten: - Wahrscheinlichkeit wird leicht 0 Ähnliche Probleme treten in vielen Zusammenhängen auf

21 Glättung von Wortwahrscheinlichkeiten Laplace-Glättung P(W D) = f(w(d))+ 1 / N+ B Lidstone-Glättung P(W D) = f(w(d))+λ / N+ λ B Für alle nicht auftretenden Wörter W: P(W D) = λ / N+ λ B

22 Trefferquote (Recall) und Genauigkeit (Precision) 22 F A F A D Maß für die Qualität des Retrievals D: Alle Dokumente A: Relevante Dokument F: Gefundene Dokumente Recall = F A/A Precision F A/F

23 Übertragung von Precision und Recall auf die Evaluierung von Klassifikatoren F A F A D Berechnung pro Klasse D: Testset A: Dokumente, die zur Klasse gehören F: Der Klasse zugewiesen Dokumente Recall = F A/A Precision F A/F Berechnung von Recall und Precision für alle Klassen & Durchschnittsbildung

24 Mikro- vs. Makrobewertung Mikrobewertung: Summiere für alle Klassen F A, F und A auf Ermittle Recall und Precision aus den Summen Makrobewertung Ermittle Recall und Precision aus allen Klassen Bilde den Mittelwert

25 25 F-measure Fmeasure: f = 2 p r p+r Hier ist p: Precision und r: Recall (Harmonisches Mittel zwischen Precision und Recall)

26 Literaturhinweise Manning/Schütze: Foundations of Statistical Natural Language Processing.

Ähnliche Dokumente

3. Grundbegriffe der Wahrscheinlichkeitstheorie

03. JULI 2006: BLATT 17 3. Grundbegriffe der Wahrscheinlichkeitstheorie (v.a. nach Manning/Schütze: 40ff und Fahrmeir /Künstler/Pigeot/Tutz: 171ff) Übersicht Um entscheiden zu können, ob eine statistische