Seminar Text- und Datamining Datamining-Grundlagen

Größe: px

Ab Seite anzeigen:

Download "Seminar Text- und Datamining Datamining-Grundlagen"

Viktor Peters
vor 8 Jahren
Abrufe

1 Seminar Text- und Datamining Datamining-Grundlagen Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg

2 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

3 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

4 4 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Klassifikationsprobleme Klassifikationsproblem Problemstellung: Objekt einer Klasse zuordnen (z.b. Frucht einer Obstsorte) Gegeben: endliche Menge von Merkmalen eines Objekts (z.b. Farbe, Größe, Gewicht) Merkmale können verschiedene Ausprägungen haben endlich viele verschiedene Ausprägungen (nominal) (z.b. Farbe = rot, grün, blau, gelb, orange) unendlich viele verschiedene Ausprägungen (numerisch) (z.b. Größe = Größenabgabe in cm) Gesucht: Klasse, zu der das Objekt gehört Anzahl Klassen ist endlich (z.b. Apfel, Birne, Banane, Orange)

b. Farbe = rot, grün, blau, gelb, orange) unendlich viele verschiedene Ausprägungen (numerisch) (z.b. Größe = Größenabgabe in cm) Gesucht: Klasse, zu der das Objekt gehört Anzahl Klassen ist endlich (z.

5 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Klassifikationsprobleme Klassifikationsproblem (Beispiel) Ausgangslage: Datensatz mit tausenden Patientendaten Auszug aus den Daten: Geschlecht BRCA-Gen Händigkeit Brustkrebs m normal rechtshändig nein w normal rechtshändig nein w mutiert beidhändig nein w mutiert rechtshändig ja w normal linkshändig ja w normal rechtshändig nein w normal rechtshändig nein m mutiert linkshändig ja m mutiert linkshändig ja w normal rechtshändig ja m normal rechtshändig nein... Fragestellung: Wie kann ich aus Geschlecht, BRCA-Gen und Händigkeit Brustkrebs-Erkrankung vorhersagen?. 5 / 20

w mutiert rechtshändig ja w normal linkshändig ja w normal rechtshändig nein w normal rechtshändig nein m mutiert linkshändig ja m mutiert linkshändig ja w

6 6 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Klassifikationsprobleme Klassifikationsproblem als Funktion Gesucht ist also eine Funktion {m, w} {normal, mutiert} {rechts-, links-, beidhändig} {ja, nein} Vorschläge für Klassifikationsfunktionen: def klassifikator1(geschlecht, brca, haendigkeit): return False def klassifikator2(geschlecht, brca, haendigkeit): return True if geschlecht=="w" else False def klassifikator3(geschlecht, brca, haendigkeit): return True if geschlecht=="w" and brca=="mutiert" else False def klassifikator4(geschlecht, brca, haendigkeit): # Merkmalskombination in Datensatz nachschlagen Frage: Welcher ist der beste Klassifikator?

klassifikator2(geschlecht, brca, haendigkeit): return True if geschlecht=="w" else False def klassifikator3(geschlecht, brca, haendigkeit): return True if

7 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

8 8 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Evaluation Evaluationsmethodik Evaluation der Klassifikatoren notwendig Klassifikatoren werden (üblicherweise) trainiert Auswendiglernen des Datensatzes unerwünscht Aufteilen in Trainings- und Testdatensatz (z.b. 80/20) Generalisieren: Klassifikator soll von den Trainingsdaten verallgemeinern Overfitting: Klassifikator lernt Trainingsdaten auswendig und kann auf neue/unbekannte Daten (Testdaten) nur schlecht reagieren Evaluation der Klassifikatoren auf dem Testdatensatz ( = Vergleich der Klassifikatorentscheidungen mit der Angabe zu Brustkrebs im Testdatensatz)

icherweise) trainiert Auswendiglernen des Datensatzes unerwünscht Aufteilen in Trainings- und Testdatensatz (z.b.

9 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Evaluation Evaluationsfunktionen Mögliche Evaluationsergebnisse: Datensatz: Krebs Datensatz: kein Krebs Klassifikator: Krebs true positive (TP) false positive (FP) Klassifikator: kein Krebs false negative (FN) true negative (TN) Für gesamten Testdatensatz aufsummieren: #TP, #FP, #FN, #TN Evaluationsfunktion berechnet daraus eine Zahl zwischen 0 und 1. Accuracy: Wie viele der Entscheidungen sind korrekt? Accuracy = #TP + #TN Test set = #TP + #TN #TP + #FP + #FN + #TN Precision: Wie viele der Diagnosen sind auch tatsächlich Krebs? Precision = #TP #TP + #FP Recall: Wie viele der Krebserkrankungen sind erkannt worden? Recall = #TP #TP + #FN 9 / 20

#FN, #TN Evaluationsfunktion berechnet daraus eine Zahl zwischen 0 und 1. Accuracy: Wie viele der Entscheidungen sind korrekt?

10 10 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Evaluation Evaluationsfunktionen (fort.) Mehrere Evaluationsfunktionen sollten anwendungsabhängig gewichtet werden, z.b. mittels F-Score. F-Score: Kompromiss zwischen Precision und Recall F-Score = 2 Precision Recall Precision + Recall

) Mehrere Evaluationsfunktionen sollten anwendungsabhängig gewichtet

11 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

12 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

13 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Welche Entscheidungsstrategie ist optimal? Im Folgenden: alle Fehler sind gleich teuer Gegeben: n mögliche Klassen: K = {k 1, k 2, k n } Konkrete Beobachtung der m Merkmale: X = x 1, x 2, x m Ziel: So oft wie möglich richtig zu liegen Immer richtig zu liegen ist i.d.r. nicht möglich. Grund: mehrdeutige Beobachtungen: Geschlecht BRCA-Gen Händigkeit Brustkrebs w normal rechtshändig nein w normal rechtshändig ja Also: Minimiere den Erwartungswert der Fehlentscheidungen E(F ) = X P(ˆk, X) Optimale Strategie minimiert Fehlentscheidungsrisiko für jede einzelne Entscheidung! 13 / 20

möglich richtig zu liegen Immer richtig zu liegen ist i.d.r. nicht möglich.

14 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Maximum-a-posteriori-Strategie (MAP) Beispiel: P(k 1 X) = 0.35 P(k 2 X) = 0.4 P(k 3 X) = 0.25 Wähle die Klasse ˆk = argmax k K P(k 1 X) = 0.35 P(k 2 X) = 0.4 P(k 3 X) = 0.25 P(k X) Maximum-a-posteriori-Strategie (MAP) Optimal bei uniformen Kosten und vollständigem Wissen über die Erfolgswahrscheinlichkeiten! 14 / 20

25 Wähle die Klasse ˆk = argmax k K P(k 1 X) = 0.35 P(k 2 X) = 0.4 P(k 3 X) = 0.

15 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Schätzen der Wahrscheinlichkeiten Schätze aus Erfahrung (relative Häufigkeit): P(k X) H(k X) = Beispiel: X = [ w, normal, rechtshändig ] #(X, k) #(X, ) Geschlecht BRCA-Gen Händigkeit Brustkrebs w normal rechtshändig nein w mutiert rechtshändig ja w normal linkshändig ja w normal rechtshändig nein w normal rechtshändig nein w normal rechtshändig ja P( ja X) P( nein X) Interpretation: Entscheide zugunsten der Klasse, die in der Vergangenheit für die Beobachtung X am häufigsten vorlag. 15 / 20

normal rechtshändig nein w mutiert rechtshändig ja w normal linkshändig ja w normal rechtshändig nein w normal rechtshändig nein w normal

16 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Generalisierung Aber: Intelligentes Lernen ist mehr als nur Auswendiglernen von Beispielen. Problem: Zu wenig Beispiele, um verlässliche Schätzung durchführen zu können: Geschlecht BRCA-Gen Händigkeit Brustkrebs w normal rechtshändig ja P( nein w, normal, rechtshändig ) 1.0 (?) Oder: Beobachtung ganz neu (insbes. wenn viele und z.t. numerische Merkmale: Alter, Blutwerte,...) 16 / 20

Problem: Zu wenig Beispiele, um verlässliche Schätzung durchführen zu können: Geschlecht BRCA-Gen Händigkeit

17 17 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Bayes-Klassifikator Anwendung der Bayes-Formel: ˆk = argmax k K P(k X) = argmax k K = argmax k K P(X k) P(k) P(X) P(X k) P(k) Wenn die Art der Wkts.verteilung P(X k) bekannt ist (z.b. Normalverteilung), können die Parameter der Verteilung aus den Beispielen gelernt werden und somit eine Generalisierung erreicht werden. Es gibt Verfahren, um die Wkts.verteilung zu vereinfachen (z.b. Naive Bayes, Bayes-Netze) Kann die Wkts.verteilung nicht angegeben werden, empfiehlt sich die Verwendung nichtstatistischer Klassifikationsverfahren (z.b. Entscheidungsbäume) =

kannt ist (z.b. Normalverteilung), können die Parameter der Verteilung aus den Beispielen gelernt werden und somit eine Generalisierung erreicht werden.

18 Gliederung 1 Klassifikationsprobleme 2 Evaluation 3 Entscheidungsstrategien Naive-Bayes-Klassifikation

19 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Naive-Bayes-Klassifikation Naive-Bayes-Annahme Annahme: Alle Merkmale sind voneinander bedingt unabhängig, d.h. sie hängen nur von der Klasse ab, nicht von den anderen Merkmalen. Dies ist in der Regel falsch (daher naiv). In der Praxis funktioniert es trotzdem gut, solange die Abhängigkeiten nicht zu stark sind. Beispiele für Abhängigkeiten: schwach: Es gibt etwas mehr Linkshänder unter Männern als unter Frauen. stark (fiktives Beispiel): Anders als Frauen sind Männer mit Brustkrebs überwiegend Rechtshänder. keine bedingte Abhängigkeit: Frauen zeigen häufiger Brustkrebs-Symptome als Männer. 19 / 20

In der Praxis funktioniert es trotzdem gut, solange die Abhängigkeiten nicht zu stark sind.

20 20 / 20 Datamining-Grundlagen Seminar Text- und Datamining SoSe 2013 Entscheidungsstrategien Naive-Bayes-Klassifikation Naive-Bayes-Klassifikation Wenn die Annahme gilt, folgt und es lässt sich schreiben: P(x, y k) = P(x k) P(y k) argmax k K = argmax k K = argmax k K P(X k) P(k) = P(x 1,..., x m k) P(k) = P(x 1 k)... P(x m k) P(k) Man muss also nur noch die Verteilungen P(x i k) für jedes Merkmal getrennt lernen.

schreiben: P(x, y k) = P(x k) P(y k) argmax k K = argmax k K = argmax k K P(X k) P(k) = P(x 1,.

Ähnliche Dokumente

Seminar Textmining SS 2015 Grundlagen des Maschinellen Lernens

Seminar Textmining SS 2015 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 17.04.2015 Entscheidungsprobleme beim Textmining