5.1 Einführung in die Klassifikation

Transkript

1 5.0 Einführung in Klassifikationsverfahren 5.1 Einführung In dieser Vorlesung werden wir zunächst Vertreter des überwachten Lernens kennen lernen. Warum interessiert man sich für eine Klassifikationsregel? Impliziert nicht die Existenz einer korrekten Klassenzuordnung, dass es irgendjemand, den sog. Supervisor, geben muss, der zu solch einer fehlerfreien Klassifizierung in der Lage ist? Die Folien sind hier ein Kompromiss zwischen Präsentationsfolien und ausführlichem Skript... Warum sollte man diese perfekte Klassifizierung durch eine Regel ersetzen, die möglicherweise noch nicht einmal vollständig fehlerfrei ist? Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Einführung 5.1 Einführung 5.1 Einführung Begriffe: Der Begriff der Klassifikation wird in der Literatur auf mindestens zwei unterschiedliche Weisen verwendet: 1 Für eine gegebene Menge von Beobachtungen ist es das Ziel, Klassen verschiedenartiger Objekte zu identifizieren. Man spricht in diesem Fall auch von unüberwachtem (unsupervised) Lernen oder Cluster-Analyse. 2 Auf der Grundlage einer bekannten Klasseneinteilung möchte man eine Klassifikationsregel finden, mit der eine neue Beobachtung einer der Klassen zugeordnet werden kann. Diesen Fall nennt man überwachtes (supervised) Lernen oder Diskrimination. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Dafür kann es mehrere Gründe geben: Automatische Klassifikationsmethoden sind schneller. Zum Beispiel können Maschinen zur Sortierung nach Postleitzahlen die große Masse von Briefen sehr schnell abarbeiten, so dass nur noch die schwierigen Fälle für den Menschen übrig bleiben. Ein menschlicher Supervisor hat Vorurteile. Zum Beispiel könnte eine automatische Methode zur Kreditvergabe sich ausschließlich auf ein formales Kriterium stützen, Menschen würden typischerweise auch andere (irrelevante?) Informationen mit einbeziehen. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

2 5.1 Einführung Der Supervisor konnte u.u. nur deshalb zu einer zuverlässigen Diagnose kommen, weil er auf in der Entscheidungssituation sonst nicht verfügbare Extra -Informationen zurückgreifen konnte. Zum Beispiel kann auch ein Arzt oft erst dann zuverlässig entscheiden, ob ein Eingriff notwendig war, nachdem dieser durchgeführt worden ist. Klassifikation ist ein Vorhersageproblem. Damit ergibt sich immer dann ein Problem, wenn der Supervisor bei der Klassifikation von neuen Fällen nicht zur Verfügung steht, wie zum Beispiel bei Börsengeschäften oder Investitionen. 5.1 Einführung Verständlichkeit: Diese ist nicht nur wichtig bei der operativen Umsetzung der Regel, sondern auch für ihre Akzeptanz. So empfahl im Störfall des Three-Mile Island Reaktors die Automatik tatsächlich ein Herunterfahren der Anlage, aber das Bedienpersonal entschied sich gegen die Empfehlung. Lernzeit: Die Regel sollte schnell erlernbar sein, d.h. nur wenige Beobachtungen sollten zu ihrer Konstruktion ausreichen. Dieses erlaubt Anpassungen aufgrund neuer Daten in realer Zeit, besonders in einer sich schnell ändernden Umgebung. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Einführung Was kennzeichnet gute Klassifikationsregeln? Genauigkeit, d.h. ihre Zuverlässigkeit, meistens repräsentiert durch den Anteil von korrekten Klassifikationen bzw. die sog. Fehlklassifikationsrate. Allerdings sind einzelne Fehler u. U. gravierender als andere. Deshalb kann es zweckmäßig sein, Fehler unterschiedlich zu gewichten. Geschwindigkeit der Anwendung: U.U. wird man eine Regel, die zu 90% richtig ist, einer Regel, die zu 95% richtig ist, vorziehen, wenn die erste Regel wesentlich schneller ist. Entsprechende Überlegungen sind bei obigem Postleitzahlenbeispiel oder bei der automatischen Fehlererkennung während eines Produktionsprozesses wichtig. 5.1 Einführung Besonders wichtig für die Bestimmung der Klassifikationsregel ist eine sinnvolle Definition der Klassen im Lerndatensatz. Dazu sind drei Methoden gebräuchlich, von denen allerdings nur die erste ideal ist. Die Klassen entsprechen Bezeichnungen für unterschiedliche Populationen, und die Zugehörigkeit zu ihnen ist klar und eindeutig, wie zum Beispiel bei Katzen und Hunden. Die Mitgliedschaft zu einer Population wird durch eine unabhängige Autorität (den Supervisor), losgelöst von jeglichen nachprüfbaren Kriterien festgelegt. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

3 5.1 Einführung Die Klassen ergeben sich aus einem Vorhersageproblem. Eine Klasse ist im Wesentlichen ein Ergebnis, das anhand der Werte von charakteristischen Variablen vorhergesagt werden soll. Statistisch gesehen ist die Klasse dann zufallsbehaftet. Typische Beispiele sind die Probleme, ob der Zinssatz steigen (Klasse = 1) oder fallen (Klasse = 0) wird, oder ob die konjunkturelle Lage sich ändern wird oder nicht. Hier folgt zunächst eine formale Definition des Klassifikationsproblems, so wie es hier untersucht wird: Definition Klassifikationsproblem Definition: Gegeben sei ein Lerndatensatz, bestehend aus n Beobachtungen (xi, yi), i = 1,..., n, wobei xi ein Vektor von p Elementen ist, xi = (xi1,..., xip), p = Anzahl Einflussfaktoren, und yi eine Klassenzuordnung, yi {1,..., G}, G = Anzahl Klassen. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Einführung Die Klassen sind durch eine Partition des Beobachtungsraums definiert, d.h. durch die gemessenen Attribute oder Variablen selbst. Die Klasse ist also eine Funktion der Variablen. Zum Beispiel wird ein Produkt als fehlerhaft klassifiziert, wenn eine oder mehrere seiner Eigenschaften außerhalb von vorgegebenen Grenzwerten, den sog. Spezifikationsgrenzen, liegen. Damit wurden die Objekte also schon mit Hilfe einer Regel auf der Basis der Variablen klassifiziert. Das Problem der Bestimmung einer Klassifikationsregel besteht dann lediglich darin, sie auf Grund des Lerndatensatzes möglichst gut zu reproduzieren. Viele Datensätze zur Kreditvergabe sind Beispiele für diese Problemstellung. Aus diesen Beobachtungen soll eine sog. Klassifikationsregel bestimmt werden, die einem beliebigen Vektor x R p von Einflussfaktoren eine Klasse y {1,..., G} zuordnet. Das Ziel ist die Bestimmung einer insofern optimalen Klassifikationsregel, dass die Fehlerwahrscheinlichkeit dieser Regel minimal ist, d.h. P(yRegel(x) ywahr(x)) min!, im Idealfall für jede beliebige Verteilung von x. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

4 5.3 Datenunabhängige Regeln 5.3 Datenunabhängige Regeln Zunächst wird nun eine einfache Klassifikationsmethode vorgestellt: Datenunabhängige Regeln. Der Grundgedanke dieser Methode wird intuitiv eingeführt und hinsichtlich der genannten Kriterien für Klassifikationsregeln diskutiert. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Wähle die Klasse nach der Wahrscheinlichkeit ihres Auftretens im Lerndatensatz. Natürlich hängen die Regeln 1 und 2 von Daten ab, aber nur von den Daten des Lerndatensatzes und nicht von der neuen, zu klassifizierenden Beobachtung. Wähle die Klasse gleichwahrscheinlich aus allen möglichen Klassen. Die 3. Regel sollte durch jede praktisch relevante Klassifikationsregel verbessert werden. Es gilt für diese Regel, dass bei zwei a-priori gleich wahrscheinlichen Klassen die Fehlerwahrscheinlichkeit 50% beträgt, bei drei Klassen 66%, etc. Da die Anwendung solcher Methoden sehr einfach und schnell ist, werden sie häufig für einen Vergleich mit anderen, aufwändigeren Methoden als Messlatte herangezogen. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Datenunabhängige Regeln 5.3 Datenunabhängige Regeln 5.3 Datenunabhängige Regeln Datenunabhängige Regeln: Die einfachsten Klassifikationsregeln sind (mindestens) insofern datenunabhängig, dass jegliche Information der zu klassifizierenden neuen Beobachtung bei der Klassenzuordnung ignoriert wird. 5.4 Wahl von Klassifikationsregeln: Kriterien Die bisherigen heuristischen Klassifikationsregeln werden nun in einen größeren Rahmen gestellt und allgemeine Kriterien zu ihrer Auswahl werden vorgestellt (vgl. Michie et al., 1994, 12 16). Beispiele für solche Regeln: Wähle stets die im Lerndatensatz am häufigsten auftretende Klasse. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

5 5.4 Wahl von Klassifikationsregeln: Kriterien Die Problemstellung wird gegenüber dem vorangegangenen Abschnitt durch explizite Berücksichtigung der Tatsache verallgemeinert, dass sich üblicherweise die Klassen hinsichtlich der folgenden Gesichtspunkte unterscheiden werden: relative Häufigkeiten, mit denen die Klassen in der Population auftreten, formal repräsentiert durch unterschiedliche a priori-wahrscheinlichkeiten der Klassen Fehlklassifikationskosten, d.h. unterschiedliche Kosten eines Fehlers bei der Klassifikation in den verschiedenen Klassen Den Fall einer unterschiedlichen Kovarianzstruktur der Klassen werden wir später betrachten. 5.4 Wahl von Klassifikationsregeln: Kriterien Definitionen: A priori-wahrscheinlichkeiten: Für die Klassen Ai, i = 1,..., G, wird πi die a priori-wahrscheinlichkeit der Klasse Ai genannt, wenn πi die Wahrscheinlichkeit für das Auftreten der Klasse Ai in der Gesamtpopulation ist, d.h. πi := P(Ai). Fehlklassifikationskosten werden für Paare von Klassen definiert: c(i, j) := Kosten der falschen Zuordnung einer Beobachtung aus Klasse i zu Klasse j. Optimalitätskriterium: Für die Wahl einer Klassifikationsregel erscheint es sinnvoll, von den gesamten Fehlklassifikationskosten für eine neue Beobachtung auszugehen, was äquivalent zur Minimierung der erwarteten Kosten ist. Kosten-minimale Regeln heißen auch Bayes-Regeln. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Wahl von Klassifikationsregeln: Kriterien Hier sollen zunächst a priori-wahrscheinlichkeiten und Fehlklassifikationskosten definiert, Optimalitätskriterien für Klassifikationsregeln eingeführt und daraus datenunabhängige und datenabhängige Regeln abgeleitet werden. Schließlich wird der Zusammenhang dieser theoretischen Regeln mit den praktischen Klassifikationsverfahren diskutiert. 5.5 Bayes-Regeln 5.5 Datenunabhängige Bayes-Regeln 5.5 Bayes-Regeln Die datenunabhängige Klassifikationsregel Ordne jeder neuen Beobachtung die Klasse Ak zu. ergibt die erwarteten Fehlklassifikationskosten: Ck = π1 c(1, k) πg c(g, k) (1) Eine datenunabhängige Bayes-Regel wählt diejenige Klasse Ak mit den kleinsten erwarteten Kosten Ck aus. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

6 5.5 Bayes-Regeln 5.5 Datenunabhängige Bayes-Regeln Im Fall identischer Kosten für alle Fehler ergibt sich die minimale Fehler-Regel. Unter Berücksichtigung von c(i, i) = 0 und c(i, j) = c mit i j erhält man für die erwarteten Kosten: Ck = c(1 πk). (2) Die minimale Kosten (= Fehler)-Regel ordnet dann immer die Klasse mit der größten a priori-wahrscheinlichkeit zu. 5.5 Bayes-Regeln Definitionen Datenabhängige Bayes-Regeln Wenn bei der Zuordnung der Klassen die Information aus der neuen Beobachtung genutzt werden soll, kann wie folgt vorgegangen werden: Wähle diejenige Klasse mit der höchsten bedingten Wahrscheinlichkeit, d.h. mit der höchsten Wahrscheinlichkeit, gegeben die Beobachtung x. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Bayes-Regeln 5.5 Datenunabhängige Bayes-Regeln Datenunabhängig die Klasse mit der größten a priori-wahrscheinlichkeit zu wählen, ist im Allg. also höchstens dann sinnvoll, wenn identische Fehlklassifikationskosten angenommen werden können. Leider sind Fehlklassifikationskosten meist sehr schwierig zu bestimmen selbst in Situationen, in denen es klar ist, dass große Ungleichheiten bei der Höhe der Kosten einer falschen Entscheidung bestehen. Quantifizierungen sind deshalb oft subjektiv, weswegen die Kosten in der Praxis häufig als identisch angenommen werden. 5.5 Bayes-Regeln Sei P(Ai x) = a-posteriori Wahrscheinlichkeit der Klasse Ai, gegeben x, dann suchen wir nach derjenigen Klasse Ak mit der höchsten Wahrscheinlichkeit P(Ak x) = max P(Ai x). i Im Fall von unterschiedlichen Fehlspezifikationskosten wird stattdessen die folgende Kostenfunktion minimiert: Ci = c(1, i)p(a1 x) c(g, i)p(ag x). Im Fall von identischen Kosten c gilt: Ci = c(1 P(Ai x)), also ist P(Ai x) zu maximieren. Beispiele: Flugzeug, Krankheit Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

7 5.5 Bayes-Regeln Um P(Ai x) zu bestimmen, verwenden wir das Bayes Theorem. Damit gilt: πi P(x Ai) P(Ai x) = πj P(x Aj), j d.h. wir können P(Ai x) ausdrücken als Funktion der a priori-wahrscheinlichkeiten πi der Klassen Ai und der Wahrscheinlichkeiten P(x Ai) von x, gegeben eine der Klassen. Da der Nenner für alle Klassen gleich ist, ist P(Ai x) proportional zu πip(x Ai). Damit wird diejenige Klasse Ak ausgewählt, für die die folgenden Kosten minimal sind: Ck = π1 c(1, k)p(x A1) πg c(g, k)p(x Ag ). 5.5 Bayes-Regeln Problem: Leider benötigt man zur Anwendung von Bayes-Regeln nicht nur die Fehlklassifikationskosten (die wir im Folgenden als identisch unterstellen), sondern auch die a-priori-wahrscheinlichkeiten der Klassen und die Wahrscheinlichkeitsverteilungen der Beobachtungen für die einzelnen Klassen. Lösung: In der Praxis werden, wenn nur eine beschränkte Anzahl von Beobachtungen für die Klassen vorliegt, unterschiedliche Wege beschritten, um die Bayes-Regel trotzdem anwenden zu können: Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Bayes-Regeln Im Fall von stetigen Verteilungen lassen sich die Wahrscheinlichkeiten P(x Ai) als Dichten fi(x) schreiben. Dann ergibt sich als Bayes Regel zur Unterscheidung von zwei Klassen A1 und A2 (G = 2) unter Ausnutzung von c(1, 1) = c(2, 2) = 0: Wähle Klasse 1, wenn gilt: π2 c(2, 1)f2(x) < π1 c(1, 2)f1(x) f1(x) π2 c(2, 1) > f2(x) π1 c(1, 2). Im Fall von identischen a-priori-wahrscheinlichkeiten und identischen Kosten ergibt sich daraus die einfachere Regel: Wähle Klasse 1, wenn f1(x) > f2(x), d.h. wenn die Beobachtung x unter Klasse 1 die größere Wahrscheinlichkeit hat als unter Klasse Bayes-Regeln Empirische Bayes-Methode: Man verwendet die Bayes-Regel mit empirischen Häufigkeiten für die a priori-wahrscheinlichkeiten der Klassen und die Wahrscheinlichkeit der Beobachtungen in den einzelnen Klassen. Um auf diese Weise eine verlässliche Regel zu erhalten, sind aber leider sehr viele Beobachtungen notwendig. Man sammelt alle Beobachtungen im Lerndatensatz mit genau denselben Beobachtungswerten wie bei dem zu klassifizierenden Vektor und wählt diejenige Klasse mit der größten Häufigkeit, d.h. für die P(Ai x) unter diesen Beispielen am höchsten ist. Leider fehlen u.u. Lerndaten mit den gewünschten Eigenschaften. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

8 5.5 Bayes-Regeln Deshalb sucht man eine approximative Bayes Regel, indem nicht nur Beispiele mit exakt denselben Attributwerten herangezogen werden, sondern auch solche mit (in einem vorgegebenen Sinn) ähnlichen. Solche Methoden heißen auch Methoden der nächsten Nachbarn (knn-methoden). Man ersetzt die fehlende Verteilungsinformation durch parametrische oder nicht-parametrische Annahmen: Parametrische Annahmen betreffen die Verteilungsklasse (zum Beispiel Verwendung von Normalverteilungen), und das Problem wird reduziert auf das Schätzen der unbekannten Parameter der Verteilungen in der vorgegebenen Klasse. Nicht-parametrische Methoden machen keine Annahmen über die Verteilungen und werden deshalb auch, vielleicht genauer, verteilungsfreie Methoden genannt. Beispiel/Vorgriff: Bei der (linearen) Diskriminanzanalyse werden parametrische Annahmen über die Verteilungen innerhalb der Klassen gemacht. 5.6 Naive Bayes Methode 5.6 Naive Bayes Methode Eine Methode ist die empirische Bayes-Methode. Um auf diese Weise eine verlässliche Regel zu erhalten, sind aber sehr viele Beobachtungen notwendig. Die Naive Bayes-Methode verwendet deshalb eine naive Annahme, um doch noch zu einigermaßen verlässlichen Schätzungen der Wahrscheinlichkeiten P((x1,..., xp) Ai) zu kommen. Annahme: Die bedingten Wahrscheinlichkeiten der einzelnen Variablen, gegeben die Klasse Ai, sind voneinander unabhängig, d.h. P((x1,..., xp) Ai) = P(x1 Ai)... P(xp Ai). Damit können die Wahrscheinlichkeiten der einzelnen Variablen einzeln betrachtet werden, und die Häufigkeit gleicher Ausprägungen in derselben Klasse wächst. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Naive Bayes Methode 5.6 Naive Bayes Methode 5.6 Naive Bayes Methode Es werden in der Praxis unterschiedliche Wege beschritten, um die Bayes-Regel anzuwenden, wenn nur eine beschränkte Anzahl von Beobachtungen für die Klassen vorliegt, obwohl die a-priori-wahrscheinlichkeiten der Klassen und die Wahrscheinlichkeitsverteilungen der multivariaten (!) Beobachtungen P((x1,..., xp) Ai) für die einzelnen Klassen im Allg. bei der Analyse nicht vorliegen. 5.6 Naive Bayes Methode 5.6 Naive Bayes Methode Das Verfahren ist nur dann verlässlich, wenn die Annahme einigermaßen gerechtfertigt ist. Metrische Variable werden entweder diskretisiert und es wird mit den Klassen weitergearbeitet, oder es wird eine Verteilungsannahme getroffen (typischerweise Normalverteilung). Fehlende Werte stellen kein Problem dar, denn sie werden bei der Berechnung der Häufigkeiten ignoriert. Das Verfahren ist offensichtlich nicht eindeutig definiert und es gibt in der Praxis Implementierungen verschiedener abgeleiteter Algorithmen. z.b. in R: Funktion naivebayes() in Paket e1071 oder Funktion NaiveBayes() in Paket klar. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

9 5.7 Literatur 5.7 Literatur Klassifikationsverfahren 5.7 Literatur Hastie, T.J., Tibshirani, R.J. und Friedman, J. (2001): The Elements of Statistical Learning. Data Mining Inference and Prediction. Springer, New York. Michie, D., Spiegelhalter, D.J. und Taylor, C.C. (1994): Machine Learning, Neural and Statistical Classification. Ellis Horwood, New York. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester