Werkzeuge. 12. Data Mining

Transkript

1 12. Data Mining Data Warehouse Abfragen und Berichte standardisiert und mächtig, aber für gelegentlichen Benutzer zu schwierig OLAP-Werkzeuge flexible, mehrdimensionale Anfragen Abfrage- und Berichtssprachen wie SQL OLAP-Werkzeuge Data Mining Werkzeuge Data Mining komplexe Methoden zur Datenanalyse Extrapolieren von Bekanntem auf neue Situationen Prof. Andreas Reber 1 Data Mning Data Mining - Vorhersage Abfragen, Berichte und OLAP geben Auskunft über die Vergangenheit Data Mining Analyse historischer Daten Ableitung von Regeln bzw. Modellen zur Vorhersage zukünftiger Ereignisse Prof. Andreas Reber 2 Data Mning

2 Data Mining - Anwendungsbeispiele Warenkorbanalyse Beurteilung der Werbewirksamkeit Antwortrate eines Direct Mailing Vorhersage der Kundenfluktuation Kreditwürdigkeitsbeurteilung Entdeckung von Kreditkartenbetrug Analyse von Zahlungsgewohnheiten Mitarbeiterzufriedenheit... Prof. Andreas Reber 3 Data Mning Was ist ein Vorhersagemodell (predictive( model) Eine "Black Box", die Voraussagen über die Zukunft macht auf Basis von Informationen aus Vergangenheit und Gegenwart Alter Kontostand Augenfarbe Modell Wie hoch wird die nächste Bestellung des Kunden sein? Prof. Andreas Reber 4 Data Mning

3 Entstehung und Nutzung von Vorhersagemodellen Aktuelle Daten Historische Daten Data Mining System Modell Vorhersage Prof. Andreas Reber 5 Data Mning Voraussetzungen des Data Mining Daten relevant genügend zuverlässig Data Mining System Hypothesen über... wichtige Attribute Beziehungen z.b. aus Data Warehouse Betriebliches Fachwissen Prof. Andreas Reber 6 Data Mning

4 Datengetriebene und modellgetriebene Analyse Datengetriebene oder explorative Analyse Ausgangspunkt: Daten, deren Muster beschrieben und verallgemeinert werden sollen Modellgetriebene Analyse Ausgangspunkt: Hypothese, die aus einer Stichprobe bestätigt werden soll Prof. Andreas Reber 7 Data Mning Wichtige Methoden des Data Mining Entscheidungsbäume Neuronale Netze IF... THEN... Regelinduktion Nearest Neighbor Genetische Algorithmen Konventionelle Statistik Prof. Andreas Reber 8 Data Mning

5 Grundbegriffe der Datenanalyse Begriff Synonyme Verwandte Begriffe Datengesamtheit Lernmenge Grundgesamtheit, Stichprobe Testmenge, Datenbank Datenelement Satz, Zeile, Tupel, Individuum,Beispiel, Beobachtung Variable Attribut, Merkmal, Fakt, Indikator, Dimension Feld, Spalte unabhängige Variable exogene Variable Prädikator, Klassifikator abhängige Variable endogene Variable vorhergesagte oder Kriterium klassifizierte Variable Eine abhängige Variable ist ein Merkmal, dessen Wert vom Modell selbst erklärt wird. Zur Erklärung dienen unabhängige Variablen, deren Werte nicht weiter begründet werden, sondern ausserhalb des Modells begründet werden können. Prof. Andreas Reber 9 Data Mning Güte einer Data Mining Analyse Der Erfolg einer Data Mining Methode ist abhängig von der Relevanz, der Zuverlässigkeit und der Validität (Verallgemeinerungsfähigkeit) der Variablen Die Validität der Ergebnisse hängt davon ab, ob die Fachabteilung Hypothesen über Attribute und Beziehung der Datengesamtheit beisteuert Steht lediglich eine Auswahl der Datengesamtheit als Datenelemente zur Verfügung (Teilerhebung), muss der Analytiker fragen, wie sicher er die Ergebnisse der Stichprobe verallgemeinern kann Lernmenge und Testmenge werden unterschieden, wenn eine zweite Datengesamtheit (die Testmenge) das Ergebnis der Lernmenge validieren soll. Prof. Andreas Reber 10 Data Mning

6 Treffsicherheit von ad-hoc und methodischen Vorhersagen Prognosen aus Data Mining sind in der Regel treffsicherer als naive ad-hoc Vorhersagen Naive Vorhersage: uninformiert Leitet zukünftigen Wert nur aus der Verteilung des Merkmals in der Vergangenheit her keine Berücksichtung der Faktoren, auf denen die Werte basieren Methodische Vorhersagen Schätzung von bedingten (a posteriori) Wahrscheinlichkeiten Berücksichtigung unabhängiger Variablen, die die vorherzusagenden abhängigen Variablen beeinflussen Beispiel: Leser der Zeitschrift Auto sind nur zu 40% Abonnenten. Die zusätzliche Information, dass jemand Wohn- und Autoeigentümer ist, erhöht die Abonnement- Wahrscheinlichkeit auf 65% Prof. Andreas Reber 11 Data Mning Zusammenhang: Data Mining und Data Warehousing Interpretation/ Evaluation Daten Auswahl Transformation Vorverarbeitung Zieldaten Data Warehouse Data Mining Transformierte Daten Muster Wissen Prof. Andreas Reber 12 Data Mning

7 Vereinfachtes Phasenschema der Anwendung von Data Mining 1. Problem spezifizieren Abhängige Variable bestimmen Unabhängige Variablen bestimmen Hypothesen formulieren 2. Daten sammeln und aufbereiten Datengesamtheit allenfalls in Lern- und Testmenge aufteilen Variablen für Modellierungszwecke transformieren 3. Daten explorieren Daten visualisieren Ausreisser analysieren Verteilungsmasse berechnen (Varianz) Variablen zueinander in Beziehung setzen Ergänzende Hypothesen generieren 4. Hauptmethoden anwenden Methode auswählen Hypothesen testen Zusammenhänge identifizeiren und quantifizieren Kausalität von Korrelation unterscheiden Einfluss intervenierender Variablen identifizieren 5. Ergebnisse validieren, präsentieren und anwenden Unsicherheit der Ergebnisse quantifizieren (Signifikanztest) Ergebnisse visualisieren Ergebnisse auf neue Stichproben anwenden Prof. Andreas Reber 13 Data Mning Arten von Data Mining Problemen (I) Klassifikation Lernen einer Menge von Regeln, die Objekte aufgrund ihrer Attribute vorgegebenen Klassen zuordnen Beispiel: Klassifikation von Bankkunden ob Kreditwürdig oder nicht Clustering Aufteilung einer Datenmenge in disjunkte Gruppen ähnlicher Objekte Beispiel: Finden von Benutzergruppen einer Web Site Regression (Vorhersage) Lernen der Beziehung einer Zielvariable von Ausgangsvariablen Beispiel: Potentielle Käufergruppe für ein Produkt (in Abhängigkeit z.b. von Alter, Bildung, Einkommen) Prof. Andreas Reber 14 Data Mning

8 Arten von Data Mining Problemen (II) Assoziationen (Warenkorbanalyse) Lernen von Abhängigkeiten zwischen Daten, z.b. welche Gruppen von Werten kommen in Transaktionen gemeinsam vor Beispiel: Freitags kaufen Kunden, die Windeln kaufen, oft auch Bier. Abweichungs- und Änderungsentdeckung Entdecken von Unterschieden zu früher aufgezeichneten Daten oder vorgegebenen normativen Werten Beispiel: Erkennung von Kreditkartenbetrug, Identifikation besonderer Kundengruppen. Zeitreihenanalyse Lernen von Regeln für typische Abläufe zur Prognose zeitlicher Veränderungen Beispiele: Kontenentwicklungen, Aktienkurse, Vorhersage von Systemausfällen auf Basis von Messdaten Prof. Andreas Reber 15 Data Mning Klassifikation Aufgabe Individuen bekannten Klassen zuordnen Beispiele: Bonitätsbeurteilung Individuen: Bankkunden Klassen: kreditwürdig nicht kreditwürdig Qualitätsprüfung Individuen: Produkte Klassen: ok Nacharbeit Ausschuss OCR (Zeichenerkennung) Individuen: Pixelbilder Klassen: alle ASCII-Zeichen Prof. Andreas Reber 16 Data Mning

9 Klassifikator Individuen Klassifikator Klassen Der Klassifikator entscheidet, welcher Klasse ein Individuum zuzuordnen ist Der Klassifikator ist ein Modell der Anwendung Im Klassifikator sind relevante Kriterien für die Klassenzuordnung codiert: Klassendefinition ("Etikett") Problem: Die Kriterien für die Entscheidung sind nicht immer offensichtlich Die Erstellung eines Klassifikator ist aufwendig und benötigt Wissen Data Mining: Lernen der Klassifikationskriterien aus Beispieldaten Prof. Andreas Reber 17 Data Mning Trainings- und Anwendungsphase Trainingsphase Lernen Klassenzugehörigkeit Klassendefinitionen (Modell) Anwendungsphase Aktuelle Daten (Individuen) Klassifikation Beispieldaten Training: Lernen der Kriterien für die Zuordnung der Individuen zu den einzelnen Klassen Gegeben: Menge von Beispielindividuen beschrieben durch Attribute (unabhängige Variablen) Klassenzugehörigkeit (abhängige Variable) Resultat: Klassendefinitionen Anwendung: Zuordnung von Individuen zu Klassen Gegeben: Beschreibung einzelner Individuen durch Attribute Resultat: Klassenzugehörigkeit (abhängige Variable) Data Mining entspricht der Trainingsphase Prof. Andreas Reber 18 Data Mning

10 Klassifikationsmethoden Klassifikator = Klassendefinitionen + Klassifikationsmethode Es gibt verschiedene Methoden für die Klassifikation, z.b. Entscheidungsbaum (Regeln) Neuronale Netze k-nearest Neighbor Case-based Reasoning Je nach Methode gibt es jeweils unterschiedliche Darstellung der Klassendefinitionen Dadurch gibt es auch unterschiedliche Data-Mining-Verfahren Prof. Andreas Reber 19 Data Mning Entscheidungsbäume Entscheidungsbäume werden primär eingesetzt für Klassifikation Hautbedeckung? Entscheidungsbäume sind spezielle Darstellungen von Regelsystemen keine Schuppen Haare Federn Lebendgebährend? Säugetier kein Säugetier kein Säugetier ja nein Säugetier kein Säugetier Prof. Andreas Reber 20 Data Mning

11 Bäume - eine fundamentale Datenstruktur Wurzel Ein Baum ist entweder leer oder besteht aus einem Knoten (der Wurzel) und einer Liste von Bäumen (den Söhnen) Die Verbindungen von einem Knoten zu den Söhnen heissen Kanten. Einen Knoten ohne Söhne nennt man Blatt. Ein innerer Knoten ist ein Knoten, der kein Blatt ist. innerer Knoten Blatt Teilweise verwendet man auch die Bezeichnungen (direkter) Vorgänger für Vaterknoten und (direkter) Nachfolger für Söhne Seltsamerweise werden in der graphischen Darstellung Bäume von oben nach unten gezeichnet. Anders als bei realen Bäumen ist hier also die Wurzel oben. Prof. Andreas Reber 21 Data Mning Entscheidungsbäume - Prinzip Alternative 1 Folgerung 1 Entscheidung Alternative m Entscheidung m Entscheidungsbäume sind spezielle Formen von Bäumen zur Repräsentation von Wissen Die inneren Knoten eines Entscheidungsbaums repräsentieren Entscheidungen Bedingungen über Attribute (unabhängige Variable) Alternative 1 Folgerung 1 Alternative n Folgerung n Für jede Alternative gibt es einen Nachfolgeknoten Die Blätter eines Entscheidungsbaums enthalten das Ergebnis einer Entscheidung Werte der abhängigen Variable(n) Prof. Andreas Reber 22 Data Mning

12 Entscheidungsbäume repräsentieren Regeln Beispiel: Welche Personen sind kreditwürdig? < 5000 nein Einkommen >5000 Alter < 40 > 40 Familienstand ja ledig verheiratet nein ja Ein Entscheidungsbaum ist eine Repräsentation für eine Hierarchie von Regeln Regeln haben die Form Wenn Bedingung Dann Folgerung Ein Pfad von der Wurzel zu einem Blatt entspricht einer Regel Die Entscheidungen sind undverknüpfte Bedingungen das Blatt ist die Folgerung Prof. Andreas Reber 23 Data Mning Entscheidungsbäume repräsentieren Regeln Beispiel: Welche Personen sind kreditwürdig? Wenn Einkommen < 5000 Dann nein Einkommen < 5000 >5000 nein Alter < 40 > 40 Familienstand ja ledig verheiratet nein ja Wenn Wenn Wenn Einkommen > 5000 und Alter > 40 Dann ja Einkommen > 5000 und Alter < 40 und Familienstand = ledig Dann nein Einkommen > 5000 und Alter < 40 und Familienstand = verheiratet Dann ja Prof. Andreas Reber 24 Data Mning

13 Anwendung von Entscheidungsbäumen: Beispiele Beispiel: Welche Personen sind für eine Werbeaktion einer Autoversicherung interessant? < nein Einkommen ledig Familienstand ja weiblich >20000 Geschlecht verheiratet nein männlich ja Welche der folgenden Personen ist interessant für eine Autoversicherung? Petra Weber Geschlecht: weiblich Zivilstand: ledig Einkommen: Franz Müller Geschlecht: männlich Zivilstand: ledig Einkommen: Bodo Schmidt Geschlecht: männlich Einkommen: Ute Meier Geschlecht: weiblich Einkommen: Prof. Andreas Reber 25 Data Mning Aufbau eines Entscheidungsbaums Manuell: Aufbau von Entscheidungsbäumen bzw. Regelsystemen durch Experten Regeln sind oft redundant, lückenhaft, widersprüchlich oder ineffizient Regelinduktion: automatische Ableitung eines Entscheidungsbaums oder von Regeln aus Beispieldaten Regelinduktion kann die manuelle Regeldefinition unterstützen Beispieldaten Regelinduktion Regelinduktion Regeldefinitionen (Modell) Anwendung Prof. Andreas Reber 26 Data Mning

14 Daten und Muster Datenbankabfragen Data Mining Datenbankabfragen Welche Daten passen zu meinem Abfragemuster Data Mining Welches Muster passt zu den Daten? Sonderfall: Welcher Entscheidungsbaum passt zu den gegebenen Daten Prof. Andreas Reber 27 Data Mning Ablauf der Induktion eines Entscheidungsbaums Problem Lernmenge Unabhängige Abhängige Induktion Entscheidungsbaum Induktion = Verallgemeinerung aus Beispielen Prof. Andreas Reber 28 Data Mning

15 Generierung von Entscheidungsbäumen Anwendersicht 1. Lernmenge definieren Sammlung von Daten in Datenbank, Spreadsheet-Tabelle oder Textdatei; Unterscheidung von abhängigen und unabhängigen Variablen 2. Daten in Data Mining System laden Importieren oder zugreifen auf Datenbank z.b. über ODBC 3. Daten analysieren und anpassen Variablen mit offensichtlich geringem Klassifikationsbeitrag aussortieren 4. Induktionsparameter anpassen Der Benutzer kann die Generierung des Entscheidungsbaums beeinflussen 5. Entscheidungsbaum induzieren 6. Entscheidungsbaum an einer Testmenge validieren Die Verallgemeinerung von Beispielen ist unsicher, so dass die gelernten Regeln an unabhängigen Beispielen getestet werden sollten 7. Entscheidungsbaum anwenden Gelernte Regeln in Anwendung integrieren (z.b. Umwandeln in C-Code) Prof. Andreas Reber 29 Data Mning Beispiel Bonitätsbeurteilung Gegeben: Eine Stichprobe Bonitätsklassifikation beschreibt eine Lernmenge bereits bearbeiteter Kreditgesuche Ziel: Induzieren Sie einen Entscheidungsbaum, der jedes neue Kreditgesuch annimmt oder ablehnt Eingabe: Unabhängige Variablen (Attribute) Geschlecht Zivilstand Kinder Beschäftigung Wohneigentum Einkommen Ersparnisse Alter Abhängige Variable (Klassen): Kreditwürdigkeit: "Annahme" und "Ablehnung" Prof. Andreas Reber 30 Data Mning

16 Ausschnitt aus einer möglichen Lernmenge Abhängige Variable Prof. Andreas Reber 31 Data Mning Erstellung von Entscheidungsbäumen Prinzip: Von heterogenen zu homogenen Klassen Geschlecht = mannlich Einkommen < 5000 Geschlecht = weiblich Einkommen > 5000 Prof. Andreas Reber 32 Data Mning

17 Datenarten Diskret: endliche Zahl möglicher Werte Beispiele: Zivilstand, Geschlecht, Beruf Trennwerte: Auswahl einzelner Werte oder Gruppen von Werten Numerisch: unendliche Zahl von Werten, auf denen eine Ordnung definiert ist Beispiele: Alter, Einkommen Trennwerte: Intervallgrenzen festlegen Bei welchem Datentyp ist es einfacher, Trennwerte festzulegen? Prof. Andreas Reber 33 Data Mning Erstellung von Entscheidungsbäumen Jede Entscheidung teilt die Fläche in neue Abschnitte 1. Wenn Einkommen > 8000 Dann Annahme Alter Einkommen 2. Wenn Einkommen < 5000 und Alter > 40 Dann Ablehnung 3. Wenn Einkommen < 5000 und Alter < 40 Dann Annahme 4. Wenn Einkommen > 5000 und Einkommen < 8000 Alter > 45 Dann Ablehnung 5. Wenn Einkommen > 5000 und Einkommen < 8000 Alter < 33 Dann Ablehnung 6. Wenn Einkommen > 5000 und Einkommen < 8000 Alter > 33 und Alter < 45 Dann Annahme Prof. Andreas Reber 34 Data Mning

18 Fragen eines Entscheidungsbaums bestimmen Einkommen < 5000 Einkommen > 5000 Weshalb Einkommen statt z.b. Zivilstand oder Geschlecht, etc.? Welche Attribute trennen in welcher Reihenfolge am besten? Warum Einkommen < 5000 statt < 6000? Welche Werte trennen am besten? Prof. Andreas Reber 35 Data Mning Skizze eines Induktionsalgorithmus Heuristischer Ansatz Lerne einen Entscheidungsbaum Berechne für jedes Attribut, wie gut es allein die Elemente der Lernmenge klassifiziert Klassifiziere mit dem besten Attribut Wiederhole für jeden so entstandenen Teilbaum die ersten beiden Schritte Brich diesen rekursiven Prozess ab, sobald er ein bestimmtes Abbruchkriterium erfüllt Prof. Andreas Reber 36 Data Mning

19 Heuristischer Aufbau eines Entscheidungsbaums Fragen: Welches Attribut wählt man als nächstes Entscheidungskriterium? Welchen Trennwert wählt man? Wie kann man die Klassifikationsgüte einer Entscheidung beurteilen? Stichworte: Entscheidungsgehalt Informationstheoretische Entropie Klassifikationsgewinn Erwartungswert Prof. Andreas Reber 37 Data Mning Vorbereitung der Lernmenge Oft ist es notwendig, Daten vorzubereiten, z.b. Zusammenführen der relevanten Daten in einer Relation (Tabelle) Evtl. Joins über mehrere Tabellen Meist sind nur wenige Attribute relevant Aufteilung in Trainings- und Testmenge Trainingsmenge wird zum Lernen des Entscheidungsbaums verwendet Testmenge zum Prüfen des fertigen Entscheidungsbaums Diskretisieren Umwandlung von numerischen Werten in diskrete Werte z.b. durch Festlegen von Intervallen Beispiel: Einkommen (< 2000; ; ; > 8000) Ersetzen von Nullwerten Z.B. durch arithmetisches Mittel Datenkonversion Integerwerte z.b. durch Auf-/Abrunden Prof. Andreas Reber 38 Data Mning

20 Güte von Entscheidungsbäumen: Klassifikationsleistung Das Gütekriterium jedes Entscheidungsbaums ist die Wahrscheinlichkeit der richtigen Klassifikation neuer, bisher unbekannter Objekte Problem der Induktion: Der Entscheidungsbaum verallgemeinert die Attributbeziehungen der Beispieldaten Aber: Gelten die relativen Häufigkeiten der Beispieldaten auch für künftige Objekte? Validierung der Klassifikationsleistung des Baumes: Aufteilung der Daten in Trainings- und Testmenge Messen der Trefferquote des Baumes an einer Testdatenmenge Die Trefferquote ist der Quotient zwischen der Zahl der richtigen Klassifikationen und der Gesamtzahl der Klassifikationsversuche Prof. Andreas Reber 39 Data Mning Klassifikationsleistung einzelner Knoten Damit ein Benutzer erkennen kann, was jeder einzelne Knoten zur Klassifikationsleistung beiträgt, kann man für jeden Knoten messen die Anzahl der eingehenden Objekte, die Art der Klassifizierung, wenn dieser Knoten ein Blatt wäre und die Anzahl der korrekt klassifizierten Objekte in diesem Knoten Beispiel: Ausschnitt aus einem Entscheidungsbaum, generiert mit Clementine Prof. Andreas Reber 40 Data Mning

21 Verbesserung der Klassifikationsleitung durch Pruning Die Klassifizierungsgenauigkeit eines Baums kann verbessert werden, indem "schwache" Äste zurückgeschnitten werden Pruning Dies ist notwendig für Algorithmen, die zum "Übertrainieren" neigen Ein übertrainierter Baum generalisiert schlecht, da er zu komplex aufgebaut ist und dadurch die Trainingsdaten zu genau abbildet Ein zurückgeschnittener Baum ist auch leichter verständlich für den Anwender Prof. Andreas Reber 41 Data Mning Induktionsparameter anpassen Der Benutzer kann die Auswahl der Klassifikationsattribute und Trennwerte durch Parameter beeinflussen um eine möglichst hohe Klassifikationsleistung der Bäume zu erhalten Beispiele für Parameter: minimale Klassengrösse maximale Baumhöhe Wertzusammenfassung: Gruppierung von diskreten Werten Signifikanzniveau (Irrtumswahrscheinlichkeit) Pruning: Grad der Beschneidung des Baums Verschiedene Algorithmen lassen sich durch unterschiedliche Parameter beeinflussen Prof. Andreas Reber 42 Data Mning

22 Verallgemeinerungen Mehrere Klassen Obwohl die bisherigen Beispiele nur jeweils zwei Klassen hatten, sind die Verfahren auch für mehr als zwei Klassen anwendbar Beispiel: Qualitätsbeurteilung Ausschuss, Nachbearbeitung, o.k. Wahrscheinlichkeiten Bisher Boolesche Entscheidung Beispiel: Wenn Einkommen > 5000 und Alter > 30 Dann kreditwürdig Verallgemeinerung: Wahrscheinlichkeiten der Klassenzugehörigkeit Beispiel: Wenn Einkommen > 5000 und Alter > 30 Dann kreditwürdig mit Wahrscheinlichkeit 0.92 Prof. Andreas Reber 43 Data Mning Neuronale Netze Neuron := lernfähige Verarbeitungseinheit, die... Eingaben aus Neuronen verarbeitet und an andere Neuronen ausgibt Neuronales Netz := Menge von Neuronen (von denen jedes aus Eingaben eine einzige Ausgabe berechnet) mit einfacher Architektur (statt der Millionen und Milliarden biologischer Nervenzellen) wenigen zahlenübertragenden Verbindungen (statt der bis zu biologischen Verbindungen) Prof. Andreas Reber 44 Data Mning

23 Mustererkennung durch Neuronales Lernen Gewichte aus beobachteten Fehlern lernen E I N G A B E A U S G A B E Fehler = tatsächliche - berechnete Ausgabe Zwischenergebnisse weitergeben Gegeben: Eingabe (Muster, z.b. Stichprobe aus Rasterbildern der Ziffern 0 bis 9) tatsächliche Ausgabe (korrekte Interpretation aller Ziffern) Gesucht: Algorithmus, der einer beliebigen Eingabe die korrekte Ausgabe zuordnet (der das Rasterbild einer beliebigen Ziffer interpretiert) Prof. Andreas Reber 45 Data Mning Wesentliche Elemente Künstlicher Neuronaler Netze Informationsverarbeitung im Knoten schnelle Ebene der Informationsverarbeitung Lernverfahren langsame Ebene der Informationsverarbeitung Topologie (Architektur) Welche Neuronen sind miteinander verbunden? Prof. Andreas Reber 46 Data Mning

24 Informationsverarbeitung im Knoten Schema eines künstlichen Neurons EVA: Ein Knoten verarbeitet mehrere Eingaben über Verarbeitungsgewichte zu einer einzigen Ausgabe e 1 e 2. e n g 1j g 2j g nj Neuron j Transferfunktion f a j e i g ij a j Eingabe von Neuron i oder der Umwelt gerichtete und gewichtete Verbindung Verbindungsgewicht zwischen Neuron i und Neuron j (entspricht den Synapsen biologischer Neuronen) Ausgabe des Neurons j f Transferfunktion 1) 1) auch Aktivierungsfunktion genannt Prof. Andreas Reber 47 Data Mning Strukturen eines Neuronalen Netzes Wir unterschieden zwei Strukturen E I N G A B E M U S T E R. verdeckte Schicht(en) Eingabeschicht Ausgabeschicht. geschichtete Modelle: Unterscheidung von Eingabe, Ausgabe- und verdeckten Neuronen die Eingabeneuronen dienen zur Aufnahmen von an das Netz angelegten Mustern an den Ausgabeneuronen kann das Ergebnis der Verarbeitung abgelesen werden Darüber hinaus können eine oder mehrere Zwischenschichten existieren, die von aussen nicht direkt zugänglich oder beeinflussbar sind A U S G A B E M U S T E R ungeschichtete Modelle: Eingabemuster werden an alle Neuronen angelegt; Ergebnis wird an allen Neuronen abgelesen Prof. Andreas Reber 48 Data Mning

25 Neuronales Lernen Theoretisch gibt es sehr viele Arten, wie ein Neuronales Netz lernen kann 1. Aufbau neuer Verbindungen 2. Löschen existierender Verbindungen 3. Modifikation der Gewichte g ij von Verbindungen 4. Modifikation des Schwellwerts von Neuronen 5. Modifikation der Aktivierungs- oder Ausgabefunktionen 6. Entwicklung neuer Zellen 7. Löschen von Zellen Am häufigsten ist sicher die Variante 3, mit der auch die Varianten 1 und 2 realisiert werden können. Im folgenden gilt: Lernen ist ist Anpassen von Gewichten Prof. Andreas Reber 49 Data Mning Anwendungstypen neuronaler Netze Klassifikation Beobachtungen bekannten Klassen zuordnen Beispiel: Zeichenerkennung, Bonitätsbeurteilung Clustering Aus Beobachtungen bisher unbekannte Gruppen bilden Beispiel: Kundenprofile Vorhersage Kontinuierliche Werte aus bekannten unabhängigen Variablen berechnen Beispiel: Aktienkurse Prof. Andreas Reber 50 Data Mning

26 Lernarten Überwachtes Lernen Ein "Lehrer" ordnet jedem Eingabetupel die Lösung zu Lernmenge: Eingaben mit korrekten Ausgaben (Musterlösungen) Anwendung: Lernen von Klassifikatoren Analoge Verfahren: Entscheidungsbäume, Regelinduktion Architekturen: einstufige und mehrstufige Perzeptrons... Unüberwachtes Lernen Ein "Schüler" lernt allein aus der Beobachtung der Eingaben Lernmenge besteht aus Eingabe ohne explizite Lösungen Analoge Verfahren aus der Clusteranalyse Architekturen Kohonen-Netzwerke... Prof. Andreas Reber 51 Data Mning Neuronales Lernen: Anwendersicht Die Phasen der Anwendung neuronaler Netze ist analog zur Klassifikation mit Entscheidungsbäumen: 1. Lern- und Testmenge definieren 2. Daten aufbereiten 3. Variablen auswählen Variablen mit geringem Klassifikationsbeitrag aussortieren Unterscheidung von abhängigen und unabhängigen Variablen 4. Spezifikation und Berechnung des Modells Modelltyp wählen 5. Neuronales Netz an einer Testmenge validieren 6. Neuronales Netz anwenden Prof. Andreas Reber 52 Data Mning

27 Einstufige Architektur E I N G A B E M U S T E R 1. i. n g ij g 11 g 1j g nj g nm 1. j. m A U S G A B E M U S T E R Einstufiges neuronales Netz: Neuronales Netz aus Eingabe- und Ausgabeneuronen, die nur über eine Gewichtungsstufe verbunden sind Beispiel: einstufiges Perzeptron Prof. Andreas Reber 53 Data Mning Mehrstufige Architektur E I N G A B E M U S T E R.. A U S G A B E M U S T E R verdeckte Schicht(en) Eingabeschicht Ausgabeschicht Mehrstufiges neuronales Netz: Neuronales Netz aus Eingabe-, verborgenen und Ausgabeneuronen, die durch mehr als eine Gewichtungsstufe verbunden sind Beispiel: mehrstufiges vorwärtsgerichtetes Netz Prof. Andreas Reber 54 Data Mning

28 Neuronale Netze vs. Entscheidungsbäume Die Klassifikationsleistung neuronaler Netze ist sehr gut Wegen der besseren Erklärungsleistung sind Entscheidungsbäume für viele vertrauenswürdiger Regeln sind - im Gegensatz zu Gewichten neuronaler Netze - nachvollziehbar Prof. Andreas Reber 55 Data Mning k Nearest Neighbor (knn) Neue Datensätze werden aufgrund ihrer Ähnlichkeit zu anderen Datensätzen klassifiziert. Klasse A Beispiel: k = 3 Klasse B Neuer Datensatz K Nearest Neighbor bildet kein abstraktes Modell der gegebenen Daten Der neue Datensatz wird mit allen vorhandenen Datensätzen verglichen Das Verfahren benutzt ein Entfernungsmass um neue Datensätze zu klassifizieren Die Entfernung zu allen gespeicherten Datensätzen wird berechnet Die Mehrheit der nächsten Datensätze bestimmt die Klasse des neuen Datensatzes Prof. Andreas Reber 56 Data Mning

29 Clustering Clusteranalyse ist eine Methode des nicht-überwachten Lernens Clustering: Nicht-überwachtes Lernen Zuordnung von Objekten zu Klassen ist nicht bekannt, d.h. es gibt keine abhängige Variable Kriterium für Segementierung: alle Datensätze einer Partition sollen ähnlich sein Da im Vorfeld nicht bekannt ist, welche Objekte in welche Klasse kommen, kann die korrekte Zuordnung nicht überprüft werden Klassifikation: Überwachtes Lernen Für eine Menge von Beispielen sind korrekte Ergebnisse bekannt, d.h. es gibt eine abhängige Variable, die der Klasse entspricht Die Korrektheit einer Zuordnung kann für die Lern- und Testmenge überprüft werden Prof. Andreas Reber 57 Data Mning Verschiedene Arten von Clustern Möglichkeiten der Darstellung von Clustern: (a) Klasse a 1 b 2 c 2 d 1 e 2 f 3 g 3 h 1 i 3 j 1 a k d j g (b) e h i c f b (c) e d a j h k g i c f b Es gibt verschiedene Methoden, das Ergebnis eines Clustering auszudrücken: Die identifizierten Gruppen können... einander ausschliessen: jedes Objekt gehört nur einer Gruppe an (a-c) einander überlappen, so dass ein Objekt in mehrere Gruppen fällt (d) d a k (d) e j h g c f i b (e) a b c d e f g h i j (f) g i f a d k h j b c e wahrscheinlichkeitsverteilt sein, d.h. ein Objekt gehört einer Gruppe mit einer gewissen Wahrscheinlichkeit an (e) hierarchisch sein, so dass Instanzen auf der obersten Ebene grob eingeteilt und jede dieser Gruppen weiter verfeinert wird (f) Prof. Andreas Reber 58 Data Mning

30 Assoziationsregeln Assoziationsregeln beschreiben Abhängigkeiten zwischen Attributen einer Transaktion Beispiel: Warenkorbanalyse Transaktionen sind die Einkäufe von Kunden Beispiel für eine Assoziationsregel: Kunden, die Zahnbürsten kaufen, kaufen meist auch Zahncreme {Zahnbürste} {Zahncreme} Prof. Andreas Reber 59 Data Mning Kennzahlen für Assoziationen (I): Support Gegeben sei eine Assoziationsregel X Y Support Für welchen Anteil aller Transaktionen gilt die Regel X Y Zur Berechnung des Support wird die Anzahl der Transaktionen, in denen beide interessierenden Itemmengen vorkommen, durch die Anzahl aller Transaktionen geteilt Support(X Y) = Anzahl der Transaktionen, in denen X und Y vorkommen Anzahl aller Transaktionen Teilweise wird der Support auch in Prozent bzw. Promille angegeben Die Vorgabe eines Mindestsupport blendet Regeln aus, die nur für einen Bruchteil des Datenbestandes gelten. Prof. Andreas Reber 60 Data Mning

31 Kennzahlen für Assoziationsregeln (II): Konfidenz Gegeben sei eine Assoziationsregel X Y Konfidenz Für welchen Anteil der Transaktionen, in denen X gilt, gilt die Assoziationsregel X Y, d.h. in wie vielen Transaktionen, in den X vorkommt, kommt auch Y vor Zur Berechnung der Konfidenz wird die Anzahl aller regelerfüllenden Transaktionen durch die Anzahl der Transaktionen, die X enthalten, geteilt Konfidenz(X Y) = Anzahl der Transaktionen, in denen X und Y vorkommen Anzahl der Transaktionen, in denen X vorkommt Teilweise wird die Konfidenz auch in Prozent bzw. Promille angegeben Analog zum Mindestsupport kann der Anwender durch Angabe der Mindestkonfidenz nicht relevante Regeln ausblenden. Prof. Andreas Reber 61 Data Mning Business Intelligence: : Beispiele für Anwendungen von Data Mining und Data Warehousing Customer Relationship Management Kundenprofile erstellen zusätzliche Kundenkontaktpunkte (z.b. Call Center, E-Business) Efficient Consumer Response Optimierung von Logistikprozessen Optimierung von Regal- und Lagerflächen Marketing Database Marketing (Zielgruppenorientierte Aktionen) Typisches Kundenverhalten Cross Selling Bearbeitung von Geschäftprozessen Klassifikationskriterien für Bonitätsbeurteilung Risikoanalyse von Versicherungen Betrugserkennung (z.b: Kreditkartenbetrug) Qualitätsanalyse (z.b. Schadensursache identifizieren) Prof. Andreas Reber 62 Data Mning