Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung durch vergleichende Betrachtung der Arbeitsweisen von Computer und menschlichem Gehirn motiviert war. Unter anderem können damit Aufgaben zur Klassifikation und Vorhersage erfüllt werden, die typischerweise im Data Mining auftreten. Im angebotenen Vortrag wird nach einer kurzen Einführung / Auffrischung in das Thema Data Mining zunächst der theoretische Hintergrund vorwärtsgerichteter Neuronaler Netze behandelt (Schlagworte sind: Berechnungselemente, Netzarchitektur, Lernen / Training). Zum Vergleich werden auch kurz weitere Klassifikationsverfahren besprochen. Anschliessend werden die Methoden an einem Klassifikationsbeispiel mit Hilfe des SAS Enterprise Miner demonstriert. c.janson@icasus.de 1
Definition Data Mining DM ist ein Prozeß, aus großen, bislang unübersehbaren Datenmengen nichttriviale Informationen zu gewinnen, die bisher unbekannt waren und die in konkrete Aktionen und Business-Entscheidungen umsetzbar sind. Interdisziplinäres Feld: Techniken aus Visualisierung, machine learning, Mustererkennung, Statistik allgemeine Aufgaben Aufdeckung unbekannter Gesetzmäßigkeiten, Gruppierungen in Beobachtungen oder Variablen - Visualisierung, explorative Datenanalyse, Clusterverfahren, Faktorenanalyse Herausfiltern derjenigen Informationen / Variablen, die für eine Vorhersage / Klassifikation relevant sind - Variablenselektion Prognose auf Basis von Informationen aus der Vergangenheit - überwachte Klassifikation, Funktionsanpassung 2
Ziel / Anwendungsgebiete Database-Marketing: gezieltere Marketing-Maßnahmen auf Basis von Kundendaten Customer Relationship Management: Segmentierung des Kundenbestandes in homogene Gruppen (Eigenschaften / Kaufverhalten) Identifikation profitabler / nicht profitabler Kunden (Scoring) Identifikation absprunggefährdeter Kunden, Bindung / Rückgewinnung weitere Anwendungsgebiete: Produkt-/Angebotsgestaltung / Warenpräsentation Cross-Selling Preis-/Tarifgestaltung Lagerhaltung, Disposition, Nachfrageprognose Aufdecken von Betrug Bonitätsprüfung / Kreditscoring Entwicklungsprognosen (Netzauslastung, Kundenzahl) WEB-Mining personalisierte Seiten, Seitenstruktur / Nutzerführung 3
Branchen: Zugang, elektronische Haltung von (umfangreichen) Kundendaten: Banken, Versicherungen, Versandhandel, Telekommunikation, -Business Datenbasis: Kundeneigenschaften - Alter, Geschlecht, Beruf, Familie, Lifestyle Kundenverhalten - Produktpräferenz, Kauffrequenz, Dauer der Geschäftsbeziehung externe Daten - sozioökonomische Daten DM-Prozess SEMMA : Sample: Stichprobenziehen, Partitionierung Explore: Hypothesengenerierung, (multidimensionale) Visualisierung, Plausibilitäts- Konsistenzprüfung, Assoziations-, Sequenzanalysen Modifikation: Ausreisser, Missings, Transformation, Faktorenanalyse Modellierung: Regression, Entscheidungsbaum, Neuronale Netze, Diskriminanzanalyse, Zeitreihen Auswertung: Modellbewertung, -vergleich 4
Klassifikationsverfahren Unüberwachte Klassifikation: Klassifizieren der Daten nur aufgrund der erfaßten Merkmale, keine a priori Klassen-Variable vorhanden. > Clusterverfahren Überwachte Klassifikation: Erstellen eines Modells (Abbildungsvorschrift) auf Basis vorhandener Klasseninformation. Anwendung des Modells auf neue Daten > (logistische) Regression, Entscheidungsbäume, Neuronale Netze, Diskriminanzanalysen Klassifikation, Scoring: qualitative Zielgröße (kauft / kauft nicht) Vorhersage: quantitative Zielgröße (Absatzprognose) (Künstliche) Neuronale Netze Idee: Verknüpfung von einfachen Berechungseinheiten Neuronale Netze als Sammelbegriff für flexible, nichtlineare Modelle Vielzahl von Architekturen, Trainingsalgorithmen, Aktivierungs- und Schwellwertfunktionen, Fehlerfunktionen hier: vorwärtsgerichtete NN Input: Unabhängige Gewichtung Variablen, Einflußfaktoren Output: abhängige Variablen, Klassifikation, Zielgröße 5
Neuronale Netze: ein Berechnungselement (hier: Multilayer Perceptron) o i W i,j o i+1 o i+2 W i+1,j W i+2,j W i+3,j Σ f() Ausgabe: f(θ j + Σ ni w ij o i ) o i+3 o i+4 W i+4,j +θ j Schwellwertfunktion f Aktivierungsfunktion sigmoid, z.b. tanh,(1+e -x ) -1 Neuronale Netze: Architektur bedingt Modellgleichung logistische Regression, falls f logistisch, multivariate lineare Regression, f linear: out = f(θ i + Σ i w i in i ) multivariate, multiple nichtlineare Regression: out k = f(θ k + Σ nh w jk f(θ j + Σ ni w ij in i ) 6
Lernen = Schätzen der Parameter wiederholte Präsentation der Trainingsdaten und Anpassung der Gewichte w jk mit dem Ziel Minimierung des Klassifikationsfehlers bzw. der Fehlerfunktion, z.b. Quadratsumme (beobachtete erwartete Ausgabe) über alle Ausgabe-Einheiten und alle Trainingsbeobachtungen Fehlerfunktion E = Σ np Σ no (t ik o ik ) 2 Lernen : Trainingsalgorithmus Gradientenabstiegsverfahren (Modifikationen des Backpropagation Algorithmus) wjk = γ E wjk? Lokale Minima Startpunkt 7
Probleme Stichprobengröße N Anzahl zu schätzender Parameter Np Daumenregel: N > 5 bis 25 mal Np Modellkomplexität Überanpassung an Trainingsdaten (Overtraining) -> Daten- Partition und Nutzung von Validierungsdaten Interpretierbarkeit Neural networks are especially useful for prediction problems where: no mathematical formula is known that relates inputs to outputs. prediction is more important than explanation. there is lots of training data. 8
Optimum der Fehlerfunktion 9