Data Mining Techniken und Anwendungsbereiche. Daten Informationen Wissen Aktionen Profit. Agenda. Was ist Data Mining? Das Ziel

Transkript

1 Agenda Data Mining Techniken und Anwendungsbereiche Reinhard Dechent, Compaq Michael Wetzel, Was ist Data Mining? Das Ziel The process of extracting meaningful information from large databases - information that reveals hidden patterns, trends, and correlations that enables you to make predictions that solve business problems Quelle: Thinking Machines Daten Informationen Wissen Aktionen Profit 3 4 OLAP versus Data Mining Was Data Mining NICHT ermöglicht OLAP (top down) Hängt die Kündigung eines Vertrags vom Alter des Kunden ab? Data Mining (bottom up) Welche Eigenschaften eines Kunden lassen auf eine bevorstehende Vertragskündigung schließen? ❽ Antworten auf nicht gestellte oder unrealistische Fragen finden ❽ Verzicht auf Datenqualität (GIGO und NINO) ❽ Verzicht auf exakte Kenntnis der zugrundeliegenden Daten ❽ und schon gar nicht ein tiefes Verständnis des Business! 5 6 1

2 Agenda Data Mining Methoden und Techniken ❽ Visualisierende Methoden 10 Häufung (Clustering( Clustering) ) und Klassifizierung 10 ❽ Nicht-visualisierende Methoden 10 Regressionsanalyse 10 Entscheidungsbaum 10 Neuronales Netzwerk 10 Assoziationsanalyse 10 8 Beispiel: Häufung und Klassifizierung Beispiel: Häufung und Klassifizierung Quelle: Pieter Adriaans, 1996 Häufung und Klassifizierung Die Basis: Lineare Regression 10 ermöglicht Data Mining für alle Arten von Variablen 10 Einfache Anwendbarkeit ❽ Schwächen 10 uuschwierige Festlegung der richtigen Distanz 10 Interpretation der Cluster 11 ❽Verfahren, mit dem eine abhängige Variable (y) als Funktion des Prädiktors (x) prognostiziert wird ❽Nutzt Standardabweichung und R 2 Response or Output y x Predictor or Input y β + β x Observations 2

3 Lineare Regression Entscheidungsbaum 10 Einfache, nachvollziehbare Darstellung der Ergebnisse 10 messbare Korrelation zwischen tatsächlichem Ergebnis und Vorhersage (0 R 2 1) ❽ Nachteile 10 Nur mit metrischen Prädiktoren möglich 10 Erfasst nur lineare Abhängigkeiten 10 Es wird vorausgesetzt, dass Messfehler und nicht beobachtete Einflüsse nicht mit den Prädiktoren zusammenhängen 13 Alter Blutdruck Herzanfall /1 Quelle: Richard de Veaux Alter < 325 BD < BD < Alter < Beispiel: Entscheidungsbaum Entscheidungsbaum Alter Ergebnisse sind leicht verständlich und nachvollziehbar 10 Anwendbar sowohl auf metrische und diskrete Attribute 10 Verzweigt automatisch nach den Attributen, die die beste Selektion ermöglichen Blutdruck ❽ Nachteile 10 Erfordert viel Rechenaufwand 10 Gefahr der zu kleinen Segmente (over( over-fitting) 10 Am besten geeignet für binäre Zielvariablen 16 Neuronales Netz Neuronales Netz X 1 X 2 w111 w112 w121 w122 w131 X 11 σ ( 1) X 12 σ ( 1) w211 w221 σ ( 2 ) Y 10 Ermöglicht das Auffinden beliebiger Muster 10 Gut geeignet für Vorhersage-Modelle 10 Lernfähigkeit w132 X 3 θ 2 w201 w101 w102 Source: Richard de Veaux θ 1 L K y l σ ( l w ( kl k w jk x j + j ) + k ) 2 σ 1 θ θ k = 1 j= 1 ❽ Nachteile 10 Ergebnisse sind schwer erklärbar bzw nicht nachvollziehbar 10 Rechenintensiver Lernprozess 10 Gefahr des Übertrainierens (over( over-fitting) 18 3

4 Warenkorbanalyse (Assoziationsregeln) Warenkorbanalyse: Beispiel Suche nach statistisch signifikanten Assoziationsregeln (der (der Form if-then) in in den den vorhandenen Daten A B C D If A then C: confidence 50%, support 66% If A, B then C: confidence 100%, support 33% Beispiel: MYCIN 20 Warenkorbanalyse 10 Einfache, nachvollziehbare Darstellung der Ergebnisse 10 relativ geringer Aufwand in der Datenaufbereitung ❽ Nachteile 10 Arbeitet am besten mit wenigen (<100) Variablen 10 Interessante Muster können durch triviale Muster überlagert werden 21 Vorsicht Einwohner , Oldenburg Offensichtliche Fakten Im Winter werden mehr Mäntel verkauft als im Sommer Zufällige, offensichtlich falsche Abhängigkeiten Das Bevölkerungswachstum ist direkt proportional zur Anzahl der Störche Anzahl der Störche 4

5 Der Compaq Data Mining Process ❽ Data Mining Pilot 10 1 Define the business problem 10 2 Load the data 10 3 Profile and understand the data 10 4 Derive attributes 10 5 Define events 10 6 Create Data Mining view 10 7 Create models ❽ Technology Transfer 10 8 Deploy models 10 9 Measure results Preparation Analysis 82% The assumption that the simple purchase of a data mining package will allow a firm to now magically analyze its data is a recipe for failure Gartner Group, April 17, Data Mining Verfahren und Einsatz Kategorie und Analyseziel Data Mining Verfahren Beispiele für praktischen Einsatz Klassifikation, Segmentierung, Zuordnung von Individuen in vordefinierte Klassen; supervised learning Zusammenhangs-/Ähnlichkeitsanalysen; Identifikation und Deskription homogener Gruppen; unsupervised learning Analyse von Verlaufskurven und Zeitreihen Prognoseverfahren Beschreibung, Charakterisierung von Kunden, Produkten, usw Entscheidungsbäume, Memory Based Reasoning, Rule Induction, Neuronale Netze Clusteranalyse, Neuronale Netze Neuronale Netze, Fuzzy Logic, Assoziationsanalyse Neuronale Netze, Ähnlichkeitsund Link-Analyse Visualisierung, deskriptive und exploratorische Analysen Creditscoring, Bonitätsbewertung, Kundensegmentierung Zielgruppenbildung, Lifestyle-Analysen, Warenkorbanalyse, Database Marketing Verhalten von Bankkunden, Telecom- Nutzern, Konsummuster, Life-Cycle-Analyse Zukünftiges Kaufverhalten, Haltbarkeit von Kunden, Prognose der Kaufwahrscheinlichkeit Analyse von Zielgruppen, Untersuchung typischer Merkmale, Taxonomien, Kundenprofitabilität wwwsystematikacom Data Mining bei Finanzdienstleistern ❽ Marktbearbeitung, Marketing ❽ Cross-Selling durch Mailings und Berater ❽ Betrugserkennung ❽ Credit Scoring ❽ Frühwarnsysteme ❽ Portfolioanalyse wwwsystematikacom Banken: Retention Marketing Banken: Retention Marketing ❻ Absprunggefährdete Kunden halten ❻ Dauer der Kundenbeziehung verlängern ❻ Kundenbeziehung intensivieren ❻ Deckungsbeiträge verbessern ❻ Produktpolitik optimieren Profitabilität Break even Bankbeziehungsdauer zufriedener profitabler Kunde unzufriedener abspringender Kunde Kundenloyalität und Profitabilitätsind korreliert Neukunden gewinnen ist 10x teurer als Altkunden halten Absprunggefährdung ist Monate vorher erkennbar wwwsystematikacom wwwsystematikacom 5

6 Banken: Retention Marketing Projekte Projektablauf ❽ Bankstrategisches Konzept ❽ Marktforschung: Gründe für Weggang ❽ Aufbau der Datenbasis, Data Cleaning ❽ Datenexploration, Hypothesenprüfung ❽ Entwicklung eines Betreuungskonzepts für die Kunden ❽ Modell-Entwicklung / Evaluation ❽ Durchführung von Retention-Marketing-Massnahmen ❽ Pilotbetrieb, Ergebniskontrolle ❽ Produktiver Einsatz, Controlling Banken: Retention Marketing Kosten/Ertrag Ertrag 20% Absprungkandidaten können gehalten werden à Marge 300 DM bei Kunden und Abgangsrate 5% 20% von (5000*300 DM) = 3 Mio DM Kosten Kosten Datenbelieferung und Berechnung Pro Jahr Externe Kosten Retention-Projekt Pro Jahr Retention-Massnahmen für Kunden à 10 DM Pro Jahr Gewinn Circa wwwsystematikacom wwwsystematikacom Banken: Cross-Selling Selling/Direct Mailings monthly income deposit book Banken: Cross-Selling Selling/Neuronale Netze Discriminant analysis: samples no credit card credit card total % 43% 63% % 42% 64% Neural Network: samples no credit card credit card total % 75% 74% Ergebnis: Neuronale Netze haben eine hohe Vorhersagekraft Neuronale Netze ergänzen statistische Analysen credit card (yes/no) wwwsystematikacom credit card (yes/no) wwwsystematikacom Banken: Prognose des Kundenverhaltens Banken: Database Marketing Database Marketing ist in Banken sehr wichtig geworden Kontostand Gehalt Geld- Automat Dividenden Kontostand Gehalt Überweisung an Fremdbank DBM ist ein kontinuierlicher Optimierungsprozess Modernste Analysemethoden sind nötig Sparen Geld- Automat Life Time Value-Modelle müssen entwickelt werden Abhebung Abhebung Data Mining muss als Business-Prozess verankert sein Guter Kunde Zeit Überweisungen Schlechter Kunde Zeit Schrittweise sichere Einführung vermindert Risiken credit card (yes/no) wwwsystematikacom credit card (yes/no) wwwsystematikacom 6

7 Data Mining bei Fluggesellschaften Fluggesellschaft:Kundensegmentierung Component Plot ❽ Kundenanalyse ❽ Produktanalyse ❽ Marktanalyse ❽ Trends Air vs ground Factor 2-5 Air miles Ground non travel miles Air activity Ground miles Ground travel miles No of Miles Ground activity Factor Factor 1 wwwsystematikacom Travel/non-travel ground wwwsystematikacom Fluggesellschaft:Kundensegmentierung Total miles (log 10) Ground miles (log 10) Top Others G+ A+ Segments Top G+ A+ Others n % air miles # air # ground Data Mining im Versandhandel ❽ Marktvolumen- und Potential-Analysen ❽ Kundenstrukturanalysen, Segmentierung ❽ Neukundengewinnung ❽ Produktanalysen ❽ Cross-Selling ❽ Bonitätsbewertung ❽ Warenkorbanalysen ❽ Absatzprognosen, Trends wwwsystematikacom wwwsystematikacom Versandhandel: Käuferanalyse Versandhandel: Käuferanalyse wwwsystematikacom wwwsystematikacom 7

8 Versandhandel: Käuferanalyse Versandhandel: Analyse der Genauigkeit wwwsystematikacom wwwsystematikacom Versandhandel: Käuferanalyse Versandhandel: Käuferanalyse wwwsystematikacom wwwsystematikacom Wie wird Data Mining zum Erfolg? ❽ Analyse-Team mit hoher Business-Intelligenz und statistischem Verständnis aufbauen ❽ Heuristische Analyse in geschäftskritischen Bereichen ❽ Data Mining und Analysen popularisieren ❽ Analysen mit hohem Return on Investment definieren ❽ Geschäftsentscheidungen empirisch absichern ❽ Analysen automatisieren, Workflows definieren wwwsystematikacom 8

9 Data Mining Lösungen Entscheidungen für die Zukunft Hochleistungs- Plattformen Wie sieht die beste Plattform aus? flexibel, skalierbar, ökonomisch Strategische Woraus besteht die beste Lösung? Partnerschaften mit Software- & Lösungspartnern ProLiant, AlphaServer, Himalaya Windows NT, Tru64 UNIX OpenVMS, NonStop Kernel StorageWorks Gesamtlösungs- Wie werden Lösungen realisiert? Compaq Services Kompetenz gemeinsam mit Partnern durch langjährige Erfahrungen 49 So wird Data Mining für Sie zum Gewinn ❽ Mit der flexibelsten & leistungsfähigsten Plattform gebaut von Compaq ❽ Mit den besten Werkzeugen für Ihre Anfordungen integriert durch Compaq ❽ Mit einem strukturierten & pragmatischen Vorgehen bereitgestellt von Compaq Weitere Infos, Success Stories, Demos und Kontakt zu den Experten: compaqcom wwwcompaqcom/activeanswers :///loesung/ 9