Data Mining SAS Mining Challenge Einführung in SAS Enterprise Miner

Transkript

1 Agenda Universitätsrechenzentrum Heidelberg Data Mining SAS Mining Challenge Einführung in 14. November 2003 Hussein Waly URZ Heidelberg SAS Mining Challenge Generelle Zielsetzung Ausgangslage Aufgabenstellung Data Mining Definition Data Mining-Methoden Web Mining-Prozess Einführung in Beispiel bei einem Online-Shop Beschreibung von Besucher-Profilen Demo Mining Challenge Mining Challenge Generelle Zielsetzung Umgang mit einer Data Mining Software Praktische Umsetzung von Data Mining- Methoden in einem Praxisbeispiel Ermittlung welche Informationen in vorhandenen Daten zu finden sind Welchen speziellen Mehrwert können diese Informationen für Data Mining- Fragestellungen im Marketing generieren? Ausgangslage Aufbereitete Kundendaten von Burda Direct - Dienstleister für Abo-Full-Service - Aufgabenstellung Entwicklung eines Klassifikationsmodells zur Beschreibung der Leser der Freizeit Revue Scoring des Modells Anschreiben der besten Nicht- Freizeit Revue - Abonnenten Mining Challenge Wer dürfen am Mining Challenge teilnehmen? Studenten, Dozenten und Professoren Wissenschaftliche Mitarbeiter Mitglieder des SAS Academic Club Teilnahme Information zum Wettbewerb, zur Aufgabenstellung und zur Registrierung unter: Termine Anmeldung bis 30. November 2003 Bearbeitungszeit bis 06. Januar 2004 Data Mining Definition Data Mining ist der Prozess des Auffindens und der Analyse von Mustern, Zusammenhängen und Trends in großen Datenbeständen Ziele Ermitteln von Klassifikationen und Ähnlichkeiten Analyse von Zusammenhängen Erkennung von Trends, Strukturen Prognosen 1

2 Statistik und Data Mining Wie können sich Statistik und Data Mining ergänzen? Explorative Datenanalyse vor der statistischen Absicherung der Ergebnisse Reduktion des Datenaufwands beim Mining durch statistische Sampling-Theorien Entwicklung von Vorgehensmodellen und Technologien im Umfeld des Data Mining Data Mining Einsatzgebiete Kundenbeziehungsmanagement (CRM) z.b. Web Mining im E-CRM Erkennen von Kündigungen Aufdecken von Cross-Selling Potenzialen Betrugserkennung Credit Scoring Life Sciences Predictive Modeling Data Mining-Methoden Data Mining-Methoden Überwachte Klassifikationsmethoden Regressionen Entscheidungsbäume Neuronale Netze Data Mining-Methoden Web Mining Unüberwachte Klassifikationsmethoden Generelle Zielsetzung Einschätzung der Potenziale des Web Usage Mining im E-CRM Ermittlung welche Informationen in den Webserver-Logfiles zu finden sind Assoziationsanalyse Clusteranalyse SOMs (Self Organizing Maps) Welchen speziellen Mehrwert können diese Informationen für Data Mining-Fragestellungen im Marketing generieren? 2

3 Web Mining Web Mining-Fragestellungen Folgende Fragestellungen sind unter Anwendung verschiedener Data Mining-Verfahren zu bewältigen (Auszug): Lassen sich aus den Logfiles konkrete Besucher- bzw. Navigations-Profile ableiten? Was sind die Einflussfaktoren auf einen Bestellvorgang des Katalogs im Online-Shop? Web Mining-Begriffe Definition Anwendung von Data Mining-Verfahren auf Internet-Daten Web Usage Mining Analyse und Prognose des Besucher-Verhaltens Gängige Quellen sind : Logfiles und Einbindung von Zusatzdaten Web Mining-Prozess Einträge in einem Logfile Interpretation Umsetzung Mustersuche Data Mining-Techniken Datenaufbereitung Daten einlesen bereinigen Datenauswahl Logfiles, Kundendaten Aufgaben Definition Aus Web-Daten Wissen gewinnen Web Mining-Verfahren Web Mining in der Praxis Aufgabenstellung Analyse von Navigationspfaden Welcher Navigationspfad führt zu einer Katalogbestellung? Erkennung von Besuchertypen Welche Besuchergruppe bestellt den Katalog? Vorhersage / Beschreiben von Besucherverhalten Was unterscheidet einen Besucher von einem Katalogbesteller? Web Mining-Verfahren Assoziationsanalyse Sequenzanalyse Clusteranalyse Kohonen SOM Entscheidungsbaum Regressionsanalyse Neuronale Netze Beschreibung von Besucher-Profilen Was sind die Einflussfaktoren auf einen Bestellvorgang des Katalogs im Online-Shop? Einsatz von Data Mining-Verfahren mit dem SAS/Enterprise Miner Anwendung von Web Mining-Segmentierungsmodellen (z.b. Entscheidungsbaum-Verfahren) Weitere Datenaufbereitungs-Schritte werden benötig (Transformation und 0/1- Kodierung) 3

4 Weg zu Trainingsdaten Trainingsdaten 9416 Besucher Sessions Pageviews Flat File Dummy Variablen, Sequenzen etc. Data Cleaning von Spidereinträgen u. Graphikdateien Zielvariable über Katalogbestellung (0/1) kodiert Session-Identifikation IP-Adresse des Besuchers Referrer-Seite des Besuchers Unterscheidung Werktag / Wochentag Verweildauer pro Webseite Datum einer Session Start einer Session Dauer einer Session Anzahl der Klicks 10 Sequenzvariablen 32 Variablen für die Webseiten Hits Rohe Logfiles (ECLF) Webserver-Logfiles Data Mining nach der SEMMA-Methodik von SAS Sample, Explore, Modify, Model, Assess Modellierung Entscheidungsbaum User-Profil Daten einlesen Zielgröße definieren Einteilung in Trainings- und Validierungsdaten Modellierung / Parameter bestimmen u. Modell optimieren Bei Besucher mit BS Win95 steigt die Tendenz der Kat.Bestellung auf 25% Modell-Bewertung mit Lift Chart In Kombination mit einer Session Dauer < 10 minuten erhöht sich die Tendenz Modell-Bewertung Lift Chart Captured Response Bewertung der Güte des Verfahrens Beispiel: bei der Auswahl der besten 20% werden bereits 85% der Katalogbesteller erfasst Der Enterprise Miner bietet eine umfassende Methodensammlung zum Data Mining Über 80 statistische Verfahren sowie Methoden der KI und des maschinellen Lernens Ein Prozessflussdiagramm visualisiert die Anwendung dieser Methoden auf die vorhandenen Daten 4

5 Bevor Sie mit dem Enterprise Miner arbeiten 1. Erstellen Sie einen neuen Ordner z.b. C:\Mining Challenge 2. Legen Sie in den neuen Ordner folgende Verzeichnisse ab: C Mining Challenge Daten Ihre Daten Und C Mining Challenge Projekte Wie rufe ich den Enterprise Miner auf? 1. SAS aufrufen 2. Über Menüleiste Solutions Analysis Enterprise Miner Oder In SAS Command Line miner eingeben Enter Für die Einführung wird die SAS Datei hmeq verwendet Pfad C Programme SAS... dmine sample Anlegen neuer SAS Bibliothek Schaltfläche New Library Der Enterprise Miner zwingt zur Einhaltung eines Analyse-Workflows SEMMA-Technologie (Sample, Explore, Modify, Model, Assess) umfasst die definierten Arbeitsshritte von SAS Stichproben-Bildung Exploration der Daten Modifikation der Variablen Modellierung, Datenanalyse Assessment, Modellbewertung Enterprise Miner 1. Sample Analyseschritt 1. Stichprobenbildung Eingelesene Daten identifizieren, von einer größeren Datei Stichproben ziehen Einteilung der Datenbasis in Trainings-, Validierungs- und Testdateien 5

6 2. Explore 3. Modify Analyseschritt 2. Exploration Daten grafisch darstellen Deskriptive Statistiken erhalten Untersuchung von Assoziation und Sequenzen Analyseschritt 3. Datenbereinigung Daten für die Analyse vorbereiten Transformation von Variablen durchführen Ausreißer ermitteln Missing Values ersetzen Cluster-Analyse durchführen Daten mit SOM- oder Kohonennetzen analysieren 4. Model 5. Assess Analyseschritt 4. Modellbildung Ein Vorhersagemodell bestimmen und anpassen Eine Zielvariable modellieren Entscheidungsbäume Neuronale Netze Regressionen Benutzerdefinierte Methoden Analyseschritt 5. Ergebnisbewertung Vorhersagemodelle miteinander vergleichen Diagramme erstellen (Prozentsatz der Reaktionen grafisch darstellen) Lift Chart Profit-Diagramme Ein Fehler ist aufgetreten!! Und es geht nichts mehr?? Lösung im Projektordner Ordner emproj nach einer Datei mit der Erweiterung.lck suchen und diese Datei löschen. Literatur Help Getting started with Enterprise Miner Software Getting started with Enterprise Miner Software Release 4.1 Data Mining Using Enterprise Miner Software: A Case Study Approach First Edition 6

7 Vielen Dank für Ihre Aufmerksamkeit! Hussein Waly Universitätsrechenzentrum Heidelberg 7