Dominik Pretzsch TU Chemnitz 2011

Transkript

1 Dominik Pretzsch TU Chemnitz 2011 Wir leben im Informationszeitalter und merken es daran, dass wir uns vor Information nicht mehr retten können. Nicht der überwältigende Nutzen der Information, sondern ihre nicht mehr zu bewältigende Flut charakterisiert die Epoche. Georg Franck

2 Definition KDD Knowledge Discovery in Databases Data Mining - Einordnung Geschichte Abgrenzung zu OLAP Wissensbedarf Data Mining als Prozess Data Mining Verfahren Anwendungsgebiete Beispiel (Direkt-Marketing/Direkt-Mailing)

3 Extraktion von Impliziter Bislang unbekannter Potenziell nützlicher Information aus Daten Systematische Anwendung von, meist statistischen, Methoden auf einen Datenbestand Ziel ist das Aufspüren von Regeln und Mustern bzw. statistischen Auffälligkeiten

4 Erkenntnisgewinnung aus Datenbanken Umfasst Data Mining Ziel ist die Erkennung von unbekannten fachlichen Zusammenhängen aus vorhandenen Datenbeständen Vorgehensmodell: CRISP-DM

5 Bereitstellung von Hintergrundwissen Datenauswahl Datenreduktion Data Mining Definition der Ziele Datenbereinigung Modellbildung Interpretation

6

7 1990 OLAP / Warehousing 2000 Data Mining 1980 Datenbanksysteme 1960/70 Sammeln von Daten

8 Was ist OLAP? Online Analytical Processing Wie Data Mining eine Methode der analytischen Informationssysteme Analyst stellt (vorher bekannte) Anfrage an OLAP- System Hypothese wird widerlegt oder bestätigt

9 Wo liegt der Unterschied? OLAP-Systeme beantworten Fragen nach dem Schema: Welche Region hat wann am meisten Umsatz gemacht? Data Mining beantwortet Fragen nach dem Schema: Warum ist dort am meisten verkauft worden und wie kann ich meine Umsätze weiter steigern?

10 Data Mining bietet also eine Prognose für die Zukunft Ist damit gut geeignet um im Umfeld von Unternehmen einen Wettbewerbsvorteil zu erlangen und höhere Gewinne zu erzielen

11 Anteil der tatsächlich analysierten Datenbestände in Unternehmen: 7 % 93 %

12 Heutige Märkte sind gekennzeichnet durch: weitestgehende Angebots- und Produktgleichheit der Anbieter extrem hoher Margendruck Durch steigende Kosten; sinkende Preise (Umsatz) zunehmend sinkende Loyalität der Kunden Warum bei einem Produzenten bleiben? Einsatz neuester Informationstechnologien damit verbundene noch schnellere Globalisierung

13 Ziele festlegen Daten aufbereiten Bewertung der Ergebnisse Daten verstehen Modellbildung Individuelle Lösung

14 Verstehen der Unternehmensziele und Beurteilung der momentanen Situation Aufgaben Dekomposition Aufgaben festlegen und Zerlegung in Teilaufgaben Identifikation von Grenzen Festlegen von Erfolgskriterien

15 Datenerfassung Interne und externe Quellen Einbeziehung eines Domain-Experten Domain-driven Data Mining (D³M) Fragen des Datenzugriffs Datenbeschreibung Datenqualität Berechnung grundlegender Statistiken Datenexploration Untersuchung von Attributkorrelationen fehlenden Attributwerten merkwürdigen, sonderbaren Verteilungen

16 Datenintegration Zusammenführen aus verschiedenen Datenbeständen Problematisch, wenn Daten aus heterogenen Quellen Datenselektion Teilmenge der Attribute Stichprobenentnahme Datentransformation Normalisierung Diskretisierung, Binarisierung Datenbereinigung fehlende Attributwerte ergänzen Ausreißer finden Datenkonstruktion abgeleitete Merkmale

17 Auswahl eines geeigneten Data-Mining Verfahrens Entwicklung eines Testregimes In scientific discussions, a regime is a class of physical conditions, usually parameterized by some specific measures, where a particular physical phenomenon or boundary condition is significant. Erstellen eines Data-Mining Modells Beurteilung des Modells Ggf. müssen vorhergehende Schritte korrigiert bzw. noch ein Mal durchlaufen werden

18 Modellvalidierung menschliche Bewertung durch Domain Experten Nützlichkeit des Modells bzgl. des Unternehmensziels Überprüfung des Prozesses Festlegung nächster Schritte Implementation der Ergebnisse beim Kunde

19 Clusterverfahren Ähnliche Objekte bilden Cluster Visualisierungstechniken 3D-Grafiken und Diagramme Entscheidungsbaumverfahren Baum, hierarchisch aufeinander folgender Entscheidungen Assoziationsanalysen und Assoziationsregeln veranschaulichen Korrelation zw. Gemeinsam auftretenden Dingen Krawatte, Hemd, Jackett Konnektionistische Systeme (Künstliche Neuronale Netze) Aufdecken von nicht offensichtlichen Beziehungen

20 Im Handel: Warenkorb-Analysen Auswertung der Nutzung von Kunden/Rabatt- Karten Im Finanzbereich: Kredit-Bewertung Betrugsprävention/-Aufdeckung In der Produktion: Optimierung von Produktionsparametern Qualitätssicherung In der Telekommunikation Kündigerprävention

21 Fixkosten für das Mailing: EUR Strategie Design/Layout Textentwurf Fotokosten Variable Kosten für Mailing: 1,50 EUR pro M Nachfassen: 1,50 EUR pro NF Telefonische Bestellannahme: 5,00 EUR pro IP Porto Adressmiete Telefonkosten Druck Fulfillment Erwarteter Gewinn: 500 EUR pro Response

22 NF (#98.500) Reagierer (#1000) Z (#1000) Kunden DB Gesamt (#2500) IP (#2500) Summe (#1000) M (# ) Reagierer (#1500)

23 Fixkosten EUR = EUR Kosten für M * 1,50 EUR = EUR Kosten für NF * 1,50 EUR = EUR Kosten für IP * 5,00 EUR = EUR Gesamtkosten = EUR Einnahmen * 500 EUR = EUR Gewinn = EUR Break-Even-Point: 721 Responder

24 NF (#38.600) Response Reagierer (#700) Z (#950) Gesamt (#2100) IP (#950) Summe (#950) Reagierer (#1400) M (#40.000) Data Mining Response-Analyse

25 Fixkosten EUR = EUR Kosten für M * 1,50 EUR = EUR Kosten für NF * 1,50 EUR = EUR Kosten für IP * 5,00 EUR = EUR Gesamtkosten = EUR Einnahmen * 500 EUR = EUR Gewinn = EUR Break-Even-Point: 357 Responder

26