Wolfgang Konen, FH Köln

Transkript

1 Einführung Mining Praktische Anwendungen für automatisierte i und lernende Informationsverarbeitung Wolfgang onen, FH öln November 2009 W. onen DMC WS2009 Seite - 1 informatiöln

2 Mining (DM): Entdecken von Wissen in Datenbanken Daten Wissen Unternehmen und Institutionen sammeln ungeheure Datenmengen Mining: Identifikation von wettbewerbsrelevantem Wissen aus grossen Datenbanken Automatische Erkennung von Mustern nicht-trivial t bisher unbekannt potentiell nützlich [Fayyad, 1996] W. onen DMC WS2009 Seite - 2 informatiöln

3 Analysebeispiel: Mobiltelefonie Plambeck/ PIXELIO Ein Problem... Sie sind Marketingmanager im Mobilfunk Problem: zu viele Abgänge bei Vertragsende: 40% Neukunden erhalten kostenlos ein Telefon Ihr Unternehmen zahlt 250 EUR Provision i pro Abschluss Jedem unden bei Vertragsende eine neues Telefon zu geben ist zu teuer Eine Lösung... Drei Monate vor Vertragsende vorhersagen, welche unden nicht verlängern Den unden, die man behalten will, bietet man ein neues Telefon an Wie kann man künfiges Verhalten vorhersagen? artenlegen? Würfeln? Mining? W. onen DMC WS2009 Seite - 3 informatiöln

4 Beispiel aus der Automobilindustrie Daten über 7-10 Jahre Historie für 7 Mio. Fahrzeuge Fahrzeugdaten (Produktionsdaten; Daten über Motor, Getriebe,...) Beanstandungen (Schadensteil, Schadensart,...) Werkstattaufenthalte Frage: Wie kann man das Auto zuverlässiger machen? Mustererkennung: Suche in Datenbank nach möglichen Gründen für Ausfälle Umsetzung des Wissens: Änderung in onstruktion Wechsel des Zulieferers undendienst: vorbeugende Wartung usw. Glathe / PIXELIO W. onen DMC WS2009 Seite - 4 informatiöln

5 Beispiel Umweltanwendung: Mining für ökologische Standortbewertung Pflanzen Wo wächst was? relevant ee für Umweltverträglichkeitsprüfung bisher: aufwendig manuell erstellte Ökodiagramme multifaktorielle Daten: Wasser, Säuregehalt, Nährstoffe, Lichtintensität,... mit Mining i können vergleichbare Ergebnisse umfassender, schneller (aktueller) und kostensparender erzielt werden [irsten,wrobel,dahmen,dahmen, 1996] W. onen DMC WS2009 Seite - 5 informatiöln

6 Beispiel Wassermanagement Vorhersage Füllstand RÜB (Regenüberlaufbecken) Modellbildung für Forecast, Output abhängig von Regenmenge Bodenzustand & Grundwasser (hidden states) [onen, Zimmer, Bartz-Beielstein, 2009] W. onen DMC WS2009 Seite - 6 informatiöln

7 Weitere Anwendungsbeispiele Betrugserkennung Beispiel: i Erkennung typische Muster zur Identifikation von reditkartenbetrug. reditbeurteilung Identifikation von riterien für reditwürdigkeit von unden Nachfrageprognose Wieviele Einheiten von Produkt X setzen wir in der W42 ab? Computerwoche 03/2007: Zweiter Frühling Mining W. onen DMC WS2009 Seite - 7 informatiöln

8 Der CRISP-DM Standard CRISP-DM: Cross-Industry Standard Process for Mining Entwickelt im Rahmen eines EU-Projekts von Partner: DaimlerChrysler (Deutschland) NCR Systems Copenhagen (USA, Dänemark) OHRA Bank Groep B.V. (Niederlande) SPSS Inc. (USA) Gü Gründung einer Special linterest tgroup Der CRISP-DM 1.0 Report beschreibt die CRISP-DM Methodology das CRISP-DM Referenzmodell den CRISP-DM User Guide den jeweiligen Resultate/Reports t t der einzelnen Phasen Für Informationen zu CRISP-DM siehe W. onen DMC WS2009 Seite - 8 informatiöln

9 Das CRISP-DM Referenzmodell Business understanding understanding Deployment preparation Modelling Evaluation W. onen DMC WS2009 Seite - 9 informatiöln

10 Die 6 Schritte des DD-Prozesses Prepa- ration Model ling Eval u- ation Business Understanding Under- standi ng Deploy- ment Wichtig: Jeder Schritt ist zu dokumentieren! W. onen DMC WS2009 Seite - 10 informatiöln

11 1. Schritt: Geschäftsmodell verstehen Deplo y- me nt Business Understanding Understandi ng Mod e- ling Preparation Eva luatio n Determine Business Objectives Assess Situation Determine Mining Goals Produce Project Plan Geschäftsmodell / -ziele verstehen (z.b. Abwanderung von unden verhindern) Ressourcen, Zeit, Risiken, Chancen Genaue Spezifikation der Ziele (z.b. 70% der Abwanderer erkennen bei 20% Fehlalarmen) Projektplan mit Meilensteinen W. onen DMC WS2009 Seite - 11 informatiöln

12 2. Schritt: Daten verstehen Deplo y- me nt Business Understanding Understandi ng Mod e- ling Preparation Eva luatio n Collect Initial Describe Explore Verify Quality Wo kommen die Daten her? Wie? Joins über mehrere DBs notwendig? Metadaten (Anzahl Attribute, Werte, Format,Typen,, Mengen) Beispiele anschauen, Visualisierung (z.b. Verteilungen, orrelationen) Datenqualität bestimmen, Fehler erkennen, Vollständigkeit W. onen DMC WS2009 Seite - 12 informatiöln

13 3. Schritt: Daten aufbereiten Deplo y- me nt Business Understanding Understandi ng Mod e- ling Preparation Eva luatio n Select Clean Construct Integrate Format & Transform Auswahl der (wichtigen) Variablen, ggf. Sampling der Records Ausreisser erkennen, fehlende Werte behandeln Abgeleitete Variablen (z.b. Summe oder logische Verknüpfungen) Daten aus verschiedenen Tabellen zusammenführen Formatierung g( (z.b. Datum), Transformation (z.b. normierte Verteilung oder PCA) W. onen DMC WS2009 Seite - 13 informatiöln

14 4. Schritt: Modellierung Deplo y- me nt Business Understanding Understandi ng Mod e- ling Preparation Eva luatio n Select Modeling Technique Auswahl der Methode, ggf. mehrfach Wie messen wir Modellgüte? Generate Test Design Aufteilung der Daten in Trainings-, Test- und Validierungsmenge Build Model Modell bauen, Parameter einstellen und begründen Technische Bewertung der Modellgüte, Assess Model ggf. mit anderen Parametern wdh. W. onen DMC WS2009 Seite - 14 informatiöln

15 5. Schritt: Evaluation Deplo y- me nt Business Understanding Understandi ng Preparation Mod Eval e- u- ling ation Evaluate Results Bewertung aller Resultate in Bezug auf betriebswirtschaftliche Ziele Begutachtung aller Schritte. Wurden Review Process nur Daten verwendet, die auch in Zukunft verfügbar sind? Was wurde übersehen? Determine Next Steps Wie geht es weiter? W. onen DMC WS2009 Seite - 15 informatiöln

16 6. Schritt: Einsatz Deployment Business Understanding Understandi ng Preparation Mod Eval e- u- ling ation Plan Deployment Implementierungsstrategie, Einsatz DM in Praxis, ggf. Mitarbeiterschulung Plan Monitoring and Überwachung der Gültigkeit der Modelle, Maintenance Strategie für Überarbeitungen Zusammenfassender Bericht / Produce Final Report Präsentation Begutachtung des Gesamtprojektes. Review Project Lessons Learned (f. weitere Projekte): Was lief schief? Was lief gut? W. onen DMC WS2009 Seite - 16 informatiöln

17 Mining ist eine Phase im Prozess der Wissensentdeckung aus Datenbanken Evaluierung / Deployment Mining Wissen Prozesse & Daten verstehen Vorverar beitung Transformation / Selektion Task-Relevante Daten Muster Zieldaten Vorverarbeitete Daten Daten W. onen DMC WS2009 Seite - 17 informatiöln

18 Prozeßschritte der Wissensentdeckung Prozesse und Daten verstehen Geschäftsprozesse mit den Anwendern besprechen Fokussierung, Auswahl relevanter Daten Vorverarbeitung / Transformation Bereinigung der Daten, z.b. was tun mit leeren Feldern, Verdichtung der Daten durch Datenreduktion und -projektion Datenformat vereinheitlichen Mining Auswahl von Techniken und Methoden evtl. viele Testläufe mit verschiedenen Parametern Evaluierung Beurteilung der Ergebnisse bzgl. festgelegter riterien Dokumentation, Visualisierung der Ergebnisse Deployment Überführung in die Anwendung W. onen DMC WS2009 Seite - 18 informatiöln

19 Warum Mining? Vereinfachung ee gund Automatisierung u statistischer sc Prozesse Datenanalyse Anwendung der Modelle Bessere, verständlichere Modelle Mining bringt viele Verfahren und Werkzeuge Mining bringt erprobte statistische Verfahren ins Spiel (wo vorher evtl. noch wenig Statistik vorkam) Mining Verfahren basieren auf statistischen Verfahren W. onen DMC WS2009 Seite - 19 informatiöln

20 Welche Formen von Daten kann Mining analysieren? strukturierte Daten ( Warehouses, DWH) z.b. Zeit-/Messreihen, undendaten Multimedia-Daten t (Bild, Ton) Geografische Daten (GIS, Spatial bases) W. onen DMC WS2009 Seite - 20 informatiöln

21 Welche Formen von Daten kann Mining analysieren? Zeitreihen W. onen DMC WS2009 Seite - 21 informatiöln

22 Welche Formen von Daten kann Mining analysieren? Textdokumente (Text Mining) Web Mining (z.b. lickpfad-analysen) W. onen DMC WS2009 Seite - 22 informatiöln

23 Wichtige Methoden des Mining Entscheidungsbäume Neuronale Netze IF... THEN... Regelinduktion Nearest Neighbor Genetische Algorithmen W. onen DMC WS2009 Seite - 23 informatiöln

24 Taxonomie von Aufgaben im Mining (Auszug) lassifikation Lernen, die Datensätze aufgrund ihrer Attribute vorgegebenen lassen zuzuordnen Beispiel: lassifikation von Bankkunden ob kreditwürdig oder nicht Regression und Vorhersage Modellierung einer kontinuierlichen Outputgröße, z.b. zeitliche Veränderungen Beispiele: Zeitreihenanalyse, Aktienkurse, Vorhersage von Systemausfällen auf Basis von Messdaten Clustering Aufteilung einer Datenmenge in disjunkte Gruppen ähnlicher Objekte Beispiel: Gruppen von Autos mit ähnlichen Ausfällen, undengruppierung für CRM (customer relationship mngmt) W. onen DMC WS2009 Seite - 24 informatiöln

25 Übungen Ü Ü Ü Welches sind die 6 wichtigen Phasen in einem Mining Projekt? Welche Typen (Formen) von Daten? Welche Gründe können den Einsatz von Mining motivieren? W. onen DMC WS2009 Seite - 25 informatiöln

26 Technologie ist nicht alles Daten sammeln Daten organisieren Integration in Anwendung Neu? Modell anwenden Nützlich? DM W. onen DMC WS2009 Seite - 26 informatiöln

27 Technologie ist nicht alles Mining ist ein kreativer Prozess es reicht nicht: Datenbank + Softwaretool = fertig Wichtig für erfolgreiche -Mining-Projekte gesunder Menschenverstand bei der Prüfung der Daten auf Plausibilität / Validität gutes Verständnis der Prozesse, der Teilnehmer und deren Ziele dies alles kreativ einbauen in die Modellbildung, die für aktuellen Prozess betrieben wird Mining macht Spass! W. onen DMC WS2009 Seite - 27 informatiöln