Copyright 2009 Oracle Corporation

Transkript

1

2 <Insert Picture Here> Bereitstellung und Nutzung von aussagekräftigen Data Mining Analysen in Real-Time-Datenströmen

3 Oracle Team Dr. Holger Dresing Leitender Systemberater STCC Nord MW Oracle Deutschland B.V. & Co. KG Tel.: Mobil: Iuliana Zibilianu Praktikantin im Sommer 2009 Diplomarbeit zum Thema Oracle Data Mining

4 Ausgangspunkt Thomas Davenport Competing on Analytics Some companies have built their very business on their ability to collect, analyze and act on data analytics competitors are the leaders in their fields - consumer products, finance, retail and entertainment among them.

5 Ausgangspunkt einfache Reports sind nicht ausreichend für wettbewerbsstarke Unternehmen Oracle ermöglicht einen kompletten Workflow auch in Real-Time-Datenströmen Kombination aus DB- und MW-Komponenten 1. Oracle Data Integrator 2. Oracle BPEL PM 3. Oracle Data Mining 4. OBI EE Publisher with ODM Results

6 Ablauf Problem Definition Oracle Data Data Gathering Integrator Oracle and Preparation BPEL PM - Data Access - Data Sampling - Data Transformation Model Building Oracle Data Mining and Evaluation - Create Model - Test Model - Evaluate and Interpret Model Oracle Knowledge Business Intelligence Deployment - Model Apply - Customer Reports - External Applikations

7 Ziel: Extraktion wertvoller Informationen aus verschiedenen Datenquellen Integration Mining Visualisierung DATA Invoices Checks DATA Oracle Oracle Oracle INFORMATION DATA Data Data BI Labels Reports Integrator Mining Publisher + BPEL-PM Destinations XML / EFT / EDI

8 Ablauf Problem Definition Data Gathering and Preparation - Data Access - Data Sampling - Data Transformation Model Building and Evaluation - Create Model - Test Model - Evaluate and Interpret Model Knowledge Deployment - Model Apply - Customer Reports - External Applikations

9 Beispiel Step1: Problemdefinition Aufgabe: Erkennung loyaler Kunden Ziel: Konstruktion eines DM-Modells, das zuverlässige Kunden frühzeitig erkennen kann Ressourcen: Sales Daten, Demographische Daten, Transaktionsdaten Gewünschte Formate: Reports, Letters, Etiketten

10 Ablauf Problem Definition Data Gathering and Preparation - Data Access - Data Sampling - Data Transformation Model Building and Evaluation - Create Model - Test Model - Evaluate and Interpret Model Knowledge Deployment - Model Apply - Customer Reports - External Applikations

11 U.M. Fayyad Advances in Knowledge Discovery and Data Mining Data Mining is a non-trivial process of identifying valid, novel, potentially useful and ultimately understandable patterns in data.

12 Data Mining Provides Better Information, Valuable Insights and Predictions Churners vs. Loyal Customers Segment #3: IF CUST_MO > 7 AND INCOME > $175K, THEN Prediction = Cell Phone Churner, Confidence = 83%, Support = 6/39 Insight & Prediction Segment #1: IF CUST_MO > 14 AND INCOME < $90K, THEN Prediction = Cell Phone Churner, Confidence = 100%, Support = 8/39 Customer Months Source: Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J. A. Berry, Gordon S. Linoff

13 Beispiel Step 3: Datenmodellierung ein geeigneten Verfahren auswählen ein Modell konstruieren das Modell testen das Modell auf neue Daten anwenden (Scoring)

14 Methodenauswahl in Oracle Data Mining Verfügbare Verfahren 11g Problem Verfahren Anwendbarkeit Classification Logistic Regression (GLM) Geeignet für diskrete Decision Trees Targetwerte Naïve Bayes Support Vector Machine Regression Anomaly Detection Clustering Association Rules Attribute Importance Feature Extraction Multiple Regression (GLM) Support Vector Machine One Class SVM Hierarchical K-Means Hierarchical O-Cluster Apriori A1 A2 A3 A4 A5 A6 A7 F1 F2 F3 F4 Minimum Description Length (MDL) Non-Negative Matrix Factorization (NMF) Geeignet für kontinuierliche/ numerische Targetwerte Outlier Detection Einteilung von Objekten anhand bestimmter Merkmale Text mining Warenkorbanalyse Selektion von relevanten Attributen Text analysis Feature reduction

15 Oracle Data Mining Überblick: Prädiktives Mining (Modell-Konstruktion und Scoring) Cases Input Attributes Name Income Age Jones 30, Smith 55, Lee 25, Rogers 50, Campos40,500 Horn 37,000 Habers 57,200 Berger 95,600 Historic Data New Data Target Respond? 1 =Yes, 0 =No ???? Model Functional Relationship: Y = F(X 1, X 2,, X m ) Prediction Confidence

16 Beispiel Step 3: Datenmodellierung Modellkonstruktion und Modelltest Mit Oracle Data Mining erfolgt die Konstruktion und das Testen des Data Mining Modells komplett automatisch Ergebnis: Model Genauigkeit

17 Mit Oracle Data Miner erfolgt die Konstruktion und das Testen des Data Mining Modells komplett automatisch

18 Mit Oracle Data Miner erfolgt die Konstruktion und das Testen des Data Mining Modells komplett automatisch

19 Ablauf Problem Definition Data Gathering and Preparation - Data Access - Data Sampling - Data Transformation Model Building and Evaluation - Create Model - Test Model - Evaluate and Interpret Model Knowledge Deployment - Model Apply - Customer Reports - External Applikations

20 Beispiel Step 4: Deployement Weitergabe der Ergebnisse an End-User in verschiedenen Formaten: Reports Letters Alerts Etiketten

21 Oracle BI Publisher Moderne Lösung zur Entwicklung, Erzeugung und Verteilung von Berichten und Dokumenten Funktionale Bereiche Dokumente, Drucksachen (Output Management) Geschäftsberichte (Business Intelligence) Elektronische Formularbearbeitung Elektronischer Datenaustausch Invoices Verschiedene Arten von Dokumenten Formulare, Berichte, Serienbriefe, Rechnungen, Etiketten,... Verschiedene Formate Labels pdf, html, Excel, Word, PPT,... Verschiedene Kanäle Druck, Online, , ftp, webdav, Portal, mobiler Zugriff Destinations Checks XML / EFT / EDI Reports

22 Daten- und Dokument-Fluss Query Builder SELECT SVM_ZIEL.PREDICTION as PREDICTION, SVM_ZIEL.DT_PRED as DT_PRED, FROM SVM_ZIEL, SUPPLEMENTARY_DEMOGRAPHICS WHERE SVM_ZIEL.CUST_ID = SUPPLEMENTARY_DEMOGRAPHICS.CUST_ID

23 Daten- und Dokument-Fluss Word Builder

24 Ablauf Problem Definition Data Gathering and Preparation - Data Access - Data Sampling - Data Transformation Model Building and Evaluation - Create Model - Test Model - Evaluate and Interpret Model Knowledge Deployment - Model Apply - Customer Reports - External Applikations

25 S. Zhang et al. Data Preparation for data mining Data preparation is a fundamental stage of data analysis. While a lot of low-quality information is available in various data sources and on the Web, many organizations or companies are interested in how to transform the data into cleaned forms which can be used for high-profit purposes. This goal generates an urgent need for data analysis aimed at cleaning the raw data.

26 Beispiel Step 2: Datenaufbereitung Integration der Daten aus verschiedenen Quellen in Real-Time-Datenströmen (CDC) ODI Integritätsprüfung Manuelle Datenbereinigung über Web-Service BPEL-PM Erkennung korrelierter Attribute Auswahl der relevanten Merkmale Datenselektion: Training und Test Datensets Missing Values, Outlier Detection ODMr (automatisch)

27 Mehrwert durch ODI-EE Agile Daten Integration Daten bewegen und transformieren. Heterogene Quellen und Ziele. VORTEILE UNTERSCHEIDUNGS-MERKMALE 1. Performance >>> Heterogenes E-LT 2. Realtime Integration >>> Deklaratives CDC 3. Produktivität >>> Deklaratives Design 4. Offen >>> 100% Java und nativ SOA 5. Hot-Pluggable >>> Knowledge Module

28 Deklaratives Design Definition: Was man will Ziele Quellen Transformationen Mehrere DM-Modelle können gleichzeitig aufgerufen werden PREDICTION (sh.supplementary3486_sv USING SUPPLEMENTARY_DEMOGRAPHICS.EDUCATION, SUPPLEMENTARY_DEMOGRAPHICS.OCCUPATION,... DM-Modell

29 Deklaratives Design Integriertes E-LT Daten Integritäts Framework Daten Integritäts Firewall Auditing, Bereinigung und Wiederaufbereitung 1. Constraints auf Tabellen Ebene definieren 2. Mappings und Workflow zur integritätsprüfung definieren 3. Auditing, Bereinigung und Wiederaufbereitung abgelehnter Datensätze

30 Datenqualität integriert in BPEL Prozess ergänzt durch manuelle Geschäftsprozesse Quelle Oracle Data Integrator Prozess- Integration Prüfen während der Integration Beheben von Fehlern Ziel Fehler Korrekturen Statisches Prüfen Fehler Deklarativer Workflow zur Korrektur von Daten und Integritäts-Firewall Statisches Prüfen und Validieren von Constraints Workflow-basiertes Prüfen und Validieren von Constraints Beheben von Fehlern Integriert in standardisierte Prozess-Flüsse BPEL Process Manager Wiederverwenden von standardisierten Routinen zur Fehlerbehandlung BPEL Process Manager Manueller Workflow Integriert in manuellem Workflow Langlaufende Transaktionen Komplexe Prüfungen und Überschreiben von Mustern

31 Definition des BPEL Prozesses

32 Ausführung des BPEL Prozesses Aufbau einer Verbindung zwischen der Oberfläche und ODI-Invoke Webservice

33 BPEL Prozess erfolgreich ausgeführt

34 BPEL Prozess abschließen

35 BPEL Prozess abschließen Manuelle Korrektur der Daten

36 BPEL Prozess abschließen Manuelle Korrektur der Daten

37 Ausblick: Kompleter Workflow mit Oracle DB- und FMW-Komponenten Integration Mining Visualisierung DATA Invoices Checks DATA Oracle Oracle Oracle INFORMATION DATA Data Data BI Labels Reports Integrator Mining Publisher + BPEL-PM Destinations XML / EFT / EDI

38 Zusammenfassung: ODI+ BPEL-PM, ODM und OBI EE Vorteile eines kompleten Workflows Oracle Data Mining Einsicht in Daten und Geschäftsprozesse Erkennung wichtiger Faktoren Extraktion relevanter Informationen ODM und ODI + BPEL-PM Kontinuierlicher Zugriff auf neue Daten (Real-Time- Datenströme) Manuelle Korrektur der Daten für Modellierung Unmittelbare Anwendung der DM-Modelle Gleichzeitiges Scoring mehrerer Modelle ODM, ODI + BPEL-PM und OBI EE Auswahl der relevanten Datensätze Einfache Manipulation der DM-Modelle Einfaches Deployment Weitergabe der DM- Ergebnisse in verschiedenen Formaten

39

40 Q U E S T I O N S A N S W E R S

41 This presentation is for informational purposes only and may not be incorporated into a contract or agreement.