<Insert Picture Here> Datenschätze heben: Data Mining Carsten Czarski Leitender Systemberater Business Unit Database ORACLE Deutschland GmbH

Transkript

1 <Insert Picture Here> Datenschätze heben: Data Mining Carsten Czarski Leitender Systemberater Business Unit Database ORACLE Deutschland GmbH

2 Agenda Data Mining... erste Schritte... Der Data Mining-Ansatz von Oracle Der Data Mining-Prozess Daten aufbereiten Statistisches Modell bilden Modell evaluieren Modell anwenden

3 Grundlage des Data Mining Statistik und Analysen mit SQL Ranking-Funktionen rank, dense_rank, cume_dist, percent_rank, ntile Analytische Funktionen (Query Window) Avg, sum, min, max, count, variance, stddev, first_value, last_value Analytische Funktionen (Aggregate) Sum, avg, min, max, variance, stddev, count, ratio_to_report Interrow-Berechnungen Lag, lead Statistische Aggregate Korrelation, Lineare Regression, Kovarianz Lineare Regression "Methode der kleinsten Quadrate" Kombination mit COVAR_POP, COVAR_SAMP, CORR

4 Data Mining... mal ganz einfach... Wovon hängt das Gehalt ab? EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO SMITH CLERK DEC ALLEN SALESMAN FEB WARD SALESMAN FEB JONES MANAGER APR MARTIN SALESMAN SEP BLAKE MANAGER MAY CLARK MANAGER JUN SCOTT ANALYST APR KING PRESIDENT 17-NOV TURNER SALESMAN SEP ADAMS CLERK MAY JAMES CLERK DEC FORD ANALYST DEC

5 Data Mining... mal ganz einfach... Offensichtlich vom Job! ATTRIBUTE_NAME EXPLANATORY_VALUE RANK JOB HIREDATE_HH DEPTNO 0 2 COMM 0 2 ENAME 0 2 HIREDATE_D 0 2 HIREDATE_MM 0 2 HIREDATE_WW 0 2 EMPNO 0 2 HIREDATE_DDD 0 2 : : :

6 Oracle Data Mining-Ansatz Direkt in der Datenbank 1. Data Mining 2. Ergebnis Funktionalität steht in der Datenbank bereit Data Mining Option PL/SQL und Java API Werkzeug: Oracle Data Miner Oracle Excel Plugin

7 Data Mining direkt in der Datenbank Vorteile Datentransformation ohne Materialisierung Definition von Views Pipelined Table Functions Unterstützung auch "ausgefallener" Datentypen Ausnutzung des Optimizers Skalierbarkeit auch bei großen Datenmengen Durchgängige Sicherheitskonzepte Virtual Private Database / Row Level Security Schutz vor dem DBA durch Database Vault Greift auch für die Anwendung der Ergebnisse

8 Der Data Mining Prozess

9 Anforderung: Verständnis für die Daten... Ermittelte Zusammenhänge sind statistischer Natur Verständnis des "Geschäfts" absolut notwenig Sonst: U.U. Annahme sinnloser statistischer Aussagen

10 Der Data Mining Prozess

11 Daten vorbereiten Daten in Rohform für Data Mining meist ungeeignet 50-80% der Projektzeit sind Daten-Aufbereitung Daher Aufbereitung Ausreißer entfernen Klassenbildung Umkodieren Aggregationen Berechnungen :

12 Daten vorbereiten Daten-Aufbereitung als View in der Datenbank Vorteil: Daten werden nicht bewegt Datenbankfunktionalität (bspw. Geodaten) SQL = Standard-Sprache für Datenbearbeitung Vorhandenes Know How kann genutzt werden Werkzeugunterstützung durch Data Miner SQL: View Definition View (virtuelle Tabelle)

13 Oracle Data Mining Infrastruktur für die Datenaufbereitung DBMS_DATA_MINING_TRANSFORM Framework für Datentransformation Transformations-Metadaten im Data Dictionary hinterlegen Spezielle Verfahren out-of-the-box (Bsp: Supervised Binning) Views automatisch generieren View (virtuelle Tabelle)

14 Oracle Data Mining Infrastruktur für die Datenaufbereitung Beispiel: Klassenbildung nach Perzentilen: Hier: 20 Automatisches Generieren der View

15 Daten vorbereiten: Oracle Data Miner

16 Daten vorbereiten: Vorteil Oracle: Besondere Datentypen Objekt-Know How der Datenbank nutzen Geodaten, Texte, XML, Bilder (Metadaten)...

17 Automatische Daten-Aufbereitung Neu in Oracle11g: Automatic Data Preparation Modellspezifische Standard-Annahmen Bsp: Supervised Binning für Klassifizierung Erweiterbar durch eigene Attributklassen Standardmäßig abgeschaltet DBMS_DATA_MINING.PREP_AUTO_ON

18 Der Data Mining Prozess

19 Modellbildung Welchen Algorithmus nehmen...? Abhängig von der Aufgabenstellung... Klassifizierung Naive Bayes, Decision Tree, SVM Generialized Linear Models (GLM) Lineare Regression, Logistic Regression Attribute Importance Minimum Descriptor Length (MDL) Clustering K-MEANS, O-Cluster :

20 Modellbildung PL/SQL API

21 Modellbildung Welches ist der "beste" Algorithmus...? Iteratives Modell 1. Daten aufbereiten 2. Modell erstellen (Statistische Methoden) 3. Güte prüfen 4. Daten erneut aufbereiten zurück zu 2...

22 Der Data Mining Prozess

23 Evaluierung des Modells... Anhand von Testdaten Vorherige Abtrennung von den Trainingsdaten Anwendung des erstellten Modells auf die Testdaten Beurteilung des Modells anhand... Confusion Matrix ROC (Receiver Operating Characteristics) Lift

24 Evaluierung des Modells... ROC

25 Evaluierung des Modells PL/SQL-Funktionen DBMS_DATA_MINING.COMPUTE_CONFUSION_MATRIX DBMS_DATA_MINING.COMPUTE_ROC DBMS_DATA_MINING.COMPUTE_LIFT

26 Der Data Mining Prozess

27 Anwendung Anwendung auf ganze Datenbestände Oracle Data Miner DBMS_DATA_MINING.APPLY

28 Anwendung (real time) SQL-Funktionen PREDICTION PREDICTION_PROBABILITY PREDICTION_COST PREDICTION_BOUNDS (für GLM) Transaktionale Anwendung in... Stored Procedures, RDBMS Trigger, Views,...

29 Anwendung (real time) Gefundenes Modell LIVE nutzen PRED PROB ,7040

30 Anwendung (real time) Gefundenes Modell LIVE nutzen PRED PROB ,5824

31 Data Mining direkt in der Datenbank Vorteile Durchgängige Sicherheitskonzepte Virtual Private Database / Row Level Security Schutz vor dem DBA durch Database Vault Greift auch für die Anwendung der Ergebnisse Datentransformation ohne Materialisierung Definition von Views Pipelined Table Functions Unterstützung auch "ausgefallener" Datentypen Ausnutzung des Optimizers Skalierbarkeit auch bei großen Datenmengen Kontrolle über Ressourcenverbrauch Resource Manager / Enterprise Manager Grid Control

32 Oracle Data Mining und SPSS Architektur Clementine Client: sendet den Data Mining Prozeß beschreibende "stream description language" (SDL) zum Server Clementine Server: Optimiert das Data Mining, indem bestimmte DM-Aufgaben an die Oracle Datenbank abgegeben werden Oracle Datenbank/ODM: führt diese Aufgaben aus und gibt aggregierte Ergebnisse an Clementinezurück

33 Weitere Informationen... Oracle Technology Network: Data Mining index.html Oracle Data Miner: Download + Tutorial odminer.html Oracle Dokumentation Data Mining Concepts datamine.102/b14339/toc.htm Data Mining Application Developer's Guide datamine.102/b14340/toc.htm

34 Data Mining und Application Express Zweiteiliges Tutorial in der APEX Community datamining/index.html datamining-2/index.html

35