Kapitel 19: Datenbank-Unterstützung für Datenanalyse

Transkript

1 Kapitel 19: Datenbank-Unterstützung für Datenanalyse Datenbank-Unterstützung für Data Mining Unterschiedliche Ebenen: Erweiterung des Datenbank-Kerns ( Datenbank-Primitive ), Erweiterungen der Anfragesprache, unmittelbare Benutzerunterstützung. Data Warehousing und Mining: DB-Support für Data Mining 1 Data Warehousing und Mining: DB-Support für Data Mining 2 Datenbank-Primitive für Datenanalyse und Knowledge Discovery Auswahl der Primitive - Welche Unterstützung sollte Datenbank-Kern für Datenanalyse bieten? Gemeint ist nicht: Welche objekt-relationalen Erweiterungen sind denkbar/sinnvoll? Wie sollte Informationsbedürfnis in SQL formuliert sein? Welche Optimierungen bei der Queryoptimierung? Kapitel orientiert sich an NonStop SQL/MX von Tandem/Compaq. - Datenanalyse in unterschiedlicher Weise auf unterschiedlichen Ebenen implementierbar (Client-seitig, Standard SQL, Stored Procedures, O-R Erweiterungen, neue Primitive etc.) Data Warehousing und Mining: DB-Support für Data Mining 3 Data Warehousing und Mining: DB-Support für Data Mining 4

2 Auswahl der Primitive (1) Auswahl der Primitive (2) - Kriterien, wann Feature als Datenbank-Primitiv realisiert sein sollte: 1. Allgemeinheit: Unterstützung mehrerer Algorithmen und Knowledge-Discovery Arbeitsschritten? Anwendungsunabhängigkeit? 2. Kompatibilität mit relationalem Modell: Beispiel ist das Ergebnis natürlicherweise eine Relation? 3. Integrationsgrad: Deutlich verbesserte Ausdrucksmächtigkeit und Performanz? - Kriterien, wann Feature als Datenbank-Primitiv realisiert sein sollte (Forts.): 4. Kontrolle: Sind Anwendungsentwickler und Anbieter von Tools bereit, die Operation der Datenbank zu überlassen? 5. Ausgereiftheit und Stabilität: Sind in naher Zukunft Weiterentwicklungen dieses Features zu erwarten? Data Warehousing und Mining: DB-Support für Data Mining 5 Data Warehousing und Mining: DB-Support für Data Mining 6 Primitive in SQL/MX Transposition (1) - Transposition. Mehrere Frequency Counts und Abzählen anderer Abhängigkeiten in einem Statement. Sampling. Unterscheidungen wurden bereits angesprochen. Sequence-Funktionen. Vergleichbar mit MDX-Funktionalität. Primitive für den physischen Entwurf. Nichts Spezielles, z. B. Vertikale Partitionierung, Horizontale Partitionierung, kompakte Darstellung von Attributen mit kleinem Wertebereich. Data Warehousing und Mining: DB-Support für Data Mining 7 - Beispiel: Wir wollen Tabelle mit Anzahl Vorkommen jedes Attributwerts, für alle Attribute. Mögliches Vorgehen: SELECT ACCT_STATUS, COUNT(*) FROM CUSTOMER GROUP BY ACCT_STATUS; SELECT GENDER, COUNT(*) FROM CUSTOMER GROUP BY GENDER;... Viele Scans (nur vermeidbar mit Multi-Query Optimierung). Data Warehousing und Mining: DB-Support für Data Mining 8

3 Transposition (2) Transposition (3) - Alternative: Verwendung des TRANSPOSE-Operators. TRANSPOSE erzeugt aus einem Tupel mehrere mit unterschiedlichem Inhalt. Ausgangsrelation und Ergebnis von TRANSPOSE : ACCT_ GENDER AGE STATUS ok M 32 ok M 29 overdrawn F 32 ok F 59 ACCT_STATUS 1, GENDER 2, ATTR_ ID ATTR_ VAL 1 ok 2 M 1 ok 2 M... Data Warehousing und Mining: DB-Support für Data Mining 9 - Beispiel: SELECT ATTR_ID, ATTR_VAL, COUNT(*) FROM CUSTOMER TRANSPOSE(1, ACCT_STATUS), (2, GENDER),... AS (ATTR_ID, ATTR_VAL) GROUP BY ATTR_ID, ATTR_VAL ORDER BY ATTR_ID, ATTR_VAL; Ausgangsrelation und Ergebnis von TRANSPOSE: ACCT_ GENDER AGE STATUS ok M 32 ok M 29 overdrawn F 32 ok F 59 ATTR_ ID ATTR_ VAL 1 ok 2 M 1 ok 2 M... Data Warehousing und Mining: DB-Support für Data Mining 10 - Transposition weiteres Beispiel (1) Ausgangsrelation: Ziel-Tabelle (nützlich z. B. für Klassifikation): (Spalte 1 für Typ string, Spalte 2 für int; Unterscheidung durch zusätzliches Attribut. DV Abkürzung für dependent variable, IV independent variable) GENDER AGE #CHILDREN STATUS M 31 0 S M 28 0 S M 61 3 M M 56 0 S CTNUMBER IV1 IV2 DV COUNT 1 M S 3 1 M M S S 1 Data Warehousing und Mining: DB-Support für Data Mining 11 - Transposition weiteres Beispiel (2) Zwischenergebnis nach Transposition: Hier noch einmal Ausgangsrelation: CTNUMBER IV1 IV2 STATUS 1 M S 2 31 S 3 0 S 1 M S 2 28 S 3 0 S GENDER AGE #CHILDREN STATUS M 31 0 S M 28 0 S M 61 3 M M 56 0 S Data Warehousing und Mining: DB-Support für Data Mining 12

4 Transposition weiteres Beispiel (3) Sampling (1) - Anfrage: SELECT CTNUMBER, IV1, IV2, DV, COUNT(*) FROM MINING_DATA TRANSPOSE (1, GENDER, NULL, STATUS), (2, NULL, AGE, STATUS), (3, NULL, NUM_CHILDREN, STATUS) AS (CTNUMBER, IV1, IV2, DV) GROUP BY CTNUMBER IV1, IV2, DV ORDER BY CTNUMBER IV1, IV2, DV Zwischenergebnis nach Transposition: CTNUMBER IV1 IV2 STATUS 1 M S 2 31 S 3 0 S 1 M S 2 28 S 3 0 S... - Schnelle ungefähre Resultate. Aus Performancegründen sinnvoll, Sampling in den Datenbank-Kern hineinzudrücken. Data Warehousing und Mining: DB-Support für Data Mining 13 Data Warehousing und Mining: DB-Support für Data Mining 14 Sampling (2) Sampling (3) - Beispiele: SELECT ATTR_ID, ATTR_VAL, COUNT(*) FROM CUSTOMER SAMPLE RANDOM 1 PERCENT TRANSPOSE (1, ACCT_STATUS), (2, GENDER),... AS (ATTR_ID, ATTR_VAL) GROUP BY ATTR_ID, ATTR_VAL ORDER BY ATTR_ID, ATTR_VAL; SELECT * FROM CUSTOMER SAMPLE RANDOM BALANCE WHEN GENDER='M' THEN 150 PERCENT WHEN GENDER='F' THEN 100 PERCENT END; - SAMPLE-Klausel kann an unterschiedlichen Stellen der Query plaziert werden. Weitere mögliche Verfeinerungen: Methode: Random, First-N, periodisch; Größe des Samples: Absolute oder relative Angabe. Data Warehousing und Mining: DB-Support für Data Mining 15 Data Warehousing und Mining: DB-Support für Data Mining 16

5 Sequence Funktionen (1) Sequence Funktionen (2) - Ähnlichkeit mit MDX-Funktionen, die Einschränkung auf bestimmte Zeit-Fenster bieten. Beispiel: SELECT ACCOUNT, HISTORY_MONTH, MOVINGAVG(BALANCE, ROWS SINCE(THIS(ACCOUNT) <> ACCOUNT), 3) FROM CUSTOMER_ACCOUNT_HISTORY SEQUENCE BY ACCOUNT, HISTORY_MONTH; Zugrundeliegende Relation CUSTOMER_ACCOUNT_HISTORY(ACCOUNT, HISTORY_MONTH, BALANCE) - Erläuterungen: Zugrundeliegende Relation CUSTOMER_ACCOUNT_HISTORY(ACCOUNT, HISTORY_MONTH, BALANCE) Ergebnis: ACCOUNT HISTORY_ MONTH AVG Durchschnittsberechnung entweder drei Monate oder weniger, wenn Account noch nicht solange existiert. Data Warehousing und Mining: DB-Support für Data Mining 17 Data Warehousing und Mining: DB-Support für Data Mining 18 Diskussion Ad Hoc Queries mit Mining Prädikaten Bis hierhin: Was für Kriterien dafür, daß Feature Teil des DB-Kerns sein sollte? Vorstellung entsprechender Features. Features, die zum Großteil bereits besprochen wurden. Verständnis scheint zu konvergieren. Funktionalität, die für Data Mining nützlich ist. Keine unmittelbare Mining Funktionalität. Im Folgenden: Mining Funktionalität (hier: Klassifizierung). Erweiterung der Anfragesprache. Vorhersagemodell Mining Modell für Vorhersagen, z. B. Classifier. SQL Erweiterungen für Erstellung und Anwendung von Vorhersagemodellen heute Bestandteil kommerzieller RDBMSe. Anfragen möglich, die Mining Prädikate enthalten. Beispiel: Selektiere alle Personen, die letzte Woche besucht haben, und die als Fußball-interessiert einklassifiziert werden. Data Warehousing und Mining: DB-Support für Data Mining 19 Data Warehousing und Mining: DB-Support für Data Mining 20

6 Code Beispiel: MS SQL Server 2000 (1) Code Beispiel: MS SQL Server 2000 (2) CREATE MINING MODEL Risk_Class // Name of Model ( Customer_ID LONG KEY, // source column Gender TEXT DISCRETE, // source column Risk TEXT DISCRETE PREDICT, // prediction column Purchases DOUBLE DISCRETIZED(), // source column Age DOUBLE DISCRETIZED, // source column ) USING [Decision_Trees_101] // Mining Algorithm Erläuterungen: Erstellung des Mining Modells in SQL, Modell muß trainiert werden (hier nicht dargestellt); funktioniert mit INSERT INTO. Data Warehousing und Mining: DB-Support für Data Mining 21 Data Warehousing und Mining: DB-Support für Data Mining 22 Code Beispiel: MS SQL Server 2000 (3) Code Beispiel: MS SQL Server 2000 (4) Prediction Join: Prediction Join von Daten und Modell liefert Vorhersage. Beispiel: SELECT D.Customer_ID, M.Risk FROM [Risk_Class] M PREDICTION JOIN (SELECT Customer_ID, Gender, Age, sum(purchases) as SP FROM Customers D GROUP BY Customer_ID, Gender, Age) as D ON M.Gender = D.Gender and M.Age = D.Age and M.Purchases = D.SP WHERE M.Risk="low" Alle source columns des Modells kommen in der anderen Relation vor. Herkömmliche Evaluierung der Anfrage in zwei Phasen: 1. Ermittlung aller Datenobjekte mit allen relevanten physischen Eigenschaften. 2. Anwendung des Mining Modells auf alle Datenobjekte nacheinander. Data Warehousing und Mining: DB-Support für Data Mining 23 Data Warehousing und Mining: DB-Support für Data Mining 24

7 Evaluierung von Anfragen mit Mining Prädikaten Beispiel von vorhin: Selektiere alle Personen, die letzte Woche besucht haben, und die als Fußball-interessiert einklassifiziert werden. Fußballfans sind vielleicht nur sehr kleiner Teil der Besucher von Anwendung des Mining Prädikats für den effizienten Zugriff. Ansatz: Einfacheres Prädikat herleiten; Algorithmus hierfür ist Modell-spezifisch. Upper envelope auf diese Weise hergeleitetes Prädikat. Upper Envelopes für Decision Trees (1) : Lower BP > 91 Age > 63 Upper BP > 130 Overweight? yes 1 2 yes Anfrage: Selektiere alle Personen, die α erfüllen, und für die Klasse 1 vorhergesagt wird. Upper Envelope von Klasse 1 ist ((lower BP > 91) AND (age > 63) AND (overweight)) OR ((lowerbp > 91) AND (upper BP > 130)). no yes no yes no no Data Warehousing und Mining: DB-Support für Data Mining 25 Data Warehousing und Mining: DB-Support für Data Mining 26 Upper Envelopes für Decision Trees (2) Upper Envelopes für Decision Trees (3) Beispiel, fortgesetzt: Für Entscheidungsbäume ist Upper Envelope exakt. Lower BP > 91 yes no Age > 63 Upper BP > 130 yes no yes no Overweight? yes no 1 2 Anfrage, die zur Ausführung kommt: Selektiere alle Personen, die α erfüllen, und (((lower BP > 91) and (age > 63) and (overweight)) or ((lowerbp > 91) and (upper BP > 130))) Data Warehousing und Mining: DB-Support für Data Mining 27 Data Warehousing und Mining: DB-Support für Data Mining 28

8 Upper Envelopes für Decision Trees (4) Upper Envelopes Erläuterungen Beispiel, fortgesetzt: yes Lower BP > 91 no Age > 63 Upper BP > 130 yes no yes no Overweight? Algorithmus für Entscheidungsbäume ist einfach: Für jeden Pfad von Wurzel zu Blatt in der Klasse Bedingungen verunden, und resultierende Bedingungen mit ODER verknüpfen. Andere, kompliziertere Algorithmen für andere Classifier. Effektivität hängt von folgenden Faktoren ab: yes 1 2 no Was geschieht mit Anfrage Selektiere alle Personen, die β erfüllen, und für die Klasse 2 vorhergesagt wird? Wie sieht Upper Envelope aus? Ist Upper Envelope für breite Vielfalt von Mining Modellen herleitbar? (Ja.) Tightness der Upper Envelopes, zumindest wenn ursprüngliches Mining Prädikat selektiv ist. (Ja.) Data Warehousing und Mining: DB-Support für Data Mining 29 Data Warehousing und Mining: DB-Support für Data Mining 30 Screenshots Data-Mining Features MS SQL Server. Clustering und Klassifikation als Vorhersagemodelle. Wizards zur Erstellung der erweiterten SQL-Statements; GUI zur Visualisierung der Mining-Ergebnisse. Upper Envelopes Erläuterungen Algorithmus für Entscheidungsbäume ist einfach: Für jeden Pfad von Wurzel zu Blatt in der Klasse Bedingungen verunden, und resultierende Bedingungen mit ODER verknüpfen. Andere, kompliziertere Algorithmen für andere Classifier. Effektivität hängt von folgenden Faktoren ab: Ist Upper Envelope für breite Vielfalt von Mining Modellen herleitbar? (Ja.) Tightness der Upper Envelopes, zumindest wenn ursprüngliches Mining Prädikat selektiv ist. (Ja.) Data Warehousing und Mining: DB-Support für Data Mining 31 Data Warehousing und Mining: DB-Support für Data Mining 32

9 Data Warehousing und Mining: DB-Support für Data Mining 33 Data Warehousing und Mining: DB-Support für Data Mining 34 Data Warehousing und Mining: DB-Support für Data Mining 35 Data Warehousing und Mining: DB-Support für Data Mining 36

10 Data Warehousing und Mining: DB-Support für Data Mining 37 Data Warehousing und Mining: DB-Support für Data Mining 38 Data Warehousing und Mining: DB-Support für Data Mining 39 z Data Warehousing und Mining: DB-Support für Data Mining 40

11 Data Warehousing und Mining: DB-Support für Data Mining 41 Data Warehousing und Mining: DB-Support für Data Mining 42 Data Warehousing und Mining: DB-Support für Data Mining 43 Data Warehousing und Mining: DB-Support für Data Mining 44

12 Diskussion Data Mining ist Ablauf, bestehend aus mehreren Schritten Data Cleaning, in Abhängigkeit vom Ergebnis Erstellung weiterer, anderer Modelle, gleichzeitige Erstellung mehrerer unterschiedlicher Modelle; explizite Kontrolle über verwendete Techniken, Optimierung des Ablaufs. Data Warehousing und Mining: DB-Support für Data Mining 45 Data Warehousing und Mining: DB-Support für Data Mining 46 Prüfungsfragen, beispielhaft <Kriterien für die Entscheidung, ob ein Feature als Datenbank-Primitiv vorhanden sein sollte, erklären können.> Geben Sie Beispiele für Features, die sich gut als Datenbank-Primitiv eignen. Erklären Sie, warum das so ist. Was ist ein Upper Envelope in unserem Kontext? Was bedeutet die Aussage Ergebnis des Clustering kann als Vorhersagemodell dienen? Literatur John Clear et al.: NonStop SQL/MX Primitives for Knowledge Discovery. Proceedings of the fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Surajit Chaudhuri, Vivek R. Narasayya, Sunita Sarawagi: Efficient Evaluation of Queries with Mining Predicates. ICDE Data Warehousing und Mining: DB-Support für Data Mining 47 Data Warehousing und Mining: DB-Support für Data Mining 48