Mining über RDBMSe. von. Christian Widmer. Wie gut lässt sich Mining mit SQL realisieren?

Transkript

1 Mining über RDBMSe von Christian Widmer Wie gut lässt sich Mining mit SQL realisieren? Müssen neue Konstrukte zur Verfügung gestellt werden, wenn ja welche?

2 Vortragsüberblick Association Rules Apriori Algorithmus Implementationsalternativen Alternativen in SQL-92 Alternativen in SQL-OR Schlussfolgerungen

3 Association Rules Syntax: X Y z.b. {Bier} {Chips} Salopp: Wer Bier kauft, kauft auch Chips. (X, Y sind Mengen von Items, und X Y = ) Anforderung an eine Regel 1 Minimum Support (Relevanz) 2% der Kunden kaufen Bier und Chips. 2 Minimum Confidence (Vertrauen) 40% der Kunden, die Bier kaufen, kaufen auch Chips.

4 Apriori Algorithmus Begriffe, die für den Algorithmus wichtig sind Frequent Itemset Itemmengen, deren Relevanz grösser ist als Minimum Support. Candidate Itemset Ist eine potentielle Kandidatenmenge für ein Frequent Itemset. Candidate Itemset Frequent Itemset Vorgehen des Algorithmus 1) Finde alle Frequent Itemsets durch Iteration von a) und b) a) Generiere Candidate Itemsets b) Bestimme die Relevanz (Support Counting) 2) Finde alle gültigen Regeln Bemerkungen 1) Jede Teilmenge eines Frequent Itemset ist auch ein Frequent Itemset. 2) Itemsets müssen geordnet sein (Implementationsanforderung)

5 Apriori Algorithmus Frequent Itemsets mit Support = 50 % Frequent Itemset F1 {Käse} {Milch} {Butter} {Brot} Frequent Itemset F2 {Käse, Butter} {Milch, Butter} {Milch, Brot} {Butter, Brot} Transaktionen TID Items Alder {Käse, Butter, Honig} Durrer {Milch, Butter, Brot} Moser {Käse, Milch, Butter, Brot} Specht {Milch, Brot} Candidate Itemset C2 Support {Käse, Mich} 1 {Käse, Butter} 2 {Käse, Brot} 1 {Milch, Butter} 2 {Mich, Brot} 3 {Butter, Brot} 2 Candidate Itemset C3 Support {Milch, Butter, Brot} 2 Frequent Itemset F3 {Milch, Butter, Brot}

6 Apriori Algorithmus Generieren der Kandidatenmenge: Beispiel Gegeben F3 = {{1,2,3},{1,2,4},{1,3,4},{1,3,5},{2,3,4}} Gesucht Eine möglichst kleines Candidate Itemset C4 C*4 = {{1,2,3,4},{1,3,4,5}} (provisorische Kandidatenmenge) C4 = {{1,2,3,4}} (Kandidatenmenge nach Prune Step) 1 Generiere aus jeweils 2 Elementen (Generatoren) aus F3 einen Kandidaten. INSERT INTO C*4 I1.item1, I1.item2, I1.item3, I2.item3 FROM F3 I1, F3 I2, WHERE I1.item1 = I2.item1 AND I1.item2 = I2.item2 AND I1.item3 < I2.item3 2 Teste die restlichen Teilmengen der Grösse 3, ob sie auch frequent sind. INSERT INTO C4 FROM WHERE AND C.item1, C.item2, C.item3, C.item4 C*4 C, F3 I1, F3 I2 C.item2 = I1.item1 AND C.item3 = I1.item2 AND C.item4 = I1.item3 C.item1 = I2.item1 AND C.item3 = I2.item2 AND C.item4 = I2.item3

7 Implementationsarten Cursor Interface viel Kontextwechsel zwischen DBMS und Applikation Stored Procedure + keine Kontextwechsel zwischen DBMS und Applikation Cache Mine + Daten werden einmal von der Datenbank gelesen und in einem Binärfile gespeichert (sehr effizient). User Defined Function (UDF) + keine Kontextwechsel zwischen DBMS und Applikation aufwendig und gefährlich (programmiert in klassischer Sprache z.b. C) SQL-92 (K-Way Join / Subquery)? Effizienz SQL-OR (Gather Join, Gather Count, Vertical)? Effizienz

8 Gegeben K Way Join (SQL 92) Support Counting Transaktionstabelle T mit Tupeln (tid, item) Candidate Itemset Ck Gesucht Frequent Itemset Fk Vorgehen 1. k-facher JOIN von T mit sich selbst (Input: T / Output: T*) (unnesting) 2. JOIN von T mit Ck und Aggregation (Input: T* / Output: Fk) Beispiel für k = 3 INSERT INTO FROM WHERE AND AND GROUP BY HAVING F3 SELECT item1, item2 COUNT(*) C3, T t1, T t2 t1.item = C3.item1 t2.item = C3.item2 t1.tid = t2.tid item1, item2 count(*) > :minsup

9 K Way Join: Support Counting TID Itemset 100 1, , , , , , , , , , , , , , , , , , 4 t 1.tid = t 2.tid T t 1 C 3.item 1 = t 1.item C 3.item 2 = t 2.item HAVING COUNT(*) > :minsup GROUP BY item 1, item 2 T t 2 C 2 C3 = {1, 2} TID Itemset Support 100 1, , 2 Itemset

10 Idee Subquery Based (SQL-92) Support Counting Ausnutzen der Eigenschaft, dass Items in einem Candidate Itemset gemeinsame Präfixe haben. (Items sind in kanonischer Reihenfolge sortiert) Vorgehensweise Verwenden einer rekursive Subquery Aggregation der finalen Subquery k findet das Frequent Itemset Eigenschaft der Subquery Subquery der Rekursionstiefe v findet alle TIDs, welche die ersten v Items vom Candidate Itemset enthält. Beispiel: Subquery Q3 SELECT item1, item2, item3, tid FROM T t3, (Subquery Q2) AS r2 (SELECT DISTINCT item1, item2, item3 FROM Ck) AS d3 WHERE r2.item1 = d3.item1 AND r2.item2 = d3.item2 AND r2.tid = t3.tid AND t3.item = d3.item3