Vorlesung Wissensentdeckung in Datenbanken

Größe: px

Ab Seite anzeigen:

Download "Vorlesung Wissensentdeckung in Datenbanken"

Edmund Möller
vor 5 Jahren
Abrufe

1 Vorlesung Wissensentdeckung in Dtenbnken Tree Projection LTree Kthrin Morik, Clus Weihs von 19

2 Gliederung 1 Einführung 2 LTrees 3 LTrees zum frequent set mining 4 Vor- und Nchteile 2 von 19

3 Tree Projection LTree Mn knn sttt FPtrees uch LTrees verwenden. Implementierungsdetils von frequent set mining FIMI workshops (Goethls, Zki) Aspekte, die bedcht werden: Speicherbedrf Psst in Huptspeicher? Psst in Cche? I/O Zugriffe uf Dtenbnk Lufzeit R.C. Agrwl, C.C. Aggrwl, V.V. Prsd 2001 A Tree Projection Algorithm for Genertion of Frequent Itemsets in: J. Prllel nd Distribute Computing 61(3), von 19

4 LTrees Lexikogrfische Ordnung der items hier: < b < c < d < e < f Mögliche Erweiterungen eines Kotens P sind die lexiklisch größeren Geschwister hier: R() = {b, c, d, e, f}, R(b) = {c, d, f}, R(b) = {c, d}, R(bc) = {d} Erweiterung eines Knotens P um ein weiteres häufiges item hier: E() = {b, c, d, f}, E(b) = {c, d}, E(c) = {d, f}, E(d) = {f} E(P ) R(P ) E(Q) wobei P eine Erweiterung von Q ist. Null b c d e f b c d f bc bd cd cf df bc bd cd cdf cf df bcd cdf Angenommenes Beispiel A 4 von 19

5 LTrees in frequent set mining Knoten ist ktiv, wenn er ls Erweiterung generiert wird hier: {, b, c, bc, cd}; inktiv, wenn der Bum, dessen Wurzel er ist, nicht erweitert werden knn. Ein Grenzknoten ist ein ktiver Knoten, dessen Erweiterung noch nicht generiert ist hier: {bc, cd}. Aktive items F (P ) von P sind P ist Grenzknoten, dnn F (P ) = R(P ) Sonst ktive Knoten in E(P ) und deren ktive items. b bc bd c cd cf df cdf d f bc bcd b bd cd cdf c Null cf d df e f 5 von 19

6 Knoten Null An einem Knoten P sind gespeichert: b c d e f Der item set P AE(P ): Aktuell ktive Erweiterungen von P F (P ):ktive items von P Mtrix E(P ) E(P ) b bc bd c cd cf df cdf d f bc bcd bd cd cdf cf df AE() = {b, c} F () = {b, c, d, f} b c d f b - c #bc - d #bd #cd - f #bf #cf #df - 6 von 19

7 Tree Projection Projektion von Dtenbnktupel T uf itemset P : flls T P = {}, ist T (P ) = null, sonst: T (P ) = T F (P ) Beispiel: Trnsktion {, b, c, d, e, f, g, h, k} T () = {b, c, d, f} b c d bc bd cd cdf cf df f b bc bd bcd Null c d cd cf df cdf e f 7 von 19

8 Algorithmus Breitensuche Aufbu des LTrees AddT ree() P runet ree() Tree projection AddCounts() Vorteile Breitensuche: Beschränkung uf eine Ebene in einem Schritt psst in Huptspeicher Nchteile Breitensuche: Tree projection uf jeder Ebene k DB scns BredthFirst(minSup : s, DB : T ) L 1 := ll frequent 1-itemsets; E(null) := set of items in L 1 ; mke top-level of LTree; k := 1; while level k not null do crete mtrices t level k 1nodes for ech T in T do AddCounts(T); AddT ree(k); // cretes L k+1 P runet ree(k); // deletes inctive nodes up to level k + 1 k := k + 1; 8 von 19

9 AddT ree(), P runet ree() AddT ree(k) L k+1 = lle k + 1 itemsets mit usreichendem support; Knoten uf Ebene k + 1 hinzufügen; P runet ree(k) entferne lle inktiven Knoten uf Ebene k + 1; für jeden Knoten P uf Ebene k + 1 do F (P ) := R(P ); for r = k, 1, until 0 do entferne inktive Knoten uf Ebene r; updte F (P ) ller Knoten uf Ebene r und ihrer Kinder; 9 von 19

10 Mtrix zählen Beispiel Mtrix E(Null) E(Null) für Kndidten der Ebene 2: Verrbeitung von 4 Trnsktionen R : {b, c, d, e, f} Null b c d {c, d, e, f} {d, e, f} {e, f} e {f} f {} b c d e b b 1 c c 2 bc 1 d d 2 bd 2 cd 3 e e 1 be 2 ce 2 de 3 f f 2 bf 1 cf 3 df 3 ef 2 Trnsktionen cdf bcdef bde cdef 10 von 19

11 Mtrix zählen Beispiel Mtrix E(Null) E(Null) für Kndidten der Ebene 2: Verrbeitung von 4 Trnsktionen R : {b, c, d, e, f} Null b c d {c, d, e, f} {d, e, f} {e, f} e {f} f {} b c d e b b 1 c c 2 bc 1 d d 2 bd 2 cd 3 e e 1 be 2 ce 2 de 3 f f 2 bf 1 cf 3 df 3 ef 2 Trnsktionen cdf bcdef bde cdef 11 von 19

12 Mtrix zählen Beispiel Mtrix E(Null) E(Null) für Kndidten der Ebene 2: Verrbeitung von 4 Trnsktionen R : {b, c, d, e, f} Null b c d {c, d, e, f} {d, e, f} {e, f} e {f} f {} b c d e b b 1 c c 2 bc 1 d d 2 bd 2 cd 3 e e 1 be 2 ce 2 de 3 f f 2 bf 1 cf 3 df 3 ef 2 Trnsktionen cdf bcdef bde cdef 12 von 19

13 Mtrix zählen Beispiel Mtrix E(Null) E(Null) für Kndidten der Ebene 2: Verrbeitung von 4 Trnsktionen R : {b, c, d, e, f} Null b c d {c, d, e, f} {d, e, f} {e, f} e {f} f {} b c d e b b 1 c c 2 bc 1 d d 2 bd 2 cd 3 e e 1 be 2 ce 2 de 3 f f 2 bf 1 cf 3 df 3 ef 2 Trnsktionen cdf bcdef bde cdef 13 von 19

14 Mtrix zählen Beispiel Mtrix E(Null) E(Null) für Kndidten der Ebene 2: Verrbeitung von 4 Trnsktionen R : {b, c, d, e, f} Null b c d {c, d, e, f} {d, e, f} {e, f} e {f} f {} b c d e b b 1 c c 2 bc 1 d d 2 bd 2 cd 3 e e 1 be 2 ce 2 de 3 f f 2 bf 1 cf 3 df 3 ef 2 Trnsktionen cdf bcdef bde cdef 14 von 19

15 Projektion Trnsktionen müssen uf die Grenzknoten projiziert werden, wo dnn in der Mtrix gezählt wird. Beim Erzeugen von Knoten uf Ebene k + 1, wird für lle Knoten P der Ebene k 1 jeweils eine Mtrix E(P ) E(P ) ngelegt. Ws dnn noch n Speicher frei ist, ist für die Trnsktionen d. Strtegien: Je 1 Trnsktion uf lle Knoten der Ebene k 1 projizieren: weniger Speicher, mehr Rechenzeit; Viele Trnsktionen uf einen Knoten projizieren: bessere Rechenzeit, mehr Speicher. Ausweg: Trnsktion von oben nch unten über die Ebenen projizieren, blockweise. 15 von 19

16 Cche-Blöcke Zählen der Häufigkeit von k + 1-itemsets, die Nchfolger von k 1-Knoten sind gemäß Ausschnitten us der Mtrix. Beispiel: Trnsktion {, b, c, d, e, f } strip c p1 p2 p3 strip b c d e b b c c bc d d bd cd+1 e e be ce+1 de+1 f f bf cf+1 df+1 ef+1 Auf jede Trnsktion, die mindestens ein item mit denen im strip teilt, werden 3 Zeiger gesetzt. for outerp p1 bis p2 do for innerp = outerp + 1 to p3 do MtrixEintrg(outerP, innerp ) von 19

17 Tiefensuche Vorteile Tiefensuche von der Wurzel zum ktuellen Knoten wird die Bumprojektion einfch durchgereicht Nchteile Tiefensuche psst m Anfng nicht in Huptspeicher, denn vom Wurzelknoten wird die gesmte Dtenbnk hinunterprojiziert Kombintion: nfngs Breitensuche sobld lle Bumprojektionen n den Grenzknoten in den Huptspeicher pssen, werden sie in seprte Dteien je Grenzknoten gespeichert und jeweils per Tiefensuche berbeitet. 17 von 19

18 Experimente Sehr effizient: Trnsktionen mit durchschittlich 31 items level 0 (2-itemset Kndidten) 23,49 CPU Sekunden bei Mtrixeinträgen level 1 (3-itemset Kndidten) 25,44 CPU Sekunden bei Mtrixeinträgen level 2 (4-itemset Kndidten) 9,76 CPU Sekunden bei Mtrixeinträgen Puffer von Trnsktionen wird depth-first uf Knoten im Cche projiziert günstige Zugriffe uf immer die selben Adressen im Cche. 18 von 19

19 Ws wissen wir jetzt? LTrees sind kompkter ls hsh trees. Tree Projection verwendet LTrees für häufige Mengen lexikogrphische Ordnung. Es gibt keine explizite Kndidtengenerierung, ber der Aufbu des LTrees wird ähnlich wie bei Apriori relisiert. Allerdings wird erst hinterher der Bum gestutzt. Dher lngsmer ls FP growth. Sorgflt bei der Speicherusnutzung: Breiten- vs. Tiefensuche beim LTree-Aufbu, Tiefensuche beim Projizieren der Tupel Ausschnitte us den Mtritzen nch strips 19 von 19

Ähnliche Dokumente

LR(k)-Parser. CYK-Algorithmus ist zu langsam.

LR(k)-Parser. CYK-Algorithmus ist zu langsam. LR(k)-Prser Ziele: Effizienter (und deterministischer) Test, ob ein gegebenes Wort w in der Sprche L(G) enthlten ist. Flls j: Konstruktion des Syntxbums Flls nein: Hinweise zum Fehler CYK-Algorithmus ist