Induktion von Assoziationsregeln. Stefan Mandl

Transkript

1 Induktion von Assoziationsregeln Stefan Mandl

2 Inhalt Was sind Assoziationsregeln? Qualitätsbewertung Algorithmus

3 Was sind Assoziationsregeln?

4 Assoziationsregeln Assoziationsregeln beschreiben Korrelationen zwischen gemeinsam auftretenden Dingen Klassifikationsregel L 1,..., L n Class Assoziationsregel L 1,..., L n R 1,..., R m

5 Unterschied zu Klassifikation Assoziierung beliebiger Attribute Viel mehr Kombinationen (alle Kombinationen von Attributwerten, alle möglichen Auswahlen, mal linke, mal rechte Seite der Regel) Pruning

6 Qualitätsbewertung

7 Qualitätsmaße Support (Coverage): Die Anzahl der DB Tupel, die die gleichen Werte wie die in der Regel vorkommenden haben Confidence (Accuracy) Die Anzahl der DB Tupel, für die die Regel korrekt ist, im Verhältnis zu allen passenden (linke Seite!) Tupeln

8 Zusammenhang Für eine Regel (A,B Mengen) A B gilt: conf(a B) = sup(a B) sup(a)

9 Beispiel If temperature = cool then humidity = normal Support ist die Anzahl der Tage, die kalt und normale Luftfeuchte Confidence ist der Anteil der kalten Tage mit normaler Luftfeuchte

10 Zwischenstand Support interpretiert die Attribute der Regel als Menge Confidence fordert eine Interpretation als Wenn-Dann Regel

11 Support & Confidence Von Regeln wird ein bestimmtes Minimum an Support und Confidence gefordert! Für den Support wahlweise auch ein prozentualer Anteil Confidence möglichst hoch, Support von der Anwendung abhängig

12 Warnung! Vorsicht, bei mehreren Konsequenzen! If windy = false and play = no then outlook = sunny and humidity = high... ist nicht gleichbedeutend mit if windy = false and play = no then outlook = sunny if windy = false and play = no then humidity = high

13 ... denn Die Ausgangsregel impliziert zusätzlich auch die Regel If humidity=high and windy=false and play=no then outlook=sunny Denn die Support ist gleich und die Confidence evtl. sogar noch größer, da die linke Seite evtl. weniger Fälle hat

14 Fazit: Manche Assoziationsregeln implizieren andere Nur die stärkste sollte gezeigt werden Hier also: If windy = false and play = no then outlook = sunny and humidity = high

15 Beispiel - Wetterdaten Für Support >= 0.3 und Confidence = 1.0: 1. humidity=normal windy=false 4 ==> play=yes 4 conf:(1) 2. temperature=cool 4 ==> humidity=normal 4 conf:(1) 3. outlook=overcast 4 ==> play=yes 4 conf:(1) Für Support >= 0.4 und Confidence >= 0.8: 1. humidity=normal 7 ==> play=yes 6 conf:(0.86)

16 Algorithmus

17 Einfachste Möglichkeit Bestimme Regeln so: Zähle alle möglichen Attribut-Wert Kombinationen auf Sortiere nach Support und Confidence Nimm die besten

18 Was heisst die Besten? Nimm die mit der größten Support... es gibt viele Beispiele! Nimm die mit der größten Confidence... die Regel wird als Regel interpretiert!... Oder so: Nimm die mit der größten Confidence; Support bei Gleichstand

19 ... wie besser?

20 Beobachtungen Wenn eine Auswahl an Attributen eine bestimmte Support hat, dann auch jede Teilmenge

21 Ansatz zur Regelkonstruktion Bestimme die Qualitätsmerkmale für Attributteilmengen Nimm Teilmengen wachsender Größe

22 Attributteilmengen: Item Sets Ein Item ist ein Attribut-Wert Paar Ein Item Set ist eine endliche (na klar!) Menge von Items Menge wird aus den passenden Trainingsbeispielen erzeugt

23 Beispiel: Wettervorhersage (temperature=cool, humidity=normal) (windy=false, play=no) (outlook=sunny, humidity=high)

24 Item Sets mit Support > n Nur solche Item Sets, die eine Mindest- Support haben werden weiter betrachtet Hat ein Item Set eine Support > n, dann auch jede seiner Teilmengen

25 Erzeugen von 1,2,...,n Item Sets Konstruiere 1-elementige Item Sets mit Mindest-Support Konstruiere (nur aus diesen) 2-elementige durch Vereinigung und Test der 1- elementigen usw.

26 Auswahl zur Regelbildung Zu jedem Item Set sind Regeln zu generieren Brute Force: Betrachte alle Teilmengen für die rechte und linke Seite Besser: Gehe analog zur Erzeugung der Item Sets vor.

27 Brute Force Gegeben: Item Set X Für jede Teilmenge A von X: Bilde Regel A (X A) Streiche Regeln die nicht die Mindest- Confidence haben conf(a (X A)) = sup(x) sup(a)

28 Bessere Regelbildung Wdh: If windy = false and play = no then outlook = sunny and humidity = high impliziert auch if windy = false and play = no then outlook = sunny if windy = false and play = no then humidity = high Also: Betrachte zunächst Regeln mit einer Konsequenz, kombiniere die zur Regeln mit zwei Konsequenzen, usw.

29 Irreführende Assoziationsregeln Trotz Mindest-Support und Mindest- Confidence kann Regel in die Irre führen Support(A) = 60%, Support(B) =75% und sup(a B) = 45% dann ist conf(a B) = sup(a B) sup(a) = 45% 60% = 75%

30 Irreführende Assoz. R. (2) Konfidenz ist genausogroß wie der Support von B Spiegelt also nur Support von B wieder Keine Aussage über den Zusammenhang zwischen den Item Sets A und B

31 Irreführende Assoz. R. (3) Neues Maß: Lift Dazu: Betrachte die erwartete Confidence von B: conf(b) = sup(b) Der Lift ist dann: lift(a B) = conf(a B) sup(b) = sup(a B) sup(a) sup(b)

32 Irreführende Assoz. R. (4) Lift = 1: Keine Korrelation von A und B Lift > 1: Positive Korrelation Lift < 1: Negative Korrelation Bsp: Ist Lift=4, so tritt B in Tupeln, in denen A auftritt 4-mal häufiger auf als sonst

33 Zusammenfassung Generiere Item Sets, mit Mindest-Support Sortiere nach Support Generiere Regeln mit MindestConfidence Sortiere nach Confidence Betrachte weitere Qualitätsmaße