Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung

Transkript

1 Ermittlung von Assoziationsregeln aus großen Datenmengen Zielsetzung Entscheidungsträger verwenden heutzutage immer häufiger moderne Technologien zur Lösung betriebswirtschaftlicher Problemstellungen. Die effiziente Analyse und Interpretation von Daten werden dabei immer wichtiger. Datenbanken enthalten riesige Informationsmengen welche bislang unentdeckt und potenziell wichtig sind. Das Finden von Assoziationsregeln beschreibt die Suche nach Mustern in solch großen Datenbeständen mit Hilfe mathematisch-stochastischer Verfahren. Beispiel Datenerhebung Eine Assoziationsregel könnte wie folgt lauten: Kunden die Brot kaufen, werden mit einer Wahrscheinlichkeit von 60% auch Milch kaufen. In Kooperation mit der Merseburger Firma brain-scc GmbH entsteht eine Anwendung zum protokollieren des Nutzerverhaltens unterschiedlicher Webauftritte. Analyse Eine eigens entwickelte Java Anwendung ermöglicht die Verarbeitung der gesammelten Daten mit Hilfe verschiedener Algorithmen (Apriori, Fp-Growth). Schematische Darstellung der Datensammlung Parametrisierte Verarbeitung Ausgabe der Regeln Kontakt Enrico Lüdecke (Dipl. Tech. Red.) Fachbereich Informatik und Kommunikationssysteme Geusaer Str Merseburg

2 Ermittlung von Assoziationsregeln aus großen Datenmengen Enrico Lüdecke Hochschule Merseburg, Merseburg, 1 Motivation Assoziationsregeln beschreiben Korrelationen zwischen gemeinsam auftretenden Dingen [1]. Der bekannteste Anwendungsfall für die Assoziationsverfahren bildet die Warenkorbanalyse. Dabei wird das Kaufverhalten von Kunden analysiert, indem Beziehungen zwischen gemeinsam gekauften Artikeln verschiedener Warenkörbe gesucht werden. Die Entdeckung von Assoziationen bilden Entscheidungsgrundlagen für Werbestrategien und Produktplatzierungen. Ein Beispiel für eine Assoziationsregel lautet: "Kunden die Brot kaufen, werden mit einer Wahrscheinlichkeit von 60% auch Milch kaufen". 2 Ursprung Die Assoziationsanalyse ist ein typisches Data Mining Verfahren welches zum Gebiet der Wissensentdeckung in Datenbanken (engl. Knowledge Discovery in Databases, kurz KDD) zählt. Sie geht auf die Arbeiten der Forschungsgruppe um R. Agrawal zurück die Anfang der 1990er Jahre erste Algorithmen zur Assoziationsregel Findung entwickelten. Hierzu zählen der AIS Algorithmus (1993) sowie der Apriori Algorithmus [2] (1994) sowie dessen Varianten AprioriTid und AprioriHybrid. Das Ziel dieser Verfahren ist das Entdecken gültigen, neuartigen potenziell nützlichen und verständlichen Muster in Daten [3]. 3 Formale Beschreibung Es sei die Menge aller vorkommenden Objekte (Items). Weiterhin sei die Menge aller Transaktionen.. Eine Transaktion besteht aus einer Menge von items (itemset)., wobei gilt. Jede Transaktion sei anhand der eindeutig identifizierbar. Des weiteren sei eine Menge für die geprüft wird ob. Die Anzahl der items in einem itemset beschreibt dessen Größe. Ein itemset der Größe wird als bezeichnet. Die items jeder Transaktion sind lexikographisch geordnet [4]. Fachhochschule Schmalkalden 1

3 3.1 Support Die Anzahl der Transaktionen in, die enthalten, wird als absoluter Support dieses itemsets bezeichnet. Eine Assoziationsregel ist eine Implikation der Form mit der Prämisse (antecedent) und der Konklusion (consequent), bei der gilt: sowie. Der Support der Regel gibt den s% Anteil der Transaktionen in, die enthalten an. Der Support einer Regel beschreibt die Wahrscheinlichkeit der Regel in Bezugnahme auf die Gesamtzahl der Transaktionen. 3.2 Konfidenz Die Konfidenz c beschreibt den Prozentanteil der Transaktionen in D für die gilt: wenn sie X enthalten, diese auch Y enthalten. Regeln die sowohl Minimumsupport (min_sup) als auch Minimumkonfidenz (min_conf) erfüllen, werden als streng bezeichnet. Support und Konfidenzwerte werden üblicherweise im Intervall [1, 100] angegeben [5]. 4 Assoziationsanalyse Das Ernitteln von Assoziationsregeln kann in 2 Teilaufgaben gegliedert werden: 1. Finden aller itemsets deren Support größer ist, als der Mindestsupport (häufige itemsets). 2. Erzeugen der Assoziationsregeln aus den häufigen Itemsets, mit einer Konfidenz Größer der Mindestkonfidenz. Zusätzliche Maße können angewendet werden um Korelationen zwischen den assoziierten Items zu Finden (z.b. Lift, Conviction). 11. Nachwuchswissenschaftlerkonferenz 14. April

4 4.1 Beispiel Anhand des Folgenden Beispiels soll eine Assoziationsanalyse eines einfachen Datensatzes demonstriert werden [1].TID itemsets Item Transaktion 1 Saft, Cola, Bier Saft 1, 2, 3, 4,5 2 Saft, Cola, Wein Cola 1, 2, 4, 5 3 Saft, Wasser Bier 1, 4, 5 4 Cola, Bier, Saft Wein 2, 5 5 Saft, Cola, Bier, Wein Wasser 3, 6 6 Wasser Tabelle 1: Zuordnungen Tabelle 2: Transacktionsdatenbank Regeln mit Support 50% Transaktion Konfidenz Support Saft Cola 1, 2, 4, 5 80% 66% Cola Saft 1, 2, 4, 5 100% 66% Cola Bier 1, 4, 5 75% 50% Bier Cola 1, 4, 5 100% 50% Tabelle 3: Assoziationsregeln mit min_supp 50% Die Konfidenz einer Regel wird dadurch bestimmt, dass die Anzahl der Transaktionen, die die Regeln erfüllen, durch die Anzahl der Transaktionen geteilt wird, die nur den Regelrumpf abdecken. So erhält man z.b. für die Regel Cola Bier: 5 Zusammenfassung 1, 4, 5 1, 2, 4, 5 3, Das Auffinden von Assoziationsregeln innerhalb großer Datenmengen und dem extrahieren von Wissen aus diesen Mustern birgt ein enormes Wirtschaftliches Potential. Wesentlich zum Erfolg dieser Verfahren trägt v.a. die Kalibrierung mit realen Daten bei. In Zusammenarbeit mit dem Kooperationspartner ist es möglich eine derartige Datenbasis zu schaffen. Die gängigen Algorithmen zur Analyse der Daten sind bereits seit einigen Jahren ausgereift. Dennoch stellen große Datenmengen nach wie vor ein Problem in Bezug auf Rechenzeit und Speicherbedarf dar. Ebenso bildet die verständliche Auswertung der Regeln ein weites Forschungsgebiet. Umfasst das Ergebnis einer Analyse beispielsweise mehrere hundert Regeln, so ist eine zusätzliche Unterstützung des Nutzers notwendig um die gewonnenen Ergebnisse auch interpretieren zu können. Fachhochschule Schmalkalden 3

5 Ein weiterer Forschungsansatz im Bereich der Assoziationsanalyse bilden stetige Variablen. Handelt es sich bei den auszuwertenden Daten um reelle Zahlen, müssen für die Verarbeitung mit den gängigen Assoziationsalgorithmen, Intervalle gebildet werden. Die Art und Weise der effizienten Intervallbildung ist in der gängigen Literatur bisher nicht beschrieben. Ein damit Verbundener Forschungsansatz beschäftigt sich mit der Assoziationsanalyse geografischer Werte. Dabei bilden Intervalle über Distanzen der Items zueinander die Grundlage für die Regelfindung. 6 Literatur [1] Bollinger, Toni: Assoziationsregeln Analyse eines Data Mining Verfahrens. Informatik-Spektrum, 19: , (Letzter Zugriff ). [2] Agrawal, Rakesh; Srikant, Ramakrishnan: Fast Algorithms for Mining Association Rules, 1994, S. 5ff. [3] Beekmann, Frank: Stichporbenbasierte Assoziationsanalyse im Rahmen des Knowledge Discovery in Databases, 2003, S. 6f. [4] Petersohn, Helge: Data Mining - Verfahren, Prozesse, Anwendungsarchitektur, 2005, S. 102f. [5] Mühle, Jörg: Automatische Generierung von Assoziationsregeln, 2009, S Nachwuchswissenschaftlerkonferenz 14. April