Data Mining und Statistik: Gemeinsamkeiten und Unterschiede

Transkript

1 Universität Ulm Seminararbeit zum Thema Data Mining und Statistik: Gemeinsamkeiten und Unterschiede vorgelegt von: Daniel Meschenmoser betreut von: Dr. Tomas Hrycej Dr. Matthias Grabert Ulm, im Februar 004

2 ,QKDOW. Einleitung Gemeinsamkeiten von Data Mining und Statistik Unterschiede zwischen Data Mining und Statistik Beispiel : Assoziationsregeln a. Definition b. Verallgemeinerung zu Korrelationsregeln Beispiel : Multi Layer Perceptron a. Einleitung b. Lagrange Multiplier Test c. Wald Test Literaturverzeichnis Data Mining und Statistik: Gemeinsamkeiten und Unterschiede

3 (LQOHLWXQJ Mit Data Mining und Statistik stehen sich zwei sehr verschiedene aber doch ähnliche Disziplinen gegenüber. Das Data Mining ist noch relativ jung, basiert aber zu grossen Teilen auf Statistik. In dieser Seminararbeit wird versucht, die Unterschiede und Gemeinsamkeiten zwischen diesen beiden Gebieten hervorzuheben. Am Beispiel von Assoziationsregeln wird erläutert, wie die Statistik Methoden des Data Mining verallgemeinern kann. An Neuronalen Netzen wird gezeigt, wie die (oft heuristischen) Methoden des Data Mining durch bekannte statistische Verfahren verbessert werden können. *HPHLQVDPNHLWHQYRQ'DWD0LQLQJXQG6WDWLVWLN Prinzipiell geht es sowohl im Data Mining als auch in der Statistik darum, Daten zu analysieren. In der Statistik geschieht dies zum Beispiel mit Hilfe der linearen Regression; im Data Mining zum Beispiel durch Neuronale Netze oder Assoziationsregeln. Da die Grundgesamtheit aller Daten meist unbekannt ist, muss man meist mit einer (mehr oder weniger zufälligen) Stichprobe Vorlieb nehmen. Im Data Mining existiert aber evtl. gar keine Grundgesamtheit, da die Daten sich ständig verändern (man denke zum Beispiel an das World Wide Web) und deshalb nur schwer eine Aussage über die Zufälligkeit einer Stichprobe möglich ist. Ein Ziel im Data Mining wie auch in der Statistik ist oft die Prognose unbekannter Werte bzw. die Klassifikation von Objekten und das Abschätzen des dabei auftretenden Fehlers. Damit sich dieser Fehler in akzeptablen Grenzen hält, ist es in beiden Gebieten unerlässlich, die Daten gründlich vorzubereiten. Anderenfalls können verzerrte oder sogar falsche Ergebnisse auftreten. 8QWHUVFKLHGH]ZLVFKHQ'DWD0LQLQJXQG6WDWLVWLN Ein grundlegender Unterschied zwischen Data Mining und Statistik ist die Einordnung der Disziplinen in andere Gebiete. Data Mining ist keineswegs ein Teilgebiet der Statistik, auch wenn viele Methoden auf statistischen Verfahren beruhen. Ebenso sind Erkenntnissen des Maschinellen Lernens und Datenbanktechnologien Grundlagen des Data Mining. Ein weiterer Unterschied ist die Benutzung von Computern. Klassische statistische Methoden wurden lange vor Erfindung des Computers entwickelt und sind deshalb auch von Hand durchführbar. Data Mining ohne Computer hingegen wäre undenkbar. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 3

4 Nur durch Verwendung von Computern zur Erzeugung von Daten entstehen die gewaltigen Datenmengen, die beim Data Mining untersucht werden. Deshalb müssen auch zur Analyse dieser Daten Computer eingesetzt werden. Denn allein schon aufgrund der Menge der Daten sind bekannte statistische Verfahren schnell überfordert und müssen weiterentwickelt werden. Die Verwendung von Computern führt natürlich auch zu einer höheren Komplexität der verwendeten Modelle. In der Statistik wird oft nur lineare Regression betrieben, da diese ausreichend erforscht und leicht anzuwenden ist. Im Data Mining hingegen können zum Beispiel durch Neuronale Netze sehr viel komplexere Zusammenhänge mit vertretbarem Aufwand modelliert werden. Allerdings werden diese Modelle oft gar nicht oder nur unzureichend theoretisch begründet. Es werden eher verschiedene Modelle ausprobiert und falls eines vielversprechend erscheint, wird es einfach angewendet. Später möchte ich am Beispiel der Neuronalen Netze aber zeigen, wie man dieses Ausprobieren durch bekannte statistische Verfahren, nämlich Tests, ersetzen kann, um fundierte Aussagen treffen zu können. Mit Data Mining Methoden ist es auch möglich, computergestützte Analysen mit nur geringer Zeitverzögerung zu erhalten. Dies ist zum Beispiel wichtig, um Kreditkartenbetrug zu erkennen, da kein Unternehmen bereit wäre, wochenlang auf die genau statistische Analyse zu warten. %HLVSLHO$VVR]LDWLRQVUHJHOQ D 'HILQLWLRQ Eine Assoziationsregel ist eine Aussage des Typs: 45 % der Kunden, die Weisswein kaufen, kaufen auch Rotwein; insgesamt kaufen 0 % aller Kunden beide Artikel. Oder kurz: Wenn ein Kunde Weisswein kauft, kauft er wahrscheinlich auch Rotwein. Oder noch kürzer: Weisswein Rotwein Ein bekanntes Beispiel für die Anwendung von Assoziationsregeln ist die Warenkorbanalyse. In der Warenkorbanalyse wird das Käuferverhalten von Kunden eines Supermarktes untersucht. Ziel ist es, das Käuferverhalten zu strukturieren und für Marketingzwecke etc. zu nutzen. Ein Problem dabei ist die grosse Zahl an Produkten und Kombinationsmöglichkeiten. Deshalb ist es unumgänglich, aus der Vielzahl von Kombinationen diejenigen herauszufiltern, die wichtig bzw. interessant erscheinen. Dazu betrachtet man zwei Eigenschaften von Assoziationsregeln: den Support und die Konfidenz. Der Support einer Regel ist ein Mass für die Häufigkeit der Produktkombination, im obigen Beispiel beträgt der Support also 0 %. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 4

5 Die Konfidenz ist ein Schätzer der bedingten Wahrscheinlichkeit P ( Rotwein Weisswein ), im Beispiel beträgt die Konfidenz also 45 %. Um Assoziationsregeln nicht nur zur Warenkorbanalyse sondern auch für andere Untersuchungen verwenden zu können, ist eine allgemeine Definition nötig. Es werden deshalb folgende Begriffe eingeführt: -, sei die Menge aller Items (Produkte) - ' sei die Menge aller relevanten Teilmengen von, - 7 sei eine Transaktion, 7, 7 ' (in der Warenkorbanalyse ist 7 ein bestimmter Warenkorb) Eine Transaktion 7 erfüllt eine Regel ; < (mit ; <, und ; < = Ø), falls gilt: ; < 7. Der Support einer Menge ; ist definiert durch: VXSS; { 7 ' ; 7 } ' Der Support einer Regel ; < ist definiert durch: VXSS ; < VXSS ; < { 7 ' ; < 7 } ' Die Konfidenz einer Regel ; < ist definiert durch: VXS S ; < FRQI ; < = = VXS S ; { 7 ' ; < 7} { 7 ' ; 7} Um mit Hilfe des Supports und der Konfidenz relevante Regeln zu finden, geht man schrittweise vor: Zuerst überlegt man sich minimale Werte für Support (PLQVXSS) und Konfidenz (PLQFRQI). Später gelten nur die Regeln als relevant, deren Werte für Support und Konfidenz die Minimalwerte überschreiten, die also von ausreichend vielen Transaktionen unterstützt werden. Es werden also alle Mengen ; <, mitvxss ; <!PLQVXSS gesucht und auf FRQI ; < > PLQFRQI überprüft. Alle so gefunden Regeln können als wichtig angesehen werden, da durch Support und Konfidenz gewährleistet ist, dass die Regel oft genug erfüllt wird, um zum Beispiel die Durchführung und Finanzierung einer Marketingkampagne zu rechtfertigen. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 5

6 E 9HUDOOJHPHLQHUXQJ]X.RUUHODWLRQVUHJHOQ Bei Verwendung von Assoziationsregeln ergibt sich ein Problem mit Aussagen des Typs: Wenn ein Kunde Produkt a kauft, kauft er Produkt b wahrscheinlich nicht. Deshalb wird das Konzept der Assoziationsregeln verallgemeinert zu Korrelationsregeln. Eine Menge 0 { L L }, = heisst Korrelationsregel, falls zwei Elemente aus 0 korreliert sind. Da die Korrelation nicht direkt untersucht werden kann, wird mit einem Unabhängigkeitstest auf Korrelation getestet. Dazu definiert man 5 { L L } { L L } = entspricht also gerade einer Transaktion 7. und einen Vektor U = U U 5. Ein Vektor U Die Nullhypothese lautet: H 0 : alle Ereignisse aus 5 sind unabhängig. Zur Überprüfung der Hypothese definiert man die Teststatistik = wie folgt: ( ( ) [ ]) = U ( U =, ([ U] wobei ( U) die Anzahl der Versuche bezeichnet, bei denen das Ereignis U auftritt und ([ U] die erwartete Anzahl an Versuchen, bei denen das Ereignis U auftritt. ( U) ist also ein Schätzer für Q3 ( U), wenn die Gesamtanzahl an Versuchen mit Q bezeichnet wird. ([ U] kann geschätzt werden durch: ([ U] = Q ( U ) ( U ). Die so erhaltene Teststatistik = ist asymptotisch verteilt mit einem Freiheitsgrad. Wenn also die Nullhypothese erfüllt wäre und somit alle Ereignisse aus R unabhängig, dann hätte = den Wert 0. Unterscheidet sich = hingegen signifikant von 0, so wird die Nullhypothese verworfen. Als Schwellenwert benutzt man üblicherweise das 95 % Quantil der Verteilung. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 6

7 %HLVSLHO0XOWL±/D\HU±3HUFHSWURQ D (LQOHLWXQJ Ein Multi Layer Perceptron ist ein vorwärtsgerichtetes Neuronales Netz bei dem die Neuronen in Schichten angeordnet sind. Es gibt eine Schicht von Eingabeneuronen, beliebig viele Schichten von verdeckten Neuronen und eine Schicht von Ausgabeneuronen (siehe Abbildung). MLP Netzwerk (aus: U. Anders, Statistische Neuronale Netze, Verlag Vahlen, 997) Ein MLP Netz ist also nichts anderes als eine Verallgemeinerung der linearen Regression, denn durch ein MLP Netz kann eine beliebige Funktion auf einem kompakten Intervall beliebig genau approximiert werden, falls die Zahl der verdeckten Neuronen unbegrenzt ist. Entscheidend für die Approximationsqualität ist die Netzwerkarchitektur. Diese wird bestimmt durch die Anzahl der verdeckten Neuronen und die Verbindungen zwischen den Neuronen. Dabei hat die Anzahl an verdeckten Neuronen starken Einfluss auf die Art der zu approximierenden Funktion. Ein linearer Zusammenhang zwischen erklärenden und zu erklärenden Variablen kann bereits durch ein MLP Netz ohne verdeckte Neuronen modelliert werden. Je komplizierter die zu approximierende Funktion jedoch ist, desto mehr verdeckte Neuronen sind nötig. Andererseits können zu viele verdeckte Neuronen bei der Modellierung einer einfachen Funktion dazu führen, dass sich das Netz zu stark an die Trainingsdaten anpasst, aber der Approximationsfehler bei unbekannten Daten sehr gross ist. Die Anzahl der verdeckten Neuronen sollte deshalb unter Berücksichtigung des vermuteten funktionalen Zusammenhangs zwischen erklärenden und zu erklärenden Variablen, der Anzahl der zur Verfügung stehenden Beobachtungen und der relativen Stärke des Rauschens in den Beobachtungen bestimmt werden. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 7

8 Von der Anzahl der Verbindungen zwischen den Neuronen schliesslich hängt der Aufwand für das Trainieren des Netzes ab. Wenn bestimmte Verbindungen als irrelevant erkannt werden, können sie aus dem Netz entfernt und der Lernaufwand somit reduziert werden. Anschliessend möchte ich erläutern, wie statistische Verfahren benutzt werden können, um die Netzwerkarchitektur optimal zu bestimmen. Die Netzwerkarchitektur ist optimal, wenn gerade genug verdeckte Neuronen vorhanden sind, um die gewünschte Funktion zu approximieren (d. h. Bias = 0) ohne jedoch auch das Rauschen in den Daten zu approximieren (d. h. minimale Varianz). Aus praktischen Erwägungen kann es jedoch manchmal sinnvoll sein, einen geringen Bias in Kauf zu nehmen, um die Varianz zu verringern. Bei der Bestimmung der Netzwerkarchitektur beginnt man am besten mit einem linearen Modell, d. h. einem Netzwerk ohne verdeckte Neuronen. Dieses wird schrittweise um verdeckte Neuronen erweitert und mit Lagrange Multiplier Tests wird die optimale Anzahl an verdeckten Neuronen ermittelt. Schliesslich wird mit Wald Tests die Relevanz einzelner Verbindungen überprüft. Eine Voraussetzung für die Anwendung von statistischen Hypothesentests ist die Identifikation der Parameter. Ein Parameter heisst identifiziert, wenn der wahre (unbekannte) Wert des Parameters eindeutig ist. Davon wollen wir hier jedoch ausgehen. Falls die Parameter identifiziert sind, sind sie auch konsistent, d. h. mit wachsender Zahl an Beobachtungen konvergieren sie zum wahren Wert Z des Parameters. Ausserdem sind die Parameterschätzer normalverteilt mit Erwartungswert Z und Kovarianzmatrix &. Werden die Parameter mit der Methode der kleinsten Quadrate geschätzt, so ist & 0 = % Z mit % Z ( ) ( ) 0 = ln / Z ln / Z0 (. Z Z Ein konsistenter Schätzer für % Z 0 ist gegeben durch (;, Zˆ ) I (;, Z) I % ˆ = ˆ ε, Q = Z Z ˆ wobei Q die Anzahl der Beobachtungen sei, Ö der Residuenvektor und I (; Z) die Netzwerkfunktion. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 8

9 E /DJUDQJH±0XOWLSOLHU±7HVW Mit LM Tests kann die optimale Anzahl von verdeckten Neuronen in einem MLP Netz ermittelt werden. Voraussetzung dafür ist das Modell \ = )([) +, wobei )( ) die wahre Funktion bezeichnet. stellt einen unabhängig und identisch normalverteilten Fehlerterm dar mit ([ ] = 0, ([ ] =, und ([; ] = 0. Die wahre Funktion sei bereits durch eine Funktion ( ) ; ZÖ I approximiert, dies kann am Anfang zum Beispiel eine lineare Funktion sein. Die Frage, die mittels LM Tests beantwortet werden soll, ist: Ist das Modell ( ) ; ZÖ I richtig gewählt? Wenn ja, existiert mit Wahrscheinlichkeit kein Approximationsfehler. Dies entspricht der Nullhypothese: + (([\ ; ] I (; Z ) = 3 für ein Z 0 :, = 0 wobei : die Menge aller Parametervektoren bezeichnet. Im alternativen Fall ist das Modell nicht korrekt gewählt, d. h.: + (([\ ; ] I (; Z) ) 3 = < für alle Z :. Falls also die Nullhypothese abgelehnt wird, kann die Approximation der Funktion )( ) verbessert werden, indem man das Netzwerk um 4 verdeckte Neuronen erweitert. Die praktische Durchführung eines LM Tests gestaltet sich folgendermassen: Zuerst regressiert man \ auf I (; Z) und berechnet die Residuen Ö. Dann führt man eine lineare Hilfsregression durch, um Ö durch Ö zu schätzen und berechnet das sogenannte unzentrierte Bestimmtheitsmass 5 als: = 5. = = Ö Ö Die Teststatistik Q5 LVWDV\PSWRWLVFK verteilt mit 4 Freiheitsgraden. Entsprechend wird die Nullhypothese verworfen, falls der Wert von Q5 grösser ist als das entsprechende 4XDQWLOGHU Verteilung mit 4 Freiheitsgraden. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 9

10 F :DOG±7HVW Mit LM Test lässt sich leicht die Relevanz eines Neurons (und damit die Relevanz aller Verbindungen von oder zu diesem Neuron) testen. Um aber einzelne Verbindungen zwischen den Neuronen auf Signifikanz zu testen, eignet sich der Wald Test. Voraussetzung für die Anwendung des Wald Tests ist, dass keine verdeckten Neuronen mehr vorhanden sind. Dies ist jedoch durch die vorherige Durchführung von LM Tests sichergestellt. Die Wald Teststatistik ist wie folgt definiert: : = Q ( ) ( 5& Ö 5ZÖ U 5 ) ( 5ZÖ U) Der Vektor 5 wählt aus den geschätzten Gewichten ZÖ diejenigen aus, für die eine Hypothese überprüft werden soll; r ist der Vektor der entsprechenden Restriktionen und & Ö ist die geschätzte Kovarianzmatrix der Parameter mit & Ö = % Ö und (;, Zˆ ) I (;, Z) I % ˆ = ˆ ε. Q = Z Z ˆ Es gilt: : a, wobei 4 die Anzahl der restringierten Parameter bezeichnet. Falls eine Hypothese lediglich für ein einzelnes Gewicht überprüft werden soll, ergibt sich die Wald Teststatistik : ( ZÖ U ) = a Ö, wobei sich die geschätzte Varianz Ö auf der Hauptdiagonalen der Matrix & Ö befindet. Besondere Beachtung verdient das Testen der Signifikanz eines Eingabeneurons: + 5Z, wobei der Vektor R diejenigen Gewichte auswählt, die mit dem zu testenden Eingabeneuron verbunden sind. Data Mining und Statistik: Gemeinsamkeiten und Unterschiede 0

11 /LWHUDWXUYHU]HLFKQLV D.J. Hand: Data Mining: Statistics and More?, The American Statistician, May 998, Vol. 5, No. D.J. Hand: Statistics and Data Mining: Intersecting Disciplines, SIGKDD Explorations, June 999 D. Michie, D.J. Spiegelhalter, C.C. Taylor (ed.): Machine Learning, Neural and Statistical Classification, 994 J. Hipp: Association Rules, The RIC/AM Technology Book, DaimlerChrysler, S S. Brin, R. Motwani, C. Silverstein: Beyond Market Baskets: Generalizing Association Rules to Correlations T. Hrycej: Neural Networks, The RIC/AM Technology Book, DaimlerChrysler, S U. Anders: Statistische Neuronale Netze, Verlag Vahlen, 997 Data Mining und Statistik: Gemeinsamkeiten und Unterschiede