Data Mining Software. Funktionsvergleich und Benchmarkstudie. -Probekapitel-

Transkript

1 Data Mining Software Funktionsvergleich und Benchmarkstudie -Probekapitel-

2 mayato -Studie Data Mining Software KXEN Analytic Framework 4.04 Im Folgenden wird das Self-Acting Data Mining-Werkzeug Analytic Framework der Firma KXEN getestet: Welche Vorteile ergeben sich durch die hohe Automatisierung im praktischen Einsatz? Test Modellqualität Erstellung initiales Modell Nach dem zügigen Programmstart wird man zunächst vom Modeling Assistant empfangen (Abb. 1). Dieser gliedert die zur Verfügung stehenden Funktionen in vier Gruppen: Unter Open können bereits erstellte Data-Mining- Modelle und Datensätze direkt geöffnet werden. Modeling stellt zu jedem der vier Data-Mining- Mustertypen ein Analyseverfahren bereit Data Transformation gruppiert verschiedene Vorverarbeitungsfunktionen, etwa die Aggregation von relationalen Datenbanktabellen, die Präparation von Zeitreihen oder die Vorbereitung von Textvariablen zur späteren Verwendung in einer Data-Mining-Analyse. Unter Data Toolkit sind Werkzeuge zur Datenexploration zusammengefasst, z.b. die Berechnung umfangreicher deskriptiver Statistiken zu ausgewählten Datensätzen. [Abb.1]: KXEN Modeling Assistant Seite 2 mayato GmbH. Alle Rechte vorbehalten.

3 Zur Erstellung des Klassifizierungsmodells wird Classification/Regression ausgewählt. Hier zeigt sich bereits das besondere Bedienkonzept von KXEN: Alle Funktionen werden nutzergeleitet mittels Assistenten zur Verfügung gestellt. Die Spezifikation fehlender Werte (?/99999) wird ebenfalls in diesem Schritt vorgenommen (Abb. 2). Die getroffenen Einstellungen können in einer separaten Textdatei gespeichert werden, die bei einer erneuten Modellerstellung wieder geladen werden kann. Beim Einlesen der Daten wird automatisch das Skalenniveau und der Datentyp aller Variablen bestimmt, was in diesem Fall keine manuelle Nachjustierung erforderte. [Abb.2]: Spezifikation von Datentyp, Skalenniveau und fehlenden Werten mayato GmbH. Alle Rechte vorbehalten. Seite 3

4 Zur Kontrolle insbesondere der Datentyp-Spezifikation können bereits an dieser Stelle ohne den Assistenten zu verlassen entweder der Datensatz selbst oder weitere Statistiken eingesehen werden. Abb. 3 zeigt als Beispiel die Häufigkeitsverteilung des Attributs Marital-Status. [Abb.3]: Häufigkeitsverteilung des Attributs Marital-Status Nach Auswahl der Zielvariablen wird der Algorithmus zunächst mit den Standardeinstellungen gestartet und liefert bereits nach 5 sec. als mit deutlichem Abstand schnellstes Verfahren im Test das Ergebnis, was sich z.b. als kumuliertes Lift-Diagramm (Gains Chart) anzeigen lässt (Abb. 4). Die Grafik zeigt, wie viel Prozent der Gesamtpopulation des Datensatzes (x-achse) ausgewählt und (im angenommenen Kampagnenszenario) angeschrieben werden muss, um einen bestimmten Prozentsatz der in der Gesamtpopulation enthaltenen Reagierer (y- Achse) zu erreichen. Seite 4 mayato GmbH. Alle Rechte vorbehalten.

5 [Abb.4]: Kumuliertes Lift-Diagramm Die grüne Linie bildet die Situation bei vollkommener Information ab: Da der Datensatz zu ca. 25% aus Reagierern besteht, müssen mindestens diese 25% angeschrieben werden, um alle Reagierer zu erreichen (Profit=100%). Die Diagonale (rote Linie) zeigt eine Zufallseinteilung der Kunden in die Klassen Reagierer und Nichtreagierer. Die grüne Kurve visualisiert die unter Verwendung des Klassifikationsmodells erstellte Einteilung. Je größer der Abstand der beiden Linien (hellblaue Fläche), desto größer ist die relative Verbesserung (Lift) durch das Modell. Schreibt man z.b. 40% der am besten bewerteten Kunden an, deckt man damit bereits ca. 90% der Reagierer ab (statt 40% ohne Data-Mining- Modell), was bereits eine Kostenersparnis von über 50% bedeuten kann. Die praktische Bedeutung dieser Zahlen wird anhand der detaillierten Aufstellung der Testergebnisse (siehe Tabelle 1) deutlich: Durch Zufallsauswahl der anzuschreibenden Kunden wären Verlust (bei Zugrundelegung der vorgestellten Kostenmatrix) entstanden. Durch Nutzung des berechneten Klassifizierungsmodells sind es durchschnittlich 0,66 Gewinn pro Kunde, was z.b. bei angeschriebenen Kunden rund Gewinn bedeutet (letzte Zeile der Tabelle, Spalte Modell 1 ). mayato GmbH. Alle Rechte vorbehalten. Seite 5

6 KXEN Analytic Framework 4.04 Modell 1 (Standardeinstellung) Modell 2 Erster Programmstart (in sec., nach Hochfahren des Rechners) 15 Weitere Starts (in sec.) 6 Beschreibung Datensatz Name Datensatz adult (1994) Unterteilung Trainings-/Validierungs-/Testmenge (cuttingstrategy) mit Testmenge (random) Variablen (Anzahl Spalten) 15 Größe Datensatz (.csv) in Megabyte 3,8 Verteilung Zielvariable in Trainingsmenge <=50k (0) 75,74% >50k (1) 24,26% Datensätze (Anzahl Zeilen) % davon Trainingsmenge (Estimation) % davon Validierungsmenge (Validation) % davon Testmenge (Test) % Einlesen Datensatz Datentyp (Storage) automatisch erkannt [Anzahl] % Skalenniveau (Value) automatisch erkannt [Anzahl] % Spezifikation fehlender Werte manuell (?, ) Parametereinstellungen Robust Regression polynomial degree 1 Ergebnisse Rechenzeit Rechenzeit incl. Variablendiskretisierung, Korrelationsanalyse, Kreuzvalidierung, umfangreiche deskriptive Statistiken (in sec.) 5 Rechenzeit nur Modellerstellung (in sec.) 3 Indikatoren Modellqualität interne Validität/Informationsgewinn (KI) [0; 1] 0,809 externe Validität/Modellrobustheit (KR) [0; 1] 0,986 Anteil korrekt klassifizierter Datensätze (classification rate) [0; 1]: Trainingsmenge (Estimation) 0,847 Validierungsmenge (Validation) 0,849 Testmenge (Test) 0,841 Messwerte Kostenmatrix (bezogen auf Validierungsmenge) Anzahl Datensätze Validierungsmenge 6481 Kostenmatrix Anteil korrekt klassifizierter Datensätze (classification rate) [0; 1]: 0,846 Gewinn durch Modell (maximized profit) 4.945,00 Gewinn bei Zufallsauswahl (random) ,00 Gewinn pro Datensatz 0,76 Modellanwendung Anzahl Datensätze Anwendungsmenge Kostenmatrix Anteil korrekt klassifizierter Datensätze (classification rate) [0; 1]: 0,846 Gewinn durch Modell (maximized profit) ,00 Gewinn pro Datensatz 0,66 Gesamtgewinn bei Datensätzen ,68 Seite 6 [Tab.1]: Testergebnisse mayato KXEN GmbH. Analytic Alle Rechte Framework vorbehalten. 4.04

7 Modell 3 Test große Datenmenge (Standardeinstellung) adult (1994) adult (1994) KDD 1998 ohne Testmenge (random without test) mit Testmenge (random) mit Testmenge (random) ,8 3,8 114,4 75,90% 75,74% 94,91% 24,10% 24,26% 5,09% % % % % % % % % % % % % % % % manuell (?, ) manuell (?, ) Robust Regression Robust Regression Robust Regression ,806 0,820 0,986 0,982 0,848 0,855 0,843 0,853-0, ,842 0, , , , ,00 0,56 0, ,846 0, , ,00 0,62 0, , ,65 mayato GmbH. Alle Rechte vorbehalten. Seite 7

8 Sowohl die Optimierung des Modells auf eine vorgegebene Kostenmatrix als auch die Errechnung der genannten Werte ist im Analytic Framework sehr elegant und anwendungsfreundlich gelöst (siehe Abb. 5): Eine Confusion Matrix bildet das Modell live ab, so dass es, vergleichbar mit einer Simulation, durch einen Schieberegler manuell angepasst oder durch Klick auf das Feld Maximize Profit automatisch optimiert werden kann. Die Kostenmatrix ist jedoch auf eine Größe von 2x2 Feldern beschränkt. [Abb.5]: Optimierung des Modells durch eine vorgegebene Kostenmatrix Der genannte Wert von durchschnittlich 0,66 Gewinn pro Kunde, ohne jegliche Datenvorverarbeitung und ohne manuelle Parametrisierung im ersten Durchlauf erzielt, übertrifft die Qualität des initialen SAS-Modells (Entscheidungsbaum) um ca. 20% und liegt etwa auf dem Qualitätsniveau des besten, erst nach mehrfachen Iterationsschleifen erzielten Regressionsmodells mit dem SAS Enterprise Miner. Schon die Modellqualität des ersten KXEN-Modells kann daher als überdurchschnittlich bewertet werden. Der Kern des Self-Acting Data Mining liegt in der hohen Automatisierung, die eng mit den verwendeten Verfahren verknüpft ist [04]: KXEN benutzt einen selbst entwickelten, Robust Regression genannten Algorithmus, der mehrere regressionsuntypische Besonderheiten aufweist: Er kommt zum Einen ohne jegliche manuelle Vorverarbeitung der Daten aus, da er z.b. kein Ersetzen Seite 8 mayato GmbH. Alle Rechte vorbehalten.

9 fehlender Werte erfordert und auch mit untereinander korrelierenden Variablen zu sehr guten Ergebnissen kommt. Die Korrelationen werden sogar während des Berechnungsprozesses automatisch bestimmt und als Zusatzinformationen ausgegeben (Abb. 6). [Abb.6]: Berechnung von Korrelationen der zur Modellerstellung genutzten Attribute Zum Anderen wird die Modellqualität (interne Validität) im Verbund mit der Übertragbarkeit des Modells (externe Validität) automatisch ausbalanciert, was ein Übertrainieren (Overfitting) verhindert. Dazu werden intern bis zu 20 verschiedene Modelle berechnet, von denen das Modell mit dem besten Kompromiss aus Vorhersagequalität und Übertragbarkeit ausgewählt und dem Anwender präsentiert wird. Diese beiden Größen werden durch die KXEN-proprietären Qualitätsmaße KI und KR abgebildet (siehe Tabelle 1, Kategorie Indikatoren Modellqualität ). Beide Kennzahlen sind auf der Skala von 0 bis 1 normiert; KI bildet den Informationsgewinn des mayato GmbH. Alle Rechte vorbehalten. Seite 9

10 Modells ab (interne Validität), KR die Übertragbarkeit (Robustheit). Erwartungsgemäß liegt dann auch die Übertragbarkeit aller KXEN-Modelle durchgängig auf sehr hohem Niveau. Der KR erweist sich in der Praxis als sehr nützliches Maß, um die essenziell wichtige Robustheit der erstellten Modelle zu beurteilen. Kein anderes Werkzeug im Test kann diesbezüglich eine vergleichbar zuverlässige und leicht zu interpretierende Kennzahl bieten. Als sehr hilfreich für die fachliche Interpretation der Modelle erweist sich weiterhin die Funktion Contributions by Variables (siehe Abb. 7): Eine Grafik gibt für jede verwendete Variable an, welchen Erklärungsbeitrag sie zur Vorhersage der Zielgröße und damit letztlich zur Modellqualität beisteuert. In diesem Fall sind z.b. die Variablen Marital-Status, Education und Capital-Gain von besonders hoher Bedeutung. Die Ansicht kann bei Bedarf weiter detailliert werden und zeigt dann auch den Einfluss einzelner Attributwerte an. [Abb.6]: Erklärungsbeitrag der verwendeten Variablen zur Modellberechnung Seite 10 mayato GmbH. Alle Rechte vorbehalten.

11 Erstellung weiterer Modelle Das Erstellen weiterer Modelle das für Data-Mining- Projekte typische Durchlaufen mehrerer Iterationsschleifen also erübrigt sich mit dem Analytical Framework durch automatisierte Parametrisierung weitgehend. Das Weglassen einer Testmenge, was bei der vorliegenden geringen Anzahl an Datensätzen zu einer Modellverbesserung führen kann, ließ in diesem Fall jedoch die Modellqualität sogar sinken (siehe Tabelle 1 unter Modell 2 ). Durch die Erhöhung des einzigen Parameters polynomial degree auf den Wert 2 konnte jedoch eine Verbesserung der Klassifikationsrate in der Trainingsmenge von 84,7% (Modell 1) auf 85,5% (Modell 3) erzielt werden. Dass auch solche auf den ersten Blick gering erscheinenden Verbesserungen durchaus signifikante Auswirkungen haben können, zeigt der Vergleich Gewinn pro Datensatz in der Modellanwendung: Hier ist eine Steigerung von 0,66 auf 0,81 zu verzeichnen Werte, die mit keinem anderen Regressionsmodell eines anderen Tools in diesem Vergleich auch nur annähernd erreicht werden konnten. KXEN erweist sich bei der Erstellung der verschiedenen Modelle als ausgesprochen bedienerfreundlich und insgesamt als leicht erlernbar. Die im.pdf-format mitgelieferten Handbücher sind recht ausführlich und eignen sind sowohl für den Einstieg als auch für fortgeschrittene Anwender Test große Datenmenge Das Analytic Framework ließ sich von dem Datensatz KDD 1998 von allen getesteten Tools am wenigsten beeindrucken: Das Einlesen der Daten gelang unproblematisch, die Berechnung von Statistiken und Balkendiagrammen über alle 481 Attribute erfolgte in wenigen Sekunden, die Reaktionsgeschwindigkeit der Software auf Benutzereingaben blieb unverändert hoch. Ebenso war die Systemstabilität zu jeder Zeit gegeben. Der Nutzer bemerkt einzig an der gestiegenen Berechnungszeit des Algorithmus, dass sich die Datenmenge vervielfacht hat. Auch hier ist das Analytic Framework auf Platz eins zu finden es analysierte den Datensatz als einziges Tool im Test in unter zehn Minuten. Ein wesentlicher Grund für die Schnelligkeit der Berechnung und den routinierten Umgang mit großen Datenmengen ist die Hauptspeichereffizienz des Verfahrens Robust Regression, das zur Analyse dieses Datensatzes mit lediglich rund 350 MB RAM auskommt. Ein weiterer Durchlauf auf einem Laptop mit 2 GB RAM zeigte keinerlei Unterschiede zum Testrechner, der mit 4 GB RAM ausgestattet war. An vielen Details ist zu erkennen, dass bei der Entwicklung der Software an das Analysieren großer Datenmengen gedacht wurde: So können z.b. alle Programmfenster in ihrer Größe angepasst werden und zeigen damit auch umfangreichen Inhalt gut lesbar an; ebenso sind Mehrfachauswahlen z.b. von Attributen überall dort möglich, wo der Nutzer es intuitiv erwartet. Hinweis Die vollständige Studie können Sie zum Preis von 199 (99.- für Studenten und Hochschulen (mit Nachweis) käuflich erwerben. Im Internet unter bzw. per an sales@mayato.com mayato. mayato GmbH. Alle Rechte vorbehalten. Seite 11

12 mayato GmbH Am Borsigturm Berlin T info@mayato.com Gestaltung: sign-grafikdesign.de