Dokumentation Datamining

Transkript

1 Hochschule Wismar University of Applied Sciences Technology, Business and Design Fakultät für Ingenieurwissenschaften, Bereich EuI Dokumentation Datamining Eingereicht am: 13. Mai 2012 von: Karsten Diepelt Hannes Wiencke Ramona Goesch

2 In dieser Dokumentation wird sich auf die Erläuterung des erarbeiteten Knime- Workflows und die Gegenüberstellung der erreichten Ergebnisse beschränkt. Informationen zur Vorgehensweise sind der Präsentation zu entnehmen. 2

3 Inhaltsverzeichnis Inhaltsverzeichnis 1 Knime-Workflow Der Gewinner Workflow Der Clusterizer Ergebnisse 9 Abbildungsverzeichnis 11 Tabellenverzeichnis 12 3

4 Kapitel 1. Knime-Workflow 1 Knime-Workflow 1.1 Der Gewinner Workflow Bild 1.1 zeigt den erarbeiteten Workflow des Teams DataMineCraft. Als erfolgreichstes Modell hat sich hierbei die lineare Regression erwiesen. Hiermit konnten die besten Voraussagen und niedrigsten Fehlerpunkte erreicht werden. Im Workflow werden zunächst die Testdaten eingelesen (FileReader). Der nachfolgende Knoten (RowFilter), dient dazu die Anzahl der betrachteten Artikel zu begrenzen, er wurde zu Testzwecken eingesetzt um die Rechenzeit bei den ersten Versuchen minimal zu halten. Um eine bessere Vorhersage zu erreichen werden die Daten geclustert. Hier werden nicht alle Daten für das Clustern in Betracht gezogen, sondern nur die, die fürs Lernen relevant sind. Dafür werden die Daten mit einem RowFilter aufgeteilt, diese werden dann im Meta-Knoten Clusterizer geclustert. Die Beschreibung dieses Knotens wird im nächsten Abschnitts behandelt. Die geclusterten Daten werden dann mit der originalen Datenmenge verbunden (Joiner), d.h. die Cluster werden in der Datentabelle den entsprechenden Items zugeordnet. Nun wird über jeden Cluster iteriert. Die Schleife wird in Knime mit dem Knoten CountingLoopStart initialisiert mit JavaSnippets können Variablen in der Schleife manipuliert werden. Die Spalte des Clusters wird nun herausgefiltert, sie ist zu Vorhersage der Stückzahlen nicht relevant. Zur Vorhersage muss die Testmenge aufgeteilt werden. Die insgesamt 42 Tage werden aufgeteilt in die ersten 28 Tage zum Lernen und die folgenden 14 Tage zur Vorhersage. Dies geschieht durch die entsprechenden RowFilter Nodes. 4

5 Kapitel 1. Knime-Workflow Dem Learner für die lineare Regression wird die Tabelle der ersten 28 Tage übergeben. Danach folgt der Predictor dem zusätzlich die Tabelle der letzten 14 Tage übergeben wird ohne die Menge der Artikel, da er diese vorhersagen soll. Um eine gute Gegenüberstellung der Daten zu erreichen, wird die ursprüngliche Datentabelle mit einer Spalte für die vorhergesagten Menge ergänzt (Joiner). Hier ist die Zählschleife beendet (LoopEnd). Die vorhergesagten Mengen der linearen Regression, sind keine ganzzahligen Werte. Allerdings sind diese für eine Vohersage der Mengen notwendig, da bspw. kein Artikel 2,84 Mal verkauft werden kann. Mit dem Knoten Double To Int werden die Werte gerundet. Für die Berechnung des Fehlers wurden zwei JavaSnippets programmiert. Die Formel zur Fehlerberechnung war in der Aufgabenstellung gegeben. Die Rechnung teilt sich auf in das Ermitteln des Fehlerquadrats und des Gesamtfehlers. Hier wird die Wurzel über die aufsummierten Quadrate der Differenzen Fehler entsprechend der Formel gezogen. Zuletzt wird ein Kuchendiagramm zur Visualisierung angefügt. 5

6 Kapitel 1. Knime-Workflow Bild 1.1: Knime-Workflow lineare Regression 6

7 Kapitel 1. Knime-Workflow 1.2 Der Clusterizer Zur Clusterung der Daten werden statistische Werte über die Verkaufszahlen der einzelnen Artikel verwendet. Im Clusterizer (Bild 1.2) erfolgt pro Item ein Schleifendurchlauf. Für den in KNIME verfügbaren Statistik-Knoten werden die Daten gefiltert, so dass dieser nur den Tag und die Verkaufsmenge erhält. Die Ausgabe der Statistik erfolgt als Spalte mit folgenden Werten: Minimum, Maximum, Mittelwert, Standardabweichung, Varianz, Gesamtsumme, fehlende Werte, Medianwert. Diese Spalte wird für jedes Item in eine Zeile überführt, um eine Tabelle über die Statistik aller Items zu erhalten. Für jeden Schleifendurchlauf wird die aktuelle Iteration in der Tabelle ergänzt und danach um 1 inkrementiert, um die ItemID zu erhalten. Zur Übersichtlichkeit werden die Spalten noch umbenannt und umsortiert. Die statistischen Daten bieten dann die Grundlage zur Bestimmung der Cluster mit Hilfe des k-means-algorithmus, wobei nicht alle verfügbaren Daten verwendet werden. Im Versuch hat sich gezeigt, dass die besten Ergebnisse erzielt werden, wenn die Gesamtzahl der Verkäufe, die Standardabweichung und das Maximum. Die Ausgabe des Clusterizers enthält die ItemID mit statistischen Daten sowie das zugeordnete Cluster. 7

8 Kapitel 1. Knime-Workflow Bild 1.2: Der Clusterizer 8

9 Kapitel 2. Ergebnisse 2 Ergebnisse Mit der linearen Regression wurde ein Punktestand von 510 erreicht. Die prozentuale Verteilung der Ergebnisse ist in Bild 2.1 dargestellt. Es wurden 14,55% komplett richtige Vorhersagen erzielt. Mit 35,28% Prozent wurden Vorhersagen erzielt mit einem Fehler von nur eins. Die Anzahl der Cluster hat ebenfalls Einfluss auf das Ergebnis der Vorhersagen. In der Tabelle 2.1 sind einige Einstellungen gegenübergestellt. Cluster Clusterung nach Punkte 8 Mittelwert, Varianz Mittelwert, Standardabweichung, Summe der Verkäufe pro Artikel Mittelwert, Varianz Mittelwert, Standardabweichung, Summe der Verkäufe pro Artikel Mittelwert, Varianz Mittelwert, Standardabweichung,Summe der Verkäufe pro Artikel 565 Tabelle 2.1: Ergebnisse nach Punkten Anhand dieser Ergebnisse stellte sich heraus, dass die acht Cluster die besten Ergebnisse liefern und die Daten am effektivsten nach Mittelwert, Standardabweichung und der Summe der Verkäufe pro Artikel geclustert werden. 9

10 Kapitel 2. Ergebnisse Bild 2.1: Ergebnisse 10

11 Abbildungsverzeichnis Abbildungsverzeichnis 1.1 Knime-Workflow lineare Regression Der Clusterizer Ergebnisse

12 Tabellenverzeichnis Tabellenverzeichnis 2.1 Ergebnisse nach Punkten