i Datamining-Cup 2012 - TeamFK
ii Inhaltsverzeichnis 1 Programme und Datenvorverarbeitung 1 2 Vorbetrachtung der Daten 2 2.1 Zeitintervalle..................................................... 2 2.2 Mittelwert und Lineare-Approximation....................................... 2 3 Verfahren zur Vorhersage 3 3.1 Mittelwert....................................................... 3 3.2 Sevenday-Verfahren.................................................. 4 3.3 Lineare-Regression Preis Quantität........................................ 5 3.4 Lineare-Regression mit Vorfilterung von Frequenzen................................ 6 3.5 Zufallsverfahren.................................................... 7 4 Optimierungsverfahren 8
1 / 8 Kapitel 1 Programme und Datenvorverarbeitung Zur Verarbeitung der Daten wurde das Programm Octave benutzt. Dieses ist eine Open-Source alternative zu MATLab. In dem Programm wurden die Daten in Form von Matrizen dagestellt. Alle in diesem Projekt implementierten Verfahren werden durch das script run_tests.m ausgeführt, welches ein Vergleich der jeweiligen Fehlerwerte liefert. Das Script get_products.m liest die Trainings- und Klasifikationsdatein die von einem sed-script für die Benutzung in Octave vorbearbeitet wurden: #!/bin/sed -f # Delete the header line, which is on line 1 1d # Replace every with a space s/ / /g # Eliminate carriage return s/\r// Das Octave-Script erstellt zwei Matrizen, je eine für die Preise und Quantitäten. Dabei hat jede Matrix 570 Spalten, jedes Produkt wird in einer eigenen Spalte gespeichert. Die Zeilennummer ist der index für den Tag. Damit ergibt sich eine Zeilengröße von 42 für die Quantitätsmatrix, und 56 für die Preismatrix, da diese zusätzlich die Klassifikationsdaten enthält: function [p, q] = get_products() load( -ascii, train_noheader.csv ); load( -ascii, class_noheader.csv ); p = reshape([train_noheader(:,3); class_noheader(:,3)], 570, []) ; q = reshape( train_noheader(:,4), 570, []) ; endfunction Die resultierenden Matrizen, die von allen implementierten Verfahren verwendet wird, haben folgendes Schema: price day1,product1 price day1,product2 price day1,product570 price day2,product1 price day2,product2 price day2,product570 P =...... price day56,product1 price day56,product2 price day56,product570 EQUATION 1.1: Preis-Matrix quant day1,product1 quant day1,product2 quant day1,product570 quant day2,product1 quant day2,product2 quant day2,product570 Q =...... quant day42,product1 quant day42,product2 quant day42,product570 EQUATION 1.2: Quantitaets-Matrix
2 / 8 Kapitel 2 Vorbetrachtung der Daten Zu Beginn des Datamining-Cups wurden die Daten mit verschieden Diagrammen visualisiert um erste Eindruecke und Ideen zu gewinnen. Dabei fand ein Brainstorming statt, bei dem Folgende Ideen entstanden sind. 2.1 Zeitintervalle Dabei wurde die Summe aller Verkaeuft ueber einen Tag fuer alle 42 Tage abgetragen. Die sich daraus ergebene Kurve gab den inspiration fuer das Sevenday-Verfahren. Da deutlich wurde, das der Absatz sich periodisch schwank. 2.2 Mittelwert und Lineare-Approximation Bei der Approximation der Quantitätskurve zu einer geraden, wird versucht einen allgemein steigenden oder fallenden Trend eines Produktes zu erkennen. Hierbei wird davon ausgegangen, dass sich ein Produkt über eine größeren Zeitraum im mittelveränder. Anders als beim Mittelwertverfahren, welches von einer immer gleichbleibenden Grundabsatzmenge ausgeht, wird hier ein Trend mit bedacht. Der Verlauf der Quantität über die Trainingsdaten wird linear angenähert und für den die Vorhersage benutzt. Das Ergebniss dieses Verfahrens lieferte für einige Produkte z. B. dem Ersten eine etwas besseres Ergebniss als der Reine Mittelwert. Für andere allerdings einen viel zu steilen Anstieg, der ziemlich große Fehlerwerte verussachte.
3 / 8 Kapitel 3 Verfahren zur Vorhersage 3.1 Mittelwert Beim Mittelwertverfahren wird für jedes Produkte über die Trainingsmenge der Mittelwert gebildet und für den unbekannten Zeitraum Vorhergesagt. Dabei wurde eine Fehlerpunktzahl von 489 erreicht. 50 40 Quantitaet 30 20 10 0 2 4 6 8 10 12 14 Tage Abbildung 3.1: Mitterte aller Produkte ueber zwei Wochen
4 / 8 3.2 Sevenday-Verfahren Wenn man die Summe über dem Absatz alle Produkte für alle 42 Tage in einem Diagram abträgt, sieht man eine sehr deutliche periodische Schwankung der Werte. 4000 (Summe) Original 3500 3000 2500 Quantitaet 2000 1500 1000 500 0 0 5 10 15 20 25 30 35 40 Tage Abbildung 3.2: Quantitätssumme Diese Schwanken in einem Sieben-Tage-Rhythmus. Unter der Anahme, das dieses Verhalten jedem oder zumindest in den meisten Produkte zu grunde liegt, wurde das Sevenday-Verfahren entwickelt. Der Ansazt geht davon aus, dass der Absatz im mittel über eine Woche immer gleich ist und sich nur über Absatzstarke und -schwache Tage verteilt. Beim Sevenday-Verfahren wird für jeden Wochentag ein Mittelwert gebildet und Vorhergesagt. In der Summer versucht man also über sieben Tage einen mittlere Schwingung der Sieben-Tage-Schankung zu erzeugen und dieses dann für den unbekannten Zeitraum vorherzusagen.
5 / 8 4000 (Summe) Original (Summe) Vorhersage 3500 3000 2500 Quantitaet 2000 1500 1000 500 0 0 5 10 15 20 25 30 35 40 Tage Abbildung 3.3: Quantitätssumme mit Sevenday-Vorhersage In diesem Diagramm ist die mittlere kurve in den Vorhersagezeitraum abgetragen worden. Das Ergebniss sieht optisch gut aus, aber enttäuscht in der Fehlerzahl von 484 Punken. Wenn für ein Produkt an einem Tage ein zu hoher Wert vorhergesagt wird und für ein anderes Produkt ein zu niedriger im Vergleich zu den Realwerten, dann gleichen sich die Negativen- und Positvenabstände in der Summer wieder aus. Daher kann das Verhalten der Siebentagesschwankung nicht alleine Auschlaggebend für den Absatz eines Produktes sein. 3.3 Lineare-Regression Preis Quantität Angenommen wurde, dass ein direkter Zusammenhang, zwischen dem Preis und der verkauften Menge besteht. Dazu wurde eine allgemeine Polynomapproximation n-ten Grades implementiert, die zu einer gegeben Liste von Preisen und Quantitäten eine approximierte Polynom-Funktion quantity = f (price) n-ten Grades berechnet. Die gegeben Preise der vorherzusagenden Quantitäten wird in die errechnete Funktion einsetzt. Dabei wurde der Grad des Polynoms variert; mit einem Polynomgrad >= 2 konnten nur für wenige Produkte Verbesserungen erzielt werden, der globale Fehlerwert stieg jedoch. Die Benutzung einer zusätzlichen logarithmischen Vorverarbeitung quantity = f (log(price)) führte zu dem Kleinsten für reine Regressions-Verfahren erzielten Fehlerwert.
6 / 8 3.4 Lineare-Regression mit Vorfilterung von Frequenzen Am Produkt Nr. 335 kann man examplarisch sehr gut erkennen, dass der Absatz von den beiden Einflussgrößen Siebentage- Schwankung sowie der Preisänderung abhängt. Im folgenden Diagramm wird die Quantität vom Produkt 335 blau, sowie der Preis in rot abgetragen. Die Werte des Preises sind mit 50 Multipliziert worden, um sie besser im Quantitaetsdiagramm sichtbar zu machen. 200 150 100 50 0 5 10 15 20 25 30 35 40 Abbildung 3.4: Product 335 Mit diesem Verfahren wird versucht beide Einflussgrößen bei der Vorhersage zu beachten. Die Grundidee besteht darin eine Vorverarbeitung der Testdaten vorzunehmen, um dann ein besseres funktionales Verhältnis zwischen Preis und Quantität errechnen zu können. Dabei wurde zunächst eine Fourie-Analyse der Kurve der Absatzsumme aller Produkte über die 42 Tage der Vorhersagemenge durchführt, um die Frequenzen der Siebentagesschwankung empirisch zu bestimmen. Es wurden jeweils einzelne Frequenzbereiche entfernt und bei der Rücktransformation ein Digramm erwartet, welches einer linearen Preiszuordnung unterliegt. Der Algorithmus erstellt im weiteren für jedes Produkt eine Fourier-Transformation, entfernt die zuvor empirisch ermittelten Frequenzen, und führt eine inverse Fourier-Transformation durch. Dann wird die im Abschnitt 3.3 beschriebene Regression auf den bereinigten Daten durchgeführt. Nach der Anwendung des Regressions-Polynoms auf die Klassifikationsdaten, werden die Siebentages-Frequenzen wieder addiert. Dazu werden die temporären Vorhersagewerte einer Fourier-Transformation mit anschließender Addition der Siebentages-Frequenzen und Rücktransformation unterzogen.
7 / 8 3.5 Zufallsverfahren Dieses Verfahren wurde entwickelt um Plausibität der anderen Verfahren zu Testen und um der Vermutung nach zu gehen, das es Produkte gibt, welche gar nicht vorhersagbar sind. Bei dieses Verfahren wurde für jedes Produkt der Mittelwert und die Standardabweichung ermittelt. Mit dieses Parametern konnten für jedes Produkt 14 Werte zufällig für die Vorhersage bestimmt werden. Zur Zufallsbestimmung wurden Octave-interen Zufallsfunktionen mit Normal- und mit Chi-Verteilung benutzt. Beide Verteiltungen lieferten ähnliche Ergebnisse. Der Gesammtfehler bei diesem Verfahren schankte zwischen 640 und 590 Fehlerpunkten. Im Vergleich mit anderen Verfahren (siehe Optimierungsverfahren) stellte sich herraus, dass es immer wieder Produkte gab, welche mit diesesm Verfahren bessere Werte lieferten. Circa 7% der Podukte liessen sich mit Zufall besser vorhersagen, als duch die Zuvor beschriebenen Verfahren. Es stellte sich aber herraus, dass es bei jedem duchlauf andere Produkte waren, welche mit dem Vergleich zu den Realendaten besser vorhergesagt wurden. Somit war dieses Verfahren keine Option für eine seriöse Vorhersage für unbekannten Datensätze.
8 / 8 Kapitel 4 Optimierungsverfahren Das Optmierungsverfahren ist Post-Clustering und wurde im Script opt_pred.m implementiert. Dieses Meta-Verfahren bestimmt für jedes Produkt eines der oben genannten Verfahren, welches den geringsten Fehlerwert bei der Vorhersage über der Trainingsmenge ergab. Dabei werden die Vorhersage-Matrizen der Verfahren mit den Real-Daten über die Manhatten-Distanz verglichen. Als Ergebnis erhält man nun einen Vektor, welches die Indizes der jeweils besten Verfahren enthält. Die Position des Indizes spiegelt dabei das Produkt wieder, für die dieses Verfahren am besten geeignet ist. Mit diesem Vektor können nun die Vorhersagen der einzelnen Produkte für den unbekannten Zeitraum zusammen gelegt werden. 19% regress fourier mean 35% 24% sevenday regress 13% log reg. 1% quad 9% Abbildung 4.1: Anteil der Verfahren an der Gesammtlösung Dieses Verfahren würde sich auch gut zur Bestimmung des Abgabe-Datensatzes für den Daten-Mining-Cup eignen. Dabei könnten alle Teams für ihre Verfahren einmal ihre Vorhersage für die Tage 29 bis 42 in Form der "train.txt" und ihre Vorhersagen für den unbekannten Zeitraum abgeben. Anhand der verschiedenen Fehler der Vorhersagen pro Produkt könnte wie oben beschrieben ebenfalls ein Vektor mit den Indizes der Verschiedenen Einreichungen erstellt werden und damit auch der Datensatz für die Einreichung im Wettbewerb.