Umsatzprognose im Lebensmitteleinzelhandel mit Hilfe von Data Mining Methoden

Transkript

1 Uiversität-Gesamthochschule Paderbor Fachbereich 17 Umsatzprogose im Lebesmitteleizelhadel mit Hilfe vo Data Miig Methode Diplomarbeit im Fachbereich Iformatik vorgelegt vo: Mischa Kuchike Wewelsburger Weg Paderbor 1. Gutachter: Prof. Dr. Has Kleie Büig 2. Gutachter: Prof. Dr. Wilfried Haueschild

2 Ihalt 1 Eileitug Problemstellug Ziel der Utersuchug Grudlegede Methode der Utersuchug Datebasis der Utersuchug Theoretische Betrachtug der Werkzeuge des Bereichs WED Historische Eiordug Ei Überblick über de Bereich der WED Aufgabe der WED Beispielhafte Eiordug der Techike der WED Regressio Historische Eiordug Lieare eifache Regressio Lieare multiple Regressio Güte des Regressiosmodells Laufzeite ud Effiziez der Regressio Assoziatiosregel Historische Eiordug Beschreibug des Lösugsasatzes Erweiteruge des Basisalgorithmus Laufzeite ud Effiziez vo Assoziatiosregel Neuroale Netze Historische Eiordug Multilayer Feed-Forward Networks Backpropagatio Clusteraalyse Awedugsgebiete des Clusterig Ziele des Clusterig Beispielhafte Algorithme Statistische Tests Überblick Test auf Normalverteilug bei ubekatem Mittelwert ud Variaz

3 Ihalt 3 Auswertug durch Regressio ud Assoziatiosregel Vorbereitug der Date Elimiierug icht zu utersucheder Merkmale Exploratio der Date Normalverteilugshypothese Utersuchug des Eiflusses des Dezemberzeitraums Klassifizierug der Umsatzdate Regressio Präsetatio der Ergebisse der Regressio über Umsatzdate als Progosesystem Präsetatio der Ergebisse der Regressio als Klassifikatiossystem Variate Eis Präsetatio der Ergebisse der Regressio als Klassifikatiossystem Variate Zwei Assoziatiosregel Modell- ud Algorithmebeschreibug Beispieldurchlauf Awedug des Ergebisses Test der Stabilität der Assoziatiosregel als Klassifikatiossystem Test der Stabilität der Assoziatiosregel als Progosesystem Case-Based-Reasoig Case-Based-Reasoig als Klassifikatio Case-Based-Reasoig als Progose Vergleich Regressio, Assoziatiosregel ud Case-Based-Reasoig Vergleich der Fehlerrate bei de Klassifikatiosasätze Vergleich der MSE bei de Progoseasätze Vergleich der eizele Klassifikatiosfehler i eiem Durchlauf Neue Asätze ud Erweiteruge zur Auswertug Clusteraalyse Neuroale Netze Feststellug der Defizite der berechete Regressiosmodelle

4 Ihalt 4.4 Eibeziehug der Date zweier weiterer Betriebe ierhalb des Utersuchugszeitraums Utersuchug der Date vo Betrieb 1, 2 ud Utersuchug der Gesamtdate mittels Regressio ud Assoziatiosregel Vergleich Regressio, Assoziatiosregel ud Case-Based-Reasoig der Gesamtdate Getrete Regressio für jede Wochetag Regressio mit komplexe Features Fazit ud Ausblick Fazit Ausblick Literaturliste 81 Abbildugsverzeichis 83 Ahag 86 4

5 1 Eileitug Im Rahme dieser Diplomarbeit werde Methode zur Erstellug vo Umsatzprogose für de Lebesmitteleizelhadel aalysiert ud bewertet. Zu diesem Zweck bietet das erste Kapitel eie kurze Eiführug i die Thematik. Im zweite Kapitel werde alle relevate Methode idetifiziert ud ihre Vorgehesweise erläutert. Isbesodere werde die theoretische Grudlage der Hauptwerkzeuge Regressio ud Assoziatiosregel erörtert. Des Weitere werde zusätzliche WED 1 Werkzeuge vorgestellt, die im Rahme dieser Utersuchug ebefalls zum Eisatz komme. Das dritte Kapitel beschreibt das Vorgehe dieser eizele Methode, ud wie aus ihrer Awedug Erketisse gewoe werde köe. Dies beihaltet die Modellbildug, Bewertug ud Gegeüberstellug der Date mittels Regressio, Assoziatiosregel ud CBR 2. Das vierte Kapitel idetifiziert alterative Vorgehesweise ud Erweiteruge, um die Progosefähigkeit zu verbesser. Es werde Asatzpukte für weitergehede Utersuchuge aufgezeigt ud die Nützlichkeit aderer WED-Werkzeuge für die Umsatzprogose getestet. Die Ergebisse dieser Utersuchuge werde im füfte Kapitel abschließed zusammegefasst. Außerdem bietet dieses Kapitel eie Ausblick auf die mögliche weitere Thematike, die auf der Grudlage dieser Diplomarbeit aufbaue. Das folgede Kapitel soll die Thematik ud die Vorgehesweise dieser Utersuchug erläuter. 1. WED: Wissesetdeckug i Datebake bzw. KDD: Kowledge Discovery i Databases 2. CBR: Case-Based-Reasoig 5

6 Eileitug 1.1 Problemstellug Die Progose des Umsatzes im Lebesmitteleizelhadel ist ei sigifikates aber auch komplexes Problem. Die Sigifikaz eier Umsatzprogose ergibt sich aus der Tatsache, dass ei großer Teil der Persoalkoste direkt aus de Umsatzdate ableitbar ist. Dies gilt zum Beispiel für de Kassebereich, de Bereich der Nachfüllarbeite ud für die Wurst-, Fleisch-, ud Käsethekebesetzuge. Eie gezielte Umsatzprogose eröffet die Möglichkeit eie geauere ud feiere Eisatzpla zu erstelle. Ei weiterer Grud für die Bedeutug der Umsatzprogose liegt i der Möglichkeit, hierdurch de Erfolg vo Soderaktioe zu bewerte, da der Umsatz höher liege sollte als progostiziert. Auf der adere Seite fugiert die Umsatzprogose als Alarmsystem, falls der Umsatz sich iedriger als erwartet erweist. Die Komplexität der Umsatzprogose begrüdet sich aus der Mege vo Faktore, die i dem vielschichtige System des Erwerbs ud Agebots vo Lebesmittel zusammespiele. Beispielsweise seie hier die Faktore Feiertage, saisoelle Schwakuge, Treds, Wetter, Urlaubszeiträume, Weihachtszeiträume, Soderaktioe, Erreichbarkeit des Betriebes ud Liquidität der Kude agegebe. 1.2 Ziel der Utersuchug Das Ziel der Utersuchug besteht dari die Struktur ud Zusammehäge der Umsatzdate eies Betriebes über eie defiierte Zeitraum darzustelle. Damit solle Ahaltspukte aufgezeigt werde, wie eie erfolgreiche Umsatzprogose im Lebesmitteleizelhadel durchgeführt werde ka. Das erarbeitete Modell soll sowohl mit de Date eies Lebesmittellades, als auch mit de Date zweier weiterer Betriebe des gleiche Zeitraums optimale Ergebisse liefer. 6

7 Eileitug 1.3 Grudlegede Methode der Utersuchug Als Grudlage für diese Diplomarbeit diee die Methode der WED. Dieses Gebiet beschäftigt sich mit dem Iformatiosgewi aus Massedate ud ethält daher Werkzeuge, die für diese Utersuchug geeiget sid. Hierbei sid besoders die Methode der Regressio, der Assoziatiosregel ud des CBR vo Bedeutug ud bilde daher die Hauptbestadteile dieser Utersuchug. Die Regressiosaalyse ist eie der älteste Methode der WED ud daher sehr ausgereift. Weiterhi ermöglicht sie die Progose umerischer Werte. Die Ergebisse des Regressiosmodells köe deshalb direkt als Progoseergebis verwedet werde. Das Gebiet der Assoziatiosregel ist ei juges Gebiet ud setzt eie Klassifizierug der Umsatzdate voraus. Allerdigs sid die erzeugte Regelmodelle leichter verstädlich ud direkt mit de Erfahrugswerte der Eizelhädler vergleichbar. Der CBR Asatz ist sehr direkt ud ituitiv. Die grudsätzliche Vorgehesweise hierbei stellt sich wie folgt dar: Zur Bewertug eies ubekate Vorfalls, beutze alle Ereigisse der Vergageheit, die dem eue Vorfall möglichst ählich sid. Zum eie ist dieser Asatz ituitiv, weil er der meschliche Vorgehesweise zur Bewertug ubekater Date ähelt. Zum adere ist das Ergebis dieser Vorgehesweise leicht erklärbar, da Vergleichsfälle aus der Vergageheit agegebe werde köe, die die Bewertug uterstütze. 1.4 Datebasis der Utersuchug Die verwedete Umsatzdate für die Utersuchuge stamme aus de Datebestäde dreier Lebesmittelläde der REWE Dortmud eg. Sie beziehe sich auf die Jahre Die Date kote, mit der Geehmigug der Eizelhädler, aoymisiert verwedet werde. Ei Datesatz besteht aus eiem Tagesdatum ud eiem Umsatzwert. Um die Datesätze für die Utersuchuge vorzubereite, sid aus jedem Tagesdatum eue Merkmale extrahiert worde, die eierseits de auf das jeweilige Datum fallede Wochetag wiedergebe ud adererseits eie Agabe darüber mache, ob dieser Wochetag i der Nähe eies Feiertages liegt. Diese Merkmale werde aschließed i biärer Form kodiert. Falls icht explizit agegebe, sid alle statistische Utersuchuge mit dem Softwareprogramm SPSS für Widows Versio 10 durchgeführt worde. 7

8 2 Theoretische Betrachtug der Werkzeuge des Bereichs WED Das folgede Kapitel liefert eie Überblick über das Gebiet der WED. Zuächst erfolgt eie Abgrezug der Aufgabebereiche voeiader, idem Probleme aufgezählt werde, die mit de Methode der WED lösbar sid. Eie Übersicht der wichtigste Methodebereiche der WED ud eie grobe Klassifizierug schließe sich a. Eie Zuordug der Methode zu de Aufgabebereiche wird icht durchgeführt, da zum Löse eies Aufgabetyps im Allgemeie ei Großteil der Algorithme der WED zur Bearbeitug geeiget sid. Die geerelle Übersicht wird durch eie ausführliche ud theoretische Darstellug der wichtigste Werkzeuge i dieser Utersuchug komplettiert: 1. Regressio, als ei Stadardverfahre zur Erstellug vo Progose. 2. Assoziatiosregel, da hieri ei agemessees der regellerede Verfahre für die Umsatzprogose gesehe wird. Ergäzed werde drei Methodebereiche dargestellt, die aufgrud des begrezte Umfages dieser Arbeit eie sekudäre Rag eiehme: 1. Neuroale Netze komme i dieser Utersuchug zum Eisatz, um die Möglichkeit der Modellverbesserug zu überprüfe. 2. Mittels der WED-Methode Clusterig wird die Struktur der Date utersucht. 3. Statistische Tests sid Stadardverfahre, die zum eie ierhalb der Regressio zur Prüfug des Modells eigesetzt werde, zum adere um eie Vorutersuchug der Date durchzuführe. 2.1 Historische Eiordug Der wisseschaftliche Bereich der WED beschäftigt sich mit dem Problem, dass heutige Datebake [...] lägst das Maß meschlicher Überschaubarkeit ud maueller Aalysetechike überschritte [...] ([NRW98], S. 2) habe. Erst die computergestützte Aalyse bietet eie Möglichkeit eue Muster i de Date aufzufide, die 8

9 Theoretische Betrachtug der Werkzeuge des Bereichs WED möglichst ützlich ud verstädlich sid. Hierbei wird ei Teilbereich der WED, die direkte Awedug vo Algorithme auf Datemege, mit dem Begriff Data Miig bezeichet. Der Begriff Data Miig erscheit bereits 1978 i eier Arbeit vo Leamer: This book is about data miig. It describes how specificatio searches ca be legitimately used to brig to the surface the uggets of truth that may be buried i the data set. [Lea78] Allerdigs werde die klassische statistische Verfahre, die ebefalls zum Bereich der WED gehöre, wie zum Beispiel die Regressio, bereits zu Begi des 20. Jahrhuderts etwickelt. Datebak- Techologie Küstliche Itelligez Wissesetdeckug i Datebake Statistik Maschielles Lere Abbildug 2.1: Das Gebiet der Wissesetdeckug i Datebake als iterdiszipliäre Wisseschaft (etomme aus [NRW98], S. 2) Charakteristisch für de Bereich WED ist der iterdiszipliäre Eifluss aus de verschiedeste Bereiche, der otwedig gewese ist, um die Datemege heutiger Systeme effiziet bewältige zu köe (siehe Abbildug 2.1). Eie weitere Eigeschaft der WED ist die Vielfältigkeit der Verfahre ud die Abhägigkeit vom Aweder. Zur Lösug eies WED-Problems sid verschiedee Schritte erforderlich, die zum Teil mehrfach zu durchlaufe sid, meschliche Etscheiduge erforder ud zum große Teil vom Aweder uterstützt werde müsse. 9

10 Theoretische Betrachtug der Werkzeuge des Bereichs WED Aalyse des Awedugsgebietes Datezugriff Aforderugs- ud Machbarkeitsaalyse Vorbereitug DATEN Umsetzug Exploratio Iterpretatio ud Bewertug Awedug vo Modellierugs- ud Etdeckugstechike Dokumetatio Abbildug 2.2: Überblick über de Prozess der Wissesetdeckug (etomme aus [NRW98], S. 4) Aus diesem Grud ist es vo Vorteil solch ei Problem iteraktiv zwische Mesch ud Maschie zu löse. Der Aweder beötigt sowohl Ketisse aus dem Bereich WED als auch Ketisse über das Problemgebiet a sich. Die wichtigste Schritte sid hierbei i der Abbildug 2.2 dargestellt. I Kapitel 3 ud 4 wird zur Veraschaulichug auf diese Abbildug verwiese, um aufzuzeige, welcher Schritt zur Zeit durchgeführt wird. 2.2 Ei Überblick über de Bereich der WED Um de Bereich WED zu umschreibe ud zu klassifiziere, werde im Folgede die verschiedee Aufgabe der Wissesetdeckug aufgelistet. Die Eiteilug ist aus dem Buch Data Miig [NRW98] vo Gholamreza Nakhaeizadeh überomme worde. Da das Gebiet WED umfagreich ud dyamisch ist, wird hier kei Aspruch auf Vollstädigkeit erhobe. Bei der Bearbeitug eier Aufgabe muss berücksichtigt werde, dass, währed der Durchführug des WED Prozesses, verschiedee Fragestelluge aufgeworfe werde. Weiterhi ist zu berücksichtige, dass die Beatwortug eier Fragestellug, die Lösug aderer euer Fragestelluge voraussetze ka ud hierzu etweder eie Methode ausgewählt oder mehrere acheiader ausprobiert werde müsse. 10

11 Theoretische Betrachtug der Werkzeuge des Bereichs WED PROBLEM Aufteilug Teilproblem 1 Teilproblem 2 Teilproblem 3 Auswahl eies Methode Methode A Methode B Methode C Neue Fragestelluge ergebe sich Teilproblem 4 Methode werde alterativ ausprobiert Methode D Methode E Methode F Abbildug 2.3: Darstellug eies WED-Prozesses Hierbei ist es otwedig, dass der Beutzer währed der gesamte Durchführug de Lösugsprozess aktiv uterstützt. Das methodische Vorgehe zur Lösugsfidug ist beispielhaft i Abbildug 2.3 dargestellt Aufgabe der WED Aufgabe Segmetierug Bei eier Segmetierug solle die Date i bestimmte Teilmege bzw. Klasse eigeteilt werde. Dies ka das Hauptziel eier Utersuchug sei. Oft hadelt es sich dabei aber ur um eie Vorbereitug, z. B. we die iteressate Date vo de uiteressate zu tree sid oder die Eiteilug für weitere Utersuchug otwedig ist. Aufgabe Kozeptbeschreibug Die Kozeptbeschreibug verfolgt das Ziel aus de Date verstädliche Klasse bzw. Kozepte herauszuarbeite. Die Verstädlichkeit des Kozeptes steht, im Uterschied zur Segmetierug, im Vordergrud, da die Segmetierug zwar Objekte zu Klasse zusammefasst, die Eiteilug jedoch icht otwedigerweise verstädlich ist. 11

12 Theoretische Betrachtug der Werkzeuge des Bereichs WED Aufgabe Klassifikatio Die Klassifikatio hat die Aufgabe, ubekate Objekte eier Klasse zuzuorde. Das Klassifizierugsschema ka dabei vorher bestimmt oder mit Hilfe der Segmetierug ermittelt werde. Währed bei der Klassifizierug eiem ubekate Objekt eie Klasse zugeteilt wird, erfolgt bei der Progose die Zuordug eies umerische Wertes. Aufgabe Progose Im Gegesatz zur Klassifikatio werde bei der Progose keie Klasse, soder umerische Werte vorhergesagt. Dies ist auch bei dem Problem der Umsatzprogose der Fall, da hier für ei ubekates Objekt, i diesem Fall ei beliebiger Tag i der Zukuft, ei Umsatzwert progostiziert werde soll. Aufgabe Datebeschreibug ud Zusammefassug Bei dieser Aufgabe solle wichtige Merkmale der Date i kompakter Form beschriebe werde. I diesem Zusammehag bietet die deskriptive Statistik wichtige Methode, die zum Bereich der Datebeschreibug ud Zusammefassug gezählt werde köe. Allerdigs zähle diese Methode icht zu dem Kerbereich der WED, köe aber sehr gut zur Voraalyse ud Präsetatio eigesetzt werde. Als eifache Beispiele sid Summe ud Durchschittsbildug, sowie die Ermittlug der Verteilug zu ee. Aufgabe Erkeug vo Abweichuge Eie Abweichug ist gegebe, we ei Objekt Charakteristika besitzt, die eier vom Aweder festgelegte Norm icht etspricht. Die Ermittlug solcher Objekte lasse zum eie fehlerhafte Eigabe oder Ausreißer erkee. Zum adere köe solche Abweichuge auf ubekate Phäomee hideute, die weiterer Utersuchug bedürfe. Aufgabe Abhägigkeitsaalyse Diese Aalyse bestimmt die Abhägigkeite der Merkmale vo Objekte zueiader. Besteht zwische zwei Merkmale eie starke Abhägigkeit, so ka bei Bekatheit eies Merkmals das adere vorausgesagt werde. Besitze die Objekte eie Reihefolge bzw. eie zeitliche Kompoete, so köe Abhägigkeite ebefalls zwische räumlich oder zeitlich beachbarte Objekte festgestellt werde. 12

13 Theoretische Betrachtug der Werkzeuge des Bereichs WED Beispielhafte Eiordug der Techike der WED I diesem Kapitel werde füf Algorithmegruppe der WED vorgestellt ud aufgrud ihrer Eigeschafte klassifiziert. Diese Vorgehesweise soll eie Ahaltspukt biete, wie eie vollstädige Klassifikatio des Gebietes WED aussehe köte. Wie obe beschriebe, erweist sich dieses Gebiet als zu umfagreich ud dyamisch, um i dieser Utersuchug eie vollstädige Klassifizierug vorehme zu köe. Die Techike, die im Folgede utersucht werde, sid: Regressio Assoziatiosregel Neuroale Netze Clusterig Etscheidugsbäume CBR als Klassifikatio bzw. Progose Eiordug bezüglich der Struktur der Eigabe Die erste Eiordug erfolgt durch die Beatwortug der Frage: Wie viel Iformatioe über die Problemstruktur brauche die Algorithme? Im Folgede wird eie Auflistug der Verfahre vorgeomme, begied mit de Verfahre, die de gerigste Strukturiformatiosbedarf aufweise, bis zu dejeige, die de größte Bedarf aufweise. 1. Clusterig beötigt als eizige Iformatio eie Bewertugsfuktio, die aussagt, wie stark sich zwei Mege vo Elemete ähel. Mit Hilfe dieser Fuktio fügt der Algorithmus beispielsweise die beide Mege zusamme, die sich am ählichste sid, bis eie zufriedestellede Aufteilug der Elemete erfolgt ist. Darüber hiaus existiere weitere Methode, um Cluster i Datemege zu etdecke. 2. Der Asatz CBR beötigt eierseits eie Bewertugsfuktio, um i der Vergageheit ähliche Fälle zu fide. Adererseits ist eie Fuktio ötig, die aus diese Fälle die Progose beziehugsweise die Klassifikatio berechet. 3. Etscheidugsbäume ethalte Klassifizierugsregel i der Form eies Baumes. Allerdigs ka diese Struktur jegliche Klassifizierug beihalte. Der bekateste Algorithmus aus diesem Bereich ist ID3 (siehe [Qui79]), der, im Gegesatz zu vergleichbare Algorithme, die Eischräkug besitzt, dass die Utersuchugseiheite sich icht widerspreche dürfe. 13

14 Theoretische Betrachtug der Werkzeuge des Bereichs WED 4. Assoziatiosregel ethalte als Grudstruktur eie Regelmege. Eie Regel A B besagt: Kommt i eier Utersuchugseiheit die Elemetmege A vor, kommt demzufolge mit eier agegebee Wahrscheilichkeit die Elemetmege B ebefalls vor. Grudsätzlich köe Regelmege icht jegliche Klassifizierug repräsetiere. Allerdigs gibt es Erweiteruge (egative Assoziatioe) des Basisalgorithmus Apriori (siehe [ZO98]), die eie, mit de Algorithme der Etscheidugsbäume, vergleichbare Flexibilität ermögliche. 5. Neuroale Netze ermittel, vergleichbar mit der Regressio, für eie vorgegebee Struktur die beste Parameter. Erreicht wird dies durch Approximatio eier Fuktio, welche die zu lerede Werte möglichst geau abdeckt. Allerdigs sid euroale Netze ei heuristischer Asatz, da diese icht zwiged die optimale Parameter, soder ur suboptimale Parameter fide. Dies ist dadurch bedigt, dass die Struktur vo euroale Netze flexibler ud vielschichtiger sei ka, als die Struktur vo Regressioe. 6. Regressioe besitze eie feste Struktur, die vorgegebe werde muss. Der Algorithmus ermittelt die optimale Parameter für diese Struktur. Die Eischräkug, dass ei Modell vorgegebe werde muss, ka auch ei Vorteil sei, da hierdurch viel Wisse, das vielleicht über das Problem bereits vorhade ist, i das Modell überomme wird. Eiordug bezüglich der Art der Zielvariable Geerell wird zwische omiale, ordiale ud metrische Zielvariable uterschiede. Ist die Zielvariable omial oder ordial, ka ei Klassifizierugsverfahre beutzt werde. Asoste kommt ei Progoseverfahre zur Awedug, das ebefalls für Klassifikatiosprobleme eisetzbar ist. Auf der adere Seite ist ei Klassifikatiosverfahre icht i der Lage mit metrische Werte zu arbeite, es sei de, diese werde zuvor klassifiziert. Regressio ud euroale Netze köe als Progoseverfahre eigesetzt werde. Assoziatiosregel ud Etscheidugsbäume sid dagege Klassifikatiosverfahre. Der Asatz des CBR ud des Clusterig ehme hier eie Soderrolle ei, da diese Verfahre zwar ähliche Fälle fide, die Verarbeitug dieser Fälle allerdigs dem Aweder überlasse ist. Hiermit köe prizipiell sowohl Klassifikatios- als auch Progoseasätze erstellt werde. 14

15 Theoretische Betrachtug der Werkzeuge des Bereichs WED Eiordug bezüglich der beötigte Iformatioe Für die erste Eiteilug lasse sich die Verfahre i strukturprüfede ud struktursuchede Verfahre eiteile. Hierbei ist das Clusterig ud das CBR ei struktursuchedes Verfahre, alle adere ethalte eie Struktur, die durch de Algorithmus geprüft ud parametrisiert wird. Weiterhi köe die strukturprüfede Verfahre i Parameterverfahre ud Regellerverfahre aufgeteilt werde. Regressio ud euroale Netze sid Parameterverfahre, welche die Parameter der Struktur optimiere. Etscheidugsbäume ud Assoziatiosregel sid Regellerverfahre, die versuche, Regel ierhalb der festgelegte Struktur zu etdecke ud auszugebe. Eie graphische Darstellug dieser Eiteilug ist i Abbildug 2.4 zu sehe. Verfahre der WED Struktursuchede Verfahre Struktur suchede Verfahre Strukturprüfede Verfahre Regellerverfahre Parameterlerverfahre Abbildug 2.4: Verfahreseiordug bezüglich der beötigte Iformatioe Eiordug bezüglich der Güte der Ausgabe Wie obe erwäht, liefer alle besprochee Algorithme im Rahme ihrer Struktur optimale Ergebisse, ausgeomme euroale Netze, die aufgrud des heuristische Asatzes suboptimale Ergebisse erreiche. Die Ausahme bilde hierbei Clusterig ud CBR, da diese zu de struktursuchede Verfahre zähle. 15

16 Theoretische Betrachtug der Werkzeuge des Bereichs WED 2.3 Regressio Das Verfahre der Regressio ist eies der wichtigste Progoseverfahre im Bereich der WED. Zum eie, weil die Regressio optimale Ergebisse liefert ud umerische Eigabewerte verarbeite ka, zum adere existiert das Verfahre scho seit über eihudert Jahre ud zählt somit zu eiem der am weiteste etwickelte Bereiche der WED. Für die Regressio existiere mehrere Verfahre, welche die Güte ud Vorhersagefähigkeit des Regressiosmodells bewerte. I de folgede Kapitel werde ach eier historische Eiordug des Verfahres, die Algorithme der lieare eifache Regressio ud darauf aufbaued die Algorithme der lieare multiple Regressio beschriebe ud dere Korrektheit mathematisch bewiese. Aschließed werde eiige Tests zur Güte des Regressiosmodells erläutert. Da die Erstellug eier Umsatzprogose ei Progoseproblem darstellt, zeigt sich die Regressio als ei wichtiges Werkzeug für diese Utersuchug. Eie ausführliche Beschreibug der Regressio fidet sich i ([HEK82], S. 569) Historische Eiordug Geprägt wurde der Begriff Regressio durch Galto (1889), der i seie Studie zur Vererbug das Gesetz der uiversale Regressio formulierte: Each pecularity i a ma is shared by his kisma but o the average i a less degree ([HEK82], S. 569). Karl Pearso, ei Freud Galtos, utersuchte i diesem spezielle Zusammehag, dass große Väter zwar dazu eige große Söhe zu habe, die Größe der Söhe jedoch durchschittlich geriger als die Größe der Väter ist. Auf der adere Seite habe kleie Väter kleie Söhe, jedoch ist die Körperläge der Söhe durchschittlich größer als die der Väter. Dieser Zusammehag ka durch die Fuktio y = a + bx, wobei y die Größe des Sohes ud x die Größe des Vaters bezeichet, dargestellt werde (siehe Abbildug 2.5). Die Regressiosaalyse der Galto-Pearso-Regressio ergibt zum Beispiel eie mathematische Zusammehag vo y = 85, x,. 16

17 Theoretische Betrachtug der Werkzeuge des Bereichs WED Abbildug 2.5: Galto-Pearso-Regressio: Zusammehag zwische der Größe vo Väter (x) ud ihre Söhe (y) (Etomme aus [HEK82], S. 570) I der Regressiosaalyse wird der fuktioale Zusammehag zwische eiem Merkmal y (Regresssad) ud eier Mege vo Merkmale x 1, x 2,, x (Regressore) f( x 1, x 2, x ) = y geschätzt. Bei der lieare Regressio werde die Parameter b 1, b 2,, b der Fuktio y = a + b 1 x 1 + b 2 x b x bezüglich der Fehlerfuktio: Summe der Abweichugsquadrate optimal geschätzt. S 2 = ( y i a b 1 x 1i b 2 x 2i b k x ki ) 2 2 Eie eifache Umbeeug vo z. B. x 1 ' = x 1 ermöglicht es, beliebige polyomielle Zusammehäge mit der Regressio zu bestimme. Ei Spezialfall der lieare Regressio ist hierbei die lieare eifache Regressio, we geau ei Regressor vorhade ist. Hierbei wird zwische dem Regressade ud dem Regressor ei Zusammehag y = a+ bx vermutet. Graphisch betrachtet, ermittelt die lieare eifache Regressio eie Gerade durch de Pukteraum, so dass die Summe der Quadrate der vertikale Abstäde der Pukte zur Gerade möglichst gerig ist (siehe Abbildug 2.6). 17

18 Theoretische Betrachtug der Werkzeuge des Bereichs WED Abbildug 2.6: Graphische Veraschaulichug der Methode der kleiste Quadrate (Etomme aus [HEK82], S. 575) Lieare eifache Regressio I diesem Kapitel wird der mathematische Hitergrud des Algorithmus erläutert ud seie Korrektheit bewiese. Die Idee der lieare eifache Regressio besteht dari, eie Gerade zu fide, so dass die Summe der Abweichugsquadrate zwische der Gerade ud de Messpukte miimal wird. Mathematisch wird dies dadurch erreicht, dass das Miimum der Fehlerfuktio über die Nullsetzug der Ableitug der Fehlerfuktio ermittelt wird. Fehlerfuktio : S 2 = ( y i a bx i ) 2 Falls zwische zwei Merkmale ei liearer Zusammehag besteht oder vermutet wird, ka dieser mittels der lieare Regressio äher bestimmt werde. Hierzu werde die Merkmale -mal gemesse, so dass sich eie Messreihe x 1, x 2,, x ud y 1, y 2,, y ergibt. Aufgrud der lieare Vermutug ist davo auszugehe, dass y i = α+ βx i + e i gilt. Hierbei bezeichet α das Absolutglied, β de Steigugsparameter ud zufällige Fehler. e 1, e 2, e 18

19 Theoretische Betrachtug der Werkzeuge des Bereichs WED Aufgrud der Tatsache, dass bei eiem Miimum eier Fuktio die Ableitug der Fuktio a derselbe Stelle Null beträgt, ergebe sich folgede Gleichuge für a ud b (siehe Ahag Formel 1 auf Seite 86 ud Formel 2 auf Seite 87): a = y bx b = ( x) ( y i y) x i ( x) 2 x i Diese Parameter garatiere, dass die Summe der Abweichugsquadrate miimal ist, da die quadratische Fehlerfuktio ei Miimum ud kei Maximum besitzt Lieare multiple Regressio Die lieare multiple Regressio ist eie Verallgemeierug der lieare eifache Regressio. Bei der multiple Regressio geht ma vom folgede Modellasatz aus: Das Merkmal y (Regressad) ist abhägig vo de Regressore (,,, ). Hierzu werde die Merkmale -mal gemesse, so dass sich für de Regressad Messreihe,, ud für jede Regressor sich eie Messreihe,,, ergibt. Um die optimale Parameter f( x 1, x 2,, x k ) = α+ β 1 x 1 + β 2 x β k x k = α+ β j x j = y eie zu ermittel, wird die bei der lieare eifache Regressio defiierte Summe der Abweichugsquadrate auf multiple Regressore erweitert: Da diese Summe miimiert werde soll, wird für die verschiedee Parameter ab, 1, b 2,, b k die Ableitug der Summe auf Null gesetzt. Ma erhält das im Ahag uter Formel 3 auf Seite 88 ud Formel 4 auf Seite 89 agegebee Gleichugssystem, welches allerdigs eifacher mit folgeder Matrizeschreibweise beschriebe wird: j = 1 x 1 x 2 x k y 1, y 2 y x j x j1 x j2 x j ab, 1, b 2,, b k S 2 = ( y i a b 1 x 1i b 2 x 2i b k x ki ) 2 y 1 1 x 11 x 21 x k1 e 1 α y y 2 1 x 12 x 22 x k2 e 2 Ỹ = y 3, X = 1 x 13 x 23 x, e = k3 e 3, β = y 1 x 1 x 2 x k e β 1 β 2 β k 19

20 Theoretische Betrachtug der Werkzeuge des Bereichs WED Somit lässt sich das grudlegede Modell schreibe als: Ỹ = Xβ + e Hieraus ergibt sich: X T Xb = X T Ỹ Im Ahag Formel 5 auf Seite 91 wird die Gleichheit der hier agegebee Formel bewiese. Falls u ergibt sich: X T X ivertierbar ist, demach die Merkmale utereiader uabhägig sid, b = ( X T X) 1 X T Ỹ als eideutiger Schätzer für β. Ahad dieser Formel köe die Parameter ab, 1, b 2,, b k optimal geschätzt werde Güte des Regressiosmodells Um die Güte eies Regressiosmodells festzustelle, werde vier verschiedee Methode vorgestellt. Wie obe beschriebe, erzeugt die Regressio zwar optimale Ergebisse, es ka aber trotzdem sei, dass das Modell zur Erklärug der Date icht ausreicht oder die Azahl der vorhadee Date zu gerig ist. Weiterhi besteht die Möglichkeit, dass eizele Regressade icht sigifikat auf die Ergebisse eigewirkt habe ud somit im Regressiosmodell verachlässigt werde köe. Bestimmtheitsmaß Das Bestimmtheitsmaß beatwortet die Frage, iwiefer sich die Variaz des Regressors Y durch das Regressiosmodell erkläre lässt oder adere statistisch sigifikate Eiflüsse bestehe, die icht berücksichtigt sid? Zur Beatwortug wird der Ateil der Variaz der geschätzte Werte zur Variaz der beobachtete Werte berechet. Dies wird als das Bestimmtheitsmaß der Regressio bezeichet: 2 S B Ŷ YX, S Y ( y) 2 ŷ i = = = r XY ( y) 2 y i 2 20

21 Theoretische Betrachtug der Werkzeuge des Bereichs WED Ist B YX, gleich 1, bedeutet dies, dass die Variaz des Merkmals Y vollkomme durch die Regressio erklärt wird. Für eie ausführliche Beschreibug des Bestimmtheitsmaßes (siehe [HEK82], S. 578). T-Test Der T-Test berechet für jede Regressade X i die statistische Wahrscheilichkeit, ob dieser Regressad eie Eifluss auf das Regressiosmodell hat oder icht. Ahad eies statistische Tests wird ermittelt, ob die Nullhypothese Der Wert b i ist gleich Null! verworfe werde muss oder icht. Besagt der T-Test, dass die Hypothese verworfe werde muss, so ist dies mit eier Wahrscheilichkeit vo 1 α richtig. Der utersuchte Wert ist wahrscheilich ugleich Null ud daher für das Regressiosmodell statistisch sigifikat. Die Hypothese wird verworfe, we b i > t 1 1 α 2 s bi ;( ) gilt. Hierbei beet de zu utersuchede Wert, ist die Variaz des Wertes ud F -Test sid die Quatile der Verteilug (siehe [HEK82], S. 179). t 1;( 1 α 2) t 1 Der F-Test prüft die Nullhypothese Alle Werte sid gleich Null!. Demzufolge wird die Wahrscheilichkeit überprüft, ob die beobachtete Werte uabhägig vo de Regressade, demach ur zufällig sid oder vo adere, als de bisher utersuchte Merkmale, beeiflusst werde. Wie beim T-Test gilt auch hier, wird die Nullhypothese verworfe, ist die Etscheidug zu 1 α richtig. Die Werte sid da icht zufällig. Das Verhältis der durchschittliche Abweichug der Ausgagswerte zu de durchschittliche Abweichuge der Fehlerwerte wird beim F-Test als Prüfgröße geomme. Ist das Verhältis größer als F p 1, N p; 1 α, muss die Nullhypothese verworfe werde. Hierbei bezeichet p die Azahl der Werte ud N die Azahl der Messuge. Beutzt wird die etsprechede F-Verteilug (siehe [HEK82], S. 611). Residualaalyse b i Ei graphisches Verfahre zur Beurteilug eier Regressio ist die Residualaalyse. Als Residue werde die Differeze zwische berechete ud geschätzte Werte e ˆ i y i bezeichet. I der Residualaalyse werde die Residue mit dem Schätzer = s ŷ i s bi 21

22 Theoretische Betrachtug der Werkzeuge des Bereichs WED der Stadardabweichug der Messwerte ormiert y d i ŷ i i = s ud graphisch dargestellt. Ist der Modellasatz richtig, sid die Residue aufgrud der Normierug approximativ, uabhägig, idetisch N(0,1)-verteilt. Beispiel vo Residualaalyse: Abbildug 2.7: Graphische Darstellug der ormierte Residue i Abhägigkeit vo de geschätzte Werte ŷ des Regressade (Etomme aus [HEK82], S. 585) Im Feld a) der Abbildug 2.7 lässt sich ei idealer Verlauf erkee, b) deutet auf eie lieare Tred hi, der icht berücksichtigt wurde, c) ethält asteigede Variaze, die auf ei aderes Modell hideute ud d) zeigt eie ichtlieare Verlauf, so dass die Date ierhalb eier ichtlieare Regressio utersucht werde sollte (siehe [HEK82], S. 585) Laufzeite ud Effiziez der Regressio Die Laufzeit der Regressio ist abhägig vo der Ivertierug ud Multiplikatio der Matrix. Hierbei bezeichet die Azahl der Datesätze, die bearbeitet werde ud m die Azahl der Merkmale. Die Multiplizierug der Matrix ist i O + m 2 ud die Ivertierug i O m 3 möglich. Die Regressio ermittelt für das gegebee Modell optimale Werte. Im Umkehrschluss bedeutet ei falsches Modell de Fehlschlag der gesamte Regressio. Es gibt Methode die Qualität des Modells zu teste ud Verbesserugsasätze erkebar zu mache. Allerdigs gibt es keie Algorithmus, der automatisch aus de Date das optimale Modell berechet. 22

23 Theoretische Betrachtug der Werkzeuge des Bereichs WED 2.4 Assoziatiosregel Der Bereich Assoziatiosregel versucht i de Date Regel zu erkee, die darauf verweise, welche Merkmale häufig mit adere Merkmale auftrete. Aus diesem Grude werde i dieser Diplomarbeit Assoziatiosregel verwedet. Der Umsatzbereich ka durch solche Regel ermittelt werde. Zum Beispiel: Ist heute Freitag ud der morgige Tag ei Feiertag, da ist der Umsatz sehr hoch!. Allerdigs sid Assoziatiosregel für de Bereich der Progose bedigt geeiget, da es sich bei dem Algorithmus um eie Klassifikatiosalgorithmus hadelt. Um mit dem Algorithmus arbeite zu köe, muss daher das Merkmal Umsatz i Klasse eigeteilt werde. Dies ist allerdigs bei de adere Merkmale (Wochetag ud Feiertag) icht ötig, da diese bereits omial bzw. ordial sid. Da sich die Erfahruge der Eizelhädler ebefalls leicht i diese Art vo Regel eipasse lasse, wird der obe geate Asatz i diese Utersuchug aufgeomme. I de folgede Kapitel erfolgt eie kurze historische Eiordug der Assoziatiosregel. Der Basisalgorithmus wird erklärt ud zum Schluss die eueste Erweiteruge i diesem Bereich vorgestellt Historische Eiordug Zum erste Mal wird der Begriff Assoziatiosregel im Bereich WED i der Arbeit Miig Associatio Rules betwee Sets of Items i Large Databases vo Rakesh Agrawal, Tomas Imieliski ud Aru Swami geprägt [AIS93]. I dieser Arbeit wird das Problem aufgegriffe, dass die Speicherug vo Date sich vo global data zu basket data etwickelt hat. So sid z. B. icht mehr ur die Umsatzdate über eie bestimmte Zeitraum verfügbar, soder auch die Iformatioe, welche eizele Produkte ierhalb eies Eikaufs erworbe werde. Diese modere Datesammlug ermöglicht folgede Fragestelluge: 1. Welche Produkte werde zusamme mit eiem adere Produkt gekauft? Wie ka demach der Verkauf vo diesem Produkt durch die Verbilligug aderer Ware gesteigert werde? 2. Welche Produkte förder de Verkauf eies adere Produktes? Welche Auswirkuge hätte demzufolge die Streichug dieser Produkte? 3. Welche Produkte lasse sich gut mit adere Produkte verkaufe, sollte daher räumlich eg platziert sei? 23

24 Theoretische Betrachtug der Werkzeuge des Bereichs WED Diese gesamte Fragestelluge lasse sich auf das Prizip der Assoziatiosregel zurückführe. Eie Assoziatiosregel besteht aus zwei Waremege, die häufig zusamme gekauft werde. Die Güte der Regel wird zum eie durch de Support (Wie statistisch sigifikat ist die Regel?) ud der Cofidece (Wie stark ist die Gültigkeit der Regel?) agegebe. Ei Beispiel: Trasaktiosdatebak : Support aller Waremege 50% : Trasaktio Gekaufte Ware Support Waremege 1 Milch, Butter, Wurst, Fisch 100 % (6 mal gekauft) (Butter) 2 Butter, Käse, Fisch 83 % (5 mal gekauft) (Fisch), (Butter, Fisch) 3 Milch, Butter, Wurst, Fisch 67 % (4 mal gekauft) (Milch), (Käse), (Wurst), (Fisch), (Milch, 4 Milch, Butter, Käse, Fisch Butter), (Milch, Fisch), (Butter, Käse), (Butter, Wurst), (Milch, Butter, Fisch) 5 Milch, Butter, Käse, Wurst, Fisch 50 % (3 mal gekauft) (Milch, Wurst), (Käse, Fisch), (Wurst, Fisch), 6 Butter, Käse, Wurst (Milch, Butter, Wurst), (Milch, Wurst, Fisch), (Butter, Käse, Fisch), (Butter, Wurst, Fisch), (Milch, Butter, Wurst, Fisch) Assoziatiosregel mit Cofidece = 100% Milch Butter (4/4) Milch,Butter Fisch (4/4) Wurst, Fisch Butter (3/3) Milch Fisch (4/4) Milch Butter, Fisch (4/4) Käse Butter (4/4) Wurst Butter (4/4) Milch,Wurst Butter (3/3) Milch,Wurst Fisch (3/3) Milch,Fisch Butter (4/4) Käse, Fisch Butter (3/3) Milch, Käse Butter, Fisch (3/3) Wurst, Fisch Milch, Butter (3/3) Milch, Butter, Wurst Fisch (3/3) Milch, Wurst, Fisch Butter (3/3) Fisch Butter (5/5) Wurst, Fisch Milch (3/3) Butter, Wurst, Fisch Milch (3/3) Assoziatiosregel mit Cofidece zwische 80% ud 100% Fisch Milch (4/5) Butter Fisch (5/6) Fisch Milch, Butter (4/5) Abbildug 2.8: Beispieldatebak ud Assoziatiosregel mit eier Midest- Cofidece vo 80% (siehe [ZO98], S. 2) I der obere like Tabelle der Abbildug 2.8 sid sechs beispielhafte Eikäufe vo Lebesmittel aufgelistet. I der obere rechte Tabelle wird jede mögliche Mege agegebe, die eie miimale Support vo 50% besitzt, demach Mege vo Lebesmittel, die bei midestes der Hälfte der Trasaktioe (midestes drei) zusamme gekauft wird. Im utere Teil sid die Assoziatiosregel agegebe, die midestes eie Cofidece vo 80% besitze. Dies bedeutet, dass i midestes 80% aller Fälle, we die Prämisse eitrat, d. h. die Lebesmittelmege vor dem Pfeil gekauft wird, es zur Koklusio, folglich zum Erwerb der Lebesmittelmege hiter dem Pfeil kommt. Die erste Regel besagt: Wa immer Milch gekauft wird, zu 100% auch Butter gekauft wird. 24

25 Theoretische Betrachtug der Werkzeuge des Bereichs WED Beschreibug des Lösugsasatzes Nachfolged wird der Basisalgorithmus am Beispiel der Utersuchug vo Supermarktwarekörbe erläutert. Es werde alle Waregruppe gesucht, die mit adere Waregruppe zusamme gekauft werde. Hierbei muss der Kauf der Waregruppe häufig geug vorkomme, damit Aussage sigifikat getroffe werde köe. Als Ergebis wird vo alle Eikäufe, i dee die erste Waregruppe vorkommt, prozetual agegebe, wie oft die zweite Waregruppe gekauft wird. Der Vorteil des Algorithmus besteht dari, dass auch Massedate heutiger Datebaksystem effiziet aalysiert werde köe. Die formale Problemdefiitio ist im Ahag Formale Problemdefiitio vo Assoziatiosregel auf Seite 92 zu fide. Die Aufgabe des Algorithmus lautet: Fide alle Assoziatiosregel, dere Support eier Regel ud dere Support MiSupport Cofidece MiCofidece ist. Hierbei bezeichet der, die Azahl der Trasaktioe, bei dee A ud B zusamme gekauft wurde. Die Cofidece eier Regel bezeichet das Verhältis, wie oft A ud B zusamme gekauft werde, zu de Trasaktioe i dee A gekauft wird. Der Support liefert daher eie Asatzpukt über die Aussagefähigkeit der Regel, währed die Cofidece eie Aussage darüber trifft, wie groß die Wahrscheilichkeit für das Eikaufsverhalte ist. Eie Mege wird als frequet bezeichet, we der Support der Mege über dem Wert A B MiSupport liegt. Die Algorithme zur Berechug vo Assoziatiosregel, beschäftige sich hauptsächlich mit dem Problem der Ermittlug des Supports der Mege, die frequet sid. Mit der Iformatio über de Support lasse sich alle Assoziatiosregel ud dere Cofidece ohe größere Aufwad ermittel. Daher wird zuerst ei Algorithmus beschriebe, der alle frequete Mege ud dere Support berechet. Aschließed wird gezeigt, wie daraus Assoziatiosregel ermittelt werde. Algorithmus Apriori Der Algorithmus Apriori berechet für alle mögliche Waremege der Reihe ach, wie oft diese i de Trasaktioe ethalte sid. Hierbei wird zuerst die Azahl der Trasaktioe mit eier bestimmte Ware berechet. Dies ist gleichbedeuted mit der Frage: Wie oft wurde eie bestimmte Ware gekauft? Des Weitere werde die Häufigkeite vo Trasaktioe mit zwei bestimmte Ware für alle Kombiatioe berechet usw. 25

26 Theoretische Betrachtug der Werkzeuge des Bereichs WED Der folgede Algorithmus utzt die Tatsache, dass alle Utermege eier Mege, die frequet ist, ebefalls frequet sid. Zwei Optimieruge sid hierdurch realisierbar: 1. Neue Mege mit Elemete köe aus de frequete Mege der Größe -1 ermittelt werde. 2. Mege, die eie Utermege habe, die icht frequet ist, köe ebefalls icht frequet sei ud werde daher gelöscht. Für weitere Iformatioe siehe [ZO98]. Algorithmeaufbau zur Berechug der Sigifikaz der Waregruppe Der Algorithmus berechet aus de frequete Mege mit k-1 Elemete, die frequete Mege mit k Elemete. Zu Begi werde daher die frequete Mege der Größe eis durch achzähle ermittelt. Sid alle frequete Mege der Größe k-1 bekat, werde alle Kombiatioe vo Mege gebildet, die k-2 Elemete gemeisam habe. Aus diese beide Mege werde eue Mege gebildet, die geau k Elemete besitze. Weiterhi wird jeder dieser Kadidate überprüft, ob jede seier Utermege zu de bekate frequete Mege der Größe k-1 gehört. Gibt es eie Utermege, die icht frequet ist, ka der Kadidat selber icht mehr frequet sei ud wird icht weiter betrachtet. Nu werde alle verbleibede Kadidate durchgezählt, wobei die icht frequete gelöscht werde. Algorithmus zur Berechug der Kausalität der Regel 1. Bereche für jede Mege Y für k = 2,, ud jeder Utermege X Y die Cofidece der Regel X ( Y X) = L k Support( Y) Support( X) 2. Falls Support MiSupport gilt, geügt die Regel de Aforderuge ud ka ausgegebe werde Erweiteruge des Basisalgorithmus I de folgede Jahre sid mehrere Erweiteruge zu dem obe beschriebee Basisalgorithmus veröffetlicht worde. Eiige Beispiele vo Erweiteruge folge i de ächste Abschitte. 26

27 Theoretische Betrachtug der Werkzeuge des Bereichs WED Itegratio vo Gliederugsiformatioe Gliederugsiformatioe, wie i Abbildug 2.9 dargestellt, helfe die Date ud Regel aussagekräftiger zu gestalte, idem Aussage über höhere Gliederugsebee getroffe werde köe. Z. B. ist die Aussage 50% der Leute, die Milch kaufe, kaufe auch Brot allgemeier ud daher wertvoller, als die Aussage 50% der Leute, die 500 ml H-Milch der Marke y kaufe, kaufe auch Soeblumebrot 500 gr. Esse Kleidug Schuhe Milch Brot... Jacke T-Shirts Stiefel Sadale... 2% Fettgehalt Schokolade Schwarzbrot... Weissbrot Leder Textil Abbildug 2.9: Beispielsgliederug (siehe [HF95a], S. 4) Itegratio vo Metaregel Metaregel, wie i Abbildug 2.10 dargestellt, erlaube es Filter zu bestimme, um ur die Regel zu erkude, die für de Aweder iteressat sid. Zum Beispiel: Suche alle Regel über bayrische Studete, die vom Studiefach ud eier adere Eigeschaft auf bestimmte Eigeschafte schließe lasse. Hierbei sid die Eigeschafte Studiefach, Abschlussote, Geburtsort, Vordiplomsote ud Adresse vo Iteresse (siehe [HF95b]). Etdecke Regel i der Form: Studiefach(s : Studet,x) Q(s,y) R(s,z) From Studets Where Geburtsort = Bayer I relevace to Studiefach, Abschlussote, Geburtsort, Vordiplomsote ud Adresse Beispielsregel: Studiefach(s, BWL ) Vordiplomsote(s, 1 ) Abschlussote(s, 1 ) Abbildug 2.10: Beispiel vo Metaregel 27

28 Theoretische Betrachtug der Werkzeuge des Bereichs WED Ausschließede Assoziatioe Das Kozept der ausschließede Assoziatioe, dargestellt i Abbildug 2.11, erweitert die Azahl möglicher Regel durch die Eibettug vo Negatioe. Hierdurch sid Erketisse möglich wie: 50 % der Leute, die Milch ud keie Corflakes kaufe, kaufe Haferflocke. Diese Erweiterug des Verfahres bedeutet eie erhebliche Verschlechterug der Laufzeit, da die Mege möglicher Regel expoetiell asteigt (siehe [AFK97]). S 1 S 2 S 3 Beispiel : Milch Corflakes Haferflocke Abbildug 2.11: Beispiel vo ausschließede Assoziatioe Laufzeite ud Effiziez vo Assoziatiosregel Obwohl der Algorithmus i der Lage ist viele Kadidate zu elimiiere, ist die Worst- Case Laufzeit expoetial, wie i Abbildug 2.12 zu sehe ist. Grud hierfür ist, dass prizipiell alle Mege vo Elemete für eie Assoziatiosregel geeiget sid. Eie prizipiell geeigete Mege muss gezählt werde. Die Laufzeit ergibt sich aus dem Zusammehag, dass die Azahl der mögliche Mege expoetial zur Azahl der Elemete ist. Abbildug 2.12: Beispiele vo Laufzeite im Verhältis zum miimale Support (siehe [HF95a]) 28

29 Theoretische Betrachtug der Werkzeuge des Bereichs WED Die Assoziatiosregel werde vollstädig ermittelt, allerdigs köe durch diese Regel icht alle mathematische Zusammehäge dargestellt werde, wie zum Beispiel: f( x 1, x 2 ) = x 1 x 2. Wird jedoch die Erweiterug der ausschließede Assoziatioe berücksichtigt, so ka jeder biäre mathematische Zusammehag dargestellt werde. 2.5 Neuroale Netze Neuroale Netze köe beliebige fuktioale Zusammehäge modelliere ud erlere, falls geüged Neuroe vorhade sid. Die Nachteile bei diesem Verfahre sid: 1. Der Leralgorithmus ka suboptimale Ergebisse liefer. 2. Das Modell des euroale Netzes lässt sich schwer utersuche ud aalysiere. 3. Die richtige Azahl ud die Aordug der Neuroe ist etscheided für das Ergebis. Zu weig Neuroe köe zur Folge habe, dass Zusammehäge icht erlert werde. Bei zu viele Neuroe besteht die Gefahr, dass das euroale Netz die Werte ur auswedig lert ud icht geüged geeralisiert. Neuroale Netze werde i dieser Arbeit ausschließlich als prüfedes Verfahre eigesetzt. Durch die hohe Flexibilität köe euroale Netze Zusammehäge repräsetiere, die mit adere Modelle schwer zu modelliere sid. Hierbei ergebe sich durch eie Utersuchug mit euroale Netze Ahaltspukte, wie gut sich die Date eiorde bzw. erkläre lasse Historische Eiordug Der Bereich Neuroale Netze wurde scho seit der erste Bearbeitug zu diesem Thema vo McCulloch ud Pitts [MP43] aus zwei Blickwikel betrachtet. Aus der mathematisch algorithmische Sicht sid euroale Netze eie Methode, um mathematische Fuktioe zu repräsetiere, die aus Beispiele erlert werde. Aus der biologische Sicht sid euroale Netze eie stark vereifachte Repräsetatio vo Neuroe; de Zelle, welche eie Hauptateil a der Iformatiosverarbeitug des Gehirs überehme. I de letzte Jahre ist der biologische Asatz immer weiter i de Hitergrud getrete, da die stark vereifachte Repräsetatio mit de realistische Abläufe im Gehir zu weig Gemeisamkeite aufweist. 29

30 Theoretische Betrachtug der Werkzeuge des Bereichs WED Multilayer Feed-Forward Networks 1957 beschreibt Roseblatt [Ros57] Netze, i dee Neuroe zu eier beliebige Azahl vo Schichte miteiader verküpft werde. Die erste Schicht (Eigabeschicht) empfägt Sigale, wertet diese aus ud gibt sie a die ächste Schicht weiter. Schicht für Schicht werde die Sigale so bis zur letzte Ausgabeschicht weitergegebe. Allerdigs kozetrierte sich die damalige Arbeit auf die Sigle-Layer Perceptros, die ur aus eier Eigabe- ud Ausgabeschicht bestehe, da gute Lerregel für versteckte Ebee schwierig zu fide sid. Erst 1969 wird vo Bryso ud Ho eie Lermethode für Multilayer Feed-Forward Netzwerke gefude, die uter dem Name Back-Propagatio bekat wird (siehe [BH69]). Aufbau eies Neuros Ei Neuro, wie i Abbildug 2.13 dargestellt, empfägt Sigale vo adere Neuroe, die durch die Verbiduge verstärkt oder abgeschwächt werde. a j w ij, Abbildug 2.13: Aufbau eies Neuros (siehe [RN95], S. 568) I der Eigagsfuktio werde diese berechet, i der Aktivierugsfuktio ausgewertet ud als Ausgabe a die achfolgede Neuroe weitergegebe. Aufbau eies euroale Feed-Forward-Netzes Die Abbildug 2.14 zeigt ei dreischichtiges Netz, wobei die Iformatioe vo liks ach rechts über die Verbiduge weitergegebe werde. Jedes Neuro verarbeitet die vo liks kommede Eigabe, idem diese aufsummiert werde ud über eie Schwellwertfuktio bestimmt wird, ob die Eigabe zur Aktivierug des Neuros ausreiche. Hierbei ka jeder Pfeil, sprich Verbidug, die Iformatioe verstärke oder abschwäche. Die formale Defiitio eies euroale Netzes fidet sich im Ahag Formale Defiitio eies euroale Netzes auf Seite

31 Theoretische Betrachtug der Werkzeuge des Bereichs WED Abbildug 2.14: Beispiel des Aufbaus eies euroale Netzes Ei vereifachtes euroales Netz als Beispiel für die XOR-Fuktio Abbildug 2.15: Beispiel eies euroale Netzes, welches die XOR-Fuktio repräsetiert Die Werte a de Pfeile i der Abbildug 2.15 bezeiche Gewichte, währed diejeige i de Kreise Bias-Werte darstelle, die zu der jeweilige Summe der Eigagswerte addiert werde. Ist die Summe der Eigagswerte größer Null, wird eie Eis weitergegebe sost eie Null. 31

32 Theoretische Betrachtug der Werkzeuge des Bereichs WED Backpropagatio Die Grudidee bei der Backpropagatio liegt i der Miimierug der Fehlerfuktio. 1 E = -- t 2 ( i o i ) 2 t i i N Hierbei bezeichet das aktuelle Testmuster ud die aktuelle Ausgabe des euroale Netzes. Für de folgede Leralgorithmus gibt es zwei prizipielle Erklärugsmethode. Eierseits lässt sich zeige, dass ach dem Prizip der Ursache Fehler weitergegebe werde ud je achdem, welche Werte a dem Fehler beteiligt sid, diese geädert werde. Adererseits existiert eie mathematische Sichtweise, mit der achgewiese werde ka, dass sich der Algorithmus a der Fehlerfuktio ach ute etlag hagelt, bis ei Miimum erreicht wird. o i y Steigug = y x y x Abbildug 2.16: Miimierug des Fehlers durch Gradiet Descet x Diese Vorgehesweise wird als Gradiet Descet bezeichet (siehe Abbildug 2.16). Aus mathematischer Sicht wird klar, dass dies ei lokales Miimum sei ka ud icht zwiged ei globales ist. Erklärug ach dem Prizip der Ursache Die folgede Erkläruge zum Algorithmus stamme vo [Gur97]. Es stellt sich die Frage: Iwieweit war das Gewicht beim aktuelle Durchgag veratwortlich für de Fehler? 32

33 Theoretische Betrachtug der Werkzeuge des Bereichs WED Gewichtsäderug für Gewichte zwische der vorletzte ud letzte Schicht. Liegt das Gewicht zwische eiem Kote der vorletzte Schicht ud eiem Kote der Ausgabeschicht wird es um folgede Wert korrigiert: w ji = ηδ i o j δ i = ( t i o i )ϒ i '( NET i ) falls i ei Ausgabeeuro ist Die Gewichtsäderug hägt vo de Faktore,, ud ab. Sie lässt sich ach dem Prizip der Ursache folgedermaße erkläre: η ist ei Faktor für die Stärke der Gewichtsveräderug i eiem Schritt. Je größer η ist, umso größer fällt auch die Gewichtsveräderug aus. Dieser Faktor wird zu Begi des Lervorgags vom Beutzer festgelegt. η ( t i o i ) ϒ i '( NET i ) o j ist die Agabe über die Größe des Fehlers. Ist ( ) = 0, gibt es für dieses ( t i o i ) t i o i Gewicht keie Fehler. Demzufolge ist die Gewichtsveräderug ebefalls gleich Null. ( ) liefert eie Agabe über de Teil der Aktivierugsfuktio (siehe ϒ i ' NET i Abbildug 2.17), i dem ma sich ierhalb des Kotes befidet. 1,00 0,90 0,80 0,70 0,60 Aktivierugsfuktio 0,50 0,40 0,30 Ableitug der Aktivierugsfuktio 0,20 0,10 0,00-1,00-0,80-0,60-0,40-0,20 0,00 0,20 0,40 0,60 0,80 1,00 Abbildug 2.17: Beispiel eier Aktivierugsfuktio ud ihrer Ableitug Ist der Wert klei, befidet ma sich am Rad ud eie Äderug des Wertes keie große Eifluss auf das Ergebis. Ist der Wert higege groß, befidet ma sich i der Mitte ud kleie Äderuge vo habe große Auswirkuge. Dies spiegelt eie Rolle des Gewichtes wieder. Habe Äderuge i dem Gewicht große Auswirkuge, trägt es eie starke Veratwortug für de Fehler. Habe Äderu- o j o j hat 33

34 Theoretische Betrachtug der Werkzeuge des Bereichs WED ge dagege sehr gerige Auswirkuge, trägt das Gewicht kaum Veratwortug für de Fehler. Adererseits wird hierdurch der bisherige Lererfolg mit eibezoge. Ei kleier Wert ud dadurch eie Positio am Rad, lässt auf eie Lereffekt bezüglich der zuvor gelerte Muster schließe. Um diese Lereffekt zu berücksichtige, sollte die Äderuge gerig ausfalle. Ei großer Wert ud damit eie Positio i der Mitte, lässt darauf schließe, dass och icht viele Muster erlert worde sid bzw. das Neuro für die bisherige Muster keie große Rolle spielt. Demgemäß sollte dieses stärker verädert werde. ist der Ausgagswert des Kotes der vorletzte Schicht. Beträgt dieser Null, ka o j das Gewicht icht zur Erklärug des Fehlers heragezoge werde, weil es icht berücksichtigt worde ist. Daher ist eie Äderug icht sivoll. Ist der Wert higege groß, steigt die Bedeutug des Gewichtes. Gewichtsäderug für alle adere Gewichte. Liegt das Gewicht zwische zwei Kote der versteckte Schichte, wird es um folgede Wert korrigiert: w ji = ηδ i o j δ i Die Gewichtsveräderug leitet sich zum große Teil aus de obe begrüdete Faktore ab. Allei der Faktor = ϒ i '( NET i ) δ j ω ij mit i N k ud k< h, falls i kei Ausgabeeuro ist. j N h t i ( ) o i als direkt messbarer Wert der Fehlergröße, wird für Neuroe der versteckte Schicht durch δ j ω ersetzt. Die zu beatwortede Frage j N h i lautet: Wie wirkt sich die Ausgabe des Neuros auf die Fehler aus, die i der Ausgabeschicht etstehe? Hierzu wird eie eizele Verbidug des Neuros Nachfolgeeuro j betrachtet (siehe Abbildug 2.18). k mit seiem j w j k k Abbildug 2.18: Verbidug zweier Neuroe 34