Hochschule Wismar. Fachbereich Wirtschaft. Diplomarbeit

Transkript

1 Hochschule Wismar Fachbereich Wirtschaft Diplomarbeit Web Log Mining - Analyse der Eignung von Data Mining-Verfahren zur Auswertung von internetbasierten Nutzungsdaten und Unterstützung von unternehmerischen Entscheidungen bei der Optimierung von Internetangeboten Diplomarbeit zur Erlangung des Grades eines Diplom-Wirtschaftsinformatiker (FH) der Hochschule Wismar eingereicht von: Betreuer weitere Gutachter Norman Wahnschaff geboren am 18. März 1979 in Magdeburg Studiengang Wirtschaftsinformatik, WI 1998 Prof. Dr. rer. nat. Jürgen Cleve Prof. Dr. oec. Erhard Alde Schwerin, d. 21. Januar 2003

2 II

3 Kurzreferat In dieser Arbeit wird die Anwendbarkeit von Data Mining-Verfahren zur Untersuchung des Verhaltens der Besucher von Webpräsenzen, anhand ihrer internetbasierten Nutzungsdaten, analysiert und auf ihre unterstützende Wirkung auf betriebswirtschaftliche Entscheidungen im Kontext der Optimierung der Webpräsenz geprüft. Die Auswertung dieser Daten wird unter dem Einsatz von Data Mining-Konzepten vorgenommen. Diese Konzepte werden theoretisch fundiert und auf ihre Übertragbarkeit auf praktische Problemfälle geprüft. In diesem Rahmen werden Softwareprodukte vorgestellt, die die Auswertung der Besuchernutzungsdaten unterstützen. Die Analyseergebnisse sollen die Grundlage für eine Optimierung des Internetangebotes in wirtschaftlicher und ergonomischer Hinsicht bilden. III

4 IV

5 Inhaltsverzeichnis 1. Einleitung Motivation Inhaltsübersicht Knowledge Discovery in Databases und Data Mining Begriffsdefinitionen und -abgrenzung KDD-Prozess Datenselektion Datenvorbereitung Datentransformation Data Mining Evaluation und Interpretation Web Log Mining Begriffsdefinitionen und -abgrenzung Datenschutz Datenkomponenten Server-Logdateien Access-Logdatei Error-Logdatei Referrer-Logdatei Agent-Logdatei Extended Logfile-Format Cookies Aufbau Anwendungen Technische Probleme Caching Proxy-Server Dynamische Internetadressen Messgrößen Prozess des Web Log Mining Datengenerierung Datenselektion Transaktionsidentikation und Datentransformation Transaktionsidentikation V

6 Inhaltsverzeichnis Datentransformation Data Mining Aufgaben des Data Mining Verfahren des Data Mining Clusteranalyse Neuronale Netze Entscheidungsbauminduktion Assoziationsanalyse Pfad- und Sequenzanalyse Deskriptive Statistik Evaluation und Interpretation Vorstellen von Data Mining-Programmen im Kontext des Web Log Mining Websuxess XAffinity KnowledgeStudio Web Log Mining der PLANET internet commerce GmbH-Homepage Datengenerierung Datenselektion Transaktionsidentifikation und Datentransformation Transaktionsidentifikation Datentransformation Data Mining Clusteranalyse Entscheidungsbauminduktion Neuronale Netze Assoziationsanalyse Pfadanalyse Deskriptive Statistik Evaluation und Interpretation Clusteranalyse Entscheidungsbauminduktion Neuronale Netze Assoziationsanalyse Pfadanalyse Deskriptive Statistik Zusammenfassung Fazit und Ausblick 105 A. Thesen 111 VI

7 Tabellenverzeichnis 3.1. Vergleich der KDD-Definition mit der Web Log Mining-Definition Web Log Mining-Definition Wichtige Statuscodes Überblick der Logdatei-Informationen Logdateieintrag eines Seitenabrufs Logdateieintrag eines Seitenabrufs mit eingebetteten Elementen Logdateieinträge mit unterschiedlichen Übertragungsmethoden Fehlerhafter Ressourcenabruf Verfälschende Elemente in Logdateien Aufspaltung zusammengesetzter in einzelne Attribute Transaktionsidentifikation mittels Vergleich von Internetadresse und Agentfeld Transaktionen mittels Vergleich von Internetadresse und Agentfeld Exemplarische Logdatei Transaktionsidentifikation mit einem Zeitfenster Datenmatrix Kodierung des Transaktionsfeldes Ermittlung der Referenzdauer Diskretisierung der Verweildauer Bereiche der PLANET GmbH-Homepage Umfang der PLANET GmbH-Logdateien Doppelte Logdateieinträge Unangereicherte Transaktionsdaten Angereicherte Transaktionsdaten Zusätzliche Attribute mit Hilfe von Identifizierungsmechanismen Datenbasis für die Assoziationsanalyse Ergebnisse der Clusteranalyse Verteilung der Ausprägungen des Attributs Besucherverhalten Ausprägungsverteilung in Trainings- und Validierungsmenge (Verhältnis 50/50) Vorhersageergebnisse der Entscheidungsbauminduktion (Verhältnis 50/50) Ausprägungsverteilung in Trainings- und Validierungsmenge (Verhältnis 70/30) Vorhersageergebnisse der Entscheidungsbauminduktion (Verhältnis 70/30) Vorhersageergebnisse der Neuronalen Netze Häufigste Assoziationsregeln Häufigste Pfade Traffic nach Wochentagen VII

8 Tabellenverzeichnis 7.18.Die beliebtesten Ressourcen Vorhergesagte und tatsächliche Gruppenverteilung mit der Entscheidungsbaumvorhersage Vorhergesagte und tatsächliche Gruppenverteilung mit Neuronalen Netzen Interessante Assoziationsregeln Dokumente, die die Besucher zum Anklicken des Kontaktformulars animiert haben VIII

9 Abbildungsverzeichnis 2.1. KDD-Prozess Taxonomie des Web Log Mining Konzept der serverseitigen Protokollaufzeichnung Ausschnitt einer typischen Logdatei im CLF-Format Ausschnitt einer typischen Logdatei im ELF-Format Ausschnitt einer Logdatei im ELF-Format mit Kennungsfeld Caching-Mechanismus Funktionsweise eines Proxy-Servers Hierarchie der Messgrößen Web Log Mining-Prozess Data Mining-Ziele und Data Mining-Aufgaben Data Mining-Aufgaben und Data Mining-Verfahren Clusteranalyse von Besuchern Schema eines Neurons Darstellung eines Neuronalen Netzes Neuronales Netz für die Vorhersage des Besucherverhaltens Ergebnisnetz für die Vorhersage des Besucherverhaltens Exemplarischer Entscheidungsbaum Navigationspfad einer Transaktion Beispielchart von täglichen Page Views Oberfläche von Websuxess Oberfläche von XAffinity Segmentansicht einer Datenmenge mit KnowledgeStudio Entscheidungsbaum des KnowledgeStudios Homepage der PLANET internet commerce GmbH Traffic nach Stunden Beziehungen zwischen HTML-Dokumenten Beziehungen zwischen HTML-Dokumenten Beziehungen zwischen HTML-Dokumenten Häufigste Klickpfade Aufrufmöglichkeit des Kontaktformulars aus einem Produktbereich IX

10 Abbildungsverzeichnis X

11 Abkürzungsverzeichnis Abb. Abs. AG AOL Art. ASCII Bd. BDSG Bit bzw. ca. CD CERN CGI CHAID CART CLF CMS CSS CSV d.h. DIN DNS DSL e.v. E-Commerce ELF GIF GmbH GMT Hrsg. HTML HTTP HTTPS i.a. ICANN Abbildung Absatz Aktiengesellschaft America Online Artikel American Standard Code for Information Interchange Band Bundesdatenschutzgesetz Binary Digit beziehungsweise circa Compact Disc Conseil Europeén pour la Recherche Nucléaire Common Gateway Interface Chi-Squared Automatic Interaction Detection Classification and Regression Trees Common Logfile Content-Management-System Cascading Stylesheets Comma Separated Values das heißt Deutsches Institut für Normung Domain Name System Digital Subscriber Line eingetragener Verein Electronic Commerce Extended Logfile Electronic Mail Graphic Interchange Format Gesellschaft mit beschränkter Haftung Greenwich Meridian Time Herausgeber Hypertext Markup Language Hypertext Transfer Protocol Hypertext Transfer Protocol Secure im allgemeinen The Internet Corporation for Assigned Names and Numbers XI

12 Abbildungsverzeichnis i.d.r. in der Regel ID Identifer ID3 Interactive Dichotomiser 3 IIS Internet Information Server IP Internet Protocoll ISP Internet Service Provider IuK Information und Kommunikation IuKDG Informations- und Kommunikationsdienstegesetz IVW Informationsgemeinschaft zur Feststellung der Verbreitung von Werbeträgern e.v. Jg. Jahrgang JPG Joint Photographic Expert Group KB Kilobyte KDD Knowledge Discovery in Databases KI Künstliche Intelligenz LAN Local Area Network MB Megabyte Min. Minuten NCSA National Center for Supercomputing Applications Nr. Nummer o.v. ohne Verfasser ODBC Open Database Conncetivity PDF Portable Document Format PNG Portable Network Graphic ROI Return on Investment RFC Request for Comment S. Seite SQL Structured Query Language SSL Secure Sockets Layer Tab. Tabelle TDDSG Teledienstdatenschutzgesetz TDG Teledienstgesetz u.a. unter anderem u.u. unter Umständen u. und überarb. überarbeitete URL Uniform Resource Locator VD Verweildauer vgl. vergleiche W3C World Wide Web Consortium WI Wirtschaftsinformatik Win Windows WWW World Wide Web z.b. zum Beispiel z.t. zum Teil XII

13 1. Einleitung 1.1. Motivation Das Internet hat sich in den letzten Jahren zu einem bedeutenden Medium für die Abwicklung geschäftlicher Prozesse entwickelt. Da die Webpräsenz eines Unternehmens immer häufiger den ersten Kontakt zwischen einem potentiellen Kunden und dem Unternehmen herstellt, hat sie stark an Bedeutung gewonnen. Gerade in einem so stark umkämpften Markt wie dem Internet, ist es von immenser Bedeutung sich Wettbewerbsvorteile gegenüber der Konkurrenz zu verschaffen, denn der Kunde ist nur einen Mausklick von dem nächsten Angebot entfernt. Unternehmungen, die über eigene Webpräsenzen verfügen, sammeln automatisch Nutzungsdaten in sogenannten Logdateien über die virtuellen Besuche ihrer (potentiellen) Kunden. Die hierbei anfallenden Daten werden aber häufig nur unzureichend verwertet. Da sich die Nutzungsdaten aus wirtschaftlichem Hintergrund auf das Verhalten von Marktpartnern beziehen, sind sie zur Unterstützung wirtschaftlicher Entscheidungen von großer Bedeutung. Das Management muss wissen, wer die Website besucht und, was noch wichtiger ist, wer etwas kauft bzw. warum nichts gekauft wird. Websites werden heute als Investition gesehen und müssen ihre Notwendigkeit, wie jede andere Marketinginvestition, begründen. Je mehr man darüber weiß, wie viele Kunden die Website besuchen, wer sie sind und für welche Bereiche sie sich interessieren, desto mehr wird die Website davon profitieren. Werden diese Informationen zur Optimierung der Website genutzt und mit anderen gängigen Marketingaktivitäten verbunden, kann der gesamte Internetauftritt stark verbessert werden. Einen Ansatzpunkt, um diese Nutzungsdaten effektiv verwenden zu können, liefern dabei die Konzepte des Knowledge Discovery in Databases und Data Mining. Vor dem internetbasierten Hintergrund der Datenanalyse wird dieser Sachverhalt als Web Log Mining bezeichnet. Diese Arbeit beschäftigt sich mit der Untersuchung von Data Mining-Verfahren zur Auswertung von internetbasierten Nutzungsdaten (Logdateien) und deren Nutzen zur Unterstützung unternehmerischer Entscheidungen im Kontext der Optimierung von Internetangeboten. In diesem Rahmen werden zunächst die konzeptionellen Grundlagen für die Datenanalyse untersucht. Darauf aufbauend wird geprüft, ob diese Konzepte wirksam auf das Gebiet des 1

14 Kapitel 1. Einleitung Web Log Mining anwendbar sind. In diesem Zusammenhang werden Softwareprodukte vorgestellt, die bei der Lösung der Analyseprobleme Anwendung finden. Abschließend wird die Übertragbarkeit dieser Konzepte auf praktische Problemstellungen und deren Nutzen zur Unterstützung unternehmerischer Entscheidungen bezüglich der Verbesserung des Internetangebotes analysiert. Die Untersuchungsergebnisse sollen die Grundlage für eine Optimierung von Internetangeboten in wirtschaftlicher und ergonomischer Hinsicht bilden Inhaltsübersicht Zunächst werden die konzeptionellen Grundlagen für die Datenanalyse untersucht. In diesem Rahmen wird im zweiten Kapitel, Knowledge Discovery in Databases und Data Mining, ein inhaltlicher Bezugsrahmen, mit der Definition von Knowledge Discovery in Databases und Data Mining, für das Web Log Mining geschaffen. Auf dieser Basis erfolgt im dritten Kapitel, Web Log Mining, die Definition und prozessorientierte Darstellung des Web Log Mining. Dabei werden auch die rechtlichen Rahmenbedingungen betrachtet. Im vierten Kapitel, Datenkomponenten, wird auf die Datenkomponenten, die die Datenbasis des Web Log Mining bilden, eingegangen. In diesem Zusammenhang werden technische Probleme aufgezeigt und die Messgrößen vorgestellt. Im Rahmen des fünften Kapitels, Prozess des Web Log Mining, erfolgt die detaillierte Definition und prozessorientierte Darstellung der einzelnen Phasen des Web Log Mining. Hierbei werden Data Mining-Verfahren dargestellt, die im weiteren Verlauf der Arbeit Anwendung finden. Im sechsten Kapitel, Vorstellen von Data Mining-Programmen im Kontext des Web Log Mining, werden Data Mining-Produkte vorgestellt, die im Rahmen dieser Arbeit eingesetzt werden. Der praxisorientierte Teil der Arbeit folgt in Kapitel sieben, Web Log Mining der PLANET internet commerce GmbH-Homepage. Dabei wird das in Kapitel drei und fünf theoretisch fundierte Web Log Mining-Konzept auf seine praktische Anwendbarkeit geprüft. In diesem Zusammenhang wird die in Kapitel sechs vorgestellte Data Mining-Software, mit den internetbasierten Nutzungsdaten der Internetpräsenz der Planet internet commerce GmbH, eingesetzt. Am Ende des siebten Kapitels erfolgt eine Zusammenfassung der Analyseergebnisse und eine Beurteilung der praktischen Bedeutung dieser Resultate. Das achte Kapitel, Fazit und Ausblick, gibt eine abschließende Zusammenfassung der Untersuchungsergebnisse der Arbeit. Es erfolgt eine Bewertung des Web Log Mining-Konzeptes und deren Nutzen zur Unterstützung unternehmerischer Entscheidungen bezüglich der Ver- 2

15 1.2. Inhaltsübersicht besserung des Internetangebotes. Dabei werden auch Möglichkeiten aufgezeigt, wie die Analyseergebnisse des Web Log Mining bei zukünftigen Projekten Anwendung finden können. Anhang A, Thesen, rundet die Arbeit, mit abschließenden Feststellungen bezüglich zur Analyse der Eignung von Data Mining-Verfahren zur Auswertung von internetbasierten Nutzungsdaten und Unterstützung von unternehmerischen Entscheidungen bei der Optimierung von Internetangeboten, ab. 3

16 Kapitel 1. Einleitung 4

17 2. Knowledge Discovery in Databases und Data Mining 2.1. Begriffsdefinitionen und -abgrenzung Die Anzahl und Größe der weltweit routinemäßig anfallenden Datensammlungen und Datenbanken nimmt ständig zu. Es wird geschätzt, dass sich die weltweit vorhandene Datenmenge alle 20 Monate verdoppelt - bei Datenbanken ist die Rate wahrscheinlich noch höher 1. Viele dieser Datenbanken speichern riesige Datenmengen mit Tausenden oder Millionen von Datensätzen. Die Daten werden ursprünglich meist für andere Zwecke als die Verwendung in Data Mining-Systemen erfasst und routinemäßig archiviert. Sie resultieren aus verschiedenen Erfassungsprozessen, und oft ist der Grund für ihre Speicherung, die ausreichend zur Verfügung stehende, preisgünstige Speicherkapazität. Ausgangspunkt für die Entwicklung der Konzepte des Data Mining und des Knowledge Discovery in Databases (KDD) ist diese Informationsflut. Wie oft bei jungen Forschungsrichtungen, ist das Begriffsverständnis zu Beginn recht uneinheitlich. Während sich in der englischsprachigen Literatur bspw. eine deutliche Abgrenzung der Begriffe Knowledge Discovery in Databases und Data Mining findet, werden beide aufgrund einer inhaltlichen Deckungsgleichheit im Deutschen oft synonym gebraucht 2. Im Folgenden soll versucht werden beide Begriffe voneinander zu differenzieren und zu definieren. Der Begriff Data Mining wurde vorwiegend von Statistikern, Datenanalysten und der Management-Informationssystem-Gemeinde, KDD von den Vertretern für Künstliche Intelligenz und dem Maschinellen Lernen verwendet 3. Fayyad schlug 1996 eine heute weithin anerkannte Definition vor, in der die beiden Begriffe getrennt wurden 4 : Knowledge Discovery in databases is the non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data. 1 [MENA00] S. 63 ff. 2 [WIED01] S Vgl. [KÜPP99] S [FAYY96] S. 6 und S. 9 5

18 Kapitel 2. Knowledge Discovery in Databases und Data Mining Data Mining is a step in the KDD-Process consisting of particular data mining algorithms that, under some acceptable computational efficiency limitations, produce a particular enumeration of patterns. Knowledge Discovery in Databases ist eine interdisziplinäre Forschungsrichtung, zu deren Entstehung und Entwicklung insbesondere die Forschungsgebiete Maschinelles Lernen, Datenbanksysteme und Statistische Datenanalyse beigetragen haben 5. Dieser in der Literatur auch als Knowledge Extraction oder Data Analysis bezeichnete Prozess ist darauf ausgerichtet, in umfangreichen Datenbeständen implizit vorhandenes Wissen zu entdecken und explizit zu machen. Der Prozessbegriff beinhaltet mehrere iterative Schritte wie Datenvorverarbeitung, Mustererkennung und Evaluation, die notwendig sind, um verwertbare Ergebnisse zu erhalten, was im nächsten Abschnitt noch einmal verdeutlicht wird. KDD bezeichnet also den gesamten Prozess der Wissensentdeckung in großen Datenbeständen, während Data Mining die Anwendung verschiedener Algorithmen zur Musterextraktion zum Inhalt hat. Die gefundenen Muster müssen für einen möglichst großen Teil der Daten Geltung haben und bislang unbekannte, potentiell nützliche und leicht verständliche Zusammenhänge in den Daten zum Ausdruck bringen. Aus den ermittelten Beziehungsmustern wird schließlich durch Interpretation und Evaluation explizites Wissen abgeleitet KDD-Prozess Im Vorfeld des KDD-Prozesses wird relevantes und bereits vorhandenes Wissen über den gewünschten Anwendungsbereich gesammelt sowie die Zielsetzung der Anwendung festgelegt. Die Analyse von Rahmenbedingungen bildet einen weiteren Bestandteil der Vorbereitung. Diese lassen sich mit Hilfe eines Lösungsszenarios herauskristallisieren. Dabei wird festgestellt, welche Optionen der KDD-Prozess beinhalten kann und welche aus finanziellen, organisatorischen oder politischen Gründen nicht in Frage kommen 7. Die Abbildung 2.1 zeigt die Schritte, die bei dem KDD-Prozess iterativ durchlaufen werden. Im Folgenden werden die einzelnen Phasen des KDD-Prozesses erläutert Datenselektion In der ersten Phase des KDD- Prozesses sind die Daten, die für die vom Anwender angeforderte Analyse benötigt werden oder geeignet erscheinen, zu bestimmen und aus den gegebenen Datenquellen zu extrahieren. Neben dem Basisdatenbestand können auch externe 5 [DÜSI98] S. 291 f., [BENS01a] S. 61 f. 6 [KIMM00] S [DAST00] S. 1 6

19 2.2. KDD-Prozess Abbildung 2.1.: KDD-Prozess, Vgl. [FAYY96] S. 10 Daten für die Analyse herangezogen werden. So bieten bspw. Adressbroker 8 Informationen an, mit denen Kunden oder Interessenten zusätzlich qualifiziert werden können. In der Phase der Datenselektion wird geprüft, welche Daten notwendig und verfügbar sind, um das gesetzte Ziel zu erreichen. Können die selektierten Daten aufgrund technischer oder rechtlicher Restriktionen nicht in einen Zieldatenbestand überführt werden, ist die Datenselektion erneut vorzunehmen 9. Technische Restriktionen, die die Überführung in einen Zieldatenbestand verhindern, sind z.b. Kapazitäts- und Datentypbeschränkungen des Zielsystems oder fehlende Zugriffsrechte des Anwenders. Eine Möglichkeit diese Probleme zu umgehen, ist die Beschränkung der Auswahl auf eine repräsentative Teildatenmenge des Gesamtdatenbestands. Jedoch können in diesem Zusammenhang verfälschte Analyseergenisse hervorgerufen werden. Bei der Verarbeitung personenbezogener Daten sind in Deutschland die rechtlichen Bestimmungen 10 des Bundesdatenschutzgesetzes zu beachten Datenvorbereitung Da die Zieldaten aus den Datenquellen lediglich extrahiert wurden, ist im Rahmen der Datenvorbereitung die Datenqualität des Zieldatenbestands festzustellen und, sofern notwendig, 8 Einen umfangreichen Überblick bietet [MENA00] S. 314 ff. 9 [BENS01a] S Vgl. Abschnitt 3.2 7

20 Kapitel 2. Knowledge Discovery in Databases und Data Mining durch den Einsatz geeigneter Verfahren zu steigern 11. Aufgrund technischer oder menschlicher Fehler können die Daten operativer Systeme fehlerhafte Elemente enthalten. In der Praxis wird damit gerechnet, das ein bis fünf Prozent der Felder des Datenbestands falsche Angaben aufweisen 12. Die Kenntnis der Schwächen der Analysedaten ist elementar für die Qualität der Untersuchungsergebnisse. Die Anwender der Analysewerkzeuge müssen auf die Zuverlässigkeit und Korrektheit der Daten vertrauen können. Fehlerhafte Daten verfälschen möglicherweise die Resultate, ohne dass der Anwender von diesen Mängeln Kenntnis erlangt, und fehlende Informationen verhindern eventuell die Berechnung wichtiger Kennzahlen. Die zunehmende Durchführung (teil-) automatisierter Datenanalysen hat eine erhöhte Anfälligkeit gegenüber Datenmängeln zur Folge, der durch geeignete Mechanismen zur Erkennung und Beseitigung solcher Schwächen zu begegnen ist 13. Eine häufige, leicht zu identifizierende Fehlerart besteht in fehlenden Werten. Zur Behandlung von fehlenden Werten stehen unterschiedliche Techniken zur Verfügung. Gängige Ersetzungsstrategien für numerische Attributausprägungen sind das Einsetzen eines Nullwertes, eines Mittel-, Maximaloder Minimalwertes oder des Medians von Attributwerten innerhalb der Grundgesamtheit, einer repräsentativen Teilmenge oder einer Klasse. Bei nichtnumerischen Attributausprägungen kann es dagegen sinnvoll sein, die häufigste Attributausprägung einzusetzen 14. Eine weitere Möglichkeit Attribute zu ersetzen, ist die nachträgliche manuelle Erhebung der fehlenden Daten, das kann aber zu einem unverhältnismäßig hohen Aufwand führen. Eine weitere potentielle Fehlerart wird durch Ausreißer 15 hervorgerufen. Dabei handelt es sich um Wertausprägungen, die deutlich vom Niveau der übrigen Werte abweichen. Bei diesen Ausprägungen kann es sich um korrekt erfasste Daten handeln, die damit Eingang in die Analyse finden oder aber um falsche Angaben, die nicht berücksichtigt werden dürfen und daher aus dem Datenbestand zu löschen sind. Die Erkenntnisse, die der Nutzer eines Data- Mining-Systems in dieser Phase über den Datenbestand gewinnt, können Hinweise auf die Verbesserung der Datenqualität der operativen Systeme geben 16. Mithilfe von geeigneten Dienstprogrammen 17 ist es möglich, ein grundlegendes Verständnis dieser Daten zu erlangen und eventuell schon neues Wissen zu ermitteln. 11 [BENS01a] S [GROB99]S [KNOB00] S. 90 f. 14 [BENS01a] S Umfassendere Informationen bietet [RUNK00] S. 17 ff. 16 [GROB99] S [MENA00] S. 188 f. stellt in diesem Zusammenhang die leistungsstarken Editoren UltraEdit-32 und Data Junction vor. 8

21 2.2. KDD-Prozess Datentransformation Die im Unternehmen verfügbaren Rohdatenbestände erweisen sich häufig in ihrer Ursprungsform nicht für Data-Mining-Analysen geeignet oder als fehlerhaft. In der Phase der Datentransformation wird der analyserelevante Zieldatenbestand in ein Datenbankschema transformiert, das von dem verwendeten Data-Mining-System verarbeitet werden kann. Dabei werden neue Attribute oder Datensätze generiert bzw. vorhandene Attribute transformiert. Dieser Schritt ist notwendig, da Analyseverfahren spezifische Anforderungen an die Datenstruktur der Eingangsdaten stellen. Ziel der Transformation ist insbesondere die Gewährleistung invarianter Datendarstellungsformen (z.b. durch Übersetzung textueller Informationen in eindeutige Schlüssel oder Kodierungen) sowie die Einschränkung von Wertebereichen zur Verringerung der Anzahl zu betrachtender Ausprägungen (Dimensionsreduktion). Letzteres kann durch Verallgemeinerung von Attributwerten auf eine höhere Aggregationsstufe, z.b. durch Nutzung von Taxonomien oder durch Bildung von Wertintervallen geschehen, wodurch sich die Granularität der Daten ändert 18. Die Transformation der Attribute wird unter Verwendung von Kodierungsverfahren durchgeführt. Dabei können neue Attribute durch Anwendung logischer oder mathematischer Operatoren auf eines oder mehrere Attribute des Zieldatenbestandes erzeugt werden. Gängige Kodierungsverfahren sind z.b. Normalisierung, Binärkodierung oder Diskretisierung, die nachfolgend kurz erläutert werden sollen: Die Binärkodierung erzeugt aus Attributen mit einer bestimmten Anzahl Merkmalsausprägungen eine Menge binärer Attribute. Jeder Merkmalsausprägung wird ein binäres Merkmal zugeordnet, das den Wert 1 annimmt, wenn die Ausprägung in einem einzelnen Datensatz vorkommt und sonst den Wert 0 besitzt 19. Dieses Verfahren kann z.b. das Attribut Kaufverhalten mit den Ausprägungen Käufer und Nichtkäufer so kodiert, das alle Käufer den Wert 1 annehmen und alle Nichtkäufer den Wert 0. Auf diese Weise kann ein qualitatives Attribut in mehrere binärkodierte Attribute überführt werden. Das Binärkodierungsverfahren bereitet qualitative Attribute für Algorithmen vor, die quantitative Eingabefolgen erfordern. Bei der Anwendung der Binärkodierung ist zu beachten, dass die Performanz der Mustererkennung durch die steigende Attributanzahl beeinträchtigt werden kann 20. Die Normalisierung ist ein Kodierungsverfahren, bei der sämtliche Merkmalsausprägungen eines Attributs auf die Werte einer stetigen, numerischen Skala (z.b. [0;1]) transformiert werden. Dabei werden alle Werte durch den ermittelten Maximalwert dividiert oder mit dem Minimalwert subtrahiert und mit dem Bereich zwischen Maximal- 18 Vgl. [KNOB00] S. 91 ff. 19 Vgl. [GRIM98] S Vgl. [BENS01a] S. 78 9

22 Kapitel 2. Knowledge Discovery in Databases und Data Mining und Minimalwert dividiert. Eine andere Normalisierungstechnik bestünde darin, den statistischen Mittelwert und die Standardabweichung der Attributwerte zu berechnen, den Mittelwert von jedem Wert zu subtrahieren und das Ergebnis durch die Standardabweichung zu dividieren. Das Verfahren der Normalisierung kann dann angewendet werden, wenn Minimum und Maximum eines Attributes gegeben sind 21. Die Normalisierung kann z.b. zur Kodierung des Alters eingesetzt werden. Der Minimalwert hierbei sind 0 Jahre und der Maximalwert bspw. 100 Jahre. Ein Alter von 40 Jahren würden dann, auf einer Skala von 0 bis 1, mit 0,4 kodiert werden. Das Kodierungsverfahren Diskretisierung wird angewendet, um den Wertebereich von quantitativen Attributausprägungen in endlich viele Teilmengen zusammenzufassen. Die Diskretisierung kann z.b. bei der Verallgemeinerung des Alters sinnvoll sein, da auf diese Weise die Altersinformationen zu Altersgruppen zusammengefasst werden können und so eine Reduzierung der Attributausprägungen erreicht wird 22. Die bisher dargestellten Aktivitäten der Datenselektion, Datenvorbereitung und Datentransformation verbrauchen einen erheblichen Teil der Gesamtressourcen des KDD-Prozesses. In der Praxis kann nach Expertenschätzungen die Datenvorbereitung ca. 80 Prozent der Zeit und Kosten des gesamten KDD-Prozesses beanspruchen Data Mining Liegen geeignete Datenbestände in befriedigender Qualität vor, können die Analysen durchgeführt werden. In dieser Phase erfolgt die Verfahrensauswahl und deren Einsatz zur Identifikation von Mustern auf der Basis des vorbereiteten Datenbestandes. In einem ersten Schritt wird zunächst entschieden, welche grundlegende Data Mining-Operation 24 (z.b. Klassifizierung oder Segmentierung ) eingesetzt werden soll. Daran schließt sich die Auswahl eines geeigneten Data Mining-Verfahrens 25 (z.b. Clusteranalyse oder Neuronale Netze) an. Nach der Auswahl eines für die konkrete Problemstellung geeigneten Verfahrens muss diese konfiguriert werden. Diese Parametrisierung bezieht sich auf die Vorgabe bestimmter methodenspezifischer Werte, wie z.b. die Festlegung minimaler relativer Häufigkeiten zur Realisierung eines Interessantheitsfilters, die Auswahl der bei der Musterbildung oder -beschreibung zu berücksichtigenden Attribute oder die Einstellung von Gewichtungsfaktoren für einzelne Eingabevariablen 26. Wenn eine zufriedenstellende Konfiguration gefunden wurde, kann mit der Suche nach interessanten Mustern in den Daten begonnen werden. 21 [WITT01] S. 56, [PYLE99] S. 251 ff. 22 [SCHM00a] S. 19 f., [BÖHM00] S. 1 ff. 23 [ALPR00a] S. 38 f. 24 Vgl. Abschnitt Vgl. Abschnitt [KNOB00] S. 97 ff. 10

23 2.2. KDD-Prozess Evaluation und Interpretation In dieser Phase des KDD-Prozesses werden die entdeckten Muster und Beziehungen bewertet und interpretiert. Diese Muster sollen den Anforderungen der Gültigkeit, Neuartigkeit, Nützlichkeit und Verständlichkeit genügen, um neues Wissen zu repräsentieren und einer Interpretation zugänglich zu sein. Letztere ist Voraussetzung für die Umsetzung der gewonnenen Erkenntnisse im Rahmen konkreter Handlungsmaßnahmen. Bei Weitem nicht alle der aufgedeckten Muster erfüllen jedoch diese Kriterien. Die Analyseverfahren fördern vielmehr eine Vielzahl von Regelmäßigkeiten zutage, die irrelevant, trivial, bedeutungslos, bereits bekannt waren, aus denen dem Unternehmen kein ökonomischer Nutzen erwachsen kann oder die unverständlich und nicht nachvollziehbar sind. Die Bewertung von Mustern kann anhand des Kriteriums der Interessantheit vollzogen werden. Im Folgenden werden Dimensionen der Interessantheit dargestellt 27 : Die Validität eines Musters ist ein objektives Maß dafür, mit welcher Sicherheit ein Muster auch in Bezug auf neue Daten gültig ist. Das Kriterium der Neuartigkeit erfasst, inwieweit ein Muster das bisherige Wissen ergänzt oder im Widerspruch zu diesem steht. Die Verständlichkeit misst, wie gut eine Aussage von einem Anwender verstanden werden kann. Das Kriterium der Nützlichkeit eines Musters erfasst die praktische Anwendbarkeit für den Anwender. Die korrekte Interpretation von Data-Mining-Ergebnissen erfordert ein hohes Maß an Domänenkenntnissen. Die Interpretation soll dazu dienen, das Domänenwissen des Anwenders effektiv zu verändern. Im Idealfall sollte ein Team von Experten aus unterschiedlichen Bereichen gebildet werden, um sicherzustellen, dass die Bewertung korrekt ist und die gewonnenen Informationen der bestmöglichen Nutzung zugeführt werden. Die Interpretationsphase lässt sich durch geeignete Präsentationswerkzeuge sowie durch die Verfügbarkeit zusätzlicher Informationen über die Anwendungsdomäne unterstützen. Typischerweise erfolgt in dieser Phase ein Rücksprung in eine der vorherigen Phasen. So ist meist eine Anpassung der Parameter notwendig oder die Auswahl einer anderen Data Mining-Technik erforderlich. Es kann auch nötig sein, zu der Datenselektionsphase zurückzukehren, wenn festgestellt wird, dass sich die gewünschten Ergebnisse nicht mit der genutzten Datenbasis erreichen lassen Vgl. [KÜPP99] S. 88 ff., [KNOB00] S. 99 ff., [BENS01a] S. 88 f. 28 Vgl. [KNOB00] S