Outlier Detection in USENET Newsgruppen

Transkript

1 Dplomarbet Outler Detecton n USENET Newsgruppen Stephan Deutsch Dplomarbet am Fachberech Informatk der Unverstät Dortmund Oktober 2006 Betreuer: Prof. Dr. Katharna Mork Dpl.-Inform. Mchael Wurst

2 2

3 Inhaltsverzechns 1. Enletung Knowledge Dscovery und Outler Detecton Snn und Nutzen von Outler Detecton Defnton für Outler Zele und Vorgehenswese deser Arbet Exsterende Outler Detecton Ansätze Generelle Defntonen und Begrffe Vertelungsbaserte Ansätze Tefenbaserte Ansätze Entfernungsbaserte Outler Unfzerende entfernungsbaserte Ansätze Entfernungsbaserte Outler zum k-ten nächsten Nachbarn Dchtebaserte Outler Detecton Ansätze Local Outler Factor (LOF) Top-n Local Outler Outlererkennung durch Dchtemessung n Projektonen Räumlche Outler Erkennung Spatal Outler Spatal Temporal Outler Clusterng und Outler Detecton Clusterng Verfahren m Ensatz zur Outlererkennung Cluster Based Local Outler CBLOF Outler unter Enbezehung semantschen Wssens Überscht über Outler Detecton Ansätze USENET Newsgruppen als Anwendungsdomane Enführung n USENET News Motvaton für Outler Detecton n USENET Newsgruppen Outler Detecton n USENET News Feldbeschrebungen und Attrbute von Newsartkeln Nutzungsmechansmen von Newsgruppen Mechansmen bezogen auf Newsgruppen Mechansmen bezogen auf den Artkelfluss Mechansmen bezogen auf Newsartkel Vektorserung von Texten für de Outlererkennung Möglche Outler-Kategoren für USENET News Überscht über Kategoren von zu erwartenden Outlern Ncht-gruppenspezfsche Kategoren (ng) Gruppenspezfsche Kategoren (g) Auswahl von Standardverfahren Anpassung von Standardverfahren Angepasste Vorverarbetungsverfahren Ergänzung mt Hntergrundwssen über Autoren Erstellung ener Testdatenmenge Praktsche Umsetzung und Implementerung Anwendung der YALE Umgebung und des Outler-PlugIn Implementerung der Verfahren Operatoren-Testmenge DB(p,D)-Outler Operator D(k,n)-Outler Operator LOF(MnPts)-Outler Operator ESOM-Export Operator OutlerDmensonReducton Operator Textsplttng / NewsArtcleSpltter Operator Implementerung unterschedlcher Abstandsmaße AuthorBackgroundKnowledgeAppler Operator LabelPredctonAppler Operator OutlerPerformanceEvaluator zur Ergebnsauswertung Möglche Verbesserungen und Entwcklerhnwese

4 6. Evaluaton: Expermente und Ergebnsse Expermentelles SetUp Testmengenbeschrebung Generelle Hnwese alt.support.cancer Testmenge Durchführung der Expermente für alt.support.cancer D(k,n) Experment DB(p,D)-Experment LOF(MnPts) Experment ESOM Experment Anwendung von Autorenwssen Verglech der Erkennung von Kategoren Zusammenfassung der expermentellen Ergebnsse Abschlussbetrachtung und Ausblck Lteraturverzechns

5 Abbldungsverzechns Abbldung 1 - Hawkns Defnton von Outlern n Datenmengen... 9 Abbldung 2 - Zele der Dplomarbet Abbldung 3 - Tefenkonturen ener zwedmensonalen Datenwolke mt 5000 Punkten Abbldung 4 - Auswahlbaum für statstsche Outlererkennung Abbldung 5 - Expermentelle Ergebnsse des Parttonsalgorthmus Abbldung 6 - Bespelvertelung für de Erkennung dchtebaserter Outler (LOF) Abbldung 7 - Errechbarketsdstanz von Objekten Abbldung 8 - Drekte und ndrekte Errechbarket von Objekten Abbldung 9 - Qualtät der Grenzen für LOF n Bezug auf statstsche Fluktuaton Abbldung 10 - Verschedene Cluster überlappende MnPts Nachbarschaften Abbldung 11 - Qualtät von LOF-Werten be verändertem MnPts Abbldung 12 - Bespel für de Bestmmung geegneter MnPts-Werte Abbldung 13 - Anwendungsergebnsse des LOF Verfahrens Abbldung 14 - Mcrocluster ohne Überlappung mt enem Objekt x Abbldung 15 - Schnttebenenkonzept für Mcrocluster Abbldung 16 - Mnmale und maxmale Entfernungen zwschen Mcroclustern Abbldung 17 - Expermentelle Ergebnsse des top-n LOF Verfahrens Abbldung 18 - Projektonen hochdmensonaler Datenräume m Bespel Abbldung 19 - Klassfzerung von Outler Ansätzen nach Shekhar Abbldung 20 - Bespel für Spatal Outler Abbldung 21 - Varogram Cloud für Spatal Outler Abbldung 22 - Moran Scatter Plot für Spatal Outler Abbldung 23 - Scatter Plot für Spatal Outler Abbldung 24 - Statstscher Zs(x) Test für Spatal Outler Abbldung 25 - Mehrschrttverfahren für Spatal Temporal Outler Abbldung 26 - Spatal Temporal Outler am Bespel von Wasserstandsdaten Abbldung 27 - Cluster als Outler am Bespel ener Datenmenge Abbldung 28 - USENET Topologe (Ausschntt) Abbldung 29 - USENET News Statstken Abbldung 30 - Vertelung der Artkelgrößen von News Abbldung 31 - Zetlche Vertelung der Nachrchtengröße n Newsgruppen Abbldung 32 - Monatlche Spam Statskken für USENET News Abbldung 33 - Exemplarscher Artkelfluss als Snapshot ener Newsgruppe Abbldung 34 - Grafsche Textelemente n Nachrchten Abbldung 35 - Textuelle Querverwese n Dskussonsthreads Abbldung 36 - Überscht erwarteter Outler-Kategoren n USENET News Abbldung 37 - Anwendung der Kosnusdstanz für Textvektoren Abbldung 38 - Anwendung von verschedenen Dstanzen m D(k,n)-Verfahren Abbldung 39 - Testmenge für Outler Operatoren Abbldung 40 - Anwendung von DB(p,D)-Outlerverfahren auf de Testmenge Abbldung 41 - Outler der Testdatenmenge nach dem D(k,n)-Verfahren Abbldung 42 - LOF-Werte für de Testdatenmenge / dchtebaserte Outler Abbldung 43 - Testmengenanalyse durch ESOM Tools Abbldung 44 - Performance-Maße für Erkennung kategorserter Objekte Abbldung 45 - Testumgebung für praktsche Expermente Abbldung 46 - Testmengenanalyse n reduzerter Dmensonaltät Abbldung 47 - D(k,n)-Test mt k=5 und n=80 n zwedmensonaler Redukton dargestellt Abbldung 48 - D(k,n)-Test mt Vsualserung der postv erkannten Kategorserungen Abbldung 49 - D(k,n)-Auswertung für Precson und Recall Abbldung 50 - Auswertung des D(k,n)-Experments - F_Measure Abbldung 51 - D(k,n)-Experment mt Textsplttng Abbldung 52 - DB(p,D)-Verfahren für eukldsche Dstanz be voller Dmensonaltät Abbldung 53 - DB(p,D)-Verfahren be reduzerter Anzahl an Dmensonen Abbldung 54 - DB(p,D)-Verfahren mt Kosnusdstanz als Abstandsmaß Abbldung 55 - DB(p,D)-Verfahren mt Kosnusdstanz und reduzerten Dmensonen Abbldung 56 - DB(p,D)-Verfahren m F_measure Verglech Abbldung 57 - DB(p,D)-Verfahren mt Textsplttng und eukldscher Dstanz be 2555 Dmensonen Abbldung 58 - DB(p,D)-Experment mt Textsplttng und Kosnusdstanz be 2555 Dmensonen Abbldung 59 - DB(p,D)-Experment mt Textsplttng, eukldscher Dstanz und reduzerten Dmensonen

6 Abbldung 60 - DB(p,D)-Experment mt Textsplttng und Kosnusdstanz be reduzerten Dmensonen Abbldung 61 - LOF-Auswertung auf der Ursprungsmenge (2.949 Dmensonen) Abbldung 62 - LOF Analyse auf 3-dmensonaler Testmenge nach SVD Abbldung 63 - LOF-Experment Ergebnsse m Verglech Abbldung 64 - LOF-Verfahren: F_Measure Verglech Abbldung 65 - LOF-Experment mt Textsplttng Abbldung 66 - ESOM Karten von alt.support.cancer (eukldsch (l), cosnus (r)) Abbldung 67 - ESOM Karte mt gekennzechneten Outler-Knoten be eukldschen Dstanz Abbldung 68 - ESOM Karte mt gekennzechneten Outler-Knoten be Kosnusdstanz Abbldung 69 - Anwendung von Autorenwssen auf de Testdatenmenge Abbldung 70 - Grafsche Auswertung des Cross-Valdaton Experments für Autorenwssen De m Folgenden aufgelsteten Abbldungen wurden aus den referenzerten Lteraturquellen übernommen bzw. anhand deren Quellenangaben nachgebldet. Alle n deser Tabelle ncht aufgelsteten Abbldungen stammen vom Autor deser Arbet (Irrtum/Fehler ncht ausgeschlossen). Abbldung Lteraturquelle Abbldung 3 [37] Abbldung 4 [6] Abbldung 5 [61] Abbldung 6 13 [4] Abbldung [5] Abbldung 18 [68] Abbldung [28] Abbldung [46] Abbldung 27 [10] Abbldung 28 unbekannt (aus altem Vortragsdokument) Abbldung Pathlnk Technologe Corporaton (2005) Tabellenverzechns Tabelle 1 - Ergebnsse der Vorkategorserung m Überblck Tabelle 2 - D(k,n)-Verfahren mt k=5 und n=80 be 2949 Dmensonen und eukldscher Dstanz Tabelle 3 - Entfernungsmaße m Verglech bem D(k,n)-Verfahren Tabelle 4 - Auswertung D(k,n)-Verfahren / Precson und Recall Tabelle 5 - Auswertung D(k,n)-Verfahren nach Textsplttng Tabelle 6 - Auswertung DB(p,D)-Verfahren mt m=2949, eukldscher Dstanz und D=Ø Tabelle 7 - Auswertung DB(p,D)-Verfahren mt m=2949, eukldscher Dstanz und D=Ø+σ² Tabelle 8 - Auswertung DB(p,D)-Verfahren mt m=2949, eukldscher Dstanz und D=Ø-σ Tabelle 9 - Auswertung DB(p,D)-Verfahren mt m=2949, eukldscher Dstanz und D=Ø-σ² Tabelle 10 - Auswertung DB(p,D)-Verfahren mt m=3, eukldscher Dstanz und D=Ø Tabelle 11 - Auswertung DB(p,D)-Verfahren mt m=3, eukldscher Dstanz und D=Ø+σ² Tabelle 12 - Auswertung DB(p,D)-Verfahren mt m=3, eukldscher Dstanz und D=Ø-σ² Tabelle 13 - Auswertung DB(p,D)-Verfahren mt m=2949, Kosnusdstanz und D=Ø Tabelle 14 - Auswertung DB(p,D)-Verfahren mt m=2949, Kosnusdstanz und D=Ø-σ² Tabelle 15 - Auswertung DB(p,D)-Verfahren mt m=2949, Kosnusdstanz und D=Ø-σ Tabelle 16 - Auswertung DB(p,D)-Verfahren mt m=3, Kosnusdstanz und D=Ø Tabelle 17 - Auswertung DB(p,D)-Verfahren mt m=3, Kosnusdstanz und D=Ø+σ² Tabelle 18 - Auswertung DB(p,D)-Verfahren mt m=3, Kosnusdstanz und D=Ø-σ² Tabelle 19 - Auswertung DB(p,D)-Verfahren mt m=3, Kosnusdstanz und D=Ø-σ Tabelle 20 - Auswertung LOF-Verfahren mt MnPts=[10;20], m=2949 und eukldscher Dstanz Tabelle 21 - Auswertung LOF-Verfahren mt MnPts=[20;100], m=2949 und eukldscher Dstanz Tabelle 22 - Auswertung LOF-Verfahren mt MnPts=[10;20], m=3 und eukldscher Dstanz Tabelle 23 - Auswertung LOF-Verfahren mt MnPts=[20;100], m=3 und eukldscher Dstanz Tabelle 24 - Auswertung LOF-Verfahren mt MnPts=[10;20], m=2949 und Kosnusstanz Tabelle 25 Auswertung LOF-Verfahren mt MnPts=[20;100], m=2949 und Kosnusdstanz Tabelle 26 - Auswertung LOF-Verfahren mt MnPts=[10;20], m=3 und Kosnusstanz Tabelle 27 - Auswertung LOF-Verfahren mt MnPts=[20;100], m=3 und Kosnusdstanz Tabelle 28 - Ergebnsse des Autorenwssen-Cross-Valdaton Experments Tabelle 29 - Erkennung von Kategoren durch Outler-Detecton Verfahren

7 OUTLIER DETECTION IN USENET NEWS Danksagung Zuallererst möchte ch den Betreuern am Lehrstuhl 8 für Künstlche Intellgenz des Fachberechs Informatk an der Unverstät Dortmund, Frau Prof. Dr. Katharna Mork und Dpl.-Inform. Mchael Wurst für de Unterstützung und Navgaton m noch sehr jungen und durch ene Velzahl von Menungen, neuen Erkenntnssen und vor allem ungelösten Problemen gekennzechneten Feld der Entdeckung von Outlern m Rahmen der Knowledge Dscovery n Datenbanken (KDD), herzlch danken. Glechsam danke ch für de Unterstützung nternatonaler Autoren, her vor allem Zhengyou He, der mr ncht nur neueste Lteratur aus der egenen Forschung, sondern auch Implementerungen expermenteller Algorthmen zur Verfügung stellte. Men Dank be der Erstellung deser Arbet glt jedoch vor allem mener Ehefrau für hre besondere Unterstützung n deser Zet und auch menem Sohn Smon, der mr zwar kene fachlche Hlfe war, jedoch ene große Inspraton. Mener Tochter danke ch dafür, dass se nach dem drtten Lebensmonat aufhörte, jeden Abend dre Stunden zu schreen, da sch des sehr postv auf mene Konzentraton ausgewrkt hat. 7

8 DIPLOMARBEIT 1. Enletung 1.1. Knowledge Dscovery und Outler Detecton Der Berech der Wssensentdeckung (Knowledge Dscovery) nmmt m Rahmen der KI-Forschung enen wchtgen Platz en. De Aufgaben der Knowledge Dscovery snd n ver große Felder getelt: Das Entdecken von Abhänggketen De Klassfzerung bzw. das Entdecken von Klassen De Beschrebung von Klassen De Entdeckung von Ausnahmen (sog. Outlern) Dabe st das Fnden von Strukturen, Mustern und glechen Egenschaften, z.b. durch Clusterng oder konzeptonelle Generalserung, mest das Zel der Forschung. Ausnahmen blden hngegen nur enen sehr klenen Prozentsatz der Datenmenge und werden oft entweder gnorert oder als Rauschen bezechnet. Daher haben vele exsterende Algorthmen und Verfahren des maschnellen Lernens Outler nur nsowet betrachtet, als dass se gegenüber desen Erschenungen tolerant snd. Für ene ganze Rehe von Anwendungen snd außergewöhnlche Eregnsse jedoch für de Wssensentdeckung von zentraler Bedeutung. Im Weteren wrd gezegt, dass Outler Detecton dem Nutzer strategsche Vortele be der Beurtelung von Stuatonen geben kann. Des rechtfertgt ene ntensve Ausenandersetzung mt desem Thema n der vorlegenden Arbet Snn und Nutzen von Outler Detecton Das Rauschen für den enen st für den anderen en Sgnal. Im Rahmen der velfältgen Betrachtung von Wssensentdeckung n Datenbanken, allgemen auch als KDD Knowledge Dscovery n Databases bezechnet, wurden Outler ene lange Zet m Berech des maschnellen Lernens und des Data Mnng von exsterenden Anwendungen und hren Algorthmen nur nsowet betrachtet, als dass se gegenüber desen Erschenungen tolerant, bzw. robust waren [3]. Es gbt jedoch ene brete Palette von Anwendungen, für de gerade das Wssen um außergewöhnlche Eregnsse und deren systematsche Entdeckung von mmenser Bedeutung st. En wchtger Aspekt von Outler Detecton st de Anwendung zur Entdeckung von Anomalen und n hrer Interpretaton de Entschedung, ob es sch um postve oder negatve Abwechungen von dem handelt, was ntutv als Norm betrachtet oder beschreben wrd. Das wohl namhafteste Bespel st de Untersuchung der Transaktonen bem Ensatz von Kredtkarten oder ähnlchen Zahlungsmtteln (z.b. SmartCards) mt dem Zel, Mssbrauch zu dentfzeren und erfolgrech zu unterbnden. De Unterschedung zwschen normalen und außergewöhnlchen Transaktonsmustern gbt den Kredtkartenfrmen de Möglchket, schnell und zelgerchtet enzugrefen und de Kosten von mssbräuchlcher Verwendung enzudämmen, Täter ggf. zu dentfzeren und trotzdem dem Anwender enen normalen, n Bezug auf dese Aspekte transparenten Zahlungsverkehr zu gewährlesten. Outler Detecton Anwendungen zur Erkennung von Mssbrauch snd jedoch ncht herauf beschränkt. De Nutzung von Telefonverbndungen oder Moblfunkanschlüssen, de Identfzerung der Infltraton von Netzwerken (Intruson Detecton and Preventon), de Analyse von Verkehrsmustern m Internet zur Vermedung von Denal of Servce Attacken (DoS), ecommerce Krmnaltät m allgemenen Snn, Wahl- und Steuerbetrug (z.b. über de IDEA Software [111] der Prüfer des Fnanzamtes), etc. snd alles potentelle und exsterende Anwendungen für de Erkennung von Outlern. Darüber hnaus kann Outler Detecton zu enem strategschen Vortel durch Wssensgewnn führen. De Identfzerung von Ausnahmesportlern n dversen Sportarten und hren Lgen betet Sportverenen ncht nur de Möglchket, spelersches Potental zu maxmeren. In der Zet der starken Kommerzalserung des Sports mt Börsengängen von Fußballverenen und Sponsorng- und Werbeverträgen von Sptzensportlern, proftert ene ganze Industre davon, Wssen um de extraordnären Fähgketen von Menschen schnell und effzent zu erwerben. De Erkennung abwechender Eregnsse betet zusätzlch handfeste Vortele, wenn es um de Vorhersage geht. Extreme Wetterstuatonen zu erkennen kann genauso überlebenswchtg sen, we Erkenntnsse über 8

9 OUTLIER DETECTION IN USENET NEWS tektonsche Anomalen m geologschen Berech zu gewnnen, oder außergewöhnlche Zusammenhänge be der Terrorsmusbekämpfung, z.b. durch Rasterfahndung und verglechbare Methoden rchtg zu bewerten. Auch be der langfrstgen Betrachtung von Systemen, z.b. n der Klma- und Umweltforschung, m Gesundhetswesen oder m Transportwesen spelt Outler Detecton ene mmer wchtgere Rolle. Zudem wrd se auch für de neuen Locaton Based Servces engesetzt. Dadurch wrd deutlch, dass de Outlererkennung enen festen Platz m Rahmen der Wssensentdeckung hat und enen Forschungszweg etablert, welcher sch fachübergrefend mt den theoretschen Grundlagen und mt praktschen Anwendungen beschäftgt. Er bedent sch dazu den verschedensten Methoden und Werkzeugen aus der Mathematk (Statstk) und Informatk (theoretsche Informatk, Künstlche Intellgenz, etc.) und verbndet dese mt praktschen Anwendungsfeldern. So velfältg we de potentellen Anwendungsmöglchketen, so verscheden snd auch de vorgeschlagenen Methoden und Ansätze für de erfolgreche Identfzerung von Outlern. Insgesamt handelt es sch also um en junges Wssenschaftsfeld mt täglch neuen Entdeckungen. Des drückt sch z.b. n enem generellen Fehlen ener formalen, allgemengültgen und allsets anerkannten Defnton dessen aus, was en Outler egentlch st. Ohne Anspruch auf Vollständgket wrd m Folgenden versucht, enen Defntonsansatz zu geben, der den Nutzer zumndest befähgt, n der Velzahl der Forschungsquellen zu navgeren. Denn das Identfzeren von valdem, neuem, potentell snnvollem und nutzbarem, sowe letztendlch verständlchem Wssen aus Daten st laut Fayyad und Smyth [52] ene grundlegende Frage der KDD, welche als Problemstellung ncht trval zu beantworten st Defnton für Outler Outler werden von Barnett und Lews [33] nformell als Beobachtungen defnert, welche zum Rest ener Datenmenge nkonsstent erschenen. Hawkns [45] defnert Outler formeller als Beobachtungen, welche so stark von anderen Beobachtungen abwechen, dass des den Verdacht begründet, hnen läge en (gänzlch) andersartger Mechansmus zugrunde. In den mesten Quellen zu den Themen Outler und Outler Detecton wrd auf dese Defntonen Bezug genommen. Glechzetg wrd beklagt, dass es kene enhetlche Defnton gbt, welche ene genauere Enordnung der velfältgen Ansätze für Outler Detecton ermöglcht. Auch st es schwerg, de verschedenen Ansätze sozusagen rückwärts enzuordnen, ndem auf de angewendeten Verfahren Bezug genommen wrd. Ene solche Ordnung erlaubt zwar den Verglech von Ansätzen für Outler Detecton anhand der Art, Kosten und Umsetzung von Algorthmen und n gröberem Rahmen auch ene quas Ordnung nach den allgemenen oder statstschen Maßen, welche der Identfzerung zugrunde gelegt werden. Jedoch erschent de Navgaton zwschen den Ansätzen und vor allem de Entschedung, welches Verfahren für ene Stuaton konkret am besten geegnet st, für enen Anwender ohne ausführlches Studum fast aller Ansätze nur sehr schwer möglch zu sen. andersartger zugrunde legender Mechansmus beobachtete Werte ausschlaggebender Attrbute Postonen (m) (engeschränkt) projzerten (Daten-) Raum Abbldung 1 - Hawkns Defnton von Outlern n Datenmengen Abbldungsbeschrebung: De Defnton von Outlern nach Hawkns [45] wrd grafsch gezegt und drückt aus, dass sch Mechansmen, welche dem Verhalten von Objekten zugrunde legen, n der Poston deser Objekte m Datenraum nederschlagen, der durch de Attrbute des Objektes aufgespannt wrd. 9

10 DIPLOMARBEIT Ene Defnton von Outlern sollte demnach vor allem für den Nutzer ntutv und snnvoll sen. Se sollte ene Enordnung und das Fnden enes oder mehrerer geegneter Verfahren möglch machen. En geegnetes Verfahren se hermt als en solches bezechnet, welches Outler gemäß deser ntutven Defnton erfolgrech und zu vertretbaren Kosten fndet. Verfenert man de Defnton von Hawkns, ndem der Gedanke der Andersartgket des zugrunde legenden Mechansmus konsequent fortgeschreben wrd, so wrd deutlch, dass en solches Outler -Objekt an enem abwechenden ursächlchen Verhalten erkennbar wrd. Deses abwechende Verhalten lässt sch an den beobachteten Werten der ausschlaggebenden Attrbute des Objektes ablesen. Mathematsch bzw. m Rahmen der erfolgrechen Anwendung von statstschen Verfahren äußert sch des n konkreten Postonen von Objekten n enem engeschränkt projzerten Raum. Somt lassen sch Objekte also unter Nutzung der globalen Gesamthet all hrer möglchen Attrbute räumlch ordnen. Her wrd, noch bevor de verschedenen Verfahren zur Outlererkennung, welche berets von der weltweten Forschungsgemenschaft m KDD Berech beretgestellt werden, zur Anwendung kommen, das größte Dlemma deutlch. En Anwender, welcher nach Outlern sucht, kann nach Erkennung von Outlern durch en Verfahren nur schwer ene Aussage darüber treffen, welche Qualtät dese Outler haben. Noch wenger lässt sch vermuten, warum es sch um Outler handelt. Allen wenn en Verfahren de Menge der betrachteten Attrbute gezelt oder wllkürlch enschränkt (z.b. durch de Anwendung enes Algorthmus, durch fehlende Vollständgket von beobachteten Daten, etc.), ergeben sch jewels verschedenartge Stuatonen. Ob n Folge dverse Verfahren glechartge oder verschedenartge Outler dentfzeren, lässt sch nur expermentell klären. Inwewet dese Erkennung dann auf de Systematk der Attrbutwahl, de Systematk der Verfahrenswahl bzw. überhaupt auf de Konstellaton der zu untersuchenden Beobachtungen bezogen werden kann, dafür kann de Forschung derzet nur Ansätze und erste Überlegungen lefern [55]. Im Rahmen der ntensven Dskusson verschedener Ansätze be der Vorstellung ener Auswahl von Verfahren n enem Dplomandensemnar ergab sch de Schlussfolgerung, dass de Antwort auf de Fragestellung nach dem Warum? von erkannten Outlern ggf. ene vollständge Lösung des Grundproblems der KDD bedngen würde. Denn maschnelle Lernverfahren zur Erkennung von Outlern müssten de Gründe und Egenschaften deser Outler be der Identfzerung vollständg beschreben können, da der Anwender zwar ene Erwartungshaltung hat, jedoch auch hm unbekanntes Wssen entdecken wll, welches sch ncht a pror umfassend beschreben lässt. Daher wrd m Rahmen deser Arbet ncht versucht, Outler Detecton Ansätze zu ordnen bzw. zu klassfzeren. Glechsam wrd m Hnblck auf de Anwendung der USENET Newsgruppen ncht versucht, m Vorfeld ene Enschätzung der Egnung von Verfahren zur Erkennung von Outlern zu treffen. Velmehr steht n der praktschen Anwendung von unterschedlchen, gezelt ausgewählten Verfahren unter der Voraussetzung, dese snd rechentechnsch überhaupt praktkabel versucht, emprsche Ergebnsse vorzuwesen und de erkannten Outler entsprechend vorzustellen. Dabe steht en Effzenzverglech von Verfahren ebenso m Vordergrund, we de quanttatve Menge erkannter Outler m drekten Verfahrensverglech. Über de Qualtät der erkannten Outler wrd kene Aussage getroffen, da des mt Scht auf den Anspruch der Arbet ncht möglch wäre. De her geforderte deale Defnton exstert somt derzet noch ncht. 10

11 OUTLIER DETECTION IN USENET NEWS 1.4. Zele und Vorgehenswese deser Arbet 1. De Erstellung enes möglchst umfassenden Überblcks auf bestehende Ansätze zur Erkennung von Outlern. Des wrd m ersten Tel der Arbet durch ene Enführung n de generelle Problematk der Outlererkennung errecht und für de Verfahren wrd ene detallerte Darstellung der hnen jewels zugrunde legenden Ansätze vorgenommen. Dabe werden zur Begrenzung des Umfangs ncht alle Verfahren vorgestellt. Durch de Aktualtät des Forschungsgebetes werden zudem jedes Jahr neue Verfahren engeführt. Es wrd jedoch ene möglchst umfänglche Lste als Abschluss angeboten, welche über entsprechende Lteraturverwese ene Vertefung der Matere erlaubt. 2. De Enführung n de Anwendungsdomane der USENET Newsgruppen a. Herbe werden de der Benutzung zugrunde legenden wesentlchen Mechansmen durch ene Betrachtung des Systems und sener technschen Funkton, sowe durch de auf den entsprechenden Standards baserende Analyse der Struktur von Newsartkeln und des Anwenderverhaltens vorgestellt. b. Im zweten Schrtt wrd ene Anforderungsanalyse für de Erkennung von Outlern durch de Beschrebung von Objektkategoren, welche als Outler erwartet werden könnten, vorgenommen. c. Auf Bass der Anforderungen und Kategoren wrd en umfänglcher Benchmark-Datensatz erstellt. 3. De Implementerung von Outler Detecton Verfahren zum Zweck hrer Evaluaton a. Dafür werden ausgewählte Standardverfahren zur Erkennung von Outlern mplementert. b. Es werden spezell auf das Problem hn angepasste Vorverarbetungsverfahren zur Vektorserung der Testdatenmengen umgesetzt. c. Durch de Entwcklung von Zusatzverfahren m Vorverarbetungsschrtt soll untersucht werden, ob dese de Ergebnsse der Standardverfahren entschedend verbessern können. 4. De Durchführung und Auswertung von Expermenten a. Mttels des Benchmark-Datensatzes und zusätzlcher Datensätze werden de mplementerten Verfahren n ener Testumgebung evaluert. b. Im Abschluss der Arbet wrd ene Interpretaton der Ergebnsse der Expermente durchgeführt. Abbldung 2 - Zele der Dplomarbet Dese Arbet konzentrert sch m theoretschen Tel auf de Betrachtung von Outler Detecton Ansätzen. Dabe wrd ene Auswahl von Verfahren engeführt, wobe durch de rasant fortschretende Entwcklung ken Anspruch auf Vollständgket bestehen kann, da pro Jahr mt Scherhet mndestens fünf bs zehn echte neue Ansätze mt entsprechenden Verfahren und neuen Algorthmen publzert werden. Auch würde de ausführlche Lstung und Beschrebung aller bekannten Verfahren den Umfang deser Arbet sprengen. De Abgrenzung der Verfahren wrd baserend auf den Aussagen der jewelgen Autoren der Ansätze vorgenommen. Es st ncht das Zel deser Arbet, Ansätze systematsch zu ordnen oder bzgl. der generellen Qualtät oder Aussagekraft der Ergebnsse der Ansätze verbndlche Aussagen zu machen (z.b. n Form enes Schemas oder Systems). Trotzdem gbt deser Tel der Arbet enen guten Überblck über möglche Verfahren und hre KDD Grundlagen. Zusätzlch werden Algorthmen und deren Anwendbarket auf verschedene Sachgebete bzw. Stuatonen vorgestellt, wobe de Art der Erkennung und de Komplextät der Verfahren n Bezug auf de Rechenzet ene wchtge Rolle spelt. Durch ausführlche Referenzen der Lteraturquellen wrd ene wetergehende Betrachtung des Themas durch den nteresserten Leser ermöglcht. 11

12 DIPLOMARBEIT Im praktschen Tel der vorlegenden Dplomarbet wrd de Anwendung der Outlererkennung auf en konkretes Sachgebet vorgestellt. Dazu werden de USENET Newsgruppen herangezogen. Neben ener Enführung n das USENET Thema wrd vor allem auf de zu erwartenden Ergebnsse von Outlererkennungen aus Scht des Anwenders abgestellt, um ene Enschätzung der Ergebnsse der Anwendung ausgewählter Outler- Detecton Ansätze zu erlauben. Dabe wrd auf de spezellen Anwendungsumstände für Newsgruppen hngewesen, um sowohl de Wahl von geegneten Verfahren (jedoch ncht n Bezug auf ene systematsche Ordnung) als auch deren algorthmsche Implementerung zu begründen. Dese Verfahrensauswahl wrd n enem expermentellen Set-Up mplementert. Darauf baserend wrd ene Rehe von Expermenten umgesetzt, damt emprsche Erkenntnsse gewonnen werden können. Um ene möglchst brete Weterverwendung der Verfahren zu ermöglchen, setzt de Implementerung auf de Plattform des Systems YALE des Lehrstuhls für Künstlche Intellgenz des Fachberechs Informatk an der Unverstät Dortmund auf. Glechsam werden auch Schnttstellen für de sog. ESOM Tools des Lehrstuhls für Datenbonk am Fachberech Mathematk der Unverstät Marburg beretgestellt, um de Expermente zwschen beden Systemplattformen zu verbnden. Aufgrund der nternatonalen Verbretung beder Systeme st damt en Zusatznutzen der praktschen Ergebnsse deser Arbet gegeben. Interesserte Leser snd engeladen, de unter der GNU Publc Lcense (GPL) erstellten Implementatonen des Outler Plugn für YALE zu nutzen und ggf. selbst weterzuentwckeln. 12

13 OUTLIER DETECTION IN USENET NEWS 2. Exsterende Outler Detecton Ansätze Quot captum vvunt, totdem studorum mla (HORAZ) In desem Kaptel werden verschedene Outlererkennungsverfahren n unterschedlcher Detaltefe vorgestellt. Dese unterschedlche Tefe ergbt sch aus der Unterstützung der gesamthetlchen Betrachtung des Themas und aus der notwendgen Beschrebung von Detals der Verfahren, welche m praktschen Tel ene konkrete Anwendung fnden. De verschedenen Quellen, welche m Rahmen der Beschrebung des von den Autoren jewels vertretenen Ansatzes für Outler Detecton natürlch auf vorangegangene und vor allem vom egenen Ansatz abwechende Methoden engehen, stellen Vergleche der Verfahren an. De Nennung der Verfahren und deren Beschrebung stellt her jedoch kene Enordnung, Kategorserung oder Prorserung durch den Autor deser vorlegenden Arbet dar. Im Allgemenen ergbt sch m Forschungsfeld der Outler-Detecton Ansätze der Trend, Verfahren n ener jewelgen Famle glecher oder verwandter Ansätze zu verallgemenern um en besseres Gefühl für de Anwendbarket und ene Bass für allgemen effzentere Umsetzungen n Algorthmen zu bekommen. Dementsprechend reflektert de m Kaptel vorgenommene Untertelung zum enen de Herkunft des Ansatzes, als auch de Entwcklung hn zur Bearbetung spezeller Probleme bzw. n anderen Fällen de Unfzerung von Verfahren. Stück für Stück werden neue Ideen hnzugenommen, sodass n Telen en hstorserter Abrß entsteht. Es wäre aber auch ene andere Glederung unter abwechenden Geschtspunkten genauso gut möglch. De Beschrebungen und Bewese wurden möglchst unverändert aus den Veröffentlchungen der Autoren übernommen und um Anmerkungen anderer Autoren angerechert. Herbe se ausdrücklch auf de orgnalen Quellen verwesen Generelle Defntonen und Begrffe De Autoren der verschedenen Verfahren setzen ene Rehe unterschedlcher Begrffe und vor allem Varablendefntonen en, mt denen se hre Ansätze formal beschreben. Um ene Verglechbarket der Ansätze zu erlechtern und auch das Verständns zu fördern, wurden de formalen Defntonen wetgehend verenhetlcht und wechen daher von den Lteraturquellen entsprechend ab. Defnton der Begrffe Datenraum, Datenpunkt, Objekt, Attrbut und Dstanz sowe Dstanzfunkton: Se ene Menge X von Datenpunkten (oder m Folgenden auch Punkten bzw. Objekten oder Elementen) m m gegeben mt X = { x = 1,... n X } und X R ene echte Telmenge des Datenraumes R mt n X = X. Se n ene Anzahl von Datenpunkten bzw. Objekten und bezechne ggf. sowohl de Kardnaltät der Menge X mt n = nx oder auch de Kardnaltät ener Untermenge von X mt n nx. Se ferner x r der m-dmensonale Vektor (m Folgenden auch m-dmensonales Tupel von Koordnaten), m welcher de Poston des Datenpunktes x m Datenraum R beschrebt, so se de Attrbutmenge m A = { a j = 1,... m} des Datenpunktes durch de m Achsen des Datenraumes R beschreben und der Wert des j Attrbutes a j glech dem Wert der j-ten Koordnate von x r. De Dstanzfunkton zwschen zwe Datenpunkten + se durch d : X X Ro gegeben und de Dstanz zwschen zwe verschedenen Objekten x, x' X bezechnet mt D = d( x, x' ). Defnton der Begrffe Nachbarschaft und Cluster: Der Nachbarschaftsbegrff wrd von verschedenen Ansätzen unterschedlch defnert. Es handelt sch jedoch fast durchgängg um ene Telmenge N X, wobe de Besetzung deser Menge durch ene Abhänggket von enem oder mehren Objekten bzw. Datenpunkten bestmmt st, z.b. N k ( x) = { x' X d( x, x' ) < D k }. En Cluster se durchgängg bezechnet mt C X, wobe sch de Zugehörgket von Objekten zu enem Cluster durch de Defnton der Egenschaften enes Clusters a.a.o. ergbt. Defnton zusätzlcher Begrffe: Ene Rehe von Ansätzen führt zusätzlche Begrffsdefntonen en und sowet dese spezfsch für den Ansatz snd, werden se n den folgenden Abschntten entsprechend defnert. 13

14 DIPLOMARBEIT 2.2. Vertelungsbaserte Ansätze Im Berech der frühen Ausenandersetzung mt dem Thema Outler Detecton werden ene Velzahl an Testverfahren vorgestellt, welche sch auf verschedene statstsche Standardvertelungen bzw. Normalvertelungen stützen. Anmerkung: He, Deng und Xu grupperen n Ihren Veröffentlchungen [10] mt Bezug auf erste Studen zur Identfzerung von Outlern setens Barnett und Lews [33] vertelungsbaserte Tests als ene von zwe Kategoren von statstschen Tests für Outler Detecton. De zwete Kategore umfasst n deser Veröffentlchung de tefenbaserten Tests. Motvaton für dese Art von Kategorserung st der Fokus auf starke statstsche Maße, welche enen drekten mathematschen Bezug n den Vordergrund stellen. Andere Tests werden eher anhand der ntutven Idee und der daraus folgenden Defnton enes Outlers sowe der algorthmschen Umsetzung oder unter Bezug auf das Verfahren geordnet. Interessant st n desem Zusammenhang de Beobachtung, dass trotzdem all desen Tests n der Regel, d.h. bs auf wenge Ausnahmen, en oder mehrere spezelle, manchmal auch fre wählbare, statstsche Maße zugrunde legen. Outler werden demgemäß n desen vertelungsbaserten statstschen Ansätzen auch vertelungsabhängg defnert. De Vertelung wrd zur Darstellung normalen Verhaltens der zu beobachtenden Objekte herangezogen. Da für jede Normalvertelung ene Rehe von statstschen Maßen exstert, um Objekte m Rahmen deser Vertelung zu beschreben (Mttelwerte bzw. Erwartungswerte und deren Wahrschenlchketen, Varanzen und Standardabwechungen), können Outler anhand deser Maße beschreben und erkannt werden. 2 Barnett und Lews stellen mehr als 100 Tests für dverse Vertelungen vor, darunter für N( µ ; σ ) - Normalvertelungen, exponentelle Vertelungen, Gamma Vertelungen, Posson Vertelungen und bnomale Vertelungen. De Wahl des Tests basert nach Knorr und Ng [6] unter anderem auf der Vertelung selbst, da es Snnvollerwese verschedene optmerte Tests für verschedene Vertelungen gbt. Wchtg für de Auswahl des Verfahrens st zudem, ob vertelungsspezfsche Parameter, we z.b. der Erwartungswert oder de Varanz oder bede Größen zusammen, bekannt snd. Auch de Anzahl der erwarteten Outler und de Typen der erwarteten Outler, also ob enzelne, Paare, oder ene Anzahl n von Outlern erwartet werden, st entschedend. Ebenso fleßt en, wo dese Outler erwartet werden, z.b. m oberen, unteren oder m oberen und unteren Berech der Vertelung. Allerdngs gbt es kene Garante dafür, dass Outler auch tatsächlch gefunden werden. Dafür gbt es verschedene Gründe. Möglcherwese wurde gerade für de vorlegende Vertelung ken Test entwckelt. Oder es gbt kene Standardvertelung, welche de tatsächlche Vertelung der vorlegenden Testmenge an beobachteten Objekten adäquat abbldet. De große Zahl der statstschen vertelungsbaserten Testverfahren st unvarat und untersucht nur en enzelnes Attrbut. Des stellt nsbesondere be der Betrachtung von multvaraten Datenmengen en Problem dar. Zwar kann unter der naven Annahme grundsätzlch unabhängger Attrbute n ener mehrdmensonalen Datenmenge ene Rehe von solchen unvaraten Verfahren pro Attrbut angewendet werden. Im Gesamtergebns würde dann ene geegnete Zusammenführung der unterschedlchen Enzelergebnsse angestrebt. We dese snnvoll stattzufnden hat und ob ene Abhänggket der Attrbute überhaupt ausgeschlossen werden kann, st jedoch fraglch. Daher st en solcher Ansatz n der Praxs scher ncht effzent durchsetzbar. Über rene statstsche Tests hnaus snd m Rahmen von KI Betrachtungen von Yamansh, Takeusch und Wllams ([34], [35]) wetere Verfahren vorgeschlagen worden, welche statstsche Modelle und deren Untersuchung mt überwachten Lernverfahren kombneren, um generelle Muster für Outler zu fnden. Allgemen gehen alle Verfahren davon aus, dass zumndest de Vertelung der Objekte bem Ansatz des für eben dese Vertelung geegneten Verfahrens m Voraus bekannt st. Des st für ene große Menge an Stuatonen nur schwer ntutv anzunehmen und stellt de Praktkabltät der vertelungsbaserten statstschen Tests und darauf baserender wetergehender Outler Detecton Methoden n Frage. Trotzdem sollten statstsche vertelungsbaserte Methoden ncht grundsätzlch negatv bewertet werden. Denn zum enen spelen statstsche Maße auch be der überwegenden Zahl anderer Verfahren ene zentrale Rolle. Zum anderen st ene Velzahl von Tests für de unterschedlchsten Vertelungen bekannt. Daher kann n dem Fall, dass ene vorhandene Testmenge ncht a pror n hrer Vertelung bekannt st, bzw. ener Standardvertelung ncht entsprcht, dese Testmenge durch Berechnungen n ene Menge mt entsprechender Vertelung umgewandelt werden. Leder snd de Kosten ener solchen Übertragung bzw. Anpassung sgnfkant und können ncht vernachlässgt werden. Auch st de Frage zu beantworteten, nwewet ene Anpassung de Charakterstka der gesuchten Outler so verändert, dass dese nur noch schwer oder gar ncht mehr dentfzert werden können, und ob sogar Objekte, welche vor ener Umwandlung ncht als Outler n Frage kamen, nun als solche lecht zu erkennen snd. Da de Defnton, was en Outler n enem konkreten Fall sen soll, ncht enhetlch st, se des ene Anregung für 14

15 OUTLIER DETECTION IN USENET NEWS wetergehende Überlegungen. Dese snd mt dem Gedanken verbunden, dass sch de statstschen Verfahren ggf. deswegen ncht vorrangg als geegnet erwesen, n praktschen Stuatonen Outler erfolgrech bzw. kostengünstg zu dentfzeren, wel se von ener zu starren Defnton enes Outlers ausgehen, welche sch mmer auf de zugrunde legende Vertelung bezeht, de das Normalverhalten darstellt. Verfahren, welche vertelungsbaserte Outler Detecton Ansätze generalseren, könnten genau deshalb erfolgrecher sen, wel se de starren Grenzen der statstschen Tests aufwechen und flexblseren. Derartge Verfahren werden n desem Kaptel vorgestellt. Dem stünde allerdngs argumentatv entgegen, dass gerade auch de statstsch baserten, vertelungsorenterten Testverfahren ene gewsse Flexbltät erlauben, wenn ncht sogar erfordern, da sch en spezfsches Verfahren ensetzen lässt, welches gewssen Parametern der Outler, z.b. m Hnblck auf deren Anzahl, Vertelungsparameter, Typen etc., entsprcht. Her muss jedoch zwschen der Erwartungshaltung an Outler und der Auswahl enes konkreten Verfahrens unterscheden werden. Letztere erfordert be den vertelungsbaserten Verfahren detallerte Kenntnsse über den tatsächlchen statstschen Charakter dessen, was als Outler gesucht wrd. Deses Wssen st n der Regel jedoch ncht gegeben. Velmehr st davon auszugehen, dass der Anwender gar ncht weß, was er als Outler sucht. Daraus ergbt sch en Folgeproblem, wel der Anwender demgemäß ncht selbst entscheden kann, welche Qualtät Outler haben, de von enem jewels vorgeschlagenen Verfahren entdeckt werden. Auf dese Fragestellung betet de KDD Forschung derzet noch kene vollständge Antwort und daher wrd sch de vorlegende Arbet auch ncht mt der Lösung deses Problems befassen können Tefenbaserte Ansätze Tefenbaserte Testverfahren zur Identfzerung von Outlern, z.b. vorgestellt von Ruts und Rousseeuw [36], organseren de zu prüfenden Objekte m Datenraum anhand ener Tefendefnton. Baserend auf deser Defnton ener Tefe werden de Objekte n konvexen Hüllen-Ebenen oder anhand hrer Schältefe geordnet. Outler werden unter den Objekten mt gerngem Tefenwert bzw. n Ebenen mt gerngen Tefenwerten erwartet. Dese Tests wurden entwckelt, um der be den vertelungsbaserten Tests erforderlchen Bestmmung der Vertelung welche.d.r. unbekannt st zu entgehen. Peelng bzw. de Schältefe st en Tefenbegrff, der ausführlcher von Preparata [38] vorgestellt wrd. Deser Ansatz ledet jedoch darunter, dass er sch zu schnell n Regonen mt ener hohen Punktdchte bewegt und daher ncht so robust we der Ansatz der Tefenkonturen mt Halbraumtefen von Ruts und Rousseeuw st. Der Begrff der Halbraumtefe enes Punktes relatv zu ener multvaraten Datenmenge wurde 1975 von Tukey [39] engeführt. Im unvaraten Fall wrd de Tefe enes Punktes x ' relatv zu ener endmensonalen X = x,, als das Mnmum der Anzahl der Punkte lnks und rechts von x ' defnert: Menge { } 1 K x n { ; x x' }, { ; x '}) depth1 ( x') = mn( x m De Halbraumtefe enes Punktes x R X = x1, K, x n wrd als de gerngste Tefe von x ' n jeder endmensonalen Projekton der Datenmenge defnert und kann auch als de mnmale Zahl an Datenpunkten n enem geschlossenen Halbraum gesehen werden, dessen Randebene x ' passert. Es gbt noch wetere Tefendefntonen, welche von Small, Nnmaa und Tukey engeführt werden und für ene wetergehende Betrachtung der Unterschede zur her verwendeten Defnton se auf de entsprechenden Quellen ([40], [41] und [42]) verwesen. De Halbraumtefe st affn nvarant, d.h. wenn x ' und X lnear transformert werden, ändert se sch ncht. Des mplzert, dass das Konzept der Halbraumtefe unabhängg vom gewählten Koordnatensystem st und sch daher n velfältger Wese ensetzen lässt. Dese Egenschaft wrd von Donoho und Gasko [43] n zwe Paperen ausführlcher dskutert. De Tefe steht n enger Bezehung zum Rang. Des st besonders deutlch m unvaraten Fall zu sehen. Wenn de Datenpunkte ener Dmenson mt Rang versehen werden, so erhalten de extremen Punkte mt dem nedrgsten und dem höchsten Rang de Tefe 1. Datenwerte mt dem nächstnedrgsten und nächsthöchsten Rang erhalten de Tefe 2, usw. Der Medan st folglch der Punkt mt der maxmalen Tefe. Der Medan st en emprsches Lagemaß n der Statstk und wrd auch Zentralwert genannt. 50% der Werte ener nach Größe geordneten Menge x( 1), K, x( n) snd größer oder glech und 50% der Werte snd klener oder glech dem Wert des Medan. Somt errechnet sch der Medan ~ x = x falls n ungerade; und 0,5 (( n+ 1)/ 2) ~ 1 x ( x n + x ) falls n gerade st. = 0,5 2 ( / 2) (( n+ 2)/ 2) ' relatv zu ener m-dmensonalen Datenmenge { } 15

16 DIPLOMARBEIT In höherdmensonalen Fällen gbt de Tefe enes Punktes enen Endruck davon, we tef sch der Punkt n der Datenwolke befndet. En Punkt mt maxmaler Tefe kann als multdmensonaler Medan nterpretert werden. Wchtg zur Abgrenzung des Ansatzes st, dass das Maß der Tefe ncht äquvalent zum Maß der Dchte st. Während de Tefe enes Punktes x ' en globaler Begrff st, da se von der Gesamthet der Datenmenge X abhängt, st de Dchte von x ' lokal n hrer Natur, da se nur von den Punkten von X abhängt, welche sch n ener Nachbarschaft von x ' befnden. Dchtebaserte Ansätze zur Identfkaton von Outlern werden separat n desem Kaptel engeführt. m Von Ruts und Rousseeuw werden sogenannte Tefenkonturen zur Berechnung engeführt. Se X R ene m m-dmensonale Datenmenge. Se de Menge X = { x R depth( x; X ) k}. De nneren Punkte von X k k haben mndestens de Tefe k und de Randpunkte von X k haben ene Tefe glech k. Damt st X k de Kontur der Tefe k, wenn auch ene strengere Auslegung deser Begrfflchket auf den Rand von X beschränkt st. Da X k der Schntt aller der Halbräume st, welche mndestens n + 1 k Punkte der Wolke enthalten, st X k konvex. De verschedenen Tefenkonturen formen ene verschachtelte Rehe, wel X k+ 1 n X k enthalten st. De äußerste Kontur X 1 st de normale konvexe Hülle von X. Punkte außerhalb deser konvexen Hülle der Datenmenge haben de Tefe Null. De Anzahl der Tefenkonturen ener gegebenen Menge X und damt deren maxmale Tefe hängen von der Form von X ab. Ist se nahezu symmetrsch, kann es bs zu n / 2 Tefenkonturen geben. Ist se jedoch sehr asymmetrsch, werden es aller Wahrschenlchket nach sehr vel wenger Tefenkonturen sen. Abbldung 3 zegt de ersten 10 Tefenkonturen ener Datenwolke mt 5000 Punkten als Bespel. k Abbldung 3 - Tefenkonturen ener zwedmensonalen Datenwolke mt 5000 Punkten Abbldungsbeschrebung: Ene Datenwolke mt 5000 Punkten n enem zwedmensonalen Datenraum mt ener Gauß-Vertelung wrd dargestellt, wobe de unterschedlchen Tefenkonturen [36] durch verbundene Lnen dargestellt snd. Zur Berechnung der Konturen werden mehrere Algorthmen vorgeschlagen, wobe sch Ruts und Rousseeuw auf bvarate Datenmengen konzentreren. Se beten enen naven Algorthmus mt O ( n 5 log n) und enen ISODEPTH Algorthmus mt ca. O( n 2 log n) an. Johnson, Kwok und Ng [37] entwckelten baserend auf der Idee von ISODEPTH enen schnelleren und robusteren Algorthmus zur Berechnung von zwedmensonalen Tefenkonturen. Deser FDC Algorthmus konzentrert sch zur Berechnung der ersten k Tefenkonturen auf ene klene, ausgewählte Telmenge an Datenpunkten, anstatt de gesamte Datenmenge zu evalueren. Dese Telmenge wrd durch de Berechnung der entsprechenden konvexen Hüllen dentfzert. Da für de Identfzerung von Outlern.d.R. nur de ersten 100 Tefenkonturen nteressant snd, st de erwartete Performance von FDC sehr vel besser, als de von ISODEPTH. Generell st der Aufwand mt 2 3 O ( nlogn + hlog n + k h ) angegeben, wobe n de Anzahl der Datenpunkte, k de Zahl der Tefenkonturen und h de maxmale Kardnaltät der ersten k Elemente n der Sere von Tefenkonturen st. Ene nähere Ausführung 16

17 OUTLIER DETECTION IN USENET NEWS und expermentelle Ergebnsse der Performance von FDC geben de Autoren des Algorthmus m Rahmen hrer Veröffentlchung an. Theoretsch snd alle dese Ansätze lt. He, Deng und Xu (et al) auch für hochdmensonale Datenräume geegnet. Da sch de geschätzten Rechenkosten jedoch n der Praxs durch den Ensatz von konvexen Hüllen ergeben, ene Technk de enen unteren Grenzaufwand von O n ) hat, wobe n de Anzahl der Objekte und m de Anzahl der Dmensonen darstellt, st deser Ansatz unter praktschen Geschtspunkten auf Datenmengen mt velen Dmensonen ncht unengeschränkt anwendbar. Untersuchungen we de von Rousseeuw haben gezegt, dass n der Praxs de Performance nur für Datenmengen mt ener Zahl von m 2 Dmensonen akzeptabel st. Solche effzenten zwedmensonalen Verfahren werden z.b. von Johnson, Kwok und Ng [37] vorgeschlagen und enge Peelng-Verfahren für Datenmengen mt m = 3 werden von Preparata und Shamos [38] vorgestellt Entfernungsbaserte Outler m 2 ( Unfzerende entfernungsbaserte Ansätze Knorr und Ng [3] stellen n verschedenen Paperen ([6], [7] und [8]), unter anderem gemensam mt Tucakov, ausführlch enen Ansatz für Outler Detecton vor, der n Bezug auf das angewendete statstsche Maß entfernungsbasert st. Se motveren hren Ansatz mt den n den vorhergegangenen Abschntten beschrebenen Unzulänglchketen der vertelungs- bzw. auch tefenbaserten Ansätze. Dese snd zum enen von der Auslegung der Tests mest auf unvarate Datenmengen bezogen. Solche Tests snd für mehrdmensonale Anwendungen schlcht ungeegnet. Zum anderen snd be vertelungsbaserten Verfahren de Vertelungen nnerhalb der Datenmenge ncht a pror bekannt und es snd ntensve Tests nötg, um dese Vertelungen zu dentfzeren. Sofern ene beobachtete Vertelung gar kener Vertelung entsprcht, für de en Test exstert, st es sehr aufwändg, dese entsprechend umzurechnen. Tefenbaserte Tests umgehen de Notwendgket, de Vertelung zu kennen oder ene bekannte Vertelung aus der beobachteten Datenmenge zu erzeugen. Auch snd se vom Ansatz her prnzpell für multvarate Anwendungen ensetzbar. De Idee, welche den Überlegungen von Knorr und Ng zugrunde legt, st de Enführung enes Outler Begrffs, der de vertelungsbaserten Begrffe unfzert und glechzetg Algorthmen lefert, welche für mehrdmensonale Fälle enfach und kosteneffzent ensetzbar snd. Dabe snd der statstsche Ansatz und das engesetzte Maß mt den vertelungs- und tefenbaserten Verfahren verglechbar. Auch dort werden statstsche Entfernungsmaße verwendet, um de Objekte anhand ener Vertelung oder anhand der Enordnung n ene gewsse Tefe, welche eben anhand enes statstschen Entfernungsmaßes errechnet wrd, mtenander zu verglechen und Outler entsprechend zu dentfzeren. Defnton von entfernungsbaserten (dstance based) Outlern: En Objekt x n ener Datenmenge X st en DB(p,D)-Outler, wenn zumndest en Antel p von Objekten n X weter als de Entfernung D von x legt. En DB(p,D)-Outler wrd also anhand der Parameter p und D erkannt. Deser ntutve Outler Begrff steht mt der Defnton nach Hawkns [45] m Enklang und egnet sch auch, aber ncht ausschleßlch, für solche Fälle, n denen de beobachtete Vertelung ncht mt ener Standardvertelung überenstmmt. De Defnton egnet sch für multvarate Anwendungen mt ener unbegrenzten Anzahl m an Dmensonen. Knorr und Ng führen aus, dass de Berechnung der Entfernung be DB(p,D)-Outlern auf Bass ener metrschen Dstanzfunkton vorgenommen wrd, wobe de von den Autoren vorgestellten Algorthmen davon ausgehen, dass dese Funkton eukldsch st. Obwohl ken Anspruch geltend gemacht wrd, dass de entfernungsbaserten Outler alle anderen Outler Begrffe ersetzen würden oder unversellen Charakter hätten, bezechnen Knorr und Ng se trotzdem auch als unfzerte Outler oder sog. UO(p,D)-Outler. Demgemäß snd DB(p,D)-Outler und UO(p,D)-Outler synonym zu verstehen. Anmerkung: Da Knorr und Ng den Begrff erst als unfzerte Outler (UO(p,D)) enführten und n der detallerteren Ausführung der Algorthmen den Begrff DB(p,D)-Outler prägten, se her der spätere Begrff, also DB(p,D)-Outler angenommen. Für den nteresserten Leser se noch angefügt, dass das Paper [6], A Unfed Approach for Mnng Outlers, ene erweterte Verson des Papers [7], A unfed noton of outlers: Propertes and computaton, st (sehe Lteraturverzechns). De Analyse zegt, dass der DB(p,D)-Outler Begrff de Outler Begrffe der vertelungsbaserten Tests nsofern generalsert, als dass es für en Objekt x, welches nach enem vertelungsbaserten Test en Outler st, auch ene passende Kombnaton der Parameter p und D gbt, sodass x auch en DB(p,D)-Outler st. Somt snd dverse vertelungsbaserte Outler dann Instanzen von DB(p,D)-Outlern. 17

18 DIPLOMARBEIT Defnton der Unfzerung von Outlern durch DB(p,D)-Outler: En DB(p,D)-Outler (bzw. en UO(p,D)-Outler) unfzert ene andere Outler Begrffsdefnton Def genau dann, wenn es ene spezfsche Wertekombnaton p 0, D0 gbt, mt der glt, dass wenn x en Outler nach Def st, x auch en DB p 0, D ) Outler st und des für alle x X glt. ( 0 Defnton der Parameter p und D: Se n ene Anzahl von Objekten n ener Test-Datenmenge X. Jedes Objekt x wrd mt denselben m Attrbuten dentfzert, m st also de Dmensonaltät der Menge X. Angenommen, es exstert ene zugrundelegende metrsche Funkton d, welche de Dstanz zwschen jedem möglchen Paar von Objekten n X lefert, dann glt: 1. Für en Objekt x enthält de D-Nachbarschaft N D von x de Menge an Objekten x' X, welche sch ( x) = x' X d( x, x' ) D. maxmal n der Entfernung D von x befnden, also { } 2. Der Antel p st der mnmale Antel von Objekten n X, welche sch außerhalb der D-Nachbarschaft enes Outlers befnden müssen. Anhand von zwe Bespelen, dem statstschen vertelungsbaserten Test zu ener Normalvertelung und der Erkennung von Outlern n Regressonsmodellen, soll deutlch werden, we dese Unfzerung belegt st, bevor der egentlche Ansatz zur Berechnung ausgeführt wrd [8]. Outler n ener Normalvertelung snd solche Punkte, welche mehr als de drefache Standardabwechung ( 3σ ) vom Erwartungswert µ entfernt legen, vgl. u.a. Freedman, Psan und Purves [47]. X se also ene 2 Datenmenge, deren Objekte wrklch normalvertelt snd mt N ( µ ; σ ). Damt se Def Normal we folgt defnert: x X st en Outler, wenn N D x µ 3 σ x µ oder 3 σ st. Lemma der Unfzerung von Outlern n Normalvertelungen: en DB(p,D)-Outler unfzert Def Normal mt p 0 = 0, 9988 und D 0 = 0,13σ. Der Bewes dazu wrd n [6] geführt. Als weters Bespel se de Identfzerung von Outlern n Regressonsmodellen beschreben. En enfaches lneares Regressonsmodell st durch de Glechung y = α + βx gegeben. De Datenmenge X enthält Beobachtungen der Form ( x, y) für = 1,... n, welche n deses Modell engepasst werden. Ene Möglchket zur Erkennung von Outlern st de Betrachtung der Resduen, d.h. der Unterschede zwschen beobachteten und engepassten Werten. Der resduale Fehler der -ten Beobachtung wrd durch e n y = α + βx + e ausgedrückt. Outler werden dann als solche Resduen erkannt, de wetaus höhere Unterschede aufwesen, als de mesten, z.b. wenn se mehr als 3 Standardabwechungen vom mttleren Erwartungswert der Resduen abwechen (vgl. auch Draper und Smth [49]). Unter der verenfachenden Annahme, dass de Resduen vonenander unabhängg und damt normalvertelt snd, lassen sch dese Outler nach Def Normal dentfzeren und folglch unfzert DB ( p 0, D0 ) auch her. Der multvarate Fall legt wesentlch komplexer. Im Allgemenen st es schwer, enen vertelungsbaserten Unterschedungstest für multvarate Regressonsmodelle zu fnden. Daher wrd der Ansatz der robusten Regressonstechnken nach Rousseeuw und Leroy [50] verwendet. Deser Methode nach wrd de Regressonsglechung für den mehrhetlchen Antel der Daten berechnet und Outler werden als de Punkte erkannt, welche große Resduen gegenüber der robusten Glechung haben. Im generellen Regressonsmodell, n dem k Parameter von n Beobachtungen geschätzt werden, snd de Resduen ncht als vonenander unabhängg zu betrachten. De n Resduen snd ledglch mt n k Frehetsgraden assozert. Se zum Bespel X ene Menge mt n = 150 Beobachtungen für k = 10 Parameter, welche n en Regressonsmodell der Form y = α + β1x1 + L + β10x10 engepasst snd, und seen de Resduen für de -te Beobachtung bezechnet als e. Dann st Def Regresson defnert durch: x X st en Outler, wenn e ncht m 99%-Konfdenzntervall von Students t-kurve mt 140 Frehetsgraden legt [51]. Lemma der Unfzerung von Outlern n Regressonsmodellen: DB p 0, D ) unfzert Def Regresson mt ( 0 p 0 = 0,99 und D 0 = 0, 258. Der Bewes für deses Lemma wrd n enem separaten, ncht veröffentlchten Dokument [51] von Knorr und Ng geführt. Generell st de Outler Erkennung n Regressonsmodellen en wchtges Thema der Statstk und wrd von den her vorgestellten entfernungsabhänggen Ansätzen unterstützt. Wetere Bespele für de Unfzerung von vertelungsbaserten Unterschedungstests für de Exponentalvertelung und de Posson-Vertelung können drekt n der angegebenen Lteraturquelle [3] nachgelesen werden. Allen desen Bespelen st gemen, dass de 18

19 OUTLIER DETECTION IN USENET NEWS Werte p 0, D0 wohldefnert waren. Aber was gescheht n den Fällen, welche für vorgegebene Entschedungstests ungeegnet snd? En erster Ansatz geht von der Beretstellung effektver Vsualserung und effzenter nkrementeller Werkzeuge zur expermentellen Veränderung des Wertepaars p 0, D0 aus. En effzenter Algorthmus zum Fnden von DB( p 0, D0 ) - Outlern st ene Voraussetzung für de notwendge Performance derartger nteraktver Werkzeuge. Allerdngs gehen selbst Knorr und Ng davon aus, dass ene heutge Implementerung von DB( p 0, D0 ) - Outlern ncht auf de Erarbetung optmater Werte für p und D ausgerchtet st, da des m Allgemenen sehr schwer zu errechen se. Auch st zu bedenken, dass ene Vsualserung be multdmensonalen Datenmengen mt vel mehr als 3 Dmensonen vom Nutzer ggf. en sehr hohes räumlches Vorstellungsvermögen oder be der Arbet mt Projektonen auf handhabbare Unterräume wederum ene sehr hohe Abstrakton verlangt. Zudem snd solche Projektonsmechansmen sehr rechenntensv (vgl. [104] und [87]). En alternatver zweter Ansatz bezeht den Nutzer en, welcher Werte für p und D vergbt und verändert. Her sollen Bespeltechnken dem Anwender geegnete Startwertkombnatonen zur Verfügung stellen, da sonst en hoher Kostenaufwand mt ungeegneten Entfernungswerten für große Datenmengen ergebnslos blebt. Durch das Samplng enes Bespels von nˆ von n Tupeln n der Menge wrd en Konfdenzntervall für de ntalen Schätzungen von D be gegebenem p erarbetet. Um de unfzerende Natur des Ansatzes entfernungsbaserter Outler verständlcher zu machen, wrd her auf deren Bezehung zu Clusterng-Methoden engegangen. Im Prnzp klassfzeren Clusterng Verfahren glechartge Objekte und beten verglechswese weng Unterstützung für Outler Detecton. Outler werden mest als Beprodukt angesehen und als Rauschen entfernt, jedoch ncht dentfzert. Das konkrete Verfahren DBSCAN [100] betet dabe enen drekten Bezug zum Ansatz der DB p 0, D ) - Outler. Es klassfzert Objekte ( 0 n Kern-, Rand- und Außen-Bereche abhängg von der Anzahl der Objekte n ener ε -Nachbarschaft, sowe abhängg von der Errechbarket und der Verbundenhet enes Objekts. Dese ε -Nachbarschaft st drekt verglechbar mt der D-Nachbarschaft, se verwendet en verglechbares statstsches Maß, arbetet aber mt klenen Werten für de Bldung starker Cluster, während D entsprechend groß st, um starke Outler zu fnden. Den Errechbarkets- und Verbndungsbegrffen von DBSCAN wrd bem DB( p 0, D0 ) Ansatz ncht wdersprochen. Zusammenfassend kann festgestellt werden, dass DBSCAN auf maxmal große Cluster abzelt und sehr zurückhaltend bem Kennzechnen von Outlern st. DB( p 0, D0 ) hngegen st so aufgebaut, dass Outler nach vom Anwender gewählten bzw. vorgegebenen Parametern p und D erkannt und gekennzechnet werden. Im Fall ε = D snd de dentfzerten Outler also glech, n der Praxs sollte D jedoch größer als ε sen. Darüberhnaus snd Clusterng-Algorthmen, also de konkreten Umsetzungen der Ansätze n praktkable und kosteneffzente Verfahren, ncht für de Unfzerung von Unterschedungstests entworfen. Des muss berückschtgt werden, wenn Clusterng der Outler Detecton gegenübergestellt wrd. En großer Vortel des enhetlchen entfernungsbaserten Ansatzes st der Ersatz für vele Unterschedungstests. Abbldung 4 zegt enen möglchen Entschedungsbaum für de Anwendung vertelungsbaserter Unterschedungstests und unterlegt damt deutlch de Reduzerung des Aufwandes durch de entfernungsbaserte Unfzerung, sofern ene Wahl geegneter Parameter für p und D gegeben st. Der Anwender muss sonst de Wahl des Tests von velen Aspekten abhängg machen, we z.b. Vertelungen, Vertelungswerten und Outler Charakterstka. Ene Rehe deser Informatonen snd nur schwer festzustellen oder gar ncht vorhanden, wenn de Vertelung unbekannt st. Mt dem enhetlchen Ansatz können de Fragestellungen und damt verbundenen Entschedungen vermeden werden. Knorr und Ng beanspruchen kene Unversaltät des Verfahrens, verwesen aber darauf, dass es besser st, als de mesten Standard-Statstktests [3]. 19

20 DIPLOMARBEIT Start Ja / Nen Standard Vertelung? Nen Identfzere DB(p,D)-Outler Stop Ja Normal- Vertelung? Nen Posson Vertelung? Nen Ja Erwartungswert und Varanz unbekannt? Nen Erwartungswert bekannt; Varanz unbekannt? Nen Ja Suchen nach oberen Outlern? Ja Suche enfachen Outler? Ja Test durchführen! Nen Nen Suchen nach unteren Outlern? Ja Suche Outler Paar? Ja Nen Nen Suchen nach Oberen & unteren Outlern? Ja Suchen nach Mehreren solcher Outler? Ja Nen Nen Stop Quelle: Knorr, Ng, A Unfed Approach for Mnng Outlers, Sete 6 Abbldung 4 - Auswahlbaum für statstsche Outlererkennung Abbldungsbeschrebung: Statstsche Erkennungsverfahren [33] für Outler setzen ene Rehe von Annahmen über de Natur der zu erkennenden Outler voraus. Der hohe Aufwand der Auswahl enes Verfahrens wrd durch den dargestellten Entschedungsbaum deutlch und motvert Verfahrensalternatven [3], für de derartge Entschedungen ncht a pror als Annahmen getroffen werden müssen. Entfernungsabhängge Tests erlauben es dem Anwender, durch de geegnete Wahl der Parameter p und D selbst Enfluss auf das Verfahren zu nehmen. En weteres Charakterstkum der entfernungsbaserten Tests st de homogene Betrachtung aller Dmensonen bezogen auf de Attrbute, welche zum Verglech von Verhalten und zur Identfzerung von Outlern verwendet werden. Zudem st das statstsche Maß, de Entfernungsfunkton d kombnert mt der Entfernung D, en globales Maß, de dadurch entdeckten Outler haben also enen globalen Charakter. Für entfernungsbaserte Tests exsteren mehrere Algorthmen mt verschedenen Kostenabschätzungen. Es werden von Knorr und Ng zwe Algorthmen für mehrdmensonale Datenmengen angeboten, welche ene 2 Komplextät von O ( mn ) haben, wobe n de Anzahl der Objekte und m de Anzahl der Dmensonen mt m 2 st. Zusätzlch exstert en parttonsbaserter Algorthmus, der ene Komplextät von O (n) be gegebenem m hat, allerdngs exponentell gegenüber wachsendem m st. Ene Abwandlung deses Algorthmus wrd zudem für große, festplattenbaserte Datenmengen angeboten und garantert ene maxmale Zahl von dre Läufen über de Datenmenge auf dem Spechermedum. Des stellt enen großen Vortel dar, da be deser Art von Datenspecherung.d.R. de Zugrffszeten de größten Kosten verursachen. Auch deser Algorthmus st für m 4 nach expermentellen Untersuchungen de beste Wahl für desen generellen Outler Detecton Ansatz. Fraglch blebt allerdngs, we sch de Performance für Datenmengen mt ener sehr hohen Zahl an Dmensonen entwckelt. Her legt de Tatsache, dass de Kosten mt m exponentell wachsen, den Ensatz anderer Algorthmen oder generell anderer Outler Detecton Verfahren nahe. Im Folgenden snd de entsprechenden Algorthmen nach [8] kurz beschreben. En naves Verfahren zum Fnden aller DB( p 0, D0 ) -Outler n unvaraten Testmengen st das Feststellen der Anzahl von Objekten, welche sch n der D-Nachbarschaft von x befnden, was ene Komplextät von O ( n 2 ) hat, wenn es für alle n Objekte x festgestellt wrd. En optmertes Verfahren baut ene ndzerte räumlche Suchstruktur auf, welche dann mt ener Intervallabfrage dazu benutzt wrd, de Anzahl der Objekte n der D- Nachbarschaft zu x zu fnden. Der Aufwand dafür legt zwschen O ( nlog n) und O ( n 2 ), abhängg von der tatsächlchen Vertelung der Objekte n der Datenmenge. Für mehrdmensonale Mengen st de Berechnung der 2 Entfernung von m abhängg, wobe de Komplextät mt O( mn ) angenommen werden kann, sofern der Aufwand der Bestmmung des Entfernungsmaßes lnear von m abhängt. Für ene klene Zahl an Dmensonen m st en spezeller, zellenbaserter Algorthmus besonders effzent, wel er mt lnearem Aufwand zu n be festem m betreben werden kann. Der Effzenzgewnn resultert aus der 20