Traffic Anomaly Detection and Diagnosis on the Network Flow Level

Transkript

1 Traffic Anomaly Detection and Diagnosis on the Network Flow Level THÈSE N O 4997 (2011) PRÉSENTÉE le 7 AVRIL 2011 À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS LABORATOIRE POUR LES COMMUNICATIONS INFORMATIQUES ET LEURS APPLICATIONS 2 PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Marc Philippe Stöcklin acceptée sur proposition du jury: Prof. M. Hasler, président du jury Prof. J.-Y. Le Boudec, directeur de thèse Prof. M. Grossglauser, rapporteur Dr A. Kind, rapporteur Dr V. Lenders, rapporteur Suisse 2011

2 Abstract Monitoring traffic events in computer network has become a critical task for operators to maintain an accurate view of a network s condition, to detect emerging security threats, and to safeguard the availability of resources. Conditions detrimental to a network s performance need to be detected timely and accurately. Such conditions are observed as anomalies in the network traffic and may be caused by malicious attacks, abuse of resources, or failures of mission-critical servers and devices. Behavior-based anomaly detection techniques examine the traffic for patterns that significantly deviate from the network normal activities. Such techniques provide a complementary layer of defense to identify undesired conditions which traditional, signature-based methods fail to detect. These conditions may, for example, emerge from zero-day exploits, outbreaks of new worms, unanticipated user behavior, or deficiencies in the network infrastructure. This thesis is concerned with the challenge of detecting traffic anomalies with behavior-based methods from flow-level network traffic measurements while providing interpretable alert information. We address the problem from two opposite perspectives by analyzing network behavior and individual host behavior. Learning the normal behavior of network activities and detecting relevant deviations thereof is a complex task since behavior changes may also occur under legitimate conditions and should not be reported as anomalies. Due to the absence of explicit detection rules, behavior-based methods moreover provide less precise information as to the causes of aberrant events. Network operators, however, critically depend on meaningful detection results to timely react to alerts by defining effective countermeasures or ruling out potential false alarms. The first part of this work introduces a novel detection scheme which mines for anomalies in the network behavior observed from traffic feature distributions. We study how various types of anomalies may be detected while providing sufficient information to administrators for their characterization. Based on the observation that networks have multiple behavior modes, we propose a method to estimate and model the modes during an unsupervised learning phase. Observed network behavior is compared to the baseline models by means of a two-layered distance computation: Fine-grained anomaly indices indicate suspicious behavior of individual components of traffic features whereas collective anomaly scores for each iii

3 iv feature enable effective detection of anomalies that affect multiple components. We show that the two detection layers reliably expose different types of anomalies. Compared with existing detection methods, the resulting alerts provide important additional information that enables administrators to draw early conclusions as to the anomaly causes. In the second part, we address the challenge of processing high-cardinality traffic information in behavior-based anomaly detection. We introduce an adaptive, locality preserving pre-processing method of measurement data into histogram representations with a manageable number of variable-sized bins. Our technique iteratively adapts, with limited, tunable memory requirements, to the empirical distribution of observations in a data stream in order to evenly balance the observations over the histogram bins. As an important result, we show that our method approximates input distributions well and improves the level of detail in histograms compared to traditional methods. Applied to behavior-based anomaly detection, higher detection sensitivity is achieved while, thanks to preserving the locality of observations, the meaning of bins and the interpretability of detection results is retained. In the third part, we focus on the problem that many low-volume anomalies, emerging from individual hosts, are likely to evade from detection because they are not reflected as significant deviations in the variability of aggregate behavior patterns of hosts on the network level. To address this problem, we examine the behavior of individual hosts from their network connection-level activities using an unobtrusive, passive monitoring approach. We develop an unsupervised method to track properties in the activities that recur over time and establish detailed behavior profiles. We propose three anomaly detectors that compare observed activities to the profiles in order to recognize suspicious changes in a host s activities, giving evidence of abnormal behavior. We demonstrate their effectiveness in revealing different types of anomalies, which are not detectable in aggregate network statistics, while providing meaningful alert information to administrators. In addition, we show that the profiles of individual hosts are stable over time and representative of their activities, and may even be used to identify hosts solely from their traffic behavior. In summary, the methods and algorithms presented in this thesis enable practical and interpretable detection of traffic anomalies on the network flow level with behavior-based methods. Keywords Behavior-based traffic anomaly detection, network flows, profiling, histograms, unsupervised learning.

4 Kurzfassung Die Überwachung von Computernetzwerkverkehr zur Gewinnung eines präzisen Überblicks des aktuellen Netzwerkzustands, zur Erkennung von Gefahren und zur Sicherstellung der Verfügbarkeit ist zu einer zentralen Aufgabe für Betreiber geworden. Zustände, welche die Leistung eines Netzwerks negativ beeinflussen, müssen rechtzeitig und präzise erkannt werden. Diese Zustände können aus Angriffen, Missbrauch von Ressourcen oder Ausfällen betriebsnotwendiger Geräten entstehen und spiegeln sich häufig als Anomalien im Netzwerkverkehr wider. Methoden der verhaltensbasierten Anomaliedetektion untersuchen den Verkehr auf Muster, welche signifikant von normalen Netzwerkaktivitäten abweichen. Solche Techniken ergänzen gängige signaturbasierte Methoden in der Erkennung neuartiger Probleme, die beispielsweise aus Zero-Day Exploits, Ausbrüchen neuer Würmer oder unvorhergesehenem Nutzerverhalten und Infrastruktur-Missständen hervorgehen. Diese Dissertation beschäftigt sich mit der Erkennung von Anomalien im Netzwerkverkehr aus Netzwerkflüssen mittels verhaltensbasierten Methoden und der Erstellung interpretierbarer Resultate. Wir gehen das Problem aus zwei entgegengesetzten Perspektiven an, indem wir sowohl das Verhalten von Netzwerken als Ganzem als auch das Verhalten von einzelnen Maschinen analysieren und auf Abweichungen vom normalen Verhalten untersuchen. Die Erkennung von Anomalien ist komplex, da sich auch aus legitimen Bedingungen andersartiges Verkehrsverhalten ergeben kann, welches nicht als Anomalie gemeldet werden soll. Zudem beruhen verhaltensbasierte Methoden nicht auf expliziten Erkennungsregeln und geben daher häufig weniger genaue Angaben zu den Ursachen abweichend erkannten Verhaltens. Netzwerkbetreiber benötigen jedoch aussagekräftige Befunde um Probleme oder mögliche Fehlalarme rasch und effektiv zu erkennen und bearbeiten. In einem ersten Teil führt diese Arbeit eine neuartige Erkennungsmethode für Anomalien im Netzwerkverhalten ein, welche auf Basis von statistischen Verteilungen von Verkehrsmerkmalen ermittelt werden. Wir untersuchen wie verschiedene Anomalietypen erkannt werden können bei gleichzeitiger Erstellung ausreichender Informationen zu deren Charakterisierung. Basierend auf der Beobachtung, dass Netzwerke verschiedene Betriebsmodi aufweisen, schlagen wir eine Methode vor, welche während einer unüberwachten Lernphase die Modi erkennt und daraus Modelle des normalen Verhaltens gewinnt. In der Folge wird beobachtetes Netv

5 vi zwerkverhalten auf zwei Abstraktionsebenen mit diesen Modellen verglichen: zum einen mit einer detaillierten Detektion in einzelnen Komponenten der Merkmale sowie zum anderen mit kollektiven Indikatoren, die Anomalien erkennen, welche sich über mehrere Komponenten verteilen. Wir zeigen wie die beiden Ebenen verschiedene Anomalietypen zuverlässig identifizieren. Verglichen mit existierenden Methoden liefert diese Methode wichtige Zusatzinformationen zu Anomalien, aus welchen Betreiber erste Rückschlüsse auf deren Ursachen ziehen können. Im zweiten Teil befassen wir uns mit der Problematik der Vorverarbeitung von Messdaten mit hoher Kardinalität. Dabei entwickeln wir eine adaptive Verarbeitungsmethode mittels Histogrammen mit einer überschaubaren Anzahl von Werte-Intervallen variabler Breite. Unsere Technik passt sich iterativ und mit beschränkter Speicheranforderung an die empirische Verteilung eines Datenstroms an und verteilt die Beobachtungen gleichmässig über alle Intervalle. Wir zeigen, dass diese Methode die Verteilung gut annähert und den Detailgrad von Histogrammen, im Vergleich zu existierenden Methoden, erhöht. Angewandt auf verhaltensbasierte Anomaliedetektion, ergibt sich daraus eine höhere Sensitivität des Detektors und, dank der Erhaltung der Semantik der Intervalle, eine bessere Interpretierbarkeit der resultierenden Daten. Im dritten Teil konzentrieren wir uns auf die Problematik, dass viele Anomalien aufgrund ihrer niedrigen Intensität in den Schwankungen aggregierter Verkehrsvolumina verschwinden und daher nicht im kollektiven Verhalten auf der Ebene des gesamten Netzwerks erkennbar sind. Für diese Problematik entwickeln wir eine passive, nicht-invasive Methode, welche das individuelle Verhalten einzelner Maschinen in Bezug auf deren Netzwerkaktivitäten untersucht. Aus zeitlich häufig wiederkehrenden Eigenschaften in den Netzwerkaktivitäten erstellt diese Methode automatisch Verhaltensprofile der jeweiligen Maschinen. Wir führen drei Anomaliedetektoren ein, welche verdächtige Verhaltensänderungen anhand der Profile erkennen. Wir zeigen deren Effektivität bei der Erkennung verschiedenartiger Anomalien, welche auf der aggregierten Netzwerkebene verschwinden, während gleichzeitig interpretierbare Informationen generiert werden, aus welchen die Ursachen abgeleitet werden können. Wir zeigen zudem, dass diese Profile zeitlich stabil und repräsentativ für die Netzwerkaktivitäten sind und sich häufig sogar für die Identifikation einzelner Maschinen aufgrund ihres Netzwerkverkehrs eignen. Zusammenfassend ermöglichen die Methoden und Algorithmen, welche in dieser Dissertation erarbeitet wurden, eine praktische und interpretierbare verhaltensbasierte Erkennung von Verkehrsanomalien mittels Netzwerkflussmessungen. Schlüsselwörter Verhaltensbasierte Detektion von Anomalien im Netzwerkverkehr, Netzwerkflüsse, Profiling, Histogramme, unüberwachtes Lernen.

6 Contents 1 Introduction Practical Challenges in Anomaly Detection Problem Description Detection and Diagnosis of Traffic Behavior Anomalies High-cardinality Monitoring Data in Anomaly Detection Host Profiling on the Flow Level Contributions of this Thesis Outline Background: Flow-based Network Traffic Anomaly Detection Flow-Level Traffic Monitoring Passive Traffic Measurement Methods Evaluation Datasets Flow-level Traffic Anomaly Detection Volume-based Anomaly Detection Methods Entropy-based Anomaly Detection Methods Histogram-based Anomaly Detection Methods High-cardinality Monitoring Data Cardinality Reduction in Anomaly Detection Data Summarization in Network Monitoring Histogram Estimation in Database Systems Host Profiling on the Flow Level Diversity and Similarity in Host Behavior Connection-level Host Profiling End-host Probes vs. Network Monitoring Two-layered Detection of Network Traffic Behavior Anomalies Introduction Observations Flow-count Histograms A Flow-count Analysis of Traffic Anomalies Behavior Modes In Networks ix

7 x CONTENTS Distance Metric: Symmetrized KL Distance Methodology Notation The Detection Phase The Learning Phase Recalibration Discussion Detection and Diagnosis of Anomalies Comparison with Entropy-based Anomaly Detection Comparison with Histogram-based Anomaly Detection Administrator Feedback Limitations Evaluation Data sets Implementation Details Identification and Diagnosis Detection Performance Comparison with Entropy- and Histogram-based Approaches Discussion of the Results Summary Adaptive Distribution Estimation from Monitoring Data Introduction Motivation Histogram Binning Balanced Histograms Histogram Equalization Adaptive Space Partitioning with Balanced Histograms Preliminaries Relation between Quantiles to Balanced Histograms Iterative Approximation of Equi-Probable Partitions Discussion and Analysis Recalibration Analysis of the Estimated Boundary Positions Comparison with Naïve Quantile Estimation Validation and Experimental Results Evaluation Metrics Synthetic Data Set Mean and Variance of the Error ε i Smoothing factor α Memory: Number of Sub-bins M

8 CONTENTS xi Conclusions Application to Anomaly Detection Aspect Spaces Histogram Construction from Network Data Streams Evaluation with Network Traffic Data Evaluation with Histogram-based Anomaly Detection Discussion of the Results Summary Host Behavior Profiling on the Flow Level Introduction Insights from an Exploratory Trace Analysis Quantitative Analysis of the Initiator Peer Set Temporal Analysis of the Initiator Peer Set Observations and Insights Methodology The Anatomy of a Host Fingerprint Host Profile Construction Detection of Host Anomalies Host Behavior Anomalies Behavior-Change Detectors Discussion Practical Challenges of Flow-based Profiling Host Profiling from Network Measurements Dynamic Host IP Addresses Unidirectional vs. Bidirectional Flow Exports Dynamical Remote IP Addresses Evaluation Profile Properties Anomaly Detection Dissimilarity of Profiles and Identification Summary Conclusions and Future Directions Summary of the Results Evaluation of the Design Goals Future Directions Curriculum vitæ 169 Bibliography 171