Extrusion Detection: Monitoring, Detecting, and Characterizing Internal Infections

Transkript

1 Diss. ETH No TIK-Schriftenreihe Nr. 146 Extrusion Detection: Monitoring, Detecting, and Characterizing Internal Infections A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by Elias Raftopoulos Master of Science in Computer Science born May 22, 1981 citizen of Greece accepted on the recommendation of Prof. Dr. Bernhard Plattner, examiner Prof. Dr. Xenofontas Dimitropoulos, co-examiner Prof. Dr. Evangelos Markatos, co-examiner Dr. Christian Kreibich, co-examiner 2014

2 Abstract It is never impossible for a piece of malware to infect a computer system, only improbable. The deployment of large networked systems in critical domains such as financial, military, health and government infrastructures necessitates the existence of security assurances in building software and networking components. These systems are often part of an unbounded network, such as the Internet, with no centralized authority, predefined security policies and trust relations. Thus, they allow dynamic memberships where authorization schemes are not enforced, and are based on localized administration. Although, security experts struggle to fend off these infrastructures, it has been proven that even well administered networks exhibit difficulties defending effectively against modern sophisticated malware threats. The existence of compromised machines within the premises of any monitored infrastructure should be considered a certainty. Therefore, it is no longer sufficient for security practitioners to harden the network perimeter by deploying network defenses, such as firewalls, and limiting the network services exposed to the internet. Internal hosts must be protected and, thus, traffic generated from them must be monitored for signs of compromise. This signals a shift from the traditional fortress concept, that would perceive the network security to be as good as the effectiveness of its perimeter defenses. Security practitioners cannot solely focus on intrusion detection, but need effective tools to perform extrusion detection, i.e., methods to detect and monitor hosts within their network that are already infected by malware.

3 iv Abstract Motivated by this problem, in this work, we introduce a holistic approach for detecting infected machines within the internal monitored network. First, we tailor a novel IDS alert correlator that detects internal infections with a low false positive rate of 15%. Our heuristic uses an information theoretic measure to identify statistically significant temporal associations between a selected pool of alerts. In this way it detects the multi-stage alert signature generated by malicious hosts within the network. Second, we perform a systematic validation of detected infections on live hosts within the production environment. Based on our experiment, we describe how to leverage heterogeneous security data sources to remotely diagnose live infections in a large production network and evaluate their utility in making an assessment. Third, we tailor a decision support tool based on the C4.5 algorithm that reflects how low-level evidence from diverse security sources can be combined to diagnose different families of malware. The derived tool encodes a large part of the decisions of the analyst in correlating heterogeneous security logs and is useful for expediting the time-consuming manual security assessment process of security incidents. Fourth, we perform a thorough characterization of 4,358 infections detected in a production environment and derive novel insights about malware patterns in the wild. We characterize the volume, types and impact of infections, compare key characteristics of different malware families, and illustrate how infections correlate across time and space. Our findings and developed tools can help security practitioners to fine-tune their baseline defenses, prioritize the collected alerts originating from heterogeneous security sensors, improve the detection accuracy of the deployed IDS systems, and guide the forensics investigation process of identified security incidents.

4 Kurzfassung Es ist für eine Schadsoftware niemals unmöglich, in ein Computersystem einzudringen, nur unwahrscheinlich.. Die Verwendung grosser vernetzter Systeme in kritischen Bereichen wie dem Finanzsektor, dem Militär, im Gesundheitswesen und in Infrastruktur, die für das Regierungswesen benötigt werden, macht die Existenz von Sicherheitszusagen beim Entwickeln von Software und von Netzwerkkomponenten nötig. Solche Systeme sind oft Teil eines unbegrenzten Netzwerks wie dem Internet, das keine zentrale Verwaltung und keine vordefinierten Sicherheitsrichtlinien oder Vertrauensbeziehungen hat. Daher erlauben sie dynamische Mitgliedschaften, bei denen Autorisierungsvorschriften nicht durchgesetzt werden und die auf lokaler Administration basieren. Obwohl Sicherheitsexperten sich bemühen, diese Infrastrukturen abzusichern, ist nachgewiesen, dass selbst gut administrierte Netzwerke sich nur schwer gegen moderne Schadsoftware verteidigen können. Es ist daher davon auszugehen, dass es innerhalb jeder überwachten Infrastruktur kompromittierte Maschinen gibt. Für Sicherheitsfachleute ist es daher nicht mehr ausreichend, den Netzwerkperimeter zu schützen, sei es durch den Einsatz von Technologien wie Firewalls oder durch die Beschränkung derjenigen Netzwerkdienste, die im Internet verfügbar sind. Computer innerhalb des Perimeters müssen ebenfalls geschützt werden und deshalb muss auch Datenverkehr, der von ihnen ausgeht, auf Zeichen von Kompromittierung untersucht werden. Dies zeigt schon, dass das traditionelle Konzept einer Festung ausgedient hat, bei dem Netzwerksicherheit als Perimetersicherheit betrachtet wird. Sicherheitsfachleute können sich nicht mehr nur auf Einbruchserkennung (intrusion detection, IDS) beschränken, sondern benötigen auch effektive Werkzeuge zur Erkennung von Ex-

5 vi Kurzfassung trusion, also Methoden, die bereits infizierte Rechner im Netzwerk entdecken und überwachen. In dieser Arbeit präsentieren wir einen holistischen Ansatz, das Problem der Entdeckung infizierter Maschinen zu lösen. Zuerst entwickeln wir einen neuen IDS-Alarm-Korrelator, der interne Infektionen mit einer geringen falsch-positiv-rate von nur 15% entdeckt. Unsere Heuristik benutzt Messmethoden aus der Informationstheorie, um statistisch signifikante Korrelationen zwischen Alarmen zu entdecken. So entdeckt der Korrelator auch Angriffe, die von infizierten Maschinen in mehreren Stufen durchgeführt werden. Zweitens validieren wir systematisch die entdeckten Infektionen auf Rechnern in einer Produktionsumgebung. Darauf aufbauend beschreiben wir, wie man verschiedenste Quellen von Sicherheitsinformationen nutzen kann, um aus der Ferne aktuelle Infektionen in einem grossen Produktionsnetzwerk zu diagnostizieren. Wir werten diese Datenquellen ausserdem hinsichtlich ihrer Nützlichkeit für Sicherheitseinschätzungen aus. Drittens entwickeln wir ein Werkzeug basierend auf dem C4.5 Algorithmus, das bei Sicherheitsentscheidungen unterstützen kann. Dadurch wird klar, wie man hochspezifische Informationen aus verschiedensten Datenquellen zur Diagnose von Schadsoftware nutzen kann. Das Werkzeug beinhaltet dabei bereits einen grossen Teil der Entscheidungen, die ein menschlicher Sicherheitsanalyst trifft, um die verschienenen Datenquellen miteinander zu korellieren und ist daher nützlich, die zeitaufwendige händische Untersuchung von Sicherheitsvorfällen zu beschleuningen. Viertens untersuchen wir Infektionen, die in einem Produktionsnetztwerk entdeckt werden und charakterisieren sie gründlich. Daraus leiten wir neue Einsichten über das Verhalten echter Schadsoftware ab. Wir charakterisieren insbesondere Anzahl, Typ und Auswirkung von Infektionen, vergleichen verschiedene Familien von Schadsoftware und beschreiben, wie Infektionen räumlich und zeitlich korellieren.