SYN Grundlagen Algorithmen Anwendung FIN. Anomalieerkennung. UnFUG WS2011/2012. Alexander Passfall Hochschule Furtwangen

Transkript

1 1/23 UnFUG WS2011/2012 Alexander Passfall Hochschule Furtwangen 3. November 2011

2 2/23 Inhalt 1 Grundlagen Typen Funktionsweise 2 Algorithmen Outlier Detection Machine Learning 3 Anwendung

3 3/23 Was ist eine Anomalie? Anomaly is a pattern in data that does not conform to expected behavior Auch: outlier, exception, peculiarity, surprise,...

4 4/23 Einsatzgebiete Bankenwesen Aufdecken von Kreditkartenbetrug z.b. eine unnatürlich hohe Abbuchung Medizin Entdecken von Krebszellen Gesundheitsüberwachung

5 4/23 Einsatzgebiete Bankenwesen Aufdecken von Kreditkartenbetrug z.b. eine unnatürlich hohe Abbuchung Medizin Entdecken von Krebszellen Gesundheitsüberwachung Intrusion Detection

6 Typen 5/23 Anomalie-Typen Punkt kontextabhängig kollektiv

7 Typen 6/23 Punkt-Anomalie Ein einzelner Datenpunkt, der im Vergleich zu anderen anormal ist

8 Typen 7/23 Kontextabhängige Anomalie Ein einzelner Datenpunkt, der nur im Kontext anormal ist Kann in einem anderen Kontext völlig normal sein

9 Typen 8/23 Kollektive Anomalie Eine Menge an Daten, die in dieser Form anormal ist Einzelne Punkte dieser Menge sind für sich nicht anormal

10 Funktionsweise 9/23 Funktionsweise Lernphase Supervised - Normale Daten und Anomalien markiert Semi-supervised - Nur normale Daten Unsupervised - Keine vorherige Definition von normalen Daten/Anomalien Anwendungsphase Daten werden entsprechend dem gelernten Verhalten gefiltert

11 Outlier Detection 10/23 Outlier Detection k-th Nearest Neighbor Nearest Neighbor Mahalanobis Distance Local Outlier Factor (LOF)

12 Outlier Detection 11/23 Gemeinsamkeiten Daten werden auf Punkte in n-dimensionalem Raum abgebildet 1 Dimension entspricht 1 Key Faktor, z.b. TCP-Port Kontextabhängige, kollektive Anomalien werden auf Punkt-Anomalien reduziert (z.b. Verbindungen/Minute)

13 Outlier Detection 12/23 k-th Nearest Neighbor Berechnet die Euklidische Entfernung des k. Nachbar-Punkt von einem Punkt k muss zuvor manuell bestimmt und angepasst werden Zuletzt werden die n Punkte, welche den größten Abstand haben, als Outlier betrachtet

14 Outlier Detection 13/23 Nearest Neighbor k-th Nearest Neighbor mit k=1 Schwach bei Sammlung von Anomalien

15 Outlier Detection 14/23 Mahalanobis Distanz Andere berechnung der Entfernung

16 Outlier Detection 15/23 Local Outlier Factor Berücksichtig die Punkt-Dichte in bestimmten Bereichen

17 Machine Learning 16/23 Machine Learning Bayessche Netze Markov-Modelle Neurale Netze Fuzzy Logic Genetische Algorithmen

18 Machine Learning 17/23 Vorteile Je nach Einsatzgebiet sehr gute Ergebnisse

19 Machine Learning 18/23 Nachteile Hoher Ressourcen-Verbrauch Schlechte Nachvollziehbarkeit der Entscheidungen

20 19/23 SPADE Statistical Packet Anomaly Detection Engine Snort-Plugin Von Silicon Defence entwickelt 2003 DARPA-Finanzierung eingestellt GPL

21 20/23 Funktionsweise Wahrscheinlichkeitstabellen über Auftreten verschiedener Pakete Normaler Traffic z.b. P(dest IP = DNS SRV, dest port = 53) = 10% Anomalie z.b. P(dest IP = DNS SRV, dest port = 80) = 0.1% Errechnen einer relative anomaly score (0-1)

22 21/23 PHAD Paket Header Anomaly Detection Port als Snort-Preprocessor verfügbar Untersucht den IP/TCP/UDP/ICMP-Header auf ungewöhnliches Verhalten Angriffe modifizieren den Header um IDS auszutricksen

23 22/23 Und sonst? Viele akademische Systeme Kommerzielle Systeme?

24 23/23 Fragen?