Selbstlernende Systeme zur Erkennung unbekannter Angriffe Konrad Rieck und Pavel Laskov Fraunhofer-Institut FIRST Abt. Intelligente Datenanalyse 31.8.2007, Mannheim
IDA im Profil Fraunhofer FIRST & TU-Berlin Intelligente Datenanalyse (IDA) 1 Professor, 15 Postdocs, 11 Doktoranden, 7 Studenten Projekte bei IDA Berlin Brain-Computer-Interface (BBCI) Datenanalyse für IT-Sicherheit Bioinformatische Anwendungen Chemoinformatische Anwendungen 2
Warum IT-Sicherheit? IT-Technik als Risikofaktor Omnipräsenz von Angriffen, Würmern und Viren Wirtschaftliche Schäden und Vertrauensverlust IT-Sicherheitsmaßnahmen Präventiv z.b. Authentikation, Verschlüsselung Reaktiv z.b. Intrusion-Detection-Systeme (IDS) Die Daten sind futsch! 3
Klassische IDS Kopf Netzpaket Inhalt ETH IP TCP GET /scripts/..%c1%9c../system32/cmd.exe Signaturanalyse TCP..%c1%9c.. Nimda-Wurm Ineffektiv gegen unbekannte und neue Angriffe..%c1%9c.. Varianten..%c1%af....%c1%1c....%255c....%%35%63....%c0%9v....%%35c....%252f.. 4
Selbstlernende IDS? Kopf Netzpaket Inhalt ETH IP TCP GET /scripts/..%c1%9c../system32/cmd.exe Anomalieerkennung GET /scripts/..%c1%9c../system32/cmd.exe normal anormal GET /scripts/..%%35c../system32/cmd.exe GET /scripts/..%c0%9v../system32/cmd.exe 5
Maschinelles Lernen für IDS IDS Datenerhebung Extraktion strukturierter Netzmerkmale 1 Merkmalsexktraktion Angriffserkennung Einbettung strukturierter Netzmerkmale Unüberwachte Anomalieerkennung 2 3 Maschinelles Lernen 6
Strukturierte Merkmale Paketinhalt GET /index.html Extraktion strukturierter Merkmale GET T /... ET /i /in N-gramme GET index html Tokens GET html index Parsebäume (Rieck & Laskov, DIMVA 2006) 7
Beispiel: N-Gramme Nimda-Wurm GET /scripts/..%%35c../system32/cmd.exe HTTP-Pakete GET /publications/mind.html GET /mind/code.html GET /mind/duessel/code.html GET /homepage/rieck.html GET /index.html Differenz von 4-Gram-Frequenzen Nimda IIS attack and HTTP traffic comparison 0.05 frequency difference 0.04 0.03 0.02 0.01 0!0.01 %%35 35c. 5c.. c../!0.02 4!grams 8
Merkmalseinbettung Einbettung in hochdimensionalen Merkmalsraum Dimensionen entsprechen Merkmalsfrequenzen Beispiel: 4-Gramme pro HTTP-Verbindung 0.015 GET Acce Acce 0.01 HTTP Pipelining %%35... 0.005 Ähnlichkeit von Inhalten 0 0 %%35 0.05 0.01 GET 0.005 0 9
Maschinelles Lernen Theorie und Methoden zur Abschätzung von funktionalen Abhängigkeiten aus Daten X Y θ Überwachtes Lernen > Markierung der Daten Unüberwachtes Lernen > Statistik der Daten X θ 10
Anomalieerkennung (1) Unüberwachte Anomalieerkennung > Menge von eingebetteten Paketen x 1,..., x n R m < Geometrische Abweichung s von Lernmodell Beispiele für Anomalieerkennungsmethoden Lernmodell Methode Quarter-sphere SVM s(x) = x 1 n x i n i=1 Zentroid-Modell (Laskov et al., DIMVA 2004) 11
Anomalieerkennung (2) Lernmodell Methode Linkage Clustering s(x) = 1 C mit x C Cluster-Modell (Portnoy et al., DMSA 2001) Zeta-Score s(x) = 1 k k x nn i (x) i=1 1 k 1 Dichte-Modell (Rieck & Laskov, JICV 2007) k i=1 k nn i (x) nn j (x) j=1 12
Evaluation Fragestellung Erkennungsleistung bei unbekannten Angriffen Einfluß des Lernmodells und der Merkmale Vergleich mit einem signaturbasierten IDS Evaluationsdaten PESIM 2005 Datensatz Netzverkehr des IDA-Labors Angriffe eines Pentesters (DARPA 1999 Datensatz) 13
Einfluß der Lernmodelle Vergleich implementierter Lernmodelle Kriterium: AUC0.01 - Area under ROC in (0,0.01) Mittelung über N-Gramme von 1 bis 8 Protokoll Bestes Modell AUC0.01 HTTP Zentroid (qs-svm) 0.781 FTP Dichte (Zeta-Score) 0.746 SMTP Cluster (Linkage-clustering) 0.756 Unterschiedliche Ausprägung von Normalität bei unterschiedlichen Protokollen 14
Erkennungsleistung 1 HTTP traffic 1 FTP traffic 1 SMTP traffic 0.9 0.9 0.9 0.8 0.8 0.8 true positive rate 0.7 0.6 0.5 0.4 0.3 true positive rate 0.7 0.6 0.5 0.4 0.3 true positive rate 0.7 0.6 0.5 0.4 0.3 0.2 N -G ramme 0.1 Tok ens Snort 0 0 0.002 0.004 0.006 0.008 0.01 false positive rate 0.2 N -G ramme 0.1 Tok ens Snort 0 0 0.002 0.004 0.006 0.008 0.01 false positive rate 0.2 N -G ramme 0.1 Tok ens Snort 0 0 0.002 0.004 0.006 0.008 0.01 false positive rate Evaluation auf realen Netzdaten (PESIM2005) Erkennung von 80-93% unbekannter Angriffe in HTTP, FTP und SMTP ohne Fehlalarme Deutliche Leistungssteigerung gegenüber Snort-IDS (Rieck & Laskov, JICV 2007) 15
Evasionstechniken Ansätze Red herring Denial-of-Service durch zufällige Paketinhalte Creeping poisoning Unterminierenung des Normalmodells Mimikry-Angriffe Anpassung von Angriffsmuster an Normaldaten... aber (1) Gravierender für Signaturen, e.g. Sneeze (2,3) Kritisches Insiderwissen notwendig 16
Zusammenfassung Maschinelles Lernen zur Angriffserkennung Komplementär zur Signaturanalyse Effiziente Erkennung unbekannter Angriffe Hohe Effektivität bei geringer Fehlalarmrate Perspektiven Realer Einsatz - in vitro zu in vivo Komplettierung durch Signaturerzeugung... und neue Domänen, z.b. Malware 17
Fragen & Antworten.