Risikoanalyse mit automatischen Sicherheitstests RACOMAT Methode und Tool

Transkript

1 Risikoanalyse mit automatischen Sicherheitstests RACOMAT Methode und Tool Johannes Viehmann 2014

2 Überblick RACOMAT Risk Analysis COMbined with Automated Testing Inhaltsverzeichnis Einführung Problem und Zielsetzung Stand der Technik Die RACOMAT Methode Das RACOMAT Tool Case Studies Ausblick

3 Einführung Bedeutung der Risikoanalyse für IKT-Systeme Ausgangslage Vernetzte, heterogene IKT-Systeme überschreiten sowohl organisatorische als auch geographische Grenzen Aus der Bedeutung von IKT-Systemen in politischer, wirtschaftlicher, kultureller und sozialer Hinsicht ergeben sich sicherheitspolitische Herausforderungen Notwendigkeit von Risikomanagement Perfekte Sicherheit lässt sich mit praktikablem Aufwand für komplexe IKT-Systeme nicht erzielen Es bleiben zumindest Restrisiken Risikoanalyse und Risikoreduktion können Vertrauen schaffen, indem bestehende Risiken aufgedeckt sowie offen kommuniziert werden gezielte Maßnahmen zur Verringerung von jenen Risiken ergriffen werden, welche als untragbar hoch eingestuft werden

4 Problem und Zielsetzung Herausforderungen der Risikoanalyse und des Sicherheitstestens Risikoanalysen für komplexe IKT-Systeme sind schwierig und aufwendig Oftmals hohe Abhängigkeit von subjektiven Einschätzungen der Analysten Manuelle Analyse für große Systeme ist nur auf hohem Abstraktionslevel zu bewältigen Es gibt evtl. keine Experten für das Gesamtsystem, sondern nur für Teilsysteme Risikoanalyse mit Sicherheitstests objektivieren Analyseprozess automatisieren Sicherheitstests auf ungewolltes Verhalten sind teurer als Tests begrenzter Spezifikationen Tests der falschen Stellen mit ungeeigneten Testfällen helfen bei der Risikoanalyse nicht Manuelles Testen ist fehlerträchtig und bei großen IKT-Systemen kaum möglich

5 Stand der Technik Risikoanalyse, RBST, TBSR Methoden zur Risikoanalyse FMEA/FMECA, FTA, ETA, CORAS Compositionale Risikoanalyse Standard: ISO Zusammenspiel von Risikoanalyse und Sicherheitstests Test-Based Risk Analysis (TBRA) Verbesserung der Risikoanalyse mit Ergebnissen von Sicherheitstests Risk-Based Security Testing (RBST) Optimierung des Sicherheitstestens mithilfe der Ergebnisse aus der Risikoanalyse Kombination von TBRA und RBST Bisher keine konkrete Methode bekannt Die RACOMAT Methode soll diese Lücke schließen

6 Die RACOMAT Methode Iterativer Prozess

7 Die RACOMAT Methode Levels des Zusammenspiels von Risiko Analyse und Security Tests 1. Identifikation Was soll getestet werden? 2. Priorisierung Wie viel Aufwand ist für welche Tests sinnvoll? 3. Generierung Mit welchen Daten soll getestet werden? 4. Ausführung Wo wird wie stimuliert und observiert? 5. Rückführung Was bedeuten die Testergebnisse für das Risikobild?

8 Die RACOMAT Methode Wiederverwendbarkeit und Automatisierung Komponentenbasierte systemnahe Risikoanalyse Wiederverwendbare Risikoanalyseartefakte Verknüpfung mit Systemkomponenten Security Tests sind Bestandteil der RACOMAT Risikoanalyse, die Verknüpfung erfolgt mithilfe von Security Test Pattern Strategien, Modellen und Code-Fragmente für die Testfallgenerierung sowie Testausführung Generische Verweise, wie Testpattern mit Risikographen und den analysierten Systemelementen zu verbinden sind Informationen zur Testbarkeit im Verhältnis zum Aufwand Metriken, welche die Aggregation sowie die Rückführung der Testergebnisse in das Risikobild unterstützen

9 Die RACOMAT Methode Security Test Pattern Field Description Format ID Unique identifier Number Name Meaningful identifier Text Description Information for the user Informal XHTML Relations E.g. to risk artefacts {Catalog}, ID, semantics

10 Die RACOMAT Methode Security Test Pattern Field Description Format ID Unique identifier Number Name Meaningful identifier Text Description Information for the user Informal XHTML Relations E.g. to risk artefacts {Catalog}, ID, semantics Generators Create test data Executers Test and observe for faults or unwanted incidents Type, (code snippet / tool / model / informal XHTML) Type, (code snippet / tool / model / informal XHTML) Metrics Calculate the risk Type, (code, informal XHTML)

11 Die RACOMAT Methode Security Test Pattern Field Description Format ID Unique identifier Number Name Meaningful identifier Text Description Information for the user Informal XHTML Relations E.g. to risk artefacts {Catalog}, ID, semantics Generators Create test data Executers Test and observe for faults or unwanted incidents Type, (code snippet / tool / model / informal XHTML) Type, (code snippet / tool / model / informal XHTML) Metrics Calculate the risk Type, (code, informal XHTML) Evaluations Assess generator, executer and metric combinations Feedback User experiences Enumerations for effort and effectiveness Rating, informal comments

12 Das RACOMAT Tool Features und Workflow 1/2 System- und Risikoanalyse Erstellt automatisch Interfacemodelle für Programme, APIs, Komponenten oder Web-Services Generiert semiautomatisch initiale Fault Trees oder CORAS Risikographen Nutzt Risiko-Kataloge (BSI IT-Grundschutz, Mitre CWE / CAPEC ) Erlaubt das Editieren und Komponieren per Drag and Drop Berechnet Wahrscheinlichkeiten abhängiger Ereignisse automatisch Security Test Pattern Instanziierung Schlägt Assoziationen mit den identifizierten Bedrohungen und Systemkomponenten vor Berechnet den Testaufwand, der jeweils pro Bedrohung betrieben werden sollte

13 Das RACOMAT Tool Features und Workflow 2/2 Durchführung der Tests Ist ein Test Pattern assoziiert, sind Generierung, Ausführung und Auswertung der Tests zumindest semiautomatisch möglich Oft auch ganz ohne manuelle Eingriffe, z. B. für Overflows oder (SQL-) Injections Updates am Risikobild basierend auf den Testergebnissen Macht Vorschläge anhand der Metriken von den Security Test Pattern Genauere Wahrscheinlichkeitswerte Bisher unbeachtete Fehler / Incidents

14 Das RACOMAT Tool Security Test Pattern Library STPL Security Test Pattern Library STPL mit Test Pattern für häufig zu beachtende Bedrohungsszenarien Existiert kein passender Test Pattern, kann dieser im RACOMAT Tool erzeugt und bearbeitet werden Nutzer können Beiträge zur Verbesserung und Erweiterung der offenen STPL einreichen Qualitätsmanagement mit Bewertungen / Kommentaren der Nutzer

15 Das RACOMAT Tool Demo

16 Case Studies Erste Erkenntnisse aus der Praxis RACOMAT Methode und Tool wurden und werden in zwei Case-Studies für große modulare Systeme erprobt S-Netzwerk (Fraunhofer, H-C3 TU Berlin) Software AG Command Central (EU-Forschungsprojekts RASEN) Positive Erkenntnisse Die sicherheitsspezifische Automatisierung spart gegenüber manuellem oder allgemein modellbasiertem Testen bereits Zeitaufwand Die Assistenten sowie die Bibliotheken verhindern, dass kritische Aspekte von Analysten übersehen werden Negative Risikoanalyse: Streichen der nicht relevanten Bedrohungen Die Wiederverwendung von Artefakten verhindert Fehler bei der Neuerfindung des Rades Probleme Es bestehen kaum brauchbare Security Test Pattern Sinnvolle, begründbare Vorgaben zum zu betreibenden Testaufwand, zur Testgenauigkeit und zur Testauswertung sind schwierig zu finden

17 Ausblick RACOMAT Methode und Tool unterstützen derzeit die Vertiefung der Risikoanalyse mit Tests Weitere Methoden zur Vertiefung: Simulation, Moitoring, Verifikation, Review Elementare Threat Simulation (Monte Carlo Simulation) im Tool vorhanden, ausbaufähig Assistent für die Analyse von Cloud Systemen in Entwicklung Vision: Open Risk Assessment Community Driven Risk Analysis

18 Fragen, Anregungen? Vielen dank für Ihre Aufmerksamkeit! Johannes Viehmann 2014

19 Kontakt Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS Kaiserin-Augusta-Allee Berlin, Germany System Quality Center Dr. Tom Ritter Leiter Kompetenzzentrum SQC Johannes Viehmann Friedrich Schön Leiter Kompetenzzentrum SQC