Dipl.-Inf. (FH) Jens Berthold controlnet - Automation. IT. Sicherheit. Senior Professional Software Development & Security Analysis.

Transkript

1 17. VDE-Symposium Untertitel Netzleit-, Zähler- & Informationstechnik Sichere Kommunikationsinfrastrukturen mit Ende-zu-Ende-Verschlüsselung für Leittechnik & Smart Grid sowie deren zentrales Monitoring (Praxisbericht / Empfehlungen) Dipl.-Inf. (FH) Jens Berthold controlnet - Automation. IT. Sicherheit. Senior Professional Software Development & Security Analysis Dipl.-Ing. René Fiehl info@controlnet.de Senior Professional - Network & Security Analysis rene.fiehl@controlnet.de Weimar, 03. und 04. September 2014

2 Schwerpunkte Ausgangslage und Anforderungen Konzeption und Systemstruktur Umsetzung Herausforderungen und Besonderheiten - 2 -

3 Ausgangslage und Anforderungen - 3 -

4 Ausgangslage und Anforderungen Ausgangslage 20 im Stadtgebiet verteilte Prozesstechnikstandorte (Leittechnik, PV-Anlagen) Teilweise Lokationen mit schwierigen Umgebungsbedingungen Kommunikation soll via Protokoll IEC erfolgen Größtenteils keine kommunikationstechnische Erschließung (LWL, Kupfer)? Bildquelle SPS: Wago ( Fernwirktechnik mit IEC 60870/61850/61400 ) - 4 -

5 Ausgangslage und Anforderungen Anforderungen Auswahl eines geeigneten Transportnetzes Bildung einer sicheren Netzplattform über heterogene Hersteller und Systemtechniken hinweg zur Übertragung des IEC Protokolls IT-Security: Absicherung der Kommunikation (interne Daten) gegen unbefugten Zugriff Protokollübertragung in beide Richtungen Standardisierung der Implementierung über alle Standorte hinweg für schnelle Erschließung künftiger weiterer Standorte Überwachung der Verfügbarkeit der Kommunikationsstrecken und ggf. weiterer relevanter Parameter - 5 -

6 Konzeption und Systemstruktur - 6 -

7 Konzeption und Systemstruktur Anforderung: Auswahl eines geeigneten Transportnetzes Anbindung der Standorte an zentrales Unternehmensnetz via Funktechnik Varianten: WLAN (Richtfunk) Funktion nicht überall gewährleistet wg. Bebauung Anzahl zu erschließender Standorte würde hohe Initialkosten verursachen Geringe laufende Kosten GSM-Funknetz Flächendeckend verfügbar im gesamten Realisierungsgebiet Problematische Standorte (Keller) durch Außenantennen realisierbar Laufende Kosten zu beachten - 7 -

8 Varianten Konzeption und Systemstruktur IT- Security Anforderung: Protokollübertragung in beide Richtungen Statische IP-Adresse notwendig muss bei Auswahl des GSM-Vertrages beachtet werden! Internet Internet Statische IP-Adresse APN-Tunnel Öffentliches GSM-Netz LAN Private APN-Netzwolke LAN Durch öffentliche IP-Adresse für potentielle Angreifer erreichbar Grundsätzlich nicht für Angreifer aus öffentl. GSM-Netz erreichbar - 8 -

9 Konzeption und Systemstruktur IT-Security GSM-Funknetz - Datensicherheit Private APN-Netzwolke Privates Netzsegment (geschlossene Nutzergruppe) mit registrierten SIM-Karten Kommunikation aus dem APN-Netz des Mobilfunkanbieters zum Firmennetz ist durch Tunnel gesichert Internet APN-Tunnel Private APN-Netzwolke LAN laut Anbieter abgeschottet, sollte aber dennoch nicht als vertrauenswürdig angesehen werden (da unter fremder Kontrolle) - 9 -

10 Konzeption und Systemstruktur Anforderung: Bildung einer sicheren Netzplattform Einordnung der Netze in SPZ Entscheidung über einzusetzende Sicherheitstechniken 0 Unsichere Netze Unsicher 1 Vertrauenswürdige Netze Niedrig 2 Sichere Netze Standard 3 Höher gesicherte Netze Höher als Standard

11 Konzeption und Systemstruktur Anforderung: Bildung einer sicheren Netzplattform Einordnung der Netze in SPZ Entscheidung über einzusetzende Sicherheitstechniken 0 Unsicher 1 Niedrig Internet- Firewall 2 Standard 3 Höher als Standard Zentrale Leitstellen- Firewall

12 Konzeption und Systemstruktur Anforderung: Bildung einer sicheren Netzplattform Einordnung der Netze in SPZ Entscheidung über einzusetzende Sicherheitstechniken 0 Unsicher 1 Niedrig 2 Standard Internet- Firewall APN-Tunnel des Anbieters Zentrale Direkte APN-Kommunikation Vertrauen auf Sicherheitsmaßnahmen des Mobilfunkanbieters Änderung z.b. der Zielnetze (Endpunkte) im Firmen-LAN nur durch Änderungsantrag beim Anbieter anpassbar Leitstellen- Firewall 3 Höher als Standard

13 Konzeption und Systemstruktur Anforderung: Bildung einer sicheren Netzplattform Einordnung der Netze in SPZ Entscheidung über einzusetzende Sicherheitstechniken 0 Unsicher 1 Niedrig Eigener IPSec-Tunnel Internet- Firewall APN-Tunnel des Anbieters Direkte APN-Kommunikation Eigener IPSec-Tunnel Vertrauen auf Sicherheitsmaßnahmen Durchgängiger Sicherheitsdes Mobilfunkanbieters Level vom Endpunkt bis zur Leitstelle in eigener Hoheit Änderung z.b. der Zielnetze Flexible (Endpunkte) Anpassung im Firmen-LAN des Routings, nur durch der Änderungsantrag Routernetzwerkbereiche beim Anbieter anpassbar und Zielnetze 2 Standard 3 Höher als Standard Zentrale Leitstellen- Firewall

14 Konzeption und Systemstruktur Anforderung: Standardisierung der Implementierung Dokumentation aller Prozesse IP-Adresskonzept Einrichtung der SIM-Karten Gerätekonfigurationen Firewallkonfigurationen IPSec-Tunnelparameter Monitoring Entstörung und Komponentenzugang

15 Umsetzung

16 Umsetzung Projektphasen Einrichtung Monitoring-System Inbetriebnahme Produktivsystem Entwicklung der automatisierten Provisionierung Aufbau und Betrieb Testumgebung Konzeption Monat

17 Umsetzung Empfehlung - Koordination Fokus auf Koordination ("Alle Parteien ins Boot holen") Fachabteilung Fachspezifische Anforderungen IT- und Sicherheitsverantwortliche Security-Anforderungen (Schutz des Unternehmensnetzes und der Daten) Safety-Anforderungen (Ausfallsicherheit, Überwachung) Spätere administrative Aufwendungen Automatisierungen wenn möglich Netzwerkspezialisten

18 Umsetzung Vorortkomponente Hauptanforderungen bzw. Aufgaben: GSM-Modem (GPRS, EDGE, HSDPA) Routing-Funktion Terminierung des verschlüsselten Tunnels (IPSec) Netzwerkanschluss für IP-basierte Leittechnikkomponenten Weitere Anforderungen: Möglichkeit zur automatisierten Konfiguration Abfragefunktionen zur Kontrolle des GSM-Status

19 Umsetzung Vorortkomponente Router UR5i v2 der Fa. Lucom Lokale Firewall-Filterregeln definierbar Zwei SIM-Karten Notsteuerung via SMS Regelmäßige Firmware-Weiterentwicklung Bildquelle: Lucom.eu

20 Umsetzung Monatliches Datenvolumen Mittlere Nutzung (nach Optimierungen) liegt bei 120 MB / Monat (ca. 48 B/s) GSM-Volumentarif: Auswahl Anbieter T-Mobile 300 MB Datenvolumen pro Monat Mehrnutzung (über 300 MB) wäre ungewöhnlich und kostenintensiv Vermeidung von Zusatzkosten durch Volumenüberschreitung Bei hohem Datenaufkommen erfolgt eine Meldung durch das Monitoring-System Konfiguration der GSM-Router derart, dass bei Überschreitung eine automatische SMS-Meldung erfolgt

21 Umsetzung Schutzsysteme Hauptanforderungen Internet-Firewall Abschottung aller internen Netze Terminierung des APN-Tunnels Leitstellen-Firewall Abschottung der Process IT Terminierung des eigenen IPSec-Tunnels zu den Stationen

22 Umsetzung Schutzsysteme - Sophos UTM Firewall Unified Threat Management (UTM) System Malware-Filter für Web und Sichere Site-2-Site- und Einwahlverbindungen Verschlüsselter Fernzugriff via Webbrowser Plug-and-Play-Module zur Anbindung von Homeoffice-Netzen oder entfernten Büro-Standorten Installationsfreie -Verschlüsselung WLAN-Infrastruktur-Management Bildquelle: Sophos Press Kit

23 Umsetzung IPSec-VPN-Tunnel De-facto-Standard für gesicherte Kommunikationstunnel Gewährleistet Authentizität und Privatheit der übertragenen Daten Sicherheitsparameter im Projekt: Authentifizierung: Zertifikatsbasiert (RSA-Schlüssel mit 2048 Bit Länge) (ein Zertifikat pro Standort / VPN-Router) Verschlüsselung: AES mit 128 Bit Schlüssellänge Sitzungsschlüssel (K) wird durch Diffie-Hellman-Algorithmus zwischen beiden Seiten ausgehandelt, jedoch niemals über die Leitung übertragen K AES128-verschlüsselt K

24 Umsetzung Automatisierte Provisionierung der VPN-Router Konfiguration in Testumgebung manuell via Web-GUI Aufgrund einheitlicher Systemplattform werden VPN-Router gleichartig konfiguriert Automatisierung der Konfiguration durch eigenentwickelte Software Fehlervermeidung Zentrale Konfigurationsspeicherung Dokumentation Endgeräte / Stationen Know How in Softwareentwicklung vorteilhaft ( DevOps )

25 Umsetzung Monitoring-System Zabbix Monitoring ist ein Werkzeug des Betreibers von CIT und PIT und sollte immer technikunabhängig und in der Hand der Fachabteilung sein Einführung im Zeitraum der Projektumsetzung Zunächst nur Überwachung der VPN-Router (Erreichbarkeit, Datendurchsatz) Mittlerweile Einsatz für diverse Systeme und Techniken: Netzwerkkomponenten (Firewalls, Switches) Server (Betriebssystem und Anwendungen) Internetzugang diverse Backups Datenbank-Cluster Namensauflösung (DNS)

26 Umsetzung Monitoring-System Zabbix Hilfreich im Projekt zur Auswertung zeitlicher Verläufe und Zusammenhänge GSM-Signalpegel Zugriffszeiten Datendurchsatz

27 Herausforderungen und Besonderheiten

28 Herausforderungen Störfall A - Instabile Verbindungen Aufnahme GSM-Signalstärke und Modus in Überwachung (Monitoring-System) Ermittlung verschiedener Ursachen 1. Schlechte Empfangsbedingungen: Wechsel zwischen HSPA und EDGE Tausch oder Korrektur der Antennen 2. Periodische Störeinflüsse: Störsender in Umgebung? Probleme beim Mobilfunkanbieter? Feste Konfiguration von EDGE

29 Herausforderungen Störfall B Langsame Verbindung (hohe Paketlaufzeiten) Analyse der Langzeitaufzeichnung des Monitoring-Systems: Datendurchsatz Empfangspegel Paketlaufzeiten

30 Herausforderungen Störfall C - Hohes Datenaufkommen Datenvolumen von über 500 MB / Monat (Durchschnitt 120 MB /Monat) Ursache nicht unmittelbar erkennbar Durchführung von IP-Paketanalysen mittels Software Wireshark : Mittschnitt der Kommunikation zu gestörter Station und zu Referenzstation

31 Herausforderungen Störfall C - Hohes Datenaufkommen Statistische Auswertungen zeigen schnell Ursache des Datenaufkommens: Referenzstation Problemfall Prozesstechnik war für sekündliche Meldungen an Leitstelle konfiguriert und somit Ursache des Datenaufkommens; Problem konnte nun schnell gelöst werden

32 Herausforderungen Empfehlung - Fehleranalysen Erstellung einer kurzen Test- / Störfalldokumentation: Genaue Schrittfolge und Uhrzeiten protokollieren (Kleine Hilfswerkzeuge können z.b. automatisch Zeitstempel einfügen) Bildschirmphotos erstellen Direkter Kontakt zum Hersteller und Übermittlung des Dokuments: Oftmals schnellere Informationen und Unterstützung Beachten von Zeitunterschieden in Komponenten Kein 100%-Vertrauen in Systemmeldungen: Verlässliche Hinweise gibt in vielen Fällen nur eine IP-Paketanalyse

33 Kontakt Dipl.-Inf. (FH) Jens Berthold Senior Professional Software Development & Security Analysis controlnet - Automation. IT. Sicherheit. Geschwister-Scholl-Strasse 5, Weimar, Germany Phone: +49 (0) info[at]controlnet.de IT-Security & Compliance Administration Monitoring Client Mgmt