Big Data für die Internet Sicherheit

Transkript

1 Big Data für die Internet Sicherheit Ralph Kemperdick Hans Wieser Microsoft 1

2 Mobile-first Data-driven Cloud-first 2 2

3 3

4 Messenger Wi nd ow s Liv e 4

5 5

6 Anwendung: Das Microsoft Cybercrime Center 6

7 Betrug 53% der Börsen waren 2012 Ziel von Betrug und Manipulation Online Ausbeutung Minderjähriger Das NCMEC fand mehr als 90 Millionen Bilder und Video von Kinderporngraphie.*** Cybercrime kostet Bürger $113 Mrd p.a.* 1 von 5 kleinen und mittelständischen Unternehmen sind Ziel Cyberkrimineller** In jeder Sekunde fallen 12 Menschen Cybercrime zum Opfer etwa 400 Millionen pro Jahr* 50% der erwachsenen Bevölkerung waren schon Opfer! * 2013 Norton Report ** National Cyber Security Alliance *** National Center for Missing and Exploited Children 7

8 Die neue Ära im Kampf gegen Cybercrime Microsoft Trustworthy Computing Public Sector Digital Crimes Unit Cybercrime Center Öffentliche Hand Microsoft Consulting Services Sicherheit, Verfügbarkeit, Datenschutz Lösungen, Initiativen, Innovation Gesetzgebung, Richtlinien Risikoanalyse, Cybersecurity Services Strafverfolgung Regierung Industry Partners Proaktive Verfolgung Wir kooperieren mit Kunden und Behörden in der Verfolgung von Straftaten Bösartige Software IP CRIMES Ausbeutung Minderjähriger Viren Trojaner Würmer Botnets Fälschungen Piraterie Missbrauch Sextourismus 8

9 Cybercrime Botnet Analytics Architektur Verarbeitung von 200M Vorfällen pro Tag, Tendenz steigend Partner / Abonnenten Certs ISPs Sonstige Internet und Milliarden Geräte Sinkhole Azure Eventhub Microsoft Analytics Platform System (APS) Azure Machine Learning Azure HDInsight Hadoop/ HDInsight Excel & Power BI Visualisierung & Insights Microsoft Cybercrime Center BI läuft auf und als Showcase für: 9

10 Demo

11 Das Cybercrime Analytics Team nutztaps Microsoft s Data Scientists unterstützen das Cybercrime Team durch die mit demaps System für Advanced Algorithmen Es werden ca.500 Million Daten täglich in Tabellen aggregiert, was die Fähigkeit bietet noch schneller auf schnell sich ausbreitende Gefahren zu reagieren Abfragen täglich auf über25 Millionen eindeutigenip Adressen, die wesentlich mehr Geräte repräsentieren, da vieleip Adressen von Konzern-Proxy Servern Konsolisdierungspunkte darstellen. Massive Performance Verbesserungen: Abfrage Ohne APS Mit APS 1 2 Tage, 8 Minuten < 3 Minuten 2 4 Stunden 2 Sekunden Die Antworten auf Anfragen erfolgen mit der gleichen Geschwindigkeit wie die Gedanken. 12

12 Extract Transform Load Original Data ETL Tool (SSIS, etc) Transformed Data EDW (SQL Svr, Teradata, etc) BI Tools Data Marts Data Lake(s) Ingest (EL) Original Data Scale-out Storage & Compute (HDFS, Blob Storage, etc) Dashboards Apps Streaming data Transform & Load 13

13 Sie können das auch. Vermeiden Sie die typischen hohen Anfangsinvestitionen für Speed und Performance mit Big Data. Microsoft bietet Ihnen eine Fullservice Plattform Evaluierung Beratung und Support durch Microsoft und spezialisierte Partner sowie Abrechnung nach Verbrauch 14 14

14 Echtzeit Dashboards und interaktive Berichte 15

15 Worauf warten Sie? Customer Immersion Experience Prüfen Sie uns auf Herz und Nieren! Business Value Discussion Analysieren Sie Ihre Anforderungen mit ihrem Microsoft Kontakt oder Partner Envisioning Workshop Wir helfen Ihnen bei der Auswahl der geeignetsten Werkzeuge für Ihren Anwendungsfall 16

16

17 HBase as a columnar NoSQL transactional database running on Azure Blobs Storm as a streaming service for near real time processing Hadoop 2.4 support for 100x query gains on Hive queries Support HBase as NoSQL columnar database on Azure Blobs Support Storm as stream processing Mahout support for machine learning + Hadoop Graphical User Interface for HIVE queries Coordination HMaster Name Node Region Server Region Server Region Server Region Server Job Tracker Data Node Data Node Data Node Data Node Task Tracker Task Tracker Task Tracker Task Tracker 18

18 MapReduce Hive Pig C# Stored Procedures 19

19 Managed real-time analytics Mission-critical reliability and scale Rapid development PCs/ Laptops POS Terminals Self Checkout Stations Smart Phones Kiosks Slates/ Tablets Point of Service Devices Automation Devices Servers Digital Signs Logic Controllers ATM Security Thin Clients Remote Medical Monitors Vending Machines Handhelds Kinect Specialized Devices Diagnostic Equipment 20

20 21

21 MPP SQL Server Hadoop support PolyBase 22