Die Bedeutung intelligenter Analyseverfahren für Big Data

Transkript

1 Die Bedeutung intelligenter Analyseverfahren für Big Data Prof. Dr. Jana Koehler Hochschule Luzern

2 Agenda Big Data Big Hype? Wie kann ich pragmatisch mit diesem Thema umgehen? Anwendungszenarien und ihre Herausforderungen Agile und optimierte Geschäftsprozesse Intelligente Lösungen für die kundenindividuelle Massenfertigung Big Data Security mit KI Verfahren 2

3 Wieviele V für Big Data? Volume Sehr grosse Informationsmengen Variety Unterschiedlichste Quellen in unterschiedlichen Formaten ihre Integration bringt Wert Velocity Zeitkritisch im Auftreten und in der benötigten Analyse Veracity (IBM) Unklare Qualität und Zuverlässigkeit der Quellen und der darauf basierenden Entscheidungen "Vast Volumes of Vigorously, Verified, Vexingly Variable Verbose yet Valuable Visualized high Velocity Data. Riesige Mengen schlagkräftiger und abgesicherter, aber ärgerlich variabler, unklarer und dennoch nutzbringend visualisierter, zeitkritischer Daten. Shawn Rogers Doug Laney (Gartner): 3D Data Management: Controlling Data Volume, Velocity, and Variety 3

4 Die vollständige Gartner Definition Big data is high-volume, -velocity and - variety information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making. Innovative Formen der Auswertung Neue Erkenntnisse und bessere Entscheidungen 4

5 Gartner's 2012 Hype Cycle for Emerging Technologies Big Data Complex Event Processing Social Analytics Predictive Analytics In-Memory Analytics 5

6 Was sagt uns das? Complex Event Processing Social Analytics Big Data Predictive Analytics In-Memory Analytics 6

7 Unterschiedliche Informationsbedürfnisse Komplexe Modelle Heterogene Informationsquellen 7 Bill Hostmann: BI Competency Centers: Enablers of Better Decisions, Gartner Webinar 2011

8 Möglicher Wert der Analyse Bill Hostmann: BI Competency Centers: Enablers of Better Decisions, Gartner Webinar

9 McKinsey: 5 Ways Big Data can Create Value Information schneller transparent und benutzbar machen Präzision der verfügbaren Information erhöhen und für Szenario-Analysen und Vorhersagen nutzen Kundenanalyse und Kunden-individuelle Lösungen Verbesserte Entscheidungen Neue Produkte und Serviceangebote 9

10 Beispiele Regelgesteuerte Prozesse Individualisierte Kundenlösungen IT Security 10

11 Regelgesteuerte Prozesse 11

12 Geschäftsprozessmanagement Grundaufbau eines Prozesses Aktivitäten + Entscheidungen 12 SAP: BPM Technologie im systematischen Überblick

13 Entwicklungen Nicht neu, aber zunehmend unvermeidbar Datenvolumen, -qualität, -zuverlässigkeit Kosten Reaktionszeit Heterogene Quellen Echtzeit Kundenbedürfnisse "Seiteneffekte" Aktivitäten + Entscheidungen Komplexe Fälle Variabilität der Abläufe Wechselnde Prozessbeteiligte 13 "Entscheidungsprobleme"

14 Mittel: Regelgesteuerte Prozesse Jim Sinur: The Art and Science of Rules vs. Process Flows 14

15 Warum Regeln? Entscheidungen von Abläufen trennen Unterschiedliche Änderungsgeschwindigkeit Reduzierung von Komplexität Neue Anforderungen Real-time compliance Mass customization Near-zero latency 15

16 Gesteigerter Umsatz als Ergebnis S. Krovvidy et al.: Custom DU A Web-Based Business User-Driven Automated Underwriting System AI Magazine Volume 29 Number 1 (2008) 16

17 Beispiel für Regelgesteuerte Prozesse "Custom DU is an automated underwriting system that enables mortgage lenders to build their own business rules that facilitate assessing borrower eligibility for different mortgage products. lenders can also customize their underwriting findings reports, test the rules that they have defined, and publish changes to business rules on a real-time basis, all without any software modifications." S. Krovvidy et al.: Custom DU A Web-Based Business User-Driven Automated Underwriting System AI Magazine Volume 29 Number 1 (2008) 17

18 Fannie Mae und die Subprime Krise the vast accumulation of toxic mortgage debt that poisoned the global financial system was driven by the aggressive buying of subprime and Alt-A mortgages, and mortgage-backed securities, by Fannie Mae and Freddie Mac. Blame Fannie Mae and Congress For the Credit Mess By C. W. CALOMIRIS and P. J. WALLISON Wallstreet Journal Opinion, September 23,

19 Business Rule Governance "Einsatz und Verwendung der BR-Technologie bieten nicht nur Chancen, sondern auch gewisse Risiken. Business Rules sind ein Instrument mit grossem Einfluss. Kommt es unkontrolliert zur Anwendung, kann das für eine Firma schwerwiegende Folgen haben. Deshalb legen wir bei der Credit Suisse grössten Wert auf die Business Rule Governance." Najib Niazi, Leiter BR Competence Center Credit Suisse 19

20 Individualisierte Kundenlösungen 20

21 Individualisierte Kundenlösungen 21

22 Wo ist da Big Data? Milliarden von Konfigurationsvarianten Zusammenspiel verschiedener Datenarten Komplexes Maschinenverhalten, physikalische Eigenschaften der Kabel, Verhalten der Bediener Zeitkritische Faktoren Zeitspanne von Kundenanfrage zur fertigen Steuerung Schnelle Berechnung und Simulation von Varianten Simulation von Varianten Automatische Synthese der optimalen Steuerung Intelligentes Reagieren auf Störungen 22

23 IT Security 23

24 Big Data and IT Security Gezielte Attacken über einen längeren Zeitraum mit unterschiedlichen Methoden, die verschiedene Schwachstellen im System ausnutzen und die Ergebnisse miteinander kombinieren Erfordert Echtzeitanalyse von Ereignissen kombiniert mit tiefgehender Datenanalyse und aktiver Gegenwehr Bisher: Regelbasierte Überwachung der Datenströme Auslösen von Alarmen bei verdächtigen Aktivitäten Stösst an Grenzen (Systemkomplexität, zeitlich komplexer Verlauf von Attacken, unbekannte Muster) 24

25 Neu: Verhaltensbasierte Detektion + Abwehr Angriff als Abweichen vom normalen Verhalten Lernen eines Modell des Normalverhaltens Basierend auf aktuellen + historischen Daten Fokus auf die eigenen Systeme, nicht die Angreifer Aktives Planen und Simulieren möglicher Angriffsmuster entspr. Angriffsziel Bedrohungen erkennen + vorhersagen + aktiv verhindern "Prescriptive Analysis" 25

26 Risikoabschätzung und Penetration Testing 26 vulnerability action target result objective Attack models intrusion classification incident taxonomy attack actions z.b. OSFingerprint TCPConnect Maschinelles Lernen Erfolg von Aktionen, Klassifikation von Assets Environment (computer network): Assets z.b. BannerAsset (banner, host, port), OperatingSystemAsset (os, host), TCPConnectivityAsset (source, target, port) probability to express information uncertainty level of trust Goals PortAsset (host,port, status) PortAsset ( , Any #port from:1 to:1024, #open) "find an open port in host between ports 1 and 1024" Probabilistisches Planen Aktionsfolge-Goals Quelle: CoreLabs, Core Security Technologies

27 27 Quelle: CoreLabs, Core Security Technologies

28 Zusammenfassung Big Data Big Hype, aber auch Big Potential THINK SMALL WORRY ABOUT CONTENT, NOT FACEBOOK ADDRESS HIGH VALUE USE CASES GET FAMILIAR WITH TECHNOLOGY Innovative Formen der Auswertung mit intelligenten Verfahren ermöglichen neue Anwendungen und neue Erkenntnisse für verbesserte Entscheidungen 28