Risiko Dark Data mit Big Data Licht ins Dunkel bringen Georg Bommer CISSP CISM CISA
Licht ins Dunkel bringen v v v Zielsetzung o Volle Transparenz und Kontrolle über alle Daten erhalten Voraussetzung o Jedes einzelne Datenobjekt im Business Kontext verstehen Herausforderungen o o Wie bringen wir Business Knowledge in X-Millionen von unstrukturierten Daten-Objekte (Files, E-Mails)? Wie können wir eine konsolidierte strukturierte Sicht auf unstrukturierte Daten erstellen? die Business-Dynamik adressieren? die Informationen verwalten? das Ganze automatisieren? Page 2
Agenda v Einführung v Ausgangslage v Licht ins Dunkel bringen v Praktische Umsetzung v Evtl. kurze Demo v Zusammenfassung Page 3
Strukturierte versus unstrukturierte Daten STRUCTURED SEMISTRUCURED UNSTRUCTURED Common Forms Data records, tables, fields Documents containing Text information Natively bit-mapped data Examples OLTP, CRM, ERP, Data warehousing E-mail, spreadsheets, word processing, HTML pages Video, audio, pictures, encrypted files Data Store Database File-System, Document Management, Mail System, File-System, Document Management Management Programs, Tools, Scripts needed Can also be managed without Tools Key Differentiator Sort, Search Search Sense Page 4
Unstrukturierte, semi-strukturierte Daten im Unternehmen 15 % Business Critical 33 % ROT Data 52 % Dark Data Quelle: Veritas Databerg Report Page 5
Gründe um Daten zu analysieren, klassifizieren, aufzuräumen v Security und Compliance o Regulatorische Bestimmungen (FINMA, GDPR, ITAR, FDA u.a.) o Interne Policies und externe Business-Anforderungen bezüglich Informations-Sicherheit (Data Protection, DLP) v Knowledge Preservation o Inventar, Enterprise Search v Performance Optimierung o Backup und Recovery (RTO) v Data Organisation und Clean-up o Einführung/Ersatz DMS, Archiv-Systeme o Konsolidierung nach Reorganisation, Merger v Kosten Einsparungen o Bewirtschaftung, Speicherkosten Page 6
Ausgangslage in den Unternehmen Page 7
Technisch und organisatorische Rahmenbedingungen v Organisationen haben riesige Mengen an Daten, die sich über Jahre angehäuft haben und nie aufgeräumt wurden v Viele Datenobjekte können nicht mehr verifiziert werden (alte Datei-Formate, fehlende Applikationen) v Viele Dokumente können nicht automatisch durchsucht werden können (gescannte Dokumente, Bilddateien) v Viele Daten haben keinen zugeordneten Data Owner (z.b. Projekt-Ablagen) v Die verantwortlichen Mitarbeiter kennen die Business History nicht und wissen nicht, welche Daten relevant sind Page 8
Technisch und organisatorische Rahmenbedingungen v Die Data Owner haben keine Zeit oder weigern sich, ihre Verantwortung zu übernehmen v Das Business und die Anforderungen sind dynamisch und Daten müssen kontinuierlich analysiert und reklassifiziert werden v Manuelles analysieren und klassifizieren ist aufwendig und nicht konsistent v Es fehlen effiziente und benutzerfreundliche Tools, damit die Data Owner ihre Aufgaben und ihre Verantwortung wahrnehmen können Page 9
Transparenz und Kontrolle über Dark Data herstellen v Unstrukturierte Daten im Business Kontext verstehen o Objekt und Inhalt mit strukturierten Daten (Business Objekten, generische Objekten) automatisch verknüpfen o Profile von jedem Datenobjekt erstellen und in einem zentralen Meta-Informations-System verwalten o Beliebige Merkmale und Kriterien miteinander kombinieren und relevante Datenobjekte identifizieren Page 10
Objekte und Inhalt mit strukturierten Daten verknüpfen ERP Eigenschaften Listen CRM History Berechtigungen DateiInhalt Logs HR Directory Page 11
Profiling von jedem einzelne Datenobjekt v Organization v Company Attributes v Customers v Suppliers, Partners v Product, Services v Template Names v Form Identifiers Business Technical v File-Type v Application v Lifecycle Information (Create Date, last Change, last Access) Objects Info Search Pattern Meta-Data Generic Access Objects Info v Language v Location v Encyclopedia v Public Directories v Published Lists v other v File Owner v User, Group Permission v Last accessed by Page 12
Profil mit externen Informationen ergänzen 2. Treffer Extrahiert Info und kreiert Data Profile 5. Schreibt Klassifizierung in Datei Schreibe Meta-Data in Datei (Office, PDF) Gefundene Daten Org: Privatklinik ABC Mitarbeiter: Paul Moser Patient: Detlef Meierhans Medikament: Tisagenlecleucel Dok-Typ: Rezept Externe Daten MA Org: Onkologie MA Funktion: Arzt Patient Nr: 289989 Patient Land: Deutschland Medikament: Krebs Therapie Letzte Behandlung: 2017 4. Ergänzt Info im Data Profile 3. Vergleicht Information mit externem Datensatz Active Directory ERP-System PDMS, KIS Liste Medikamente Liste Krankheiten 1. Sucht im Datenobjekt nach Pattern Page 13
Beispiel -Business Network Page 14
Strukturierung und Klassifizierung Kategorien übernehmen Directory, ERP, CRM, HR etc. Merkmale auswählen Klassengrenzen ziehen Regeln definieren Suchmuster mit verschiedenen Attributen Externe Infos, Stichwortlisten Statistische Verfahren Kombination von Kategorien, Klassen, Objekt-Eigenschaften, externen Infos Page 15
Vorteile und Möglichkeiten Metadata Business Objects Generic Objects Content Permission Tech Info v v v v v v Alle Kriterien können miteinander kombiniert werden Externe Zusatz-Informationen helfen, die Datenobjekte im Business-Context zu verstehen Durch Verwendung von übergeordneten Begriffen können automatisierte Regeln einfach erstellt werden Interaktive Business Views mit Drill-In, Drill-Through können erstellt werden Eine direkte Beziehung zwischen Berechtigung und Inhalt kann aufgezeigt werden (für Need-to-Know) Alle Abfragen sind sehr schnell und können innert Sekunden ausgeführt werden Page 16
DGS Data Governance Suite - Integriertes Konzept Zentrale Überlegungen v Genauigkeit v Performance v Automatisierung v Usability (Data Owner) v Funktionalität v Integration v System-Anforderungen Page 17
System-Übersicht Page 18
Beispiel Profile Data Object Page 19
Beispiel - Enterprise Search, Regelwerk Page 20
Beispiel -OLAP Cube, Interaktive Business Sicht Owner Permitted User Content Page 21
Zusammenfassung v Unstrukturierte Daten können sehr effizient und präzise über Suchmuster mit strukturierten Business-Daten verknüpft werden. False/Positives werden weitgehend vermieden. Dadurch können viele Aktionen automatisiert und Konzepte für DLP,IRM, ILM etc. erfolgreich umgesetzt werden. v Das Data-Profiling ermöglicht verschiedene Sichten auf die Daten zu generieren und jedes einzelne Datenobjekt im Business Kontext zu verstehen als Basis für Entscheidungen und Aktionen für unterschiedliche Use Cases v v Die zentrale Verwaltung von allen Profilen in einem Meta-Informations-System ermöglichen es, die Daten kontinuierlich zu analysieren und täglich zu reklassifizieren und die Business-Dynamik abzufangen Das präsentierte Konzept ist auch Basis, um dem Business (Data Owner) Zusatzfunktionen zur Verfügung zu stellen um andere Aufgaben im Zusammenhang mit unstrukturierten Daten zu vereinfachen und zu automatisieren Page 22
Mehrwert für das Unternehmen Transparenz + Kontrolle Sicherheit + Compliance Decision Action Data Information Business Context (is the Key!) Organisationen erhalten volle Transparenz und Kontrolle über ihre unstrukturierten Daten. Sie können Aufwand und Kosten reduzieren, die Performance optimieren, Risiken minimieren, regulatorische Anforderungen und Security Policies schnell und einfach umsetzten. Effizienz + Effektivität Page 23
Fragen? gbo@datagovernance.tech Page 24