Die D kön Foto: violetkaipa - Fotolia 10
IT-Trend Big Data atenflut steigt wie nen wir sie nutzen? Ständig erhöht sich die Masse der uns umgebenden Daten, Informationen werden immer schneller generiert. Mehr Volumen, mehr Quellen, mehr unstrukturierte Rohdaten wie können wir den Herausforderungen im Umgang mit Big Data begegnen? Daten, Daten, Daten: Milliarden von Menschen stellen Daten ins Internet und kommunizieren über soziale Netze, Messaging-Dienste, E-Mail, Blogs und weitere Kanäle. Das Datenwachstum ist ungebremst es gibt kaum noch Lebensbereiche, in denen IT keine Rolle spielt. Die Vernetzung und Ausrüstung von Dingen mit elektronischen Schaltkreisen und Kleinstcomputern (z. B. vernetzte Hausgeräte, RFID, Navigationsgeräte das Internet der Dinge) nimmt rasant zu. Das Volumen der Daten im Internet verdoppelt sich etwa alle 18 Monate. Das geschätzte heutige Datenvolumen im Internet beträgt 1,9 Zetabyte (1.900.000.000.000.000.000.000 Byte). Daten, welche die Big-Data-Ära" auszeichnet. Big Data steht für eine Veränderung im Umgang mit Daten. Es entstehen immer neue Quellen, die einbezogen werden müssen. Zudem folgen die Daten keiner einheitlichen Struktur. Klassische Konzepte auf Basis relationaler Datenbanken sind daher nicht mehr ausreichend. Es werden neue Technologien gebraucht, die eine viel größere Menge Daten in kürzerer Zeit und auf eine andere Art verarbeiten können. Hierzu gehört primär die Möglichkeit, strukturierte und unstrukturierte Daten auszuwerten und miteinander zu verbinden. Zusätzlich ist Big Data steht für eine Veränderung im Umgang mit Daten. Klassische Konzepte reichen nicht mehr aus. Dieser Trend gilt nicht nur für das Internet: Firmen und Verwaltungen digitalisieren Prozesse und erzeugen so mehr und mehr Daten. In einigen Branchen ist es bereits seit langer Zeit üblich, große Datenmengen zu verarbeiten. Hierzu zählen Telekommunikationsunternehmen (Betrugserkennung, Abrechnung), Ölkonzerne (Explorationsdaten) und Börsenplätze (Handelstransaktionen). Es ist daher nicht allein die Menge der es nicht vorhersehbar, welche Daten dabei entstehen und noch entstehen werden. Das bedeutet, dass neuartige Informationen in unstrukturierten Formaten verarbeitet werden müssen. Im Zentrum steht dabei ein explorativer Umgang mit Daten. Daraus lassen sich neue Erkenntnisse gewinnen und zum Beispiel Trends auf Basis statistischer Ansätze vorhersagen. Fragen wie Was wird passieren und was wird 11
wichtig sein? können fortan viel besser und genauer beantwortet werden. Was zeichnet Big Data aus Sicht der Anwender aus? IBM hat gemeinsam mit der SAID-Business School 1.144 Firmenmitarbeiter befragt und darum gebeten, bis zu zwei Charakteristika zu benennen, die Big Data auszeichnen. Das in Abbildung 1 dargestellte Ergebnis zeigt, dass Social Media nur in 7 Prozent der Fälle genannt wurde, während die drei Charakteristika Datenmenge und -umfang, Datenvariabilität und Datengeschwindigkeit dominieren. Volumen: Die Menge der Daten, welche als Big Data empfunden wird, variiert nach Branchen. Grundsätzlich sind es weniger als die vielzitierten Zetabytes, meist in der Größenordnung von Tera- bis Petabytes (ca. 50 Prozent der Befragten). Dies ändert sich sehr schnell und was heute noch big war, ist morgen schon normal. Big Data treffend zu beschreiben: Datenunsicherheit ( Veracity ). Datenunsicherheit ( Veracity ): Die Verlässlichkeit, mit der Daten verarbeitet werden können, hängt zum einen von ihrer zeitgerechten und zuverlässigen Verfügbarkeit und zum anderen von der Qualität und Zuverlässigkeit des Informationsgehalts der Daten ab. Für einige Daten ist Unsicherheit immanent. Dies können Störungen sein, wie etwa die Reflektion von GPS-Daten an Gebäuden, aber auch die Unsicherheit bei der Verwendung von Daten aus Social Media, welche die Meinungen und Einschätzungen von Menschen darstellen. Ein Weg, diese Herausforderung anzugehen, ist, mehrere unsichere Datenquellen zu kombinieren und damit den Kontext der vorhandenen Daten zu erweitern. Zusätzlich können erweiterte stochastische und mathematische Optimierungsverfahren angewendet Sven Fessler, Experte Advanced Analytics, sven.fessler@de.ibm.com Foto: IBM Variabilität: Verschiedene Datentypen und Datenquellen stellen eine neue Herausforderung dar. Durch eine komplexe Mischung aus traditionellen (meist strukturierte Daten) und neuen Datenquellen (oft unstrukturierte Daten) ist es erforderlich, flexible Systeme zu verwenden, welche alle unterschiedlichen Datentypen und -quellen miteinander verbinden und die Informationen aus diesen Daten gewinnen. Geschwindigkeit: Die Geschwindigkeit, mit der Daten erzeugt, verarbeitet und analysiert werden, steigt kontinuierlich. Die Erzeugung von Daten in Echtzeit (zum Beispiel Verkehrsdaten) trägt dazu bei, dass diese auch in Echtzeit verarbeitet werden sollten, um ihr volles Potenzial zu entfalten. Dadurch entsteht der Bedarf, Streaming Data in die Geschäftsprozesse zu integrieren das heißt, Daten sehr schnell im Fluss zu erfassen und zu verarbeiten. Wir denken, dass eine weitere Dimension notwendig ist, um Verloren im Datenmeer? Mit neuen Technologien wird der Informationsgehalt nutzbar. 12
Wofür steht Big-Data? Erweiterter Umfang der Information Neuartige Daten und Analysen Echtzeit -Informationen Datenzufluss aus neuen Technologien Nicht-traditionelle Medientypen Große Datenvolumina Neues Buzzword Socialmedia-Daten Die Teilnehmer der Umfrage wurden gefragt, welche zwei Begriffe sie primär mit Big-Data verbinden (n = 1144). Die Antworten wurden abgekürzt (Quelle: IBM IBV, 2012) Abbildung 1 10 % 8 % 7 % 18 % 16 % 15 % 13 % 13 % Big-Data -Infrastruktur Integration der Informationen Skalierbare Storage-Infrastruktur Datawarehouse mit großer Kapazität Sicherheit und Steuerung Scripting und Entwicklungs-Tools Spaltenorientierte Datenbanken Komplexe Ereignisverarbeitung Optimierung der Workload Analytische Beschleuniger Hadoop/MapReduce NoSQL-Verarbeitung Stream-Computing 65 % 64 % 59 % 58 % 54 % 51 % 45 % 45 % 44 % 42 % 42 % 38 % Die Teilnehmer mit laufenden Big-Data-Initiativen wurden gefragt, welche Plattformkomponenten sie im Betrieb haben oder planen in Betrieb zu nehmen (n = 297-351). Die Antworten wurden abgekürzt (Quelle: IBM IBV, 2012) Abbildung 2 werden und so der wertvolle Informationsgehalt dieser unsicheren Datenquellen nutzbar gemacht werden. Die Anwendungsfelder für Big Data in der Verwaltung sind vielfältig. Unter anderem gibt es konkrete Ansätze bei Steuern (Welche Veranlagung soll geprüft werden? Wo sind gegebenenfalls falsche Angaben gemacht worden?), Innerer Sicherheit (Wo treffen Fußballfans aufeinander? Wann sind Fluchtwege bei einer Großveranstaltung nicht mehr ausreichend? Wann wird eine Vielfältige Anwendungsfelder in der Verwaltung Foto: rolffimages - Fotolia kritische Wetterlage zu einem Problem?) und Verkehrssteuerung (Wie groß wird das Verkehrsaufkommen in zwei Stunden sein? Wie wirkt sich die Baustellensituation auf den Straßenverkehr aus?). Nicht zuletzt führen die verstärkten Aktivitäten zu mehr Offenheit in der Verwaltung (zum Beispiel Hamburger Transparenzgesetz) und zu mehr unstrukturierten Daten, welche für die Auswertung durch Computer zur Verfügung 13
Wie groß ist das Verkehrsaufkommen in zwei Stunden? Wie wirkt sich die Baustellensituation aus? Die Auswertung von Big Data kann nicht nur für die Verkehrssteuerung neue Anhaltspunkte liefern. Foto: Jürgen Fälchle - Fotolia stehen und neue Erkenntnisse liefern können. Die Infrastruktur für das Management von großen, sich schnell verändernden und schwer vorhersehbaren Datenbeständen erfordert skalierbare Speicher- und Serverarchitekturen. Die Fähigkeit, unstrukturierte Daten zu verarbeiten, mit strukturierten Big-Data -Analytics Fähigkeiten Query und Reporting Data-Mining Datenvisualisierung Vorhersagemodelle Optimierung Simulation Text, natürliche Sprache Geo/Raumbez. Analyse Stream-Analyse Video-Analyse Sprach-Analyse Die Teilnehmer mit laufenden Big-Data-Initiativen wurden gefragt, welche analytischen Fähigkeiten ihre Organisation besitzt (n = 508-870). Die Antworten wurden abgekürzt (Quelle: IBM IBV, 2012) Abbildung 3 35 % 26 % 25 % 43 % 56 % 52 % Daten zu integrieren und diese zu analysieren, stellt dabei eine besondere Herausforderung dar. Daraus ergeben sich auch für den Datenschutz durch die Komplexität, die Menge und die Heterogenität der Daten ganz besondere Anforderungen. Besondere Expertise erforderlich Es bleibt zu hoffen, dass aufgrund der zunehmenden Digitalisierung des öffentlichen und privaten Lebens, und der damit verbundenen gesellschaftlichen Veränderungen, kurzfristig mehr Rechtssicherheit für den Einsatz der neuen technischen Möglichkeiten geschaffen wird. Für jeden Big Data-Ansatz in der öffentlichen Verwaltung muss dieses Thema frühzeitig adressiert werden. 77 % 71 % 67 % 65 % 91 % Betrachtet man die Prozesse und die Organisation sowie die Fähigkeiten des eingesetzten Personals, zeigen sich weitere Herausforderungen für den Umgang mit Big Data. Das Management der Daten muss den neuen Gegebenheiten angepasst werden; es werden stringente Prozesse für das Management von Datenerhebung, Datenqualität und Datensicherheit benötigt. Die Analyse der Daten und die Aufbereitung der Informationen zu aussagekräftigen Reports erfordern besondere Expertise an der Schnittstelle zwischen IT und Business. Dies ist ein besonders kritischer Erfolgsfaktor, der häufig unterschätzt wird. Nur durch diese Fähigkeit lässt sich das Potenzial von Big Data ausschöpfen. Die klassische Business Intelligence ist ein guter Startpunkt, reicht jedoch nicht aus und muss um die besonderen Fähigkeiten zur Nutzung von Big Data erweitert werden. Quellen: IBM IBV Report-Analytics: The realworld use of big data (2012) 14