09:00 09:30 Big Data: Quo Vadis? 09:30 10:00 Big Data Facts und Trends aus Sicht BARC 10:00 10:15 Pause 10:15 10:45 Big Data im Einsatz

Transkript

1 18. August

2 Agenda 09:00 09:30 Big Data: Quo Vadis? Rainer Sternecker, Solutions Architect SAS DACH Data Management 09:30 10:00 Big Data Facts und Trends aus Sicht BARC Herbert Stauffer, Geschäftsführer BARC Schweiz GmbH 10:00 10:15 Pause 10:15 10:45 Big Data im Einsatz Alexandra Vetrovsky-Brychta, Director Data Services HEROLD, Vorstandsmitglied DMVÖ Ralph Wenzl, Data Scientist Migros-Genossenschafts-Bund 10:45 11:15 Big Data Werkzeuge in Aktion Gernot Engel, Client Service Manager SAS Austria

3 Visibility Big Data: Wunsch oder Wirklichkeit? Technology Triggers Peak of Inflated Expectation Trough of Disillusionment Slope of Enlightenment Plateau of Productivity Copyright: Gartner. Quelle:

4 Gartner Hype Cycle of Emerging Technologies, Hypes und Trends für 2014 Visibility Internet of things Speech-speech translation Consumer 3D Printing Big Data Predictive analytics Brain-Computer Interface Cloud Computing Augmented Reality NFC Gesture control Speech recognition Technology Triggers Peak of Inflated Expectation Trough of Disillusionment Slope of Enlightenment Plateau of Productivity Quelle:Vereinfacht:

5 Big Data: 3, 4 oder mehr V s

6 "Big data is what happened when the cost of storing information became less than the cost of making the decision to throw it away. George Dyson

7 Big Data Origins: In-Memory Exxon International Company Use Case: Supply-Chain-Management nach Land, Unternehmen, Ausgangslage: teure Mainframe-Lösung Idee: Lösung auf kostengünstigere Hardware auslagern Umsetzungs-Richtlinien Entwicklung einer In-Memory Datenbank Commodity Hardware Benutzerfreundlichkeit 1984 (!) Sinper Corporation veröffentlicht TM1 Entwickelt auf PC mit 256KB RAM Multi-dimensional, Aggregation in Echtzeit analyze large amounts of data and free financial analysts and planners from Excel hell

8 Big Data Origins: SAS in den 80ern 1/2 Jim Goodnight, CEO Mitarbeiter weltweit Niederlassungen auf 4 Kontinenten Inc. magazine: SAS is one of the fastestgrowing companies in America for five consecutive years SAS Headquarter Campus wurde errichtet Leadership in Analytics

9 Big Data Origins: SAS in den 80ern 2/2 Exxon International Company Use Case: Supply-Chain-Management nach Land, Unternehmen, Ausgangslage: teure Mainframe-Lösung Idee: Lösung auf kostengünstigere Hardware auslagern Umsetzungs-Richtlinien Entwicklung einer In-Memory Datenbank Commodity Hardware Benutzerfreundlichkeit 1984 (!) Sinper Corporation veröffentlicht TM1 Entwickelt auf PC mit 256KB RAM Multi-dimensional, Aggregation in Echtzeit analyze large amounts of data and free financial analysts and planners from Excel hell

10 Big Data Origins: In-Memory + Realtime (ESP) + Visualization Big Data Technologies in 1980s: In-Memory Realtime/Event Stream Processing Advanced Visualization Commodore 64 (1982) Nintendo NES (1983) Amiga 500 (1987)

11 Big Data Use-Case Anforderungen: Datenhaltung In-Memory Benutzerfreundlichkeit (Intuitive Oberfläche, Self-Service) Datenströme (Events) in Echtzeit verarbeiten Datenvisualisierung: Bedingte Formatierung Animation Event Stream ERP Ad-Hoc Reporting

12 Exkurs: Grafik/Memory Architektur heute Video Chip RAM CPU RAM

13 Exkurs: Grafik/Memory Architektur damals Video Chip CPU RAM Nintendo NES: ~8KB RAM (2KB Konsole + ~6KB Cartridge)

14 Big Data Use-Case Anforderungen: Datenhaltung In-Memory (Bildschirm + Spielstatus + EXE) Benutzerfreundlichkeit (Intuitive Oberfläche, Self-Service) Datenströme (Events) in Echtzeit verarbeiten Datenvisualisierung: Bedingte Formatierung Animation Ausgangslage: 8KB RAM Datenausgabe: 256x240 Pixel = px 1bit (black/white) ~8KB 4bit (16 colors) ~32KB 8bit (256 colors) ~64KB (Nintendo Standard)

15 Big Data Use-Case Wie bringt man 64KB Information in <8KB RAM unter? a) Information reduzieren, zb nur schwarz/weiß? Nein, Farbe wird benötigt. b) Mehr Hardware? Nein, zu teuer. Es muss ein Weg gefunden werden, die Informationen effizienter darzustellen (zu beschreiben). => Analytik

16 Big Data Use-Case 252px x 8bit = 2.016bit

17 Schritt 1: Exploration, Profiling Big Data Use-Case

18 Big Data Use-Case Schritt 1: Exploration, Profiling Schritt 2: Merkmale ableiten (jedes Segment besteht nur aus maximal zwei Farben)

19 Big Data Use-Case Schritt 1: Exploration, Profiling Schritt 2: Merkmale ableiten Schritt 3: Nach Merkmalen gruppieren/clustern

20 Big Data Use-Case Schritt 1: Exploration, Profiling Schritt 2: Merkmale ableiten Schritt 3: Nach Merkmalen gruppieren/clustern Schritt 4: Modell anwenden 252px x 8bit = 2.016bit 252px x 1bit + 13 x 8bit = 356bit (~17,7%)

21 Big Data heute Wir haben alles, was wir brauchen! Technologien sind ausgereift Erprobte und bewährte Methodologie vorhanden Hardware-Grenzen haben sich signifikant verschoben Technisches & methodisches Know-How der Mitarbeiter deutlich besser Arbeiten wir gemeinsam an IHRER Super-Mario-Idee! => Big Data Lab

22 Diskutieren Sie mit! Machen wir genug aus unseren Daten?

23 Big Data: Fluch oder Segen? Werden wir zum gläsernen Menschen oder wird Big Data unser Lebens-Kompass?