Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren

Größe: px
Ab Seite anzeigen:

Download "Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren"

Transkript

1 Foto: Anita Ritenour CC BY 2.0 Erfurt, 2.Juli 2014 Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren Kai-Uwe Sattler! Ilmenau!

2 Was sind Big Data? Foto: Scott Ableman CC BY-NC-ND 2.0 2

3 Big Data Big Data = zu groß für herkömmliche Methoden, wie z.b. SQL-Datenbanken, Statistik, Quelle: Gartner Newsroom Google Trends 3

4 Die 3Vs von Big Data Variety Text, Photo, Video XML RDBMS MB Batch Intervall Realtime ZB PB Velocity Volume Quelle: META Group

5 Warum Big Data? Verfügbarkeit großer Datenmengen! Weblogs, Soziale Netze, IP und Mobilfunk, Umweltsensorik und Surveillance, Tracking (Warenbewegung, Fitness, )! Verknüpfung verschiedener Daten: persönliche Daten und Beziehungen, Interessen, Aufenthaltsorte,! verfügbare Speicherplatz- und Verarbeitungskapazität! Hardware-Preisverfall, Data Center und Cloud Computing, 5

6 Warum Big Data? neuer Markt! IT-Lösungen für Big Data (Cloud Computing, MapReduce, In-Memory- Computing, NoSQL, Data Mining, )! Data as a Service, Data Broker! Mustersuche und Vorhersagemodelle! typisches Verhalten: Produktempfehlungen beim Shopping, Fraud Detection (Kreditkarten),! Vorhersage von Verhalten, Ereignissen: Aktienkurse, Grippefälle, 6 Foto: 401(K) 2012 CC-BY-SA 2.0 Quelle: Google Flu Trends

7 Datenaufkommen Google: 20 PB Daten pro Tag, 35 h Video- Uploads pro Minute! Valve Steam: 20 PB Content pro Monat! CERN s LHC: 15 PB Daten pro Jahr Studie von EMC 2011:! 1,8 Zettabyte Daten ( )! Verdopplung alle 2 Jahre als DVD-Stapel: km! als Filme: 200 Mrd. Filme mit 47 Millionen Jahre Spielzeit Studie Deutsche Telekom zu vernetzten Fahrzeugen:! 5 GB pro Fahrzeug und Monat (ca. 40. Mill. Fahrzeuge in D) 7 Quelle: Foto:

8 Techniken zur Analyse von Big Data Foto: Sergei Golyshev CC BY-NC-SA 2.0 8

9 Data Mining semi-automatische Extraktion von gültigen, potentiell nützlichen und bisher unbekannten Wissen aus Daten! deskriptive Verfahren: Extraktion von Mustern oder Parametern, die Daten beschreiben! Korrelationen, Cluster, Anomalien, Trajektorien,! prädiktive Verfahren: Nutzung von Merkmalen zur Vorhersage unbekannter oder zukünftiger Werte anderer Merkmale Foto: Paul Lowry CC BY 2.0 9

10 Data Mining: Clustering Ziel: Gruppierung von ähnlichen Objekten! Alter Einkommen Ähnlichkeitsmaß! Dimensionsauswahl! Anwendung:! Kundensegmentierung! Erstellung von Profilen! Alter Zusammenfassung ähnlicher Dokumente 10 Einkommen

11 Data Mining: Frequent Itemsets Ziel: Aufdeckung statistischer Zusammenhänge zwischen Variablen! Ableitung von Assoziationsregeln! Anwendungen:! Warenkorbanalyse! Kunde Artikel #1 Bier, Pringles #2 Bier, Milch, Pringles #3 Bier, Milka, Pringles #4 Bier, Milka, Cola Wenn jemand Bier kauft, dann kauft er auch Pringles! Ko-Lokation von Ereignissen! Muster in Graphen 11

12 Data Mining: Klassifikation Ziel: Zuordnung von Objekten zu verschiedenen vorgegebenen Klassen, d.h. Vorhersage von Merkmalen (Klassenzuordnung) anhand anderer Merkmale! Ableitung des Klassifikationsmodells aus einer Trainingsmenge! Beispiel: Entscheidungsbaum Kunde Schulden 12 hoch ja Einkommen nein Einkommen niedrig nein Schulden Wohneigentum ja ja ja Wohneigentum Kreditwürdig 1 nein hoch ja ja 2 nein niedrig nein nein 3 ja hoch nein nein nein nein

13 Analyse sozialer Netzwerke Daten mit persönlichen Profilen und Bekanntschaftsbeziehungen (Facebook, Twitter, , )! Ziele: Identifikation von! Hubs, Communities,! Anwendungen:! People You May Know! Recruiting! kollaboratives Filtern! Netzwerkanalyse: Diffusionsmechanismen, Anna Luca Martin Leon Quelle: LinkedIn InMaps Fabian Laura Kevin 13

14 Erstellung von Bewegungsprofilen Generierung geoferenzierter Daten durch! Navigationssysteme, GPS-Tracker, Smartphones (Mobilfunk, GPS), Fitness-Tracker,! Nutzung für! Region of Interest #ID; Zeit; Ort 42; 15:00; 51.9, ; 15:05, 51.9, , 15:06, 52.2, 9.8! =1h Verkehrs- und Routenplanung, lokationsbasierte Dienste, Dauer zum Ziel, Häufige Orte 14

15 Herausforderungen Datenvolumen:! 10 Mrd. Webseiten a 20 KB = 200 TB! Computer mit 50 MB/s Disk IO, 200 Disks! Lesen der Daten = 1085 h = 45 Tage! aber: mit 200 Maschinen nur 5 h!! Heterogenität der Daten:! Struktur: verschiedene Formate (Dateien, Texte, Bilder, Videos, Datenbanken)! Inhalt: verschiedene Repräsentationen gleicher Sachverhalte (z.b. für die gleiche Person)! Dynamik:! Sensordaten: schmutzig, zeitlich begrenzt gültig, potentiell unendlich lange Ströme Foto: Maria Ly CC BY-SA

16 Datenparallele Verarbeitung Zerlegung der Daten in Partitionen! verteilte und parallele Verarbeitung der Partitionen Foto: Yahoo! Skalierbarkeit der Algorithmen für Server! Umgang mit Fehlern (etwa durch Ausfälle) 16

17 Datenparallele Verarbeitung mit MapReduce Programmierparadigma für datenparallele Verarbeitung! von Google entwickelt! verfügbar u.a. im Rahmen von Apache Hadoop! Einsatzbereich:! große Mengen (schwach) strukturierter Daten! Cluster-Umgebung aus Commodity Hardware für kosteneffiziente Skalierung! Plattform für verschiedene Projekte: HDFS, Pig, Hive, Spark 17

18 MapReduce: Prinzip Extrahieren, Filtern, Transformieren, Aggregieren, Eingabe inp 1 inp 2 inp n [Schlüssel, Datensatz] map map map map [Schlüssel, Datensatz] shuffle & sort [Schlüssel, Datensätze] reduce reduce reduce f(datensätze) Ergebnis out 1 out 2 18

19 Big-Data-Analyse als Prozess Datenakquisition Extraktion & Bereinigung Integration & Aggregation Modellbildung & Analyse Auswahl und Erfassung der Daten, Online-Filterung Informations-/Featureextraktion, Behandlung von Datenfehlern, Verbesserung der Datenqualität Transformation, Behandlung von Heterogenitäten, Verdichtung Datenanalyse, Data Mining Interpretation Bewertung und Interpretation der Ergebnisse 19

20 Möglichkeiten und Risiken Foto: andy_c CC BY

21 Möglichkeiten: esciences Beispiel Sloan Digital Sky Survey:! Kartierung von 25% des Himmels mit Spektroskopie! >1000 wiss. Artikel basierend auf Datenanalyse datengetriebene Forschung in den Naturwissenschaften: Astronomie, Ozeanographie, Genforschung,! teilweise 25-50% des Budgets für Cyber-Infrastruktur! The quest for knowledge used to begin with grand theories. Now it begins with massive amount of data. Welcome to the Petabyte Age. Datenexploration als 4. Paradigma Quelle: 21

22 Möglichkeiten: ebusiness Produktempfehlungen auf Shopping- Sites durch Warenkorbanalyse Fraud Detection: Erkennung von Kreditkartenmissbrauch! Beispiel Mastercard: jährlicher Schaden von ca. 8 Mrd. $, 65 Mrd. Transaktionen/ Jahr, > Regeln Produktgestaltung! Herr Müller nutzt seine Kreditkarte nur am Wochenende zum Tanken. Beispiel Netflix: 33 Mill. Kunden, 30 Mill. Abspielvorgängen, 3 Mill. Suchen, 4 Mill. Bewertungen täglich! Nutzung für Planung neuer Serien basierend auf Kunden 22

23 Möglichkeiten: Prozessoptimierung Beispiel UPS Analyse von Sensordaten der Fahrzeuge! ORION = On-Road Integrated Optimization and Navigation! Streckenoptimierung, Vorhersage der Ankunftszeiten! Einsparung von 85 Mill. Meilen / Jahr (Quelle: Wired) 23 Quelle: Wikipedia B A D 4 E G 5 H 7 C 2 F

24 Risiken: Signal vs. Rauschen Datenaufkommen Rauschen Signal heute siehe auch spurious tail (N. Taleb): Vergrößerung der Stichprobe verstärkt Rolle des Rauschens / des Zufalls 24

25 Risiken: Privacy Aufdecken von Identitäten durch Verknüpfung und Analyse von Daten! AOL Search Data Leak 2006! Veröffentlichung von 20 Mill. Suchanfragen! Identifikation einzelner Personen anhand ihrer Suchhistorie: Thelma Arnold, User927,! Data Broker Report, FTC Mai 2014! Beispiel Acxiom: umfassende Daten von über 700 Mill. Kunden weltweit, bis zu Datenpunkte pro Kunde! Dienste: Marketing, Risikobewertung (Kreditwürdigkeit, Identitäts-/ Missbrauchserkennung), Personensuche! Datensammlung aus verschiedensten Quellen (inkl. Offline-Daten) ohne Wissen der Kunden, fehlende Transparenz! falsche Risikobewertung, Datenmissbrauch 25

26 Risiken: Filterblase Personalisierung von Suchergebnissen, Nachrichten,! Ranking/Filterung von Suchergebnissen bei Suchmaschinen durch Signale wie Suchhistorie, Nutzung von Ergebnissen, Ads,! Risiko der intellektuellen Isolierung durch Einschränkung/ Ranking der Suchergebnisse If you like this, you like that. Facebook-Experiment mit Manipulation von Newsfeeds! Filterung der Nachrichten von Nutzern! Einfluss positiver/negativer Nachrichten 26

27 Fazit und Ausblick Big Data als Herausforderung für Datenmanagement und Datenanalyse! geschätztes Marktvolumen: $ 50 Mrd. in 2017 (Quelle: Wikibon)! neue Disziplinen (Data Sciences) und Märkte (Data Broker)! Technologien nicht selbstbeschränkend; daher Regeln und Transparenz erforderlich 27 Foto: Dolina Wiedzy CC BY-NC 2.0

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe

Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe Risiken bei der Analyse sehr großer Datenmengen Dr. Thomas Hoppe Datenaufbereitung Datenanalyse Data Mining Data Science Big Data Risiken der Analyse Sammlung Integration Transformation Fehlerbereinigung

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen Datenanalyse im Web Einführung in das Thema Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Beispiele für Daten im Web Extraktion und Aggregation von Informationen Datenanalyse im Web

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Cloud Data Management

Cloud Data Management 1 Cloud Data Management Dr. Martin Grund 2 Die Evolution des Web Web 1.0: Entstehung des World Wide Web 1989 (CERN) Tim Berners-Lee. 1991 weltweite Verbreitung Navigation zwischen statischen Seiten Keine

Mehr

Big & Smart Data. bernard.bekavac@htwchur.ch

Big & Smart Data. bernard.bekavac@htwchur.ch Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC

Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data: Nutzen und Anwendungsszenarien CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data steht für den unaufhaltsamen Trend, dass immer mehr Daten in Unternehmen anfallen und von

Mehr

Big Data Herausforderungen und Chancen für Controller. ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC

Big Data Herausforderungen und Chancen für Controller. ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data Herausforderungen und Chancen für Controller ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC BARC: Expertise für datengetriebene Organisationen Beratung Strategie

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Gegenwart und Zukunft

Gegenwart und Zukunft Gegenwart und Zukunft von Big Data Dieter Kranzlmüller Munich Network Management Team Ludwig Maximilians Universität München (LMU) & Leibniz Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften

Mehr

Positionspapier Big Data

Positionspapier Big Data TeleTrusT-interner Workshop Berlin, 05.06.2014 Positionspapier Big Data Oliver Dehning, antispameurope GmbH Leiter der AG Cloud Security Definition Big Data Big Data bezeichnet große Datenmengen (Volume)

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Big Data Vom Hype zum Geschäftsnutzen

Big Data Vom Hype zum Geschäftsnutzen Big Data Vom Hype zum Geschäftsnutzen IBM IM Forum, Berlin, 16.04.2013 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Hype 15.04.2013 BARC 2013 2 1 Interesse an Big Data Nature 09-2008 Economist 03-2010

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company

Mehr

Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011. Zürcher Fachhochschule

Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011. Zürcher Fachhochschule Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011 Teenagerliebe? Data Science Big Data! Aber: Hohe Korrelation in der aktuellen öffentlichen Wahrnehmung. Keiner

Mehr

Google Search: Trends 2014. Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH

Google Search: Trends 2014. Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH Google Search: Trends 2014 Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH Jahrgang 1979 Diplom-WiWi (Uni Ulm) Unternehmensgründung

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen

Mehr

Living Lab Big Data Konzeption einer Experimentierplattform

Living Lab Big Data Konzeption einer Experimentierplattform Living Lab Big Data Konzeption einer Experimentierplattform Dr. Michael May Berlin, 10.12.2012 Fraunhofer-Institut für Intelligente Analyseund Informationssysteme IAIS www.iais.fraunhofer.de Agenda n Ziele

Mehr

Web Data Mining. Alexander Hinneburg Sommersemester 2007

Web Data Mining. Alexander Hinneburg Sommersemester 2007 Web Data Mining Alexander Hinneburg Sommersemester 2007 Termine Vorlesung Mi. 10:00-11:30 Raum?? Übung Mi. 11:45-13:15 Raum?? Klausuren Mittwoch, 23. Mai Donnerstag, 12. Juli Buch Bing Liu: Web Data Mining

Mehr

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick Volker.Hinz@microsoft.com Was sagt der Markt? Fakten Meinung der Analysten zu Microsofts Angeboten Nutzen

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG

Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG DB Fernverkehr AG Dr.-Ing. Axel Schulz, Dr. Matthias Platho P.FMB 2, DB Fernverkehr AG Frankfurt, 22.05.2015 Motivation An meinem

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2014, SS 2014 1 Data Mining: Beispiele (1) Hausnummererkennung (Klassifikation) Source: http://arxiv.org/abs/1312.6082,

Mehr

Data Mining Anwendungen und Techniken

Data Mining Anwendungen und Techniken Data Mining Anwendungen und Techniken Knut Hinkelmann DFKI GmbH Entdecken von Wissen in banken Wissen Unternehmen sammeln ungeheure mengen enthalten wettbewerbsrelevantes Wissen Ziel: Entdecken dieses

Mehr

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen Frank Irnich SAP Deutschland SAP ist ein globales Unternehmen... unser Fokusgebiet... IT Security für... 1 globales Netzwerk > 70 Länder, >

Mehr

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Ab in den Himmel: Was kommt jenseits der Cloud? 1 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Inhalt 1. Einleitung / Motivation 2. Cloud ein bisschen

Mehr

vfabric-daten Big Data Schnell und flexibel

vfabric-daten Big Data Schnell und flexibel vfabric-daten Big Data Schnell und flexibel September 2012 2012 VMware Inc. All rights reserved Im Mittelpunkt: Daten Jeden Morgen wache ich auf und frage mich: Wie kann ich den Datenfluss optimieren,

Mehr

EXASOL Anwendertreffen 2012

EXASOL Anwendertreffen 2012 EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2

Mehr

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung Ermittlung von Assoziationsregeln aus großen Datenmengen Zielsetzung Entscheidungsträger verwenden heutzutage immer häufiger moderne Technologien zur Lösung betriebswirtschaftlicher Problemstellungen.

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

Thementisch Anwendungsgebiete und

Thementisch Anwendungsgebiete und Thementisch Anwendungsgebiete und b Erfolgsgeschichten KMUs und Big Data Wien 08. Juni 2015 Hermann b Stern, Know-Center www.know-center.at Know-Center GmbH Know-Center Research Center for Data-driven

Mehr

Web Information Retrieval. Zwischendiskussion. Überblick. Meta-Suchmaschinen und Fusion (auch Rank Aggregation) Fusion

Web Information Retrieval. Zwischendiskussion. Überblick. Meta-Suchmaschinen und Fusion (auch Rank Aggregation) Fusion Web Information Retrieval Hauptseminar Sommersemester 2003 Thomas Mandl Überblick Mehrsprachigkeit Multimedialität Heterogenität Qualität, semantisch, technisch Struktur Links HTML Struktur Technologische

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Software AG Innovation Day 2014 Bonn, 2.7.2014 Dr. Carsten Bange, Geschäftsführer Business Application Research Center

Mehr

APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at

APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at Welche Anomalien können gefunden werden? Wie lässt sich anormales Verhalten extrahieren? Zeithorizont

Mehr

Was ist Big Data? Versuch einer Positionsbestimmung. Wolfgang Marquardt

Was ist Big Data? Versuch einer Positionsbestimmung. Wolfgang Marquardt Was ist Big Data? Versuch einer Positionsbestimmung Wolfgang Marquardt Vorstandsvorsitzender des Forschungszentrum Jülich 02.06.2015 Jahrestagung des deutschen Ethikrates Ganz sicher auch ein Hype hohe

Mehr

BIG DATA Die Bewältigung riesiger Datenmengen

BIG DATA Die Bewältigung riesiger Datenmengen BIG DATA Die Bewältigung riesiger Datenmengen Peter Mandl Institut für Geographie und Regionalforschung der AAU GIS Day 2012, 13.11.2012, Klagenfurt Was sind BIG DATA? Enorm große Datenmengen, Datenflut

Mehr

Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation

Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation Prof. Dr. Kai Uwe Barthel HTW Berlin / pixolution GmbH Übersicht Probleme der gegenwärtigen Bildsuchsysteme Schlagwortbasierte

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

Technische Aspekte einer Videosuchmaschine. Björn Wilmsmann, CEO - MetaSieve GmbH

Technische Aspekte einer Videosuchmaschine. Björn Wilmsmann, CEO - MetaSieve GmbH Technische Aspekte einer Videosuchmaschine Björn Wilmsmann, CEO - MetaSieve GmbH 1 Über MetaSieve http://www.metasieve.com Softwareentwicklung Internet Software Spezialisiert auf Suchmaschinentechnologie

Mehr

Semantik in Suchmaschinen Beispiele. Karin Haenelt 7.12.2014

Semantik in Suchmaschinen Beispiele. Karin Haenelt 7.12.2014 Semantik in Suchmaschinen Beispiele Karin Haenelt 7.12.2014 Inhalt Google Knowledge Graph Freebase schema.org 2 Google Knowledge Graph Zuordnung von Suchtermen zu Weltentitäten Darstellung von Zusammenhängen

Mehr

Ausgewählte Kapitel der Systemsoftware: Cloud Computing

Ausgewählte Kapitel der Systemsoftware: Cloud Computing Ausgewählte Kapitel der Systemsoftware: Cloud Computing Zunächst heiter bis wolkig, später dauerhaft bedeckt Timo Hönig Friedrich-Alexander-Universität Erlangen-Nürnberg Lehrstuhl Informatik 4 (Verteilte

Mehr

Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG

Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG 2 Big Data Gartner prognostiziert, dass Unternehmen im laufenden Jahr für IT-Lösungen im Big-Data- Bereich 34 Milliarden

Mehr

Planung auf Aufbau von SharePoint-Suchinfrastrukturen

Planung auf Aufbau von SharePoint-Suchinfrastrukturen Building & Connecting Know-how 16.-17. Februar 2011, München Planung auf Aufbau von SharePoint-Suchinfrastrukturen Fabian Moritz SharePoint MVP Partner: Veranstalter: Aufbau von Suchplattformen Planung

Mehr

Detecting Near Duplicates for Web Crawling

Detecting Near Duplicates for Web Crawling Detecting Near Duplicates for Web Crawling Gurmeet Singh Manku et al., WWW 2007* * 16th international conference on World Wide Web Detecting Near Duplicates for Web Crawling Finde near duplicates in großen

Mehr

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS AGENDA VISUAL ANALYTICS 9:00 09:30 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT

Mehr

On-Line Analytical Processing

On-Line Analytical Processing OLAP und Data Mining ƒ OLAP Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen ƒ Data Mining Begriff und Prozeß Verfahren Vorlesung Data-Warehouse-Technologien 9-1 On-Line Analytical Processing

Mehr

SEODisc: Ansatz zur Erkennung von SEO-Attacken

SEODisc: Ansatz zur Erkennung von SEO-Attacken : Ansatz zur Erkennung von SEO-Attacken Matthias Meyer 21. März 2011 TU Dortmund, G Data 1 / 18 Inhaltsverzeichnis 1 Einleitung Was ist SEO? SEO aus Angreifersicht SEO Techniken 2 Verfolgter Lösungsansatz

Mehr

Visual Business Analytics Visueller Zugang zu Big Data

Visual Business Analytics Visueller Zugang zu Big Data Visual Business Analytics Visueller Zugang zu Big Data Dr.-Ing. Jörn Kohlhammer Fraunhofer-Institut für Graphische Datenverarbeitung (IGD) Fraunhoferstraße 5 64283 Darmstadt Tel.: +49 6151 155-646 Fax:

Mehr

Verborgene Schätze heben

Verborgene Schätze heben Verborgene Schätze heben Data Mining mit dem Microsoft SQL Server Martin Oesterer Leiter Vertrieb HMS Analytical Software GmbH Data Mining. Was ist eigentlich wichtig? Data Mining ist: die Extraktion von

Mehr

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen OLAP und Data Mining OLAP Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen Data Mining Begriff und Prozeß Verfahren Vorlesung Data-Warehouse-Technologien 9-1 On-Line Analytical Processing

Mehr

Data Mining - Marketing-Schlagwort oder ernstzunehmende Innovation?

Data Mining - Marketing-Schlagwort oder ernstzunehmende Innovation? 1. Konferenz der A Benutzer KFE in Forschung und Entwicklung Data Mining - Marketing-chlagwort oder ernstzunehmende Innovation? Hans-Peter Höschel,, Heidelberg 1. Konferenz der A Benutzer KFE in Forschung

Mehr

Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive

Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive Institut für Rundfunktechnik, 17. Februar 2014 Norbert Pillmayer, BU-Leiter Software Solutions, NorCom Information

Mehr

BIG Data @ T-SYSTEMS. Ofra Car. Bamberg, 01. Juli 2014

BIG Data @ T-SYSTEMS. Ofra Car. Bamberg, 01. Juli 2014 BIG Data @ T-SYSTEMS Ofra Car Leonhard Fischer Bamberg, 01. Juli 2014 Unstrukturierte und strukturierte Daten Experten - Data Scientists Produktentwicklung Was ist der Mehrwert für mein Geschäft? Lokationsbasierte

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

Citizen Data Science. Balázs Bárány. 29. April 2016. Linuxwochen Wien 2016

Citizen Data Science. Balázs Bárány. 29. April 2016. Linuxwochen Wien 2016 Citizen Data Science Balázs Bárány Linuxwochen Wien 2016 29. April 2016 Inhalt Einführung: Data Science Werkzeuge und Methoden Citizen Data Science Daten holen Daten verstehen Daten-Vorverarbeitung Prädiktive

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Digitale Revolution Techniken, die Unternehmen verändern können

Digitale Revolution Techniken, die Unternehmen verändern können Digitale Revolution Techniken, die Unternehmen verändern können 6. Bonner Netzwerkabend Digitale Revolution Wolfgang Prinz Fraunhofer FIT RWTH Aachen 17. Dezember 2014 http://www.facebook.com/fraunhofer.fit

Mehr

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

Von Big Data zu Deep Insights

Von Big Data zu Deep Insights Von Big Data zu Deep Insights Prof. Dr. Dirk Nowotka Christian-Albrechts-Universität zu Kiel Maritime IT 2013 Big Data = Überwachung + Marketing? Kommunikations- und Kundendaten XKeyScore, Google Ads,

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Intelligent Traveller Early Situation Awareness itesa

Intelligent Traveller Early Situation Awareness itesa Intelligent Traveller Early Situation Awareness itesa Dr. Martin Skorsky, Senior Researcher 22. Juni 2015 1 1 Intelligent Traveller Early Situation Awareness Automatischen Alarmsystems, das Reisende in

Mehr

Wird BIG DATA die Welt verändern?

Wird BIG DATA die Welt verändern? Wird BIG DATA die Welt verändern? Frankfurt, Juni 2013 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Big Data Entmythisierung von Big Data. Was man über Big Data wissen sollte. Wie

Mehr

Maschinelles Lernen und Data Mining: Methoden und Anwendungen

Maschinelles Lernen und Data Mining: Methoden und Anwendungen Maschinelles Lernen und Data Mining: Methoden und Anwendungen Eyke Hüllermeier Knowledge Engineering & Bioinformatics Fachbereich Mathematik und Informatik GFFT-Jahrestagung, Wesel, 17. Januar 2008 Knowledge

Mehr

Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann

Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann Adam Stambulski Project Manager Viessmann R&D Center Wroclaw Dr. Moritz Gomm Business Development Manager Zühlke Engineering

Mehr

Exploration und Klassifikation von BigData

Exploration und Klassifikation von BigData Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)

Mehr

BIG DATA HYPE ODER CHANCE

BIG DATA HYPE ODER CHANCE BIG DATA HYPE ODER CHANCE 1 Fuchs Dominik 16.05.2014 Fahrplan 2 Begriff Big Data Die 3 V s Fallbeispiel Google Was? Wie? Womit? Fazit & Ausblick in die Zukunft Der Begriff Big Data 3 Datenmengen, die zu

Mehr

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN?

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? 3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? Udo Schaefer Berlin, den 10. November 2011 DIE NETZE UND IHRE NUTZUNG Berechnungsgrundlage 800 Millionen Facebook Nutzer Transport

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

EXPLORATION VON GEOSPATIALEN AUTOMOTIVE-DATEN VISUALISIERUNG VON FAHRZEUG-SENSORDATEN

EXPLORATION VON GEOSPATIALEN AUTOMOTIVE-DATEN VISUALISIERUNG VON FAHRZEUG-SENSORDATEN Isabella Eckel, BMW Group Dr. Christian Winkler, mgm technology partners GmbH EXPLORATION VON GEOSPATIALEN AUTOMOTIVE-DATEN VISUALISIERUNG VON FAHRZEUG-SENSORDATEN WISSENSEXTRAKTION AUS FAHRZEUG-SENSORDATEN

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Business Analytics in der Big Data-Welt

Business Analytics in der Big Data-Welt Business Analytics in der Big Data-Welt Frankfurt, Juni 2014 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Big Data-Analytik "The way I look at big data analytics is it's not a technology,

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

IMPULS AM VORMITTAG. Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014

IMPULS AM VORMITTAG. Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014 IMPULS AM VORMITTAG Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014 INHALTE Teradata? Wer sind denn die überhaupt? Big Data? Wirklich? Wo? Die vorgegebenen Impulsfragen: 1.

Mehr

Data Mining - Wiederholung

Data Mining - Wiederholung Data Mining - Wiederholung Norbert Fuhr 9. Juni 2008 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)

Mehr

BIG DATA Impulse für ein neues Denken!

BIG DATA Impulse für ein neues Denken! BIG DATA Impulse für ein neues Denken! Wien, Januar 2014 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust The Age of Analytics In the Age of Analytics, as products and services become

Mehr

DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG

DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG Inhalt Globale und unternehmensspezifische Herausforderungen Von Big Data zu Smart Data Herausforderungen und Mehrwert von Smart Data 2

Mehr