Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren

Größe: px
Ab Seite anzeigen:

Download "Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren"

Transkript

1 Foto: Anita Ritenour CC BY 2.0 Erfurt, 2.Juli 2014 Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren Kai-Uwe Sattler! Ilmenau!

2 Was sind Big Data? Foto: Scott Ableman CC BY-NC-ND 2.0 2

3 Big Data Big Data = zu groß für herkömmliche Methoden, wie z.b. SQL-Datenbanken, Statistik, Quelle: Gartner Newsroom Google Trends 3

4 Die 3Vs von Big Data Variety Text, Photo, Video XML RDBMS MB Batch Intervall Realtime ZB PB Velocity Volume Quelle: META Group

5 Warum Big Data? Verfügbarkeit großer Datenmengen! Weblogs, Soziale Netze, IP und Mobilfunk, Umweltsensorik und Surveillance, Tracking (Warenbewegung, Fitness, )! Verknüpfung verschiedener Daten: persönliche Daten und Beziehungen, Interessen, Aufenthaltsorte,! verfügbare Speicherplatz- und Verarbeitungskapazität! Hardware-Preisverfall, Data Center und Cloud Computing, 5

6 Warum Big Data? neuer Markt! IT-Lösungen für Big Data (Cloud Computing, MapReduce, In-Memory- Computing, NoSQL, Data Mining, )! Data as a Service, Data Broker! Mustersuche und Vorhersagemodelle! typisches Verhalten: Produktempfehlungen beim Shopping, Fraud Detection (Kreditkarten),! Vorhersage von Verhalten, Ereignissen: Aktienkurse, Grippefälle, 6 Foto: 401(K) 2012 CC-BY-SA 2.0 Quelle: Google Flu Trends

7 Datenaufkommen Google: 20 PB Daten pro Tag, 35 h Video- Uploads pro Minute! Valve Steam: 20 PB Content pro Monat! CERN s LHC: 15 PB Daten pro Jahr Studie von EMC 2011:! 1,8 Zettabyte Daten ( )! Verdopplung alle 2 Jahre als DVD-Stapel: km! als Filme: 200 Mrd. Filme mit 47 Millionen Jahre Spielzeit Studie Deutsche Telekom zu vernetzten Fahrzeugen:! 5 GB pro Fahrzeug und Monat (ca. 40. Mill. Fahrzeuge in D) 7 Quelle: Foto:

8 Techniken zur Analyse von Big Data Foto: Sergei Golyshev CC BY-NC-SA 2.0 8

9 Data Mining semi-automatische Extraktion von gültigen, potentiell nützlichen und bisher unbekannten Wissen aus Daten! deskriptive Verfahren: Extraktion von Mustern oder Parametern, die Daten beschreiben! Korrelationen, Cluster, Anomalien, Trajektorien,! prädiktive Verfahren: Nutzung von Merkmalen zur Vorhersage unbekannter oder zukünftiger Werte anderer Merkmale Foto: Paul Lowry CC BY 2.0 9

10 Data Mining: Clustering Ziel: Gruppierung von ähnlichen Objekten! Alter Einkommen Ähnlichkeitsmaß! Dimensionsauswahl! Anwendung:! Kundensegmentierung! Erstellung von Profilen! Alter Zusammenfassung ähnlicher Dokumente 10 Einkommen

11 Data Mining: Frequent Itemsets Ziel: Aufdeckung statistischer Zusammenhänge zwischen Variablen! Ableitung von Assoziationsregeln! Anwendungen:! Warenkorbanalyse! Kunde Artikel #1 Bier, Pringles #2 Bier, Milch, Pringles #3 Bier, Milka, Pringles #4 Bier, Milka, Cola Wenn jemand Bier kauft, dann kauft er auch Pringles! Ko-Lokation von Ereignissen! Muster in Graphen 11

12 Data Mining: Klassifikation Ziel: Zuordnung von Objekten zu verschiedenen vorgegebenen Klassen, d.h. Vorhersage von Merkmalen (Klassenzuordnung) anhand anderer Merkmale! Ableitung des Klassifikationsmodells aus einer Trainingsmenge! Beispiel: Entscheidungsbaum Kunde Schulden 12 hoch ja Einkommen nein Einkommen niedrig nein Schulden Wohneigentum ja ja ja Wohneigentum Kreditwürdig 1 nein hoch ja ja 2 nein niedrig nein nein 3 ja hoch nein nein nein nein

13 Analyse sozialer Netzwerke Daten mit persönlichen Profilen und Bekanntschaftsbeziehungen (Facebook, Twitter, , )! Ziele: Identifikation von! Hubs, Communities,! Anwendungen:! People You May Know! Recruiting! kollaboratives Filtern! Netzwerkanalyse: Diffusionsmechanismen, Anna Luca Martin Leon Quelle: LinkedIn InMaps Fabian Laura Kevin 13

14 Erstellung von Bewegungsprofilen Generierung geoferenzierter Daten durch! Navigationssysteme, GPS-Tracker, Smartphones (Mobilfunk, GPS), Fitness-Tracker,! Nutzung für! Region of Interest #ID; Zeit; Ort 42; 15:00; 51.9, ; 15:05, 51.9, , 15:06, 52.2, 9.8! =1h Verkehrs- und Routenplanung, lokationsbasierte Dienste, Dauer zum Ziel, Häufige Orte 14

15 Herausforderungen Datenvolumen:! 10 Mrd. Webseiten a 20 KB = 200 TB! Computer mit 50 MB/s Disk IO, 200 Disks! Lesen der Daten = 1085 h = 45 Tage! aber: mit 200 Maschinen nur 5 h!! Heterogenität der Daten:! Struktur: verschiedene Formate (Dateien, Texte, Bilder, Videos, Datenbanken)! Inhalt: verschiedene Repräsentationen gleicher Sachverhalte (z.b. für die gleiche Person)! Dynamik:! Sensordaten: schmutzig, zeitlich begrenzt gültig, potentiell unendlich lange Ströme Foto: Maria Ly CC BY-SA

16 Datenparallele Verarbeitung Zerlegung der Daten in Partitionen! verteilte und parallele Verarbeitung der Partitionen Foto: Yahoo! Skalierbarkeit der Algorithmen für Server! Umgang mit Fehlern (etwa durch Ausfälle) 16

17 Datenparallele Verarbeitung mit MapReduce Programmierparadigma für datenparallele Verarbeitung! von Google entwickelt! verfügbar u.a. im Rahmen von Apache Hadoop! Einsatzbereich:! große Mengen (schwach) strukturierter Daten! Cluster-Umgebung aus Commodity Hardware für kosteneffiziente Skalierung! Plattform für verschiedene Projekte: HDFS, Pig, Hive, Spark 17

18 MapReduce: Prinzip Extrahieren, Filtern, Transformieren, Aggregieren, Eingabe inp 1 inp 2 inp n [Schlüssel, Datensatz] map map map map [Schlüssel, Datensatz] shuffle & sort [Schlüssel, Datensätze] reduce reduce reduce f(datensätze) Ergebnis out 1 out 2 18

19 Big-Data-Analyse als Prozess Datenakquisition Extraktion & Bereinigung Integration & Aggregation Modellbildung & Analyse Auswahl und Erfassung der Daten, Online-Filterung Informations-/Featureextraktion, Behandlung von Datenfehlern, Verbesserung der Datenqualität Transformation, Behandlung von Heterogenitäten, Verdichtung Datenanalyse, Data Mining Interpretation Bewertung und Interpretation der Ergebnisse 19

20 Möglichkeiten und Risiken Foto: andy_c CC BY

21 Möglichkeiten: esciences Beispiel Sloan Digital Sky Survey:! Kartierung von 25% des Himmels mit Spektroskopie! >1000 wiss. Artikel basierend auf Datenanalyse datengetriebene Forschung in den Naturwissenschaften: Astronomie, Ozeanographie, Genforschung,! teilweise 25-50% des Budgets für Cyber-Infrastruktur! The quest for knowledge used to begin with grand theories. Now it begins with massive amount of data. Welcome to the Petabyte Age. Datenexploration als 4. Paradigma Quelle: 21

22 Möglichkeiten: ebusiness Produktempfehlungen auf Shopping- Sites durch Warenkorbanalyse Fraud Detection: Erkennung von Kreditkartenmissbrauch! Beispiel Mastercard: jährlicher Schaden von ca. 8 Mrd. $, 65 Mrd. Transaktionen/ Jahr, > Regeln Produktgestaltung! Herr Müller nutzt seine Kreditkarte nur am Wochenende zum Tanken. Beispiel Netflix: 33 Mill. Kunden, 30 Mill. Abspielvorgängen, 3 Mill. Suchen, 4 Mill. Bewertungen täglich! Nutzung für Planung neuer Serien basierend auf Kunden 22

23 Möglichkeiten: Prozessoptimierung Beispiel UPS Analyse von Sensordaten der Fahrzeuge! ORION = On-Road Integrated Optimization and Navigation! Streckenoptimierung, Vorhersage der Ankunftszeiten! Einsparung von 85 Mill. Meilen / Jahr (Quelle: Wired) 23 Quelle: Wikipedia B A D 4 E G 5 H 7 C 2 F

24 Risiken: Signal vs. Rauschen Datenaufkommen Rauschen Signal heute siehe auch spurious tail (N. Taleb): Vergrößerung der Stichprobe verstärkt Rolle des Rauschens / des Zufalls 24

25 Risiken: Privacy Aufdecken von Identitäten durch Verknüpfung und Analyse von Daten! AOL Search Data Leak 2006! Veröffentlichung von 20 Mill. Suchanfragen! Identifikation einzelner Personen anhand ihrer Suchhistorie: Thelma Arnold, User927,! Data Broker Report, FTC Mai 2014! Beispiel Acxiom: umfassende Daten von über 700 Mill. Kunden weltweit, bis zu Datenpunkte pro Kunde! Dienste: Marketing, Risikobewertung (Kreditwürdigkeit, Identitäts-/ Missbrauchserkennung), Personensuche! Datensammlung aus verschiedensten Quellen (inkl. Offline-Daten) ohne Wissen der Kunden, fehlende Transparenz! falsche Risikobewertung, Datenmissbrauch 25

26 Risiken: Filterblase Personalisierung von Suchergebnissen, Nachrichten,! Ranking/Filterung von Suchergebnissen bei Suchmaschinen durch Signale wie Suchhistorie, Nutzung von Ergebnissen, Ads,! Risiko der intellektuellen Isolierung durch Einschränkung/ Ranking der Suchergebnisse If you like this, you like that. Facebook-Experiment mit Manipulation von Newsfeeds! Filterung der Nachrichten von Nutzern! Einfluss positiver/negativer Nachrichten 26

27 Fazit und Ausblick Big Data als Herausforderung für Datenmanagement und Datenanalyse! geschätztes Marktvolumen: $ 50 Mrd. in 2017 (Quelle: Wikibon)! neue Disziplinen (Data Sciences) und Märkte (Data Broker)! Technologien nicht selbstbeschränkend; daher Regeln und Transparenz erforderlich 27 Foto: Dolina Wiedzy CC BY-NC 2.0

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe

Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe Risiken bei der Analyse sehr großer Datenmengen Dr. Thomas Hoppe Datenaufbereitung Datenanalyse Data Mining Data Science Big Data Risiken der Analyse Sammlung Integration Transformation Fehlerbereinigung

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

BIG UNIVERSITÄTSRECHENZENTRUM

BIG UNIVERSITÄTSRECHENZENTRUM UNIVERSITÄTS RECHENZENTRUM LEIPZIG BIG DATA @ UNIVERSITÄTSRECHENZENTRUM Forschung und Entwicklung Entwicklung eines E-Science-Angebots für die Forschenden an der Universität Leipzig Stefan Kühne Axel Ngonga

Mehr

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen Datenanalyse im Web Einführung in das Thema Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Beispiele für Daten im Web Extraktion und Aggregation von Informationen Datenanalyse im Web

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Cloud Data Management

Cloud Data Management 1 Cloud Data Management Dr. Martin Grund 2 Die Evolution des Web Web 1.0: Entstehung des World Wide Web 1989 (CERN) Tim Berners-Lee. 1991 weltweite Verbreitung Navigation zwischen statischen Seiten Keine

Mehr

Big & Smart Data. bernard.bekavac@htwchur.ch

Big & Smart Data. bernard.bekavac@htwchur.ch Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC

Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data: Nutzen und Anwendungsszenarien CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data steht für den unaufhaltsamen Trend, dass immer mehr Daten in Unternehmen anfallen und von

Mehr

Big Data Herausforderungen und Chancen für Controller. ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC

Big Data Herausforderungen und Chancen für Controller. ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data Herausforderungen und Chancen für Controller ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC BARC: Expertise für datengetriebene Organisationen Beratung Strategie

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Gegenwart und Zukunft

Gegenwart und Zukunft Gegenwart und Zukunft von Big Data Dieter Kranzlmüller Munich Network Management Team Ludwig Maximilians Universität München (LMU) & Leibniz Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften

Mehr

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Positionspapier Big Data

Positionspapier Big Data TeleTrusT-interner Workshop Berlin, 05.06.2014 Positionspapier Big Data Oliver Dehning, antispameurope GmbH Leiter der AG Cloud Security Definition Big Data Big Data bezeichnet große Datenmengen (Volume)

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at

APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at APTs: Sind gezielte Angriffe normal? Jürgen Eckel Eckel.J@ikarus.at Helene Hochrieser Hochrieser.H@ikarus.at Welche Anomalien können gefunden werden? Wie lässt sich anormales Verhalten extrahieren? Zeithorizont

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Big Data Vom Hype zum Geschäftsnutzen

Big Data Vom Hype zum Geschäftsnutzen Big Data Vom Hype zum Geschäftsnutzen IBM IM Forum, Berlin, 16.04.2013 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Hype 15.04.2013 BARC 2013 2 1 Interesse an Big Data Nature 09-2008 Economist 03-2010

Mehr

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick Volker.Hinz@microsoft.com Was sagt der Markt? Fakten Meinung der Analysten zu Microsofts Angeboten Nutzen

Mehr

Web Data Mining. Alexander Hinneburg Sommersemester 2007

Web Data Mining. Alexander Hinneburg Sommersemester 2007 Web Data Mining Alexander Hinneburg Sommersemester 2007 Termine Vorlesung Mi. 10:00-11:30 Raum?? Übung Mi. 11:45-13:15 Raum?? Klausuren Mittwoch, 23. Mai Donnerstag, 12. Juli Buch Bing Liu: Web Data Mining

Mehr

Google Search: Trends 2014. Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH

Google Search: Trends 2014. Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH Google Search: Trends 2014 Aktuelle Herausforderungen für die Suchmaschinenoptimierung Referent: Andreas Armbruster, Geschäftsführer seonative GmbH Jahrgang 1979 Diplom-WiWi (Uni Ulm) Unternehmensgründung

Mehr

EXASOL Anwendertreffen 2012

EXASOL Anwendertreffen 2012 EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2

Mehr

BIG DATA Die Bewältigung riesiger Datenmengen

BIG DATA Die Bewältigung riesiger Datenmengen BIG DATA Die Bewältigung riesiger Datenmengen Peter Mandl Institut für Geographie und Regionalforschung der AAU GIS Day 2012, 13.11.2012, Klagenfurt Was sind BIG DATA? Enorm große Datenmengen, Datenflut

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen

Mehr

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Software AG Innovation Day 2014 Bonn, 2.7.2014 Dr. Carsten Bange, Geschäftsführer Business Application Research Center

Mehr

Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011. Zürcher Fachhochschule

Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011. Zürcher Fachhochschule Data Science (k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November 2011 Teenagerliebe? Data Science Big Data! Aber: Hohe Korrelation in der aktuellen öffentlichen Wahrnehmung. Keiner

Mehr

Data Mining Anwendungen und Techniken

Data Mining Anwendungen und Techniken Data Mining Anwendungen und Techniken Knut Hinkelmann DFKI GmbH Entdecken von Wissen in banken Wissen Unternehmen sammeln ungeheure mengen enthalten wettbewerbsrelevantes Wissen Ziel: Entdecken dieses

Mehr

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung Ermittlung von Assoziationsregeln aus großen Datenmengen Zielsetzung Entscheidungsträger verwenden heutzutage immer häufiger moderne Technologien zur Lösung betriebswirtschaftlicher Problemstellungen.

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2014, SS 2014 1 Data Mining: Beispiele (1) Hausnummererkennung (Klassifikation) Source: http://arxiv.org/abs/1312.6082,

Mehr

vfabric-daten Big Data Schnell und flexibel

vfabric-daten Big Data Schnell und flexibel vfabric-daten Big Data Schnell und flexibel September 2012 2012 VMware Inc. All rights reserved Im Mittelpunkt: Daten Jeden Morgen wache ich auf und frage mich: Wie kann ich den Datenfluss optimieren,

Mehr

Living Lab Big Data Konzeption einer Experimentierplattform

Living Lab Big Data Konzeption einer Experimentierplattform Living Lab Big Data Konzeption einer Experimentierplattform Dr. Michael May Berlin, 10.12.2012 Fraunhofer-Institut für Intelligente Analyseund Informationssysteme IAIS www.iais.fraunhofer.de Agenda n Ziele

Mehr

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen Frank Irnich SAP Deutschland SAP ist ein globales Unternehmen... unser Fokusgebiet... IT Security für... 1 globales Netzwerk > 70 Länder, >

Mehr

Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG

Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG Big Data Alter Wein in neuen Schläuchen? 27.11.2013 Josef Schmid M.A. Dynelytics AG 2 Big Data Gartner prognostiziert, dass Unternehmen im laufenden Jahr für IT-Lösungen im Big-Data- Bereich 34 Milliarden

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Datenbanken Unit 10: Ranking und Data Mining Erstellen und Ändern von Datenbanken

Datenbanken Unit 10: Ranking und Data Mining Erstellen und Ändern von Datenbanken Datenbanken Unit 10: Ranking und Data Mining Erstellen und Ändern von Datenbanken 7. VI. 2016 Organisatorisches nächste Woche am 14. Juni Abschlusstest (Gruppe 1: 10:00 11:15, Gruppe 2: 11:30 12:45 ) Übungsblatt

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Ab in den Himmel: Was kommt jenseits der Cloud? 1 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Inhalt 1. Einleitung / Motivation 2. Cloud ein bisschen

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Planung auf Aufbau von SharePoint-Suchinfrastrukturen

Planung auf Aufbau von SharePoint-Suchinfrastrukturen Building & Connecting Know-how 16.-17. Februar 2011, München Planung auf Aufbau von SharePoint-Suchinfrastrukturen Fabian Moritz SharePoint MVP Partner: Veranstalter: Aufbau von Suchplattformen Planung

Mehr

Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG

Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG DB Fernverkehr AG Dr.-Ing. Axel Schulz, Dr. Matthias Platho P.FMB 2, DB Fernverkehr AG Frankfurt, 22.05.2015 Motivation An meinem

Mehr

Visual Business Analytics Visueller Zugang zu Big Data

Visual Business Analytics Visueller Zugang zu Big Data Visual Business Analytics Visueller Zugang zu Big Data Dr.-Ing. Jörn Kohlhammer Fraunhofer-Institut für Graphische Datenverarbeitung (IGD) Fraunhoferstraße 5 64283 Darmstadt Tel.: +49 6151 155-646 Fax:

Mehr

Verborgene Schätze heben

Verborgene Schätze heben Verborgene Schätze heben Data Mining mit dem Microsoft SQL Server Martin Oesterer Leiter Vertrieb HMS Analytical Software GmbH Data Mining. Was ist eigentlich wichtig? Data Mining ist: die Extraktion von

Mehr

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS AGENDA VISUAL ANALYTICS 9:00 09:30 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

Von Big Data zu Deep Insights

Von Big Data zu Deep Insights Von Big Data zu Deep Insights Prof. Dr. Dirk Nowotka Christian-Albrechts-Universität zu Kiel Maritime IT 2013 Big Data = Überwachung + Marketing? Kommunikations- und Kundendaten XKeyScore, Google Ads,

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

Thementisch Anwendungsgebiete und

Thementisch Anwendungsgebiete und Thementisch Anwendungsgebiete und b Erfolgsgeschichten KMUs und Big Data Wien 08. Juni 2015 Hermann b Stern, Know-Center www.know-center.at Know-Center GmbH Know-Center Research Center for Data-driven

Mehr

Web Information Retrieval. Zwischendiskussion. Überblick. Meta-Suchmaschinen und Fusion (auch Rank Aggregation) Fusion

Web Information Retrieval. Zwischendiskussion. Überblick. Meta-Suchmaschinen und Fusion (auch Rank Aggregation) Fusion Web Information Retrieval Hauptseminar Sommersemester 2003 Thomas Mandl Überblick Mehrsprachigkeit Multimedialität Heterogenität Qualität, semantisch, technisch Struktur Links HTML Struktur Technologische

Mehr

Technische Aspekte einer Videosuchmaschine. Björn Wilmsmann, CEO - MetaSieve GmbH

Technische Aspekte einer Videosuchmaschine. Björn Wilmsmann, CEO - MetaSieve GmbH Technische Aspekte einer Videosuchmaschine Björn Wilmsmann, CEO - MetaSieve GmbH 1 Über MetaSieve http://www.metasieve.com Softwareentwicklung Internet Software Spezialisiert auf Suchmaschinentechnologie

Mehr

Social SEO. Entwicklungen und Trends in der Suchmaschinenoptimierung

Social SEO. Entwicklungen und Trends in der Suchmaschinenoptimierung Social SEO Entwicklungen und Trends in der Suchmaschinenoptimierung Fakten 22,6% der Internetnutzer verbringen die meiste Zeit ihrer Online-Aktivitäten in sozialen Netzwerken. (Quelle: BITKOM, Februar

Mehr

Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive

Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive Redaktionelles Arbeiten auf Basis von Big-Data Methoden aus der Rundfunk/Fernseh-Perspektive Institut für Rundfunktechnik, 17. Februar 2014 Norbert Pillmayer, BU-Leiter Software Solutions, NorCom Information

Mehr

Intelligent Traveller Early Situation Awareness itesa

Intelligent Traveller Early Situation Awareness itesa Intelligent Traveller Early Situation Awareness itesa Dr. Martin Skorsky, Senior Researcher 22. Juni 2015 1 1 Intelligent Traveller Early Situation Awareness Automatischen Alarmsystems, das Reisende in

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

Big Data in Marketing und IT

Big Data in Marketing und IT Big Data in Marketing und IT Chancen erkennen, Strategien entwickeln und Projekte erfolgreich umsetzen T-Systems Hacker Day 30. September 2015 Prof. Dr. Alexander Rossmann Reutlingen University Big Data

Mehr

Semantik in Suchmaschinen Beispiele. Karin Haenelt 7.12.2014

Semantik in Suchmaschinen Beispiele. Karin Haenelt 7.12.2014 Semantik in Suchmaschinen Beispiele Karin Haenelt 7.12.2014 Inhalt Google Knowledge Graph Freebase schema.org 2 Google Knowledge Graph Zuordnung von Suchtermen zu Weltentitäten Darstellung von Zusammenhängen

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

On-Line Analytical Processing

On-Line Analytical Processing OLAP und Data Mining ƒ OLAP Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen ƒ Data Mining Begriff und Prozeß Verfahren Vorlesung Data-Warehouse-Technologien 9-1 On-Line Analytical Processing

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Detecting Near Duplicates for Web Crawling

Detecting Near Duplicates for Web Crawling Detecting Near Duplicates for Web Crawling Gurmeet Singh Manku et al., WWW 2007* * 16th international conference on World Wide Web Detecting Near Duplicates for Web Crawling Finde near duplicates in großen

Mehr

Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation

Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation Semantische Bildsuche mittels kollaborativer Filterung und visueller Navigation Prof. Dr. Kai Uwe Barthel HTW Berlin / pixolution GmbH Übersicht Probleme der gegenwärtigen Bildsuchsysteme Schlagwortbasierte

Mehr

Data Mining - Marketing-Schlagwort oder ernstzunehmende Innovation?

Data Mining - Marketing-Schlagwort oder ernstzunehmende Innovation? 1. Konferenz der A Benutzer KFE in Forschung und Entwicklung Data Mining - Marketing-chlagwort oder ernstzunehmende Innovation? Hans-Peter Höschel,, Heidelberg 1. Konferenz der A Benutzer KFE in Forschung

Mehr

Exploration und Klassifikation von BigData

Exploration und Klassifikation von BigData Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)

Mehr

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen OLAP und Data Mining OLAP Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen Data Mining Begriff und Prozeß Verfahren Vorlesung Data-Warehouse-Technologien 9-1 On-Line Analytical Processing

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Unüberwachtes Lernen: Clustern von Attributen

INTELLIGENTE DATENANALYSE IN MATLAB. Unüberwachtes Lernen: Clustern von Attributen INTELLIGENTE DATENANALYSE IN MATLAB Unüberwachtes Lernen: Clustern von Attributen Literatur J. Han, M. Kamber: Data Mining Concepts and Techniques. J. Han et. al: Mining Frequent Patterns without Candidate

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

Digitale Revolution Techniken, die Unternehmen verändern können

Digitale Revolution Techniken, die Unternehmen verändern können Digitale Revolution Techniken, die Unternehmen verändern können 6. Bonner Netzwerkabend Digitale Revolution Wolfgang Prinz Fraunhofer FIT RWTH Aachen 17. Dezember 2014 http://www.facebook.com/fraunhofer.fit

Mehr

Data Mining - Wiederholung

Data Mining - Wiederholung Data Mining - Wiederholung Norbert Fuhr 9. Juni 2008 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)

Mehr

Inhalt. http://d-nb.info/1019141522

Inhalt. http://d-nb.info/1019141522 Inhalt 1 Zum Controlling der digitalen Wertschöpfungskette 1 1.1 Digitale Wertschöpfungskette 2 1.2 Austauschoptionen im ebusiness 5 1.3 Definitionspyramide der webbezogenen BI 7 1.4 Kapitelübersicht 10

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Wie wichtig ist Social Media Marketing für mein Google Ranking?

Wie wichtig ist Social Media Marketing für mein Google Ranking? Wie wichtig ist Social Media Marketing für mein Google Ranking? 1 Kurzvorstellung adisfaction Fullservice-Digital-Agentur Büros in Meerbusch und Zürich Gegründet 2002, 20 Mitarbeiter Searchmetrics Pionier

Mehr

IMPULS AM VORMITTAG. Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014

IMPULS AM VORMITTAG. Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014 IMPULS AM VORMITTAG Smart Grids 2.0, Österreich als Leitmarkt und Leitanbieter 27. Februar 2014 INHALTE Teradata? Wer sind denn die überhaupt? Big Data? Wirklich? Wo? Die vorgegebenen Impulsfragen: 1.

Mehr

Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann

Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann Adam Stambulski Project Manager Viessmann R&D Center Wroclaw Dr. Moritz Gomm Business Development Manager Zühlke Engineering

Mehr

Erfolgreicher Umgang mit heutigen und zukünftigen Bedrohungen

Erfolgreicher Umgang mit heutigen und zukünftigen Bedrohungen Erfolgreicher Umgang mit heutigen und zukünftigen Bedrohungen Das Zusammenspiel von Security & Compliance Dr. Michael Teschner, RSA Deutschland Oktober 2012 1 Trust in der digitalen Welt 2 Herausforderungen

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

Operational Big Data effektiv nutzen TIBCO LogLogic. Martin Ulmer, Tibco LogLogic Deutschland

Operational Big Data effektiv nutzen TIBCO LogLogic. Martin Ulmer, Tibco LogLogic Deutschland Operational Big Data effektiv nutzen TIBCO LogLogic Martin Ulmer, Tibco LogLogic Deutschland LOGS HINTERLASSEN SPUREN? Wer hat wann was gemacht Halten wir interne und externe IT Richtlinien ein Ist die

Mehr

Jan Ehmke Doktorandenworkshop 2008 St. Andreasberg, 10.03.2008

Jan Ehmke Doktorandenworkshop 2008 St. Andreasberg, 10.03.2008 Ermittlung dynamischer Fahrzeiten für die City-Logistik Jan Ehmke Doktorandenworkshop 2008 St. Andreasberg, 10.03.2008 Inhalt Einführung Planung in der City-Logistik Erhebung dynamischer Fahrzeiten Konzeption

Mehr

Der Weg zum datengetriebenen Unternehmen

Der Weg zum datengetriebenen Unternehmen Der Weg zum datengetriebenen Unternehmen Big Data als Chance und Herausforderung mainit Keynote 25.9.2014 Alexander Kagoshima Alexander Kagoshima Data Scientist Big Data Trend Wachsende Daten 40.000 Quelle:

Mehr

Citizen Data Science. Balázs Bárány. 29. April 2016. Linuxwochen Wien 2016

Citizen Data Science. Balázs Bárány. 29. April 2016. Linuxwochen Wien 2016 Citizen Data Science Balázs Bárány Linuxwochen Wien 2016 29. April 2016 Inhalt Einführung: Data Science Werkzeuge und Methoden Citizen Data Science Daten holen Daten verstehen Daten-Vorverarbeitung Prädiktive

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

ANALYSIEREN VON SOCIAL MEDIA AKTIVITÄTEN

ANALYSIEREN VON SOCIAL MEDIA AKTIVITÄTEN ANALYSIEREN VON SOCIAL MEDIA AKTIVITÄTEN PROFI-Webcast 10.03.2015 Dr. Michael Kosmowski Software-Architekt Tel.: 0721 46 46 46 64 44 E-Mail: m.kosmowski@profi-ag.de AGENDA Was passiert bei unseren Kunden?

Mehr

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN?

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? 3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? Udo Schaefer Berlin, den 10. November 2011 DIE NETZE UND IHRE NUTZUNG Berechnungsgrundlage 800 Millionen Facebook Nutzer Transport

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Business Analytics in der Big Data-Welt

Business Analytics in der Big Data-Welt Business Analytics in der Big Data-Welt Frankfurt, Juni 2014 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Big Data-Analytik "The way I look at big data analytics is it's not a technology,

Mehr

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:

Mehr

Big Data - Fluch oder Segen?

Big Data - Fluch oder Segen? mitp Professional Big Data - Fluch oder Segen? Unternehmen im Spiegel gesellschaftlichen Wandels von Ronald Bachmann, Guido Kemper, Thomas Gerzer 1. Auflage Big Data - Fluch oder Segen? Bachmann / Kemper

Mehr