8. Big Data und NoSQL-Datenbanken
|
|
- Valentin Meyer
- vor 8 Jahren
- Abrufe
Transkript
1 8. Big Data und NoSQL-Datenbanken Motivation Big Data wachsende Mengen und Vielfalt an Daten Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Hadoop, MapReduce NoSQL-Datenbanken Eigenschaften Document Stores (MongoDB) Graph-Datenbanken (neo4j) Big Data Kompetenzzentrum ScaDS Dresden/Leipzig SS14, Prof. Dr. E. Rahm 8-1 Big Data SS14, Prof. Dr. E. Rahm 8-2
2 Big wandelt sich schnell Gigabytes, Terabytes (10 12 ) Wie groß ist Big Data? Petabytes (10 15 ), Exabytes (10 18 ), Zettabytes (10 21 ), ca 1.8 ZB wurden in 2011 erzeugt; ~8 ZB in 2015 D a t a s i z e E x a b y t e s Source: IDC s Digital Universe study, sponsored by EMC, June 2011 SS14, Prof. Dr. E. Rahm 8-3 Datenproduzenten: Web, Soziale Netze, Smartphones, Sensoren 12+ TBs of tweet data every day 30 billion RFID tags today (1.3B in 2005) 4.6 billion camera phones world wide? TBs of data every day 100s of millions of GPS enabled devices sold annually 25+ TBs of log data every day 76 million smart meters in M by billion people on the Web by end 2011 SS14, Prof. Dr. E. Rahm 8-4
3 Stark zunehmende Erfassung von Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten weltweit wurden in den 2 letzten Jahren erzeugt. SS14, Prof. Dr. E. Rahm 8-5 Big Data Challenges VolumeSkalierbarkeit von Terabytes nach Petabytes (1K TBs) bis Zettabytes (1 Milliarde TBs) Variety variierende Komplexität: strukturiert, teilstrukturiert, Text / Bild / Video Velocity: Near-Realtime, Streaming Veracity: Vertrauenswürdigkeit Value Erzielen des (wirtschaftl.) Nutzens durch Analysen SS14, Prof. Dr. E. Rahm 8-6
4 Potentiale für Big Data-Technologien Analyse von Website-Navigation Analyse und Optimierung von Web-Advertizing und Recommendations personalisierte Medizin auf Basis erfolgter Behandlungen (anonymisiert) in Abhängigekit klinischer und genetischer Merkmalen Energieversorgung: Verbrauchsanalysen, Überwachung Windstrom-Erzeugung Industrie 4.0 ( Internet der Dinge ) Kriminalitätsbekämpfung missbräuchliche Kreditkartennutzung Fake-Angebote/Plagiate in Auktionsplattformen oder Shops unwahre ärztliche Abrechnungen SS14, Prof. Dr. E. Rahm 8-7 Anwendungsdomänen für Big Data Analytics Smarter Healthcare Multi-channel sales Finance Log Analysis Homeland Security Traffic Control Telecom Search Quality Manufacturing Trading Analytics Fraud and Risk Retail: Churn, NBO SS14, Prof. Dr. E. Rahm 8-8
5 Big Data Analyse-Pipeline Quelle: Agrawal et al: Big Data: Challenges and Opportunities, 2011 SS14, Prof. Dr. E. Rahm 8-9 Technologie-Trends Massiv skalierbare Cloud-Architekturen mehrere Daten-Center (Cluster) mit Tausenden von Server-Rechnern und replizierter Datenhaltung Frameworks zur automatischen Parallelisierung datenintensiver Aufgaben Hadoop und Ansätze wie Map/Reduce und Pregel/Giraph (parallele Graphverarbeitung) Nutzung von NoSQL-DBS v.a. für weniger strukturierte Daten Effizientere SQL-Systeme ( NewSQL ) In-Memory Datenbanken / Data Warehouses Column Stores (statt bzw zusätzlich zu Record Stores) schnellere Externspeicher (SSD) SS14, Prof. Dr. E. Rahm 8-10
6 MapReduce Framework zur automatischen Parallelisierung von Auswertungen auf großen Datenmengen Entwicklung bei Google Populäre Open-Source-Implementierung im Rahmen von Hadoop Nutzung v.a. zur Verarbeitung riesiger Mengen teilstrukturierter Daten in einem verteilten Dateisystem Konstruktion Suchmaschinenindex Clusterung von News-Artikeln Spam-Erkennung SS14, Prof. Dr. E. Rahm 8-11 MapReduce Verwendung zweier Funktionen: Map und Reduce Map-Anwendung pro Eingabeobjekt zur Erzeugung von Key-value Paaren Jedes Key-Value-Paar wird einem Reduce-Task zugeordnet Reduce-Anwendung für jede Objektgruppe mit gleichem Key Map Phase Reduce Phase Partitioning Grouping Grouping Grouping SS14, Prof. Dr. E. Rahm 8-12
7 MR-Beispiel: Generierung Text-Index hamlet.txt to be or not to be 12th.txt be not afraid of greatness to, hamlet.txt be, hamlet.txt or, hamlet.txt not, hamlet.txt be, 12th.txt not, 12th.txt afraid, 12th.txt of, 12th.txt greatness, 12th.txt afraid, (12th.txt) be, (12th.txt, hamlet.txt) greatness, (12th.txt) not, (12th.txt, hamlet.txt) of, (12th.txt) or, (hamlet.txt) to, (hamlet.txt) SS14, Prof. Dr. E. Rahm 8-13 NoSQL-Datenbanken SS14, Prof. Dr. E. Rahm 8-14
8 universelle Verbreitung und auf absehbare Zeit ungefährdet für die meisten DB-Anwendungen SQL = mächtige, deklarative Query-Sprache Standardisierung Breite Programmierunterstützung (JDBC, Hibernate, ) ACID reife Technologie automatische Parallelisierung Relationale Datenbanken SS14, Prof. Dr. E. Rahm 8-15 Probleme (objekt-)relationaler Datenbanken Schema-getrieben weniger geeignet für semi-strukturierte Daten zu starr für irreguläre Daten, häufige Änderungen relativ hohe Kosten, v.a. für Parallele DBS (kein Open-Source System) Skalierbarkeitsprobleme für Big Data (Web Scale) Milliarden von Webseiten Milliarden von Nutzern von Websites und sozialen Netzen ACID / strenge Konsistenz nicht immer erforderlich SS14, Prof. Dr. E. Rahm 8-16
9 NoSQL-Datenbanken nach neuartige DBS die meist nicht-relational, open-source, verteilt und horizontal (auf große Datenmengen) skalierbar sind ursprünglicher Fokus: moderne web-scale Datenbanken Entwicklung seit ca weitere Charakteristika: schema-frei, Datenreplikation, einfache API, meist kein ACID (-> eventually consistent ) zunehmende Koexistenz mit SQL NoSql" wird als Not only Sql interpretiert SS14, Prof. Dr. E. Rahm 8-17 Arten von NoSQL-Systemen Key Value Stores Amazon Dynamo, Voldemort, Membase, Redis Speicherung eines Werts (z.b. BLOB) pro nutzer-definiertem Schlüssel bzw. Speicherung von Attribut/Wert-Paaren nur einfache key-basierte Lookup/Änderungs-Zugriffe (get, put) Erweiterte Record-Stores / Wide Column Store Google BigData / Hbase, Hypertable, Cassandra Tabellen-basierte Speicherung mit flexibler Erweiterung um neue Attribute Dokument-Datenbanken CouchDB, MongoDB Speicherung semistrukturierter Daten als Dokument (z.b. JSON) Graph-Datenbanken Neo4J, Titan, OrientDB Speicherung / Auswertung großer Graph-Strukturen SS14, Prof. Dr. E. Rahm 8-18
10 Grobeinordnung NoSQL-Systeme SS14, Prof. Dr. E. Rahm 8-19 Key-Value Stores Speicherung von Schlüssel-Werte-Paare im einfachsten Fall bleiben Werte systemseitig uninterpretiert (BLOBs) flexibel, kein Schema günstig für wenig strukturierte Inhalte bzw stark variable Inhalte, z.b. Twitter- Nachrichten, Webseiten etc. keine Verwaltung von Beziehungen schnelle Lese/Schreibzugriffe über Schlüssel put (key, value) get (key) keine komplexen Queries (z.b. Bereichsabfragen) SS14, Prof. Dr. E. Rahm 8-20
11 Dokumenten-Datenbanken Schemalose Speicherung von Dokumenten, v.a. im JSON-Format JSON (JavaScript Object Notation) geschachtelte Objekt-Notation Datentypen: String, Zahl, Array [...], Boolean, Nullwert Objekt {.} umfasst Menge von Key-Value (Attribut/Wert-) Paaren JSON einfacher als XML, leicht lesbar / schreibbar Beispiel (JSON vs. XML) { "Herausgeber": "Mastercard", "Nummer": " ", "Währung": "EURO", "Inhaber": { "Name": "Mustermann", "Vorname": "Max", "männlich": true, "Hobbys": [ "Reiten", "Golfen", "Lesen" ], "Kinder": [], "Partner": null } } <Kreditkarte Herausgeber="Mastercard" Nummer=" " Waehrung="EURO"> <Inhaber Name="Mustermann" Vorname="Max" maennlich=true Partner="null"> <Hobbys> <Hobby>Reiten</Hobby> <Hobby>Golfen</Hobby> <Hobby>Lesen</Hobby> </Hobbys> <Kinder /> </Inhaber> </Kreditkarte> SS14, Prof. Dr. E. Rahm 8-21 MongoDB zunehmend Verbreitung findender Dokumenten-Store Fa. 10 Gen; open source-version verfügbar JSON-Dokumente, gespeichert als BSON (Binary JSON) DB besteht aus Kollektionen von Dokumenten Einfache Anfragesprache Indexierung von Attributen möglich Map/Reduce-Unterstützung Skalierbarkeit und Fehlertoleranz Skalierbarkeit durch horizontale Partitionierung der Dokumentenkollektionen unter vielen Knoten ( Sharding ) Automatische Replikation mit Konsistenzwahrung kein ACID, z.b. bzgl Synchronisation Änderungen nur bzgl einzelner Dokumente atomar SS14, Prof. Dr. E. Rahm 8-22
12 Beispiel: relational vs. dokumentenorientiert Keine Beziehungen zwischen Dokumenten (-> keine Joins) sondern geschachtelte Komponenten (ähnlich NF2, jedoch ohne Schemazwang) Redundanz bei n:m-beziehungen SS14, Prof. Dr. E. Rahm 8-23 MongoDB: Operationen Beispiele: SS14, Prof. Dr. E. Rahm 8-24
13 MongoDB: Operationen (2) SS14, Prof. Dr. E. Rahm 8-25 Graph-Datenbanken Bessere Unterstützung stark vernetzter Daten als mit Relationenmodell Soziale Netzwerke Protein-Netzwerke stark vernetzte Webdaten / Unternehmensdaten / Graph-Verwaltung im Relationenmodell oft nicht ausreichend schnell viele Tabellen, viele Joins langsame Traversierung von Kanten langsame Umsetzung von Graph-Algorithmen Graph-Datenbanken Graph-Datenmodell mit Gleichbehandlung von Entities und Relationships Graph-Anfragesprachen Optimierte Graph-Operationen (z.b. finde friends of friends ) SS14, Prof. Dr. E. Rahm 8-26
14 Neo4J Native Graph-Datenbank von Neo Technology Community Edition (open-source) + kommerzielle Varianten in Java realisiert, Unterstützung weiterer Sprachen (Ruby, Python) ACID-Unterstützung Skalierbarkeit durch Datenreplikation Zentrale Datenstruktur: Property-Graphen Knoten/Kanten haben einen Typ (Label) Knoten und Kanten können Properties (Attribute) haben Property: Key-Value-Paar (Attributname + Wert) gerichtete Kanten SS14, Prof. Dr. E. Rahm 8-27 Property-Graphen Mehrere, gerichtete Kanten zwischen zwei Knoten möglich (gerichteter Multigraph ) Labels für Knoten/Kanten Properties für Knoten/Kanten Konstanter Aufwand zur Traversierung zu Nachbarknoten (statt Join im RM) SS14, Prof. Dr. E. Rahm 8-28
15 Merkmale Query-Sprache Cypher Pattern Matching OLTP-artige Lese/Änderungsoperationen schnelle Traversierungen ACID-basierte Updates Klauseln: SS14, Prof. Dr. E. Rahm 8-29 Beispiel 1 Beispiel-Graph Beispielanfrage (Friend Of Friend) Ergebnis: Quelle: Neo4J Tutorial, SS14, Prof. Dr. E. Rahm 8-30
16 Beispiel 2 Finde Personen mit ähnlichen Interessen (Recommendations) SS14, Prof. Dr. E. Rahm 8-31 Big Data Kompetenzzentrum BMBF-Ausschreibung 2013 zur Einrichtung von 2 Kompetenzzentren in Deutschland für Big Data mehrstufiges Auswahlverfahren Ankündigung der Gewinner auf der CeBIT 2014 ScaDS Dresden/Leipzig Berlin Big Data Center (BBDC) ScaDS Dresden/Leipzig (Competence Center for Scalable Data Services and Solutions Dresden/Leipzig) wissenschaftliche Koordinatoren: Nagel (TUD), Rahm (UL) offizieller Start: Okt Förderumfang: ca. 5 Mill. Euro UL: Masterstudium Informatik mit Schwerpunkt Big Data Analytics SS14, Prof. Dr. E. Rahm 8-32
17 ScaDS Dresden/Leipzig: Struktur Lebenswissenschaften Materialwissenschaft Umwelt- /Verkehrswissenschaften Servicezentrum Digital Humanities Business Data Big Data Life Cycle Management und Workflows Datenqualität / Datenintegration Wissensextraktion Visuelle Analyse Effiziente Big Data Architekturen SS14, Prof. Dr. E. Rahm 8-33 Big Data Herausforderungen Zusammenfassung Volume, Variety, Velocity, Veracity, Skalierbare Analysen / Machine Learning Unterschiedliche Architekturen: Cloud/Hadoop-Cluster, In-Memory Warehouses, Kombinationen NoSQL Auslöser: webskalierbares Data Management semistrukturierte schemafreie Daten meist Verzicht auf SQL/ACID Unterschiedliche Systemarten Key/Value-Stores, erweiterte Record-Stores (Spaltenfamilien) Dokumenten Stores Graph-Datenbanken Hauptproblem: fehlende Standards SS14, Prof. Dr. E. Rahm 8-34
8. Big Data und NoSQL-Datenbanken
8. Big Data und NoSQL-Datenbanken Motivation Big Data Wachsende Mengen und Vielfalt an Daten Herausforderungen Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Near-Real-Time Data Warehouses
Mehr7. Big Data und NoSQL-Datenbanken
7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften
Mehr7. Big Data und NoSQL-Datenbanken
7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften
MehrBig Data Analytics: Herausforderungen und Systemansätze. Prof. Dr. Erhard Rahm. http://dbs.uni-leipzig.de
Big Data Analytics: Herausforderungen und Systemansätze Prof. Dr. Erhard Rahm http://dbs.uni-leipzig.de 2 Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten
Mehr6. Big Data und NoSQL-Datenbanken
6. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften
MehrANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik
ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten
MehrMassives Wachstum an Daten
Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten weltweit wurden in den 2 letzten Jahren erzeugt. 2 Datenproduzenten: Soziale Netze, Smartphones, Sensoren
MehrÜberblick und Vergleich von NoSQL. Datenbanksystemen
Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von
Mehr7. Big Data und NoSQL-Datenbanken
7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften
MehrStefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER
Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und
MehrForschung und Entwicklung am
Forschung und Entwicklung am Stefan Kühne, Axel Ngonga Agenda Motivation Projekte Ausblick 2 Aktuelle IT-Trends Dynamic Infrastructure BYOD Social Business Big Data Identity Management Cloud Computing/SaaS
MehrNoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner
Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner NoSQL Einstieg in die Web 2.0 Datenbanken 2., akutalisierte und erweiterte Auflage HANSER Geleitwort Vorwort Vorwort zur 2. Auflage
MehrApache HBase. A BigTable Column Store on top of Hadoop
Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,
MehrISBN: 978-3-8428-0679-5 Herstellung: Diplomica Verlag GmbH, Hamburg, 2011
Nils Petersohn Vergleich und Evaluation zwischen modernen und traditionellen Datenbankkonzepten unter den Gesichtspunkten Skalierung, Abfragemöglichkeit und Konsistenz Diplomica Verlag Nils Petersohn Vergleich
MehrSeminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP
Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,
MehrHadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes
Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)
MehrBig Data Mythen und Fakten
Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher
MehrNoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1
NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften
MehrEXASOL Anwendertreffen 2012
EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2
MehrProf. Dr.-Ing. Rainer Schmidt 1
Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2
MehrSinn (und Unsinn) für Informix Benutzer
NoSQL : Sinn (und Unsinn) für Informix Benutzer Martin Fürderer IBM Informix Entwicklung München Agenda Was bedeutet NoSQL für Informix Benutzer? Was bedeutet NoSQL? Fragen? Welche NoSQL Funktionalität
Mehr25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz
1 2 Dies ist ein Vortrag über Zeit in verteilten Anwendungen Wir betrachten die diskrete "Anwendungszeit" in der nebenläufige Aktivitäten auftreten Aktivitäten in einer hochgradig skalierbaren (verteilten)
MehrBig Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC
Big Data: Nutzen und Anwendungsszenarien CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data steht für den unaufhaltsamen Trend, dass immer mehr Daten in Unternehmen anfallen und von
MehrStefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN:
sverzeichnis Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42355-8 Weitere Informationen oder Bestellungen
MehrObjektrelationale Datenbanken
Vorlesung Datenbanksysteme vom 26.11.2008 Objektrelationale Datenbanken Konzepte objektrelationaler DBs SQL:1999 OO vs. OR Konzepte objektrelationaler Datenbanken Große Objekte (LOBs: Large Objects) Mengenwertige
MehrAnalyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria
Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards
MehrCharakteristika und Vergleich von SQL- und NoSQL- Datenbanken
Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika
MehrEin Beispiel. Ein Unternehmen will Internettechnologien im Rahmen des E- Business nutzen Welche Geschäftsprozesse?
Ein Beispiel Ein Unternehmen will Internettechnologien im Rahmen des E- Business nutzen Welche Geschäftsprozesse? Dipl.-Kfm. Claus Häberle WS 2015 /16 # 42 XML (vereinfacht) visa
MehrOperational Big Data effektiv nutzen TIBCO LogLogic. Martin Ulmer, Tibco LogLogic Deutschland
Operational Big Data effektiv nutzen TIBCO LogLogic Martin Ulmer, Tibco LogLogic Deutschland LOGS HINTERLASSEN SPUREN? Wer hat wann was gemacht Halten wir interne und externe IT Richtlinien ein Ist die
MehrWas ist Windows Azure? (Stand Juni 2012)
Was ist Windows Azure? (Stand Juni 2012) Windows Azure Microsofts Cloud Plattform zu Erstellung, Betrieb und Skalierung eigener Cloud-basierter Anwendungen Cloud Services Laufzeitumgebung, Speicher, Datenbank,
MehrProzessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013
Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company
MehrAbstrakt zum Vortrag im Oberseminar. Graphdatenbanken. Gero Kraus HTWK Leipzig 14. Juli 2015
Abstrakt zum Vortrag im Oberseminar Graphdatenbanken Gero Kraus HTWK Leipzig 14. Juli 2015 1 Motivation Zur Darstellung komplexer Beziehungen bzw. Graphen sind sowohl relationale als auch NoSQL-Datenbanken
MehrPositionspapier Big Data
TeleTrusT-interner Workshop Berlin, 05.06.2014 Positionspapier Big Data Oliver Dehning, antispameurope GmbH Leiter der AG Cloud Security Definition Big Data Big Data bezeichnet große Datenmengen (Volume)
MehrFragenkatalog zum Kurs 1666 (Datenbanken in Rechnernetzen) Kurstext von SS 96
Fragenkatalog zum Kurs 1666 (Datenbanken in Rechnernetzen) Kurstext von SS 96 Dieser Fragenkatalog wurde aufgrund das Basistextes und zum Teil aus den Prüfungsprotokollen erstellt, um sich auf mögliche
MehrBig & Smart Data. bernard.bekavac@htwchur.ch
Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem
MehrKurzanweisung für Google Analytics
Kurzanweisung für Google Analytics 1. Neues Profil für eine zu trackende Webseite erstellen Nach dem Anmelden klicken Sie rechts oben auf den Button Verwaltung : Daraufhin erscheint die Kontoliste. Klicken
MehrBI in der Cloud eine valide Alternative Überblick zum Leistungsspektrum und erste Erfahrungen 11.15 11.45
9.30 10.15 Kaffee & Registrierung 10.15 10.45 Begrüßung & aktuelle Entwicklungen bei QUNIS 10.45 11.15 11.15 11.45 Von Big Data zu Executive Decision BI für den Fachanwender bis hin zu Advanced Analytics
MehrNeue Ansätze der Softwarequalitätssicherung
Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik
MehrNeue Studie zum digitalen Universum entdeckt Big Data Gap
13. Dezember 2012 Neue Studie zum digitalen Universum entdeckt Big Data Gap Big Data Gap 23 Prozent (643 Exabyte) des digitalen Universums könnten nützliche Erkenntnisse bringen. Derzeit sind nur drei
MehrPavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER
Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,
MehrBig, Bigger, CRM: Warum Sie auch im Kundenmanagement eine Big-Data-Strategie brauchen
Big, Bigger, CRM: Warum Sie auch im Kundenmanagement eine Big-Data-Strategie brauchen 01000111101001110111001100110110011001 Volumen 10 x Steigerung des Datenvolumens alle fünf Jahre Big Data Entstehung
MehrStorage Summit 2014. Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450
Storage Summit 2014 Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Zentrale wissenschaftliche Einrichtung der Technischen Universität
MehrJune 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration
June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen
MehrDatenbanken. Prof. Dr. Bernhard Schiefer. bernhard.schiefer@fh-kl.de http://www.fh-kl.de/~schiefer
Datenbanken Prof. Dr. Bernhard Schiefer bernhard.schiefer@fh-kl.de http://www.fh-kl.de/~schiefer Wesentliche Inhalte Begriff DBS Datenbankmodelle Datenbankentwurf konzeptionell, logisch und relational
MehrSOA im Zeitalter von Industrie 4.0
Neue Unterstützung von IT Prozessen Dominik Bial, Consultant OPITZ CONSULTING Deutschland GmbH Standort Essen München, 11.11.2014 OPITZ CONSULTING Deutschland GmbH 2014 Seite 1 1 Was ist IoT? OPITZ CONSULTING
MehrMapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen
MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?
MehrInternet of things. Copyright 2016 FUJITSU
Internet of things 0 Fujitsu World Tour 2016 Human Centric Innovation in Action Wie das Internet der Dinge den Handel verändert Ralf Schienke Leitung Vertrieb Handel Deutschland 1 2X Cost of SENSORS Past
MehrMöglichkeiten für bestehende Systeme
Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-
MehrNoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg
NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten
MehrTutorium Algorithmen & Datenstrukturen
June 16, 2010 Binärer Baum Binärer Baum enthält keine Knoten (NIL) besteht aus drei disjunkten Knotenmengen: einem Wurzelknoten, einem binären Baum als linken Unterbaum und einem binären Baum als rechten
MehrNoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010
NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)
MehrDatenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie
Datenbanksysteme Kapitel 6: Neue Konzepte der Datenbanktechnologie Prof. Dr. Peter Chamoni Mercator School of Management Lehrstuhl für Wirtschaftsinformatik, insb. Business Intelligence Prof. Dr. Peter
MehrBig Data in der Forschung
Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die
MehrCopyright 2014 Delta Software Technology GmbH. All Rights reserved.
Karlsruhe, 21. Mai 2014 Softwareentwicklung - Modellgetrieben und trotzdem agil Daniela Schilling Delta Software Technology GmbH The Perfect Way to Better Software Modellgetriebene Entwicklung Garant für
MehrSearch-Driven Applications. Florian Hopf, freiberuflicher Softwareentwickler Tobias Kraft, exensio GmbH
Search-Driven Applications Florian Hopf, freiberuflicher Softwareentwickler Tobias Kraft, exensio GmbH Agenda Motivation Aufbau der Such-Datenstruktur Anwendungsfälle Fallstricke Was ist Suche? Was wollen
MehrBig Data Informationen neu gelebt
Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen
MehrPeter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr
Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit
Mehriphone Apps vs. Mobile Web
iphone Apps vs. Mobile Web Smartphone-Anwendungen im Museumsbereich Vortrag iphone App vs. Mobile Web von Ines Dorian Gütt auf der Herbsttagung 2010 Seite 1/27 Inhalt Einführung iphone Apps Apps in itunes
MehrSeminar Informationsintegration und Informationsqualität. Dragan Sunjka. 30. Juni 2006
Seminar Informationsintegration und Informationsqualität TU Kaiserslautern 30. Juni 2006 Gliederung Autonomie Verteilung führt zu Autonomie... Intra-Organisation: historisch Inter-Organisation: Internet
MehrBig-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht
Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik
MehrDr. Klaus Körmeier BlueBridge Technologies AG
Dr. Klaus Körmeier BlueBridge Technologies AG Agenda Was ist ein SharePoint Wiki Anwendungsbeispiele und Erweiterungen Was ist beim Einsatz zu beachten Zusammenfassung Partner Partner BlueBridge AG SharePoint-Erfahrung
MehrData. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired
make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,
MehrSozio- Technische Systeme
Soziotechnische Informationssysteme 7. Skalierbarkeit 2013 757 Millionen melden sich täglich an (12/2013) 802 DAUs laut FB (1 Quartal 2014) 1.23 Milliarden Nutzer im Monat (12/2013) 556 Millionen täglich
MehrDiplomarbeit: GOMMA: Eine Plattform zur flexiblen Verwaltung und Analyse von Ontologie Mappings in der Bio-/Medizininformatik
Diplomarbeit: GOMMA: Eine Plattform zur flexiblen Verwaltung und Analyse von Ontologie Mappings in der Bio-/Medizininformatik Bearbeiter: Shuangqing He Betreuer: Toralf Kirsten, Michael Hartung Universität
Mehr5. Programmierschnittstellen für XML
5. Programmierschnittstellen für für Medientechnologen Dr. E. Schön Wintersemester 2015/16 Seite 146 Notwendigkeit: Programmierschnittstelle Zugriff auf -Daten durch Applikationen wiederverwendbare Schnittstellen
MehrEinführung in CouchDB
Einführung in CouchDB Zurücklehnen und entspannen! http://slog.io Thomas Schrader (@slogmen) 12/2010 Übersicht Bestandsaufnahme Ansatz Geschichte Technologien Features Skalierbarkeit Kurz & Gut Fazit Relationale
Mehrvinsight BIG DATA Solution
vinsight BIG DATA Solution München, November 2014 BIG DATA LÖSUNG VINSIGHT Datensilos erschweren eine einheitliche Sicht auf die Daten...... und machen diese teilweise unmöglich einzelne individuelle Konnektoren,
MehrNoSQL mit Postgres 15. Juni 2015
Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste
MehrOpen Source als de-facto Standard bei Swisscom Cloud Services
Open Source als de-facto Standard bei Swisscom Cloud Services Dr. Marcus Brunner Head of Standardization Strategy and Innovation Swisscom marcus.brunner@swisscom.com Viele Clouds, viele Trends, viele Technologien
MehrNext Generation CMS. API zu ihrem Content
Next Generation CMS API zu ihrem Content Ing. Clemens Prerovsky, MSc Gentics Software GmbH Gentics - wer wir sind Österreichischer Content Management und Portalsoftware Hersteller 150 Kunden 70.000 Benutzer
Mehr5. Programmierschnittstellen für XML
5. Programmierschnittstellen für Grundlagen Dr. E. Schön FH Erfurt Sommersemester 2015 Seite 135 Programmierschnittstelle Notwendigkeit: Zugriff auf -Daten durch Applikationen wiederverwendbare Schnittstellen
MehrAllgemeines zu Datenbanken
Allgemeines zu Datenbanken Was ist eine Datenbank? Datensatz Zusammenfassung von Datenelementen mit fester Struktur Z.B.: Kunde Alois Müller, Hegenheimerstr. 28, Basel Datenbank Sammlung von strukturierten,
MehrWas ist Analyse? Hannover, CeBIT 2014 Patrick Keller
Was ist? Hannover, CeBIT 2014 Patrick Keller Business Application Research Center Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität
MehrDateisysteme und Datenverwaltung in der Cloud
Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1
MehrGrundzüge und Vorteile von XML-Datenbanken am Beispiel der Oracle XML DB
Grundzüge und Vorteile von XML-Datenbanken am Beispiel der Oracle XML DB Jörg Liedtke, Oracle Consulting Vortrag zum Praxis-Seminar B bei der KIS-Fachtagung 2007, Ludwigshafen Agenda
MehrInhaltsverzeichnis. Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer, Markus Brückner. NoSQL
sverzeichnis Stefan Edlich, Achim Friedland, Jens Hampe, Benjamin Brauer, Markus Brückner NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken ISBN: 978-3-446-42753-2 Weitere Informationen
MehrETL in den Zeiten von Big Data
ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse
MehrNeues aus der nicht-, semi- und relationalen Welt
Neues aus der nicht-, semi- und relationalen Welt Information Management Thomas Klughardt Senior System Consultant Das Big Data Problem Was bedeutet Big Data? Performancekritisch Echtzeit Cold Storage
MehrSAP Enterprise Asset Management Maintenance Worker Role
SAP Enterprise Asset Management Maintenance Worker Role Martin Janssen, EAM Solutions SAP AG June 2012 Public Die neue Benutzeroberfläche für den Techniker Visuelle Instandhaltungsanleitungen 2012 SAP
MehrDefinition Informationssystem
Definition Informationssystem Informationssysteme (IS) sind soziotechnische Systeme, die menschliche und maschinelle Komponenten umfassen. Sie unterstützen die Sammlung, Verarbeitung, Bereitstellung, Kommunikation
Mehr4. Hierarchische und netzwerkartige Datenbankmodelle
4. Hierarchische und netzwerkartige Datenbankmodelle 4.1 Hierarchische Datenbanken Hierarchien können durch Baumgraphen beschrieben werden. Datensätze einer hierarchischen Datenbank (HDB) sind in Segmenten
MehrArchitektur des agimatec-validation Frameworks
Development : Implementierung Validierungskonzept (Dokumentation) This page last changed on Apr 03, 2008 by roman.stumm. Architektur des agimatec-validation Frameworks Generierung der Metainformationen
MehrSQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?
MehrDokumentenorientierte Datenbanken - MongoDB
Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell
MehrWie findet das Navi den Weg?
0.05.0 Verwandte Fragestellungen Problemstellungen aus der Praxis Prof. Dr. Paul Rawiel Gliederung des Vortrags Speicherung von Kartendaten zur Navigation Kriterien für die Navigation Finden des kürzesten
MehrBig Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr.
Big Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr. Florian Johannsen AGENDA 1. Big Data Projekt der freenet Group Dr. Florian Johannsen
MehrTOP. wird ein wichtiges Jahr für BIG (Business Intelligence Growth) DER BUSINESS INTELLIGENCE TRENDS FÜR DAS JAHR 2013
0 Es TOP 10 DER BUSINESS INTELLIGENCE TRENDS FÜR DAS JAHR 2013 wird ein wichtiges Jahr für BIG (Business Intelligence Growth) 2012 war ein fantastisches Jahr für Business Intelligence! Die biedere alte
MehrWeb Data Management Systeme
Web Data Management Systeme Seminar: Web-Qualitätsmanagement Arne Frenkel Agenda Einführung Suchsysteme Suchmaschinen & Meta-Suchmaschinen W3QS WebSQL WebLog Information Integration Systems Ariadne TSIMMIS
MehrExplosionsartige Zunahme an Informationen. 200 Mrd. Mehr als 200 Mrd. E-Mails werden jeden Tag versendet. 30 Mrd.
Warum viele Daten für ein smartes Unternehmen wichtig sind Gerald AUFMUTH IBM Client Technical Specialst Data Warehouse Professional Explosionsartige Zunahme an Informationen Volumen. 15 Petabyte Menge
MehrDatenintegration für Big Data. Prof. Dr. Erhard Rahm. http://dbs.uni-leipzig.de
Datenintegration für Big Data Prof. Dr. Erhard Rahm http://dbs.uni-leipzig.de 1 2 Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten weltweit wurden in den
MehrSynergien des Energiemanagements mit der Heimvernetzung
Synergien des Energiemanagements mit der Heimvernetzung Connected Living Technologien für die intelligente Heimvernetzung Grzegorz Lehmann Competence Center Next Generation Services Vortrag beim Fachgespräch
MehrTechnische Aspekte einer Videosuchmaschine. Björn Wilmsmann, CEO - MetaSieve GmbH
Technische Aspekte einer Videosuchmaschine Björn Wilmsmann, CEO - MetaSieve GmbH 1 Über MetaSieve http://www.metasieve.com Softwareentwicklung Internet Software Spezialisiert auf Suchmaschinentechnologie
MehrProperty-Graph-Databases. 20 Jahre praktische Erfahrung
Property-Graph-Databases 20 Jahre praktische Erfahrung Agenda Was sind die Bausteine der Property- Graph-Database Aspekte der Architektur und der Implementierung Möglichkeiten, Vor- und Nachteile von PG-
MehrOPEN GOVERNMENT: MEHR TRANSPARENZ UND PARTIZIPATION DURCH ANALYTICS ANDREAS NOLD STATEGISCHE GESCHÄFTSENTWICKLUNG SAS D-A-CH
OPEN GOVERNMENT: MEHR TRANSPARENZ UND PARTIZIPATION DURCH ANALYTICS ANDREAS NOLD STATEGISCHE GESCHÄFTSENTWICKLUNG SAS D-A-CH BEISPIEL FLUGHAFEN BERLIN-BRANDENBURG Offizielle Webseite des Flughafens https://ber.piratenfraktion-berlin.de/projekt/
MehrNoSQL Datenbanken EIN ÜBERBLICK ÜBER NICHT-RELATIONALE DATENBANKEN UND DEREN POTENTIALE IM ALLGEMEINEN UND IN DER INDUSTRIE
NoSQL Datenbanken EIN ÜBERBLICK ÜBER NICHT-RELATIONALE DATENBANKEN UND DEREN POTENTIALE IM ALLGEMEINEN UND IN DER INDUSTRIE Was bedeutet NoSQL? Ein Sammelbegriff für alternative Datenbanklösungen, die
MehrNachtrag: Farben. Farbblindheit. (Light und Bartlein 2004)
Nachtrag: Farben Farbblindheit (Light und Bartlein 2004) 1 Vorgeschlagene Farbskalen (Light and Bartlein 2004) Farbkodierung metrisch skalierter Daten Unterscheide: 1. Sequential Data (ohne Betonung der
Mehr1. Erstellung, aus einer Idee wird ein digitaler Bestandteil einer Website.
2. Webpublishing Zur Erstellung von Webpages wurden verschiedene Konzepte entwickelt. Alle diese Konzepte basieren auf dem Content Life Cycle, der mit einem Content Management System weitgehend automatisiert
Mehr6.4 Nicht-Relationale Datenbanksysteme
6.4 Nicht-Relationale Datenbanksysteme In den letzten 10+ Jahren ist eine Vielzahl verschiedenartiger nicht-relationaler Datenbanksysteme entstanden Einen Überblick über die verschiedenen entstandenen
MehrPostgreSQL in großen Installationen
PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,
Mehr