Big Data NoSQL - Datenbanken Motivation, Konzepte & Einsatzszenarien

Größe: px
Ab Seite anzeigen:

Download "Big Data NoSQL - Datenbanken Motivation, Konzepte & Einsatzszenarien"

Transkript

1 White Paper saracus Big Data NoSQL - Datenbanken Motivation, Konzepte & Einsatzszenarien

2 NoSQL-Datenbanken treten im Zuge der Big Data Initiative zunehmend in den Vordergrund. Sie streben mit neuen Konzepten an, die klassischen Datenbanken mit ihrem relationalen Ansatz in dezidierten Anwendungsbereichen zu ergänzen und insbesondere den veränderten Herausforderungen datenbankgetriebener Systemlandschaften gerecht zu werden. Hierbei spielen insbesondere neue Datenstrukturen und Konsistenzmodelle in einer stetig wachsenden Verteilung von Informationen eine bedeutende Rolle. NoSQL steht für Not only SQL, also eine Ergänzung zu bestehenden Paradigmen, keine Substitution. Die Anwendungsfelder dieser neuen Datenbanken fokussieren auf Bereiche, in denen Kompromisse bzgl. Verfügbarkeit, Konsistenz und Ausfallsicherheit eingegangen werden können. Beispielsweise in der Missbrauchserkennung, in Netzwerkanalysen oder Risiko- und Kundenanalysen können sie durch neue Ansätze effizienter eingesetzt werden. Bereiche, in denen unbedingte Transaktionssicherheit unabdingbar ist, liegen derzeit nicht im Fokus der NoSQL-Datenbanken; operative, unternehmenskritische Anwendungen werden auch weiterhin mit klassischen Datenbanksystemen betrieben. Analytische Systeme hingegen bieten enormes Potenzial für alternative Datenbankkonzepte. Gerade im Bereich der Analytik findet zur Zeit ein Wandel der Informationsnutzung statt, der die klassischen DB- Systeme an ihre Grenzen führt. Flexible Datenstrukturen, neuartige Datenformate und -quellen im Web sowie ein rasantes Anwachsen der verfügbaren Informationen zur Analyse sind nur noch schwer und nur mit hohen Investitionen mit den Klassikern der Datenbanktechnologie umzusetzen. Big Data setzt hier als Lösungsansatz mit einer Verteilungsstrategie auf Commodity-Infrastrukturen an. D.h. auch auf der Schicht der Datenhaltung mit verteilten Datenbanken, bzw. mit Datenbankmanagement-Systemen auf einer verteilten Datenhaltung, dessen bekannteste Implementierung aktuell Hadoop ist. Scale-out heißt hierbei das Schlüsselwort, also massiv parallele Infrastrukturen. Damit schließt sich der Kreis des Anwendungsportfolios wiederum, denn gerade in verteilten Systemen ist die Transaktionssicherheit ein komplexes Unterfangen und i.d.r. nur auf Kosten der Konsistenz und Verfügbarkeit umsetzbar. Dieser Artikel beschreibt die neuen Konzepte der NoSQL-Datenbanken im Vergleich zum klassischen relationalen Ansatz und grenzt die Einsatzmöglichkeiten mit konkreten Anwendungsfällen ab. Klassische, relationale Datenbank als Referenzmodell saracus consulting GmbH Hafenweg 46 D Münster Fon Fax saracus consulting AG Täfernstrasse 4 CH-5405 Baden-Dättwil Fon Fax saracus consulting DOO Vizantijski Bulevar 78 SRB Nis Seit dem Codd in den achtziger Jahren sein Relationenmodell aufgestellt hat, spielen die relationalen Datenbanken in der Informationstechnologie die führende Rolle als Datenspeichertechnologie. Zwischenzeitliche Konkurrenzattacken, wie z.b. objektorientierte Datenbanken als Persistenzschicht in der objekt-orientierten Programmierung in den Neunzigern blieben ohne nachhaltige Wirkung. Relationale Datenbanken sind mit ihrem strikten Schema aus Tabellen und Spalten hervorragend geeignet, Unternehmensstrukturen und -prozesse abzubilden und mittels Normalisierung und der Bildung echter Beziehungen untereinander Integrität sicherzustellen. Durch die zeilenbasierte Speicherung von Daten-Tupeln lässt sich auch die Konsistenz i.s. der ACID-Eigenschaft effizient umsetzen. Diese Eigenschaften führten dazu, dass die meisten operativen Systeme in den Unternehmen auf dieser Technologie basieren. In den Neunzigern kam die Anforderung an analytische Komponenten, die zu Beginn zunächst die operativen Systeme um einfache Berichtsfunktionalitäten ohne eigenständige Datenhaltung erweiterten. Die Anforderungen wuchsen jedoch rasant und mit zunehmender analytischer Funktionalität wurde auch die dezidierte Datenhaltung notwendig. Diese wurde zwar mit einer anderen Art der Datenmodellierung (dimensionale Modellierung) umgesetzt, es wurde und wird heute immer noch das relationale Konzept dafür genutzt. Dieses Vorgehen eignet sich solange, wie die zu analysierenden Informationsstrukturen starr sind und die Volumina durch die Datenbank (DB) bewältigt werden können. In der Vergangenheit wurden hierbei die natürlichen Grenzen aus Sicht der RDBMS (Relational Database Management System) durch analytische Zusatzfunktionalitäten und -komponenten oder der Integration von Fremdprodukten in die DB immer wieder verschoben. Im Zuge von Big Data bekommt diese Methodik durch neue Konzepte Konkurrenz; die NoSQL- Datenbanken. Seite 2

3 NoSQL-Datenbanken Den Begriff NoSQL-Datenbank gibt es schon seit ca quasi als Sammelbegriff für Datenbanken undtechnologien, die vom relationalen Ansatz abweichen. Es existiert aber weder eine Definition noch eine genaue Klassifizierung der Vertreter. Es sei auch erwähnt, dass schon lange vor Aufkommen des Begriffes derartige Datenbanktechnologien und produkte im Einsatz waren, z.b. Sybase IQ als spaltenbasierte Datenbank. Diese Lösungen haben allerdings nicht die Verbreitung erlangt, um als ernsthafte Konkurrenz zu den relationalen Produkten am Markt aufzutreten. Der Markt an NoSQL-Datenbanken ist im Gegensatz zu den klassischen DB-Produkten mit einer überschaubaren Anzahl an Herstellern extrem umfang- und facettenreich, wie folgende Übersicht zeigt. Quelle: NoSQL-Datenbanken werden heute häufig auch als Web-Datenbanken bezeichnet. Der Grund hierfür liegt wohl in der bisherigen Anwendung dieser Datenbanken, die sich auf Web-Applikationen (Blogs, CMS, etc.) fokussiert. Typisch für diese Anwendungen sind die relativ stark vordefinierten Zugriffspfade auf die Daten. Im Gegensatz zu klassischen RDBMS mit standardisiertem SQL-Zugriff verfügen NoSQL-Datenbanken mehrheitlich über eigene Zugriffsschnittstellen, die auf Kommandozeilenebene ausgeführt oder in Programmiersprachen wie JavaScript eingebunden werden. Statt der bekannten SELECT- oder DELETE-Statements finden sich dann Methoden wie z.b. find({},{}) oder remove({}) in Code-Fragmenten wieder. Mittlerweile gibt es diverse Entwicklungen der NoSQL-Datenbanken in Richtung Schnittstellen. So bietet bspw. Cassandra sowohl high level clients für die gängigen Programmiersprachen wie auch eine eigene Abfragesprache die Cassandra Query Language (CQL) mit hoher Anlehnung an SQL an. Gleiches gilt für die ETL-Tools, die immer mehr Schnittstellen zu NoSQL-Datenbanken anbieten. Seite 3

4 Kategorisierung und Abgrenzung zu RDBMS NoSQL-Datenbanken lassen sich nach zwei Dimensionen kategorisieren.: 1. Basistechnologie Wie in der vorherigen Übersicht erkennbar, unterscheiden sich die NoSQL-DB hinsichtlich ihrer Speicherstrukturen. Die übliche Klassifizierung ist hier die Einteilung in spaltenorientierte DB, Graphen-DB, Key-Value-DB und Document-DB. An dieser Klassifizierung ist schon unmittelbar erkennbar, das NoSQL-DB anwendungsbezogen sind, ganz im Gegenteil zu den one-size-fits-all Datenbanken aus dem klassischen Lager. So sind bspw. Graphen-DB prädestiniert zur Verwaltung und Analyse von Beziehungsgeflechten und Transversalen. 2. CAP-Theorem Das CAP-Theorem, welches 2002 durch Gilbert und Lynch bewiesen wurde, besagt, dass verteilte Datenbanksysteme nur zwei der drei Basisanforderungen (Consistency, Availability und Partition Tolerance) gemeinsam erfüllen können. Die meisten RDBMS erfüllen hierbei Konsistenz und Verfügbarkeit (CA) zu Lasten der Ausfallsicherheit (P). NoSQL-Datenbanken positionieren sich hierzu diametral, so dass der Einsatzzweck eine entscheidende Rolle bei der Auswahl spielt. Nathan Hurst hat hierzu eine Entscheidungspyramide zu NoSQL aufgestellt, welche diese Problematik visuell verdeutlicht. Quelle: Eine implizite Aussage der Entscheidungspyramide ist die Unabhängigkeit der Datenmodelle, welche farblich gekennzeichnet sind, von der Ausrichtung bzgl. des CAP-Theorems. Auch hier zeigt sich sehr deutlich das immense Portfolio an NoSQL-Datenbanken, die überwiegend die Ausfallsicherheit adressieren und dabei zwischen der Verfügbarkeit und Konsistenz fokussieren. Diese Orientierung unterstreicht den ergänzenden Einsatz zu klassischen RDBMS. Seite 4

5 Bevor auf die einzelnen NoSQL Datenbanken eingegangen wird, sei mit folgender Gegenüberstellung die grundsätzliche Verschiedenheit der RDBMS und NoSQL-Datenbanken verdeutlicht. Kriterium RDBMS NoSQL-DB Datenmodell Zeilenbasiert Spaltenbasiert, Key-Value, Document, Graph, Datenstruktur Starr Flexibel Datenscope Big Datasets Huge Datasets Skalierungsfokus Möglich, vertikal Einfach, horizontal Integritätsfokus ACID, Schwerpunkt hohe Konsistenz BASE, Schwerpunkt hohe Verfügbarkeit Datencontainer Tabelle Collection, Primärschlüssel Primary Key Object ID, Key, Referentielle Integrität Foreign Key Nein Transaktionen Ja Meistens nein Trigger Ja Nein Cursor Ja Häufig ja Views Ja Selten Volltextsuche Meistens ja Nicht immer Replikation Meistens Master/Slave Standard, über verschiedene Verfahren Map/Reduce Nein Ja SQL Ja Nein NoSQL Datenbanken lassen sich zusammenfassend mit folgenden Aussagen umschreiben: Sie sind für Cluster entwickelt, d.h. sie stellen die Verfügbarkeit durch Replikationen bei Hardwareausfall sicher Sie operieren schemafrei auf unstrukturierten Daten und erlauben daher dynamische Strukturänderungen Abfragen werden über Map-Reduce parallel direkt an den Daten ausgeführt Sie sind auf Antwortzeitverhalten optimiert, unter Einschränkung der Konsistenz Sie bieten individuelle, einfache APIs und Schnittstellen Sie basieren auf dem Konzept der verteilten Datenbanken Die verschiedenen Ausprägungen von NoSQL-Datenbanken inklusive ihrer Motivation orientieren sich an den neuen Anforderungen der vernetzten Kommunikationsstrukturen über das Web, d.h. an Online-Aktivitäten, Netzwerken und Prozessen. Seite 5

6 Wie schon mehrfach betont, umfasst der Begriff NoSQL-Datenbank eine Menge an verschiedenen, unterschiedlichen Typen, Architekturen und Produkten, so dass eine Kategorisierung nur schwer möglich und teilweise auch nicht scharf abgrenzbar ist. Das liegt einerseits daran, dass in Einzelfällen die Datenbanken doch spezielle Funktionalitäten wie Beziehungen kennen, und andererseits RDBMS-fremde Datenbanken wie z.b. XMLoder objektorientierte Datenbanken nicht in die NoSQL-Rubrik eingeordnet werden. Es hat sich aber im Laufe der Zeit eine Kategorisierung etabliert, welche vier Klassen von NoSQL-Datenbanken kennt. Diese Klassen umfassen Schlüssel-Wert Datenbanken (Key/Value-Store) Hierbei werden Schlüssel-Wert-Tupel abgelegt. Der Schlüssel referenziert auf einen beliebigen String. Dieser kann ein beliebiges Objekt sein, z.b. ein XML-String oder ein anderes beliebiges Objekt, dass aber serialisierbar sein muss. Der Inhalt des Objektes ist der Datenbank dabei völlig unbekannt, d.h. die Interpretation der Struktur und des Inhaltes des gelieferten Wertes bleibt der Anwendung überlassen. Diese Art der Speicherung wird häufig bei RAM-Caches (z.b. Memcached) eingesetzt. Schlüssel-Wert Konstruckte stellen das Grundprinzip der Datenspeicherung für die meisten NoSQL-Datenbanken dar. Schlüssel Wert Bekannte Vertreter dieser Art sind Voldemort, Redis und Riak. Dokument Datenbank (Document Store) Stellt eine Erweiterung der Schlüssel-Wert Datenbank dar, in der die Werte mit einer Struktur versehen werden, die von der Datenbank verarbeitet werden kann. Zudem besteht häufig die Möglichkeit, Objekte (Dokumente) geschachtelt abzulegen. Bekannte Vertreter dieser Art sind CouchDB, MongoDB und Redis. Spalten orientierte Datenbank (Column based store oder Column family store) Spalten orientierte Datenbanken (CF) organisieren die Daten nach Spalten. Jeder Eintrag in einer Spalte besteht dabei aus dem Namen der Spalte, dem Wert und einem Zeitstempel, über den die Version und Aktualität verwaltet wird. Es können mehrere Spalten zu einer Spaltenfamilie (column-family) gruppiert werden. Dieses Konstrukt ähnelt dem einer Tabelle in einem RDBMS, die Struktur der Spaltenfamilie ist aber dynamisch und wird über einen Schlüssel referenziert. Column family: Benutzer Key Spalte TS Wert K1 Name V1 John K1 Name V2 Jonny K2 Tel V1 021 Bekannte Vertreter dieser Art sind HBase, Cassandra und Hypertable. Graphen Datenbank Graphen Datenbanken bieten eine Form optimaler Speicherung von Beziehungen, wie sie aus der Graphentheorie bekannt ist und damit eine Form zu speziellen Problemen aus der theoretischen Informatik. Die Lösung von Beziehungs- und Routing-Fragestellungen basieren auf Graphen und deren Traversierung. Graphen Datenbanken bestehen daher aus Knoten und Kanten und dazugehörige Routinen, um Suchen effizient auszuführen.. Bekannte Vertreter dieser Art sind Sones, Neo4j und InfoGrid. Seite 6

7 Key-Value Store Key-Value Stores (Schlüssel-Wert-Speicherung oder kurz KV-DB) brechen mit dem Paradigma der zeilenweisen Speicherung von Datensätzen klassischer RDBMS und speichern die Informationen spaltenweise. Sie bilden das Grundprinzip für weitere Entwicklungen wie die spaltenbasierten Datenbanken oder Dokument-Datenbanken, welche über zusätzliche Möglichkeiten der Modellierung und Interpretation der Daten zulassen. In ihrer einfachsten Form jedoch besteht jede spaltenorientierte Datenbank aus den Schlüssel-Wert-Paaren. Ihren Ursprung findet diese Form der Datenspeicherung im Zuge der OLAP-Entwicklung, also der Analytik. In analytischen Systemen finden häufig Auswertungen und Berechnungen auf dezidierte Spalten statt und hier liegt es nahe, den Overhead einer zeilenbasierten Speicherung mit seinen weiteren Attributen zu umgehen und sich auf einzelne Spalten zu konzentrieren. Name Vorname Gehalt Name Vorname Gehalt Müller Manfred n/a 40 Müller Manfred n/a 40 Meier Bodo 50 Meier Bodo 50 Schmid Bernd 20 Schmid Bernd 20 Huf Jahn n/a 100 Huf Jahn n/a 100 Zeilenbasierte DB partitionieren die Daten zeilenweise, d.h. es wird immer ein ganzer Datensatz verarbeitet, auch wenn nur einzelne Spalten abgefragt werden. Dieser I/O- Overhead ist für analytische Abfragen ungünstig, unterstützt jedoch die Transaktionssicherheit und Konsistenz, die unabdingbar für OLTP-Systeme sind. Key/Value-Stores skalieren gut, erlauben dynamische Schemaänderungen, eignen sich für schnelle Datenmanipulationen und bieten hohe Performance bei einfachen Abfragen. Sie haben Nachteile bei komplexen Strukturen und lagern die Semantik in die Anwendung aus. KV-DB partitionieren die Tupel spaltenweise, d.h. sie speichern die Werte einer Spalte sequentiell und sortiert. Damit können sehr schnell Berechnungen und Aggregationen auf einzelnen Spalten durchgeführt werden. Es werden jeweils nur die relevanten Daten verarbeitet. Die Berechnung des Durchschnittsgehalts bspw. erfordert nur die Werte der Spalte Gehalt. Natürlich ist bei dieser Variante jeder Wert mit einem Schlüssel zu versehen, d.h. es wird immer das Schlüssel-Wert-Paar verarbeitet und der Schlüssel bei n Spalten (n-1)-mal abgelegt. Diese Redundanz wird jedoch durch Kompressionsmöglichkeiten egalisiert. Ein zentrales Unterscheidungsmerkmal der beiden DB-Konzepte liegt in den Kompressionsmöglichkeiten. Relationale DB komprimieren i.d.r. über Relationen oder Partitionen, d.h. sie müssen bei der Kompression unterschiedliche Datentypen einbeziehen, was die Auswahl des geeigneten Kompressionsalgorithmus erheblich einschränkt. RDBMS liegen normalerweise bei einem Komprimierungsfaktor von 1:2 bis 1:5. KV-DB hingegen haben die Möglichkeit, für jede Spalte und damit für jeden Datentyp die optimale Komprimierungstechnik einzusetzen und erzielen Kompressionsraten von 1:10 bis 1:40. Damit reduzieren KV-DB neben dem I/O-Overhead auch beträchtlich das Datenvolumen; zwei Kernkriterien, welche eine bessere Ausnutzung des Hauptspeichers erlauben und diese Speicherform für speicherbasierte Datenbanken (Stichwort In- Memory-DB) prädestinieren. Zusätzlich zu den Komprimierungsmöglichkeiten kommt noch der Faktor, dass bei vielen Abfragen die Komprimierung nicht einmal rückgängig gemacht werden muss, da gleiche Werte auch komprimiert gleich dargestellt werden und für Vergleiche in Abfragen teilweise die komprimierten Darstellungen verwendet werden können. Seite 7

8 So vorteilhaft sich Operationen auf einzelnen Spalten in KV-DB auswirken, beeinträchtigt die Menge an gleichzeitig abgefragten Spalten zunehmend die Performance. Der Grund dafür ist die notwendige Zusammenstellung des logischen Datensatzes aus mehreren Spalten, dies verursacht Kosten. Diese Tupelrekonstruktion kann dabei auf unterschiedliche Arten erfolgen, wobei stets das Ziel ist, möglichst viele Operationen auf den einzelnen Spalten durchzuführen und den Verbund zum Datentupel zum Ende des Ausführungsplanes zu generieren. Die Problematik der Tupelrekonstruktion betrifft auch das Einfügen und Aktualisieren von Datentupeln. Die Tupel müssen hierfür auf Spalten aufgebrochen werden bzw. für Aktualisierungen vorab zusammengestellt werden. Insert- und Update-Operationen sind somit aufwändiger als in RDBMS. Im OLAP-Bereich unterstützen hierzu auch ETL-Werkzeuge. Document Store Dokumentenorientierte Datenbanken stellen eine Erweiterung der KV-DB dar. Die Werte werden mit einer losen Struktur versehen, die von der Datenbank interpretiert werden kann und somit Zugriff auf einzelne Felder bietet. Darüberhinaus ist teilweise auch eine Referenzierung der Dokumente untereinander (Verschachtelung) möglich. Die Struktur ist i.d.r. ein JSON- oder BSON-Dokument. JSON (JavaScript Object Notation) ist ein einfaches Datenformat für den Datenaustausch zwischen Anwendungen (ähnlich dem bekannten XML-Format, jedoch wesentlich einfacher strukturiert). JSON stellt verschiedene Datentypen, wie z.b. Zahlen, Zeichenketten, Arrays oder Objekte, bereit und eine Syntax für den Dokumentaufbau. Laut der Webseite bsonspec.org erweitert BSON (Binary JSON) die JSON Dokumente nochmals um weitere Datentypen und diverse Ergänzungen für effizienteres Scannen und weniger Speicherbedarf. Diese Dokumenttypen stellen das Grundprinzip von dokument-orientierten Datenbanken dar. Das Schema, d.h. das konzeptionelle Datenmodell besteht aus folgenden Schichten: Ein Dokumenten-DB Server besteht aus einer Menge von Datenbanken. Eine Datenbank enthält eine Menge an Collections oder direkt Dokumente. Eine Collection enthält eine Menge an Dokumenten (i.d.r. JSON- oder BSON-Dokumente. Dokumente können in der gleichen Collection unterschiedliche Strukturen, d.h. Felder haben. Ein Dokument kann auf andere Dokumente referenzieren und damit eine Verschachtelung abbilden.). Eine Collection ist damit vergleichbar mit einer Tabelle eines RDBMS, allerdings ist die Collection dynamisch und schemafrei. Ein Dokument ist eine Liste von Feldern (ein Feld repräsentiert ein Schlüssel-Wert-Paar, wobei der Schlüssel ein Name bzw. eine Zeichenkette ist und der Wert eine Ausprägung eines bestimmten Basistyps wie String, Float, Binary,..). Dokumente stellen sinnvolle Informationseinheiten dar, die häufig eine Entsprechung in der Praxis haben, wie etwa Rechnungen, Blogs oder Formulare und weisen selten leere Felder auf. Sie sind schemafrei und stellen keine echten Beziehungen (i.s. der Relationen in RDBMS) dar. Dokumente erhalten standardmäßig eine Dokumenten-ID und eine Versions-ID und können teilweise Anhänge haben. Als Beispiel eines CouchDB Dokumentes im JSON-Format dient: { _id: 88c de2233e12a3f777012, _rev: 3-e6ea33b2876b2c5a56325ee4ba22c124, Name: Bernd Bach, - [ ], Tel: } Seite 8

9 Spaltenorientierte Datenbanken Spaltenorientierte Datenbanken (CF-DB) erinnern von ihrem Datenmodell her an die dimensionalen Würfelstrukturen aus dem Business Intelligence. Nicht umsonst wird die Struktur häufig als sparse, distributed multidimensional map bezeichnet. Die höchste Ebene der Struktur stellt der Keyspace dar. Er ist vergleichbar mit einer Datenbankinstanz aus der relationalen Welt und ordnet die Datenhaltung anwendungsbezogen. In einem Keyspace können Column Families (CF) definiert und mit einem Namen versehen werden (ähnlich einer Tabelle im RDBMS). CF wiederum bestehen aus Columns (Tabellenspalten) oder Super Columns (verschachtelte Tabellenspalten). Während die normalen Columns wie herkömmliche Tabellenfelder wirken und einem Datentyp unterliegen, können Super Columns wiederum aus einer Menge von Columns bestehen. Diese Verschachtelung erlaubt eine effiziente Definition und Verwaltung von 1:n-Strukturen, die in der klassischen relationalen Modellierung i.d.r. über Fremdschlüsselbeziehungen ausmodelliert werden. Beispielsweise würden Adressen (privat, geschäftlich, etc.) zu einem Kunden relational als eigene Tabelle modelliert; in CF- Strukturen wäre die Adresse eine Super Column in der CF Kunde mit ihren Feldern Anschrift, PLZ usw. und könnte n-mal innerhalb eines Kunden abgelegt werden. Da in CF-DB nicht belegte Felder zu keiner Materialisierung führen, entsteht durch diesen Ansatz keinerlei Overhead in der Datenspeicherung im Gegensatz zu einer redundanten-relationalen Modellierung. Weiterhin ist durch die Möglichkeit der flexiblen Modelländerung auch keinerlei Nachteil bei zukünftig benötigten zusätzlichen Attributen vorhanden. Damit jeder Dateneintrag eindeutig referenziert werden kann, wird jeder Eintrag innerhalb einer CF mit einem Key versehen. Er ist i.d.r. der einzige und eindeutige Schlüssel. Das eigentliche Datum wird in einem Value innerhalb einer Column abgelegt und einem Key zugeordnet. Zusätzlich zum Value wird ein Zeitstempel gesetzt, der zu Versionierungszwecken dient. Für den schnellen Zugriff werden Daten einer CF direkt sortiert abgelegt. Key User_42 Key User_47 Column Column Time Value family name Column Column Time Value Nutzer family GebDat name T Nutzer Nutzer Name GebDat T4 T1 John Foo Nutzer Nutzer Position Name T7 T4 Entwickler John Foo Nutzer Position T7 Entwickler Nutzer Position T8 Manager Nutzer Sex t3 M CF-DB bieten im Vergleich der NoSQL-Modelle das größte Einsatzpotenzial und sind nicht auf spezielle Anwendungsfälle beschränkt. Sein bieten alle Vorteile der KV-DB (Skalierbarkeit, schnelle Datenmanipulation, dynamische Schemaänderung) und sind performant durch die Reduktion auf die benötigten Spalten. Ihr Modell lässt zudem auch komplexere Datenstrukturen zu, wenngleich hier die Graph Datenbanken noch höhere Komplexitätsstufen zulassen. Seite 9

10 Graph Datenbanken (Graphen-orientierte Datenbank) Graphendatenbanken sind von der Graphentheorie motiviert und darauf spezialisiert, komplexe Beziehungsgeflechte abzubilden und möglichst effizient durchlaufen zu können (Traversierung). Gerade in Zeiten der Web-Kommunikation mit sozialen Netzwerken, aber auch in technischen Netzwerken der Logistik beispielsweise werden diese Beziehungs-/Routing-Fragestellungen immer interessanter. Graphen-orientierte Datenbanken (GoDB) eignen sich besonders für diese Fragestellungen, da sie implizit Beziehungen als wesentlichen Bestandteil des Datenmodells umsetzen. Neben diesen Beziehungen mit optionalen Eigenschaften gibt es als weiteres Element des Datenmodells Knoten, ebenfalls mit optionalen Eigenschaften. Die Eigenschaften beider Modellelemente werden dabei Schlüssel-Wert Paare abgelegt, womit Graphen-orientierte Datenbanken ebenfalls schemafrei sind. Folgende Abbildung zeigt ein Beispiel eines GoDB-Modells. Quelle: Die Anwendungsfälle für Graphen orientierte Probleme sind trotz der geringen praktischen Durchdringung der GoDB erstaunlich vielfältig. Neben den bekannten logistischen Fragestellungen betreffen sie genauso Management-Aufgaben im IT-Systembetrieb sowie Netzwerken jeder Art aus dem social computing. Aber auch recommendation engines sind ebenso elegant über Pfadanalysen umzusetzen wie tiefergehende Analysen im BI-Umfeld über Entscheidungsbäume. Es sind jedoch sehr spezielle Fragestellungen, die theoretisch auch mit klassischen RDBMS (z.b. über rekursive Strukturen) umgesetzt werden können. Legt man Vielfältigkeit an verfügbaren Produkten im NoSQL-Bereich als Maßstab zu Grunde, fallen Graph Datenbanken in ihrer Bedeutung weit hinter den anderen Datenbanktypen zurück. Seite 10

11 NoSQL und BI? Die typische Aufgabenstellung im Business Intelligence (B) ist die Aufbereitung von Informationen nach vielen Dimensionen und die Ableitung von Kennzahlen mit statistischen Mitteln. Es mag einen Teil innerhalb dieser Aufgabenstellung geben, der mit stark vordefinierten Zugriffspfaden gelöst werden kann (also einfaches und parametrisiertes Reporting), die Hauptfunktionalität des freien Navigierens und Kombinierens innerhalb von Datenstrukturen allerdings widerspricht noch dem NoSQL-Ansatz. Zukünftig werden sich jedoch auch NoSQL-Datenbanken an Standardisierungen, Konnektoren oder Business Layern orientieren, um die Lücken zwischen operativen Systemen, Nischenthemen und BI zu schließen. Das Hadoop Ecosystem stellt mit HBase, Hive und weiteren Komponenten bereits eine Lösung dieser Art bereit. Fasst man BI weiträumiger auf und zählt auch Anwendungsgebiete wie recommendation engines, business process (rule)engines oder allgemein Anwendungen des business process management hinzu, bieten sich NoSQL-Datenbanken förmlich als Lösungsalternativen an. Gleiches gilt für den Bereich des data mining. Hält man diese Einsatzfelder gegen die vier definierten Typen von NoSQL-Datenbanken, passen die CF- Datenbanken und die Graph Datenbanken auf die Anforderungen. CF-Datenbanken bieten die notwendige Flexibilität in den Datenstrukturen, sind hoch skalierbar und versprechen eine hohe Performance bei Sparsity durch die Reduktion auf notwendige Spalten in der Verarbeitung. Der Nachteil von erhöhtem Aufwand bei Schreiboperationen über viele Spalten ist in den allermeisten BI- Infrastrukturen vernachlässigbar. Hierbei dürfte auch die gefühlte Nähe zum Konzept der RDBMS unterstützend wirken. Anders sieht es bei den Graph Datenbanken aus. Obwohl sie sich für sehr spezielle Aufgabenstellungen extrem gut eignen und den klassischen RDBMS weit voraus sind (Stichworte Beziehungen und Traversierung) wird die erste große Hürde sein, Sensibilität der alternativen Strukturen und Akzeptanz der Vorgehensweise zu erwirken und diese durch akzeptable Schnittstellen breit einsetzbar zu gestalten. Unbestreitbar besitzen diese beiden Datenbanktypen das Potenzial, die BI-Welt mit neuen analytischen Möglichkeiten zu bereichern. Zugriffs-API In NoSQL-Datenbanken gibt es keine klassischen SQL-Queries. Es werden auch keine Abfragen im eigentlichen Sinne durchgeführt, sondern eine Implementierung des MapReduce-Algorithmus verwendet, der strenggenommen eine parallel ausgeführte Reduktion des verteilten Gesamtdatenbestandes auf eine Teilmenge unter Anwendung einfacher Aggregationsvorschriften darstellt. Um diese Reduktion durchzuführen, stellen die NoSQL-Datenbanken unterschiedliche Schnittstellen und APIs bereit. Häufig werden weitere Komponenten angeboten, mit denen ein einfaches Datenselektieren interaktiv möglich ist, wobei die MapReduce-Funktionalität automatisch im Hintergrund ausgeführt wird. Sicherheit und Replikation Ausfallsicherheit ist eine zentrale Funktionalität von NoSQL- und verteilten Datenbanken und wird im wesentlichen durch Replikationsmechanismen erzielt. Insbesondere die hierbei eingesetzte horizontale Skalierung über viele Datenknoten (Sharding) ermöglicht eine extreme Verfügbarkeit gegenüber klassischen Systemen, die fokussiert über wenige, aber sehr leistungsfähige Knoten-Replikate verfügt (bedingt durch den Scale-Up Ansatz). Bezüglich der Datensicherheit haben NoSQL-Datenbanken noch wesentlichen Nachholbedarf, um ähnliche Sicherheitsmechanismen wir die klassischen RDBMS zu bieten. Hier findet man noch häufig sehr rudimentäre Funktionalitäten zur Authentifizierung, Benutzerund Rollenkonstrukten sowie zur Rechtevergabe und Monitoring. Seite 11

12 Die Basisstruktur von NoSQL-Datenbanken aus technischer Sicht lässt sich anhand zentraler Merkmale beschreiben. Diese stellen gleichzeitig die wesentlichen Unterscheidungsmerkmale der Datenbanken untereinander dar und lassen sich für Evaluierungsprozesse verwenden. Einige Merkmale finden sich auch in der Abschlussübersicht zu NoSQL-Datenbanken wider. Map/Reduce MapReduce ist ein Framework für nebenläufige, d.h. parallele Berechnungen über große Datenmengen in Clustern. Es dient dazu, Anfragen auf mehrere Rechner aufzuteilen, diese auf den Knoten parallel auszuführen und die Teilergebnisse anschließend zu aggregieren und zusammenzuführen. Da es sich um einen nicht trivialen Vorgang handelt, sind die Datenbanken bestrebt, die Umsetzung von Anfragen in entsprechende MapReduce-Jobs zu automatisieren. CAP-Theorem/Eventually Consistent (BASE) Das CAP-Theorem besagt, dass verteilte Datenbanken nicht gleichzeitig die Kriterien Konsistenz, Verfügbarkeit und Ausfalltoleranz optimal erfüllen können und daher Kompromisse eingegangen werden müssen. Für NoSQL-Datenbanken hat sich daher der Ansatz eventually consistent etabliert, der einen Kompromiss zur Konsistenz eingeht (d.h. vorübergehende Inkonsistenz akzeptiert), dafür aber optimierte Verfügbarkeit und Ausfallsicherheit bietet. Dies steht im Gegensatz zu RDBMS, die mit ihrer ACID-Eigenschaft auf Konsistenz fokussiert sind. Consistent Hashing Hash-Verfahren dienen zum möglichst gleichmäßigen Verteilen von Daten auf verschiedene Knoten. Nun ist die Grundidee bei NoSQL-Infrastrukturen allerdings das Einbinden von vielen, sehr unterschiedlichen Knoten, was die Speicherkapazität und Performance angeht. Um diese Unterschiede bei der Datenverteilung zu berücksichtigen, braucht es verfahren, welche die Ressourcenkapazitäten der Knoten berücksichtigt (z.b. durch Definition von zwei logischen Datenknoten auf einem Rechner mit enormer Kapazität. Verfahren, welche diese Situation berücksichtigen, nennt man consistent hashing. MVCC-Protokoll Durch das MultiVersion Concurrency Protokoll (MVCC) werden Änderungen immer auf einer neuen Kopie eines Datensatzes durchgeführt. Da keine Sperre (wie bei transaktionalen RDBMS) gesetzt wird, steht immer eine aktuelle Version eines Datensatze zur Verfügung. Dieses Verfahren generiert zwar einen Overhead durch das Vorhalten von Versionen, die auch noch in bestimmten Abständen aufgeräumt werden müssen. Dies wird aber zugunsten der Abfragemöglichkeit zu jedem Zeitpunkt ohne Wartezeit in Kauf genommen. Paxos Paxos ist ein fehlertolerantes, skalierbares Agreement-Protokoll, das in vielen KV-Stores eingesetzt wird. Es unterstützt Replikationsmechanismen auch in Situationen, in denen ein Knotenrechner nicht verfügbar ist. REST Representational State Transfer (REST) definiert die zustandslose Kommunikation über das Web. Es werden bei dieser Kommunikationsform immer sämtliche, für die Anfragebearbeitung benötigten Parameter (Login, Abfrage, Filter, etc.) übermittelt. Damit erzielt man eine lose Kopplung der Kommunikationsteilnehmer. Viele NoSQL-Datenbanken bieten eine REST-API als Interaktionsschnittstelle über das Web an. Diese sind dann RESTful. Seite 12

13 Anwendungsfelder von NoSQL-Datenbanken Die Anwendungsfälle von NoSQL-Datenbanken sind sehr vielschichtig. Grundsätzlich eignen sie sich für Szenarien, in denen flexible Datenstrukturen (unstrukturiert und semi-strukturiert) verarbeitet werden, der Fokus auf der Analyse komplexer Beziehungen liegt, eine hohe horizontale Skalierbarkeit und hohe Performance kleiner Reads/Writes und Ausfallsicherheit gefordert ist. Nicht geeignet hingegen sind sie für Transaktionssysteme oder Fragestellungen der traditionellen BI, insbesondere wenn Ad hoc Analytik oder SQL benötigt wird. NoSQL-Datenbanken verfügen noch nicht über die Standardisierungen, wie sie von den RDBMS mit SQL oder (J)(O)DBC bekannt sind und erfordern daher individuelle Kenntnisse zu speziellen APIs, um die Daten manipulieren zu können, bspw. die Notwendigkeit Map/Reduce-Jobs zu schreiben. Sind diese Skills vorhanden, lassen sich hoch performante Anwendungen realisieren; dazu gehören u.a. Event logging und realtime statistics/analytics für Missbrauchserkennung und Risikoanalysen (Transaktionsmonitoring) Kundenanalysen (Verhaltensanalytik) Echtzeit POS Transaktionsanalysen Überwachungsanalysen Netzwerkanalysen Realtime Datenmanipulation Recommendation engines Werbeplatzierungen Beziehungsanalysen und Stimmungsbarometer Wissenschaftliche Analysen An den Anwendungsfällen ist direkt erkennbar, dass es sich weder um unternehmenskritische Systeme (OLTP) noch um klassische OLAP-Anwendungen handelt, sondern um sehr spezielle analytische Funktionalitäten, welche mit RDBMS nur schwer umsetzbar sind. Um die weitere Eignung von NoSQL-Datenbanktypen einzuschätzen, kann anhand der Kriterien Datenvolumen (size) und Datenmodellkomplexität (complexity) eine erste Klassifizierung vorgenommen werden, wie in folgender Darstellung abgebildet. Quelle: Data_size_versus_data_complexity.jpg Seite 13

14 Fazit NoSQL-Datenbanken bieten vielfältige Möglichkeiten, die bestehenden RDBMS zu ergänzen. Insbesondere die flexiblen Datenstrukturen und horizontale Skalierbarkeit sind Treiber, welche diese Datenbanken für dezidierte Einsatzzwecke prädestinieren. In der Praxis haben sie den Durchbruch noch nicht geschafft, werden aber im Zuge der Big Data Entwicklung zunehmend an Bedeutung gewinnen. Abschließend finden Sie eine Übersicht mit zentralen Eigenschaften bekannter NoSQL-Datenbanken. NoSQL Datenbank Typ CAP Skalierung, Performance Modellkomplexität API Cassandra CF AP Java, C#, C++, PHP Ruby, Python, Erlang, Thrift CouchDB Doc AP RESTful JSON, JavaScript, PHP, Perl, Ruby HBase CF CP Java, REST, Thrift Hypertable CF CP Java, C#, C++, PHP Ruby, Python Membase KV CP C, C++, PHP, Java, Python, Ruby,.net MongoDB Doc CP C, C#, C++, Erlang, Java, JavaScript, PHP, Perl, Python, Ruby, ColdF Neo4J Graph Java, REST, Jruby, Ruby, Scala, C#, Jython Redis KV CP Ruby, Python, PHP Erlang, Perl, C, C++ C#, JavaScript Riak Doc AP REST JSON Voldemort KV AP HTTP, Python, Ruby, Java, C++ NoSQL-Datenbanken bieten eine Fülle von alternativen Ansätzen zu den klassischen relationalen Datenbanken. Diese Ansätze stellen derzeit ein Ergänzungspotenzial dar, sehr speziell in Szenarien, die sich erst in jüngster Zeit entwickelt haben. Bleiben Sie neugierig! Technologie Programmierung / Customizing Hadoopbasierter Systeme Integration BI-Tools und Customizing von ETL- Tools in Big Data Umgebungen Strategie- & Architekturberatung zu Big Data BI Anwendung v. Appliances Werkzeugevaluation Warum saracus consulting? Die folgenden Faktoren sprechen für die Wahl der saracus consulting als Beratungs- und Integrationspartner: Seit 1991 zu 100% fokussiert auf DWH, BI, CPM und acrm Spezifische Vorgehensmethodik Große Erfahrung mit wichtigen Technologien Kombination von Business- und IT-Know-how Umfangreiche Anzahl an ausgebildeten und erfahrenen Beratern, um auch große Projekte zeitgerecht fertig zu stellen Full Service von der Analyse, Konzeption über Systemintegration bis zum Betrieb Seite 14

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Abstrakt zum Vortrag im Oberseminar. Graphdatenbanken. Gero Kraus HTWK Leipzig 14. Juli 2015

Abstrakt zum Vortrag im Oberseminar. Graphdatenbanken. Gero Kraus HTWK Leipzig 14. Juli 2015 Abstrakt zum Vortrag im Oberseminar Graphdatenbanken Gero Kraus HTWK Leipzig 14. Juli 2015 1 Motivation Zur Darstellung komplexer Beziehungen bzw. Graphen sind sowohl relationale als auch NoSQL-Datenbanken

Mehr

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz 1 2 Dies ist ein Vortrag über Zeit in verteilten Anwendungen Wir betrachten die diskrete "Anwendungszeit" in der nebenläufige Aktivitäten auftreten Aktivitäten in einer hochgradig skalierbaren (verteilten)

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011 Johannes Schneider, cedarsoft GmbH js@cedarsoft.com http://blog.cedarsoft.com http://cedarsoft.com Vielen Dank CouchDB The VERY Basics Vorerfahrung?

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de

Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de NoSQL für Java-Entwickler Java Forum Stuttgart 2013 Kai.Spichale@adesso.de twitter.com/kspichale spichale.blogspot.de 23.06.2013 Agenda Datengröße Key-value Stores 1. Wide Column 2. Cassandra Document

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

White Paper saracus. Big Data und Business Intelligence

White Paper saracus. Big Data und Business Intelligence White Paper saracus Big Data und Business Intelligence Big Data ist aktuell auf jeder Agenda im IT-Bereich zu finden und jeder Anbieter gibt seinem Produktportfolio diese Prägung. Eine genaue Definition

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

In die Zeilen würden die Daten einer Adresse geschrieben werden. Das Ganze könnte in etwa folgendermaßen aussehen:

In die Zeilen würden die Daten einer Adresse geschrieben werden. Das Ganze könnte in etwa folgendermaßen aussehen: 1 Einführung in Datenbanksysteme Fast jeder kennt Excel und hat damit in seinem Leben schon einmal gearbeitet. In Excel gibt es Arbeitsblätter, die aus vielen Zellen bestehen, in die man verschiedene Werte

Mehr

Datenbanktechnologien für Big Data

Datenbanktechnologien für Big Data Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz

whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz Dieses Dokument soll die Technologien,

Mehr

NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8.

NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen. Datenbank-Stammtisch, 8. A Database Administrator walks into a NoSQL bar, but turns and leaves because he cannot find a table. NoSQL Please! Wie Web2.0, Big Data und die Cloud neue Datenbanksysteme erfordern und hervorbringen.

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Datenbanken. NoSQL-Datenbank MongoDB. von Maximilian Weber. Listing 1. Artikelserie

Datenbanken. NoSQL-Datenbank MongoDB. von Maximilian Weber. Listing 1. Artikelserie Gigantische Datenbank Die humongous database oder kurz MongoDB hat einen einprägsamen Namen und ist eine vielversprechende NoSQL-Datenbank. MongoDB möchte die Lücke zwischen Key-Value-Stores (die schnell

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

1 Einleitung. Betriebswirtschaftlich administrative Systeme

1 Einleitung. Betriebswirtschaftlich administrative Systeme 1 1 Einleitung Data Warehousing hat sich in den letzten Jahren zu einem der zentralen Themen der Informationstechnologie entwickelt. Es wird als strategisches Werkzeug zur Bereitstellung von Informationen

Mehr

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence IBM Netezza Roadshow 30. November 2011 Carsten Bange Gründer & Geschäftsführer BARC Die Krise hat die Anforderungen

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Logische Modellierung von Data Warehouses

Logische Modellierung von Data Warehouses Logische Modellierung von Data Warehouses Vertiefungsarbeit von Karin Schäuble Gliederung. Einführung. Abgrenzung und Grundlagen. Anforderungen. Logische Modellierung. Methoden.. Star Schema.. Galaxy-Schema..

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Seminar C02 - Praxisvergleich OLAP Tools

Seminar C02 - Praxisvergleich OLAP Tools C02: Praxisvergleich OLAP Tools Ein Seminar der DWH academy Seminar C02 - Praxisvergleich OLAP Tools Das Seminar "Praxisvergleich OLAP-Tools" bietet den Teilnehmern eine neutrale Einführung in die Technologien

Mehr

NoSQL. Hintergründe und Anwendungen. Andreas Winschu

NoSQL. Hintergründe und Anwendungen. Andreas Winschu NoSQL Hintergründe und Anwendungen Andreas Winschu 1 Inhalt 1. Motivation 2. RDBMS 3. CAP Theorem 4. NoSQL 5. NoSql Overview 6. NoSQl Praxis 7. Zusammenfassung und Ausblick 2 1.Motivation Datenbanken Permanente

Mehr

Aktuelle Trends aus Business Intelligence & Datawarehouse

Aktuelle Trends aus Business Intelligence & Datawarehouse Aktuelle Trends aus Business Intelligence & Datawarehouse Autor: Klaus Rohrmoser Es entstehen immer größere Datenmengen, die in immer unterschiedlicheren Formaten und aus immer mehr Datenquellen gespeist

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Neo4J & Sones GraphDB. Graph-Datenbanken. Von Toni Fröschke. Problemseminar NoSQL-Datenbanken (WS 2011/12)

Neo4J & Sones GraphDB. Graph-Datenbanken. Von Toni Fröschke. Problemseminar NoSQL-Datenbanken (WS 2011/12) Neo4J & Sones GraphDB Graph-Datenbanken Von Toni Fröschke Problemseminar NoSQL-Datenbanken (WS 2011/12) Gliederung Neo4J Überblick Neo4J-Komponenten Datenhaltung/ -verwaltung Verfügbarkeit & Recovery I/O

Mehr

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern.

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern. 1 NoSQL-Datenbanken Markus Kramer Zusammenfassung NoSQL-Datenbanken sind zu einer interessanten Alternative zu herkömmlichen Datenbanken geworden. In dieser Arbeit werden die dahinter liegenden Konzepte

Mehr

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER INHALTSVERZEICHNIS 1. Datenbanken 2. SQL 1.1 Sinn und Zweck 1.2 Definition 1.3 Modelle 1.4 Relationales Datenbankmodell 2.1 Definition 2.2 Befehle 3.

Mehr

MongoDB Big Data mit Open Source

MongoDB Big Data mit Open Source MongoDB Big Data mit Open Source CommitterConf Essen 2014 29. Oktober 2014 Tilman Beitter Linux Consultant & Trainer B1 Systems GmbH beitter@b1-systems.de B1 Systems GmbH - Linux/Open Source Consulting,

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

Uni Duisburg-Essen Fachgebiet Informationssysteme Prof. Dr. N. Fuhr

Uni Duisburg-Essen Fachgebiet Informationssysteme Prof. Dr. N. Fuhr Raum: LF 230 Bearbeitung: 9.-11. Mai 2005 Datum Gruppe Vorbereitung Präsenz Aktuelle Informationen unter: http://www.is.informatik.uni-duisburg.de/courses/dbp_ss03/ Tabellen in IBM DB2 Tabellen Eine relationale

Mehr

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de Configuration Management mit Verbosy 17.04.2013 OSDC 2013 Eric Lippmann Kurzvorstellung NETWAYS Expertise OPEN SOURCE SYSTEMS MANAGEMENT OPEN SOURCE DATA CENTER Monitoring & Reporting Configuration Management

Mehr

Groovy und CouchDB. Ein traumhaftes Paar. Thomas Westphal

Groovy und CouchDB. Ein traumhaftes Paar. Thomas Westphal Groovy und CouchDB Ein traumhaftes Paar Thomas Westphal 18.04.2011 Herzlich Willkommen Thomas Westphal Software Engineer @ adesso AG Projekte, Beratung, Schulung www.adesso.de thomas.westphal@adesso.de

Mehr

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

EMC. Data Lake Foundation

EMC. Data Lake Foundation EMC Data Lake Foundation 180 Wachstum unstrukturierter Daten 75% 78% 80% 71 EB 106 EB 133 EB Weltweit gelieferte Gesamtkapazität Unstrukturierte Daten Quelle März 2014, IDC Structured vs. Unstructured

Mehr

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB Karl Glatz Oktober 2009 Vorstellung der verteilten NoSQL Datenbank CouchDB Web Awendung (AJAX) MySQL SQL Web Server PHP HTTP (HTML) ORM (Framework) JSON API (AJAX) Web Browser Java Script HTTP RESTful

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Lehrgebiet Informationssysteme

Lehrgebiet Informationssysteme Lehrgebiet AG Datenbanken und (Prof. Michel, Prof. Härder) AG Heterogene (Prof. Deßloch) http://wwwlgis.informatik.uni-kl.de/ Was sind? Computergestützte Programmsysteme, die Informationen erfassen, dauerhaft

Mehr

Gliederung und Einordnung

Gliederung und Einordnung Gliederung und Einordnung 1. Objektorientierte Programmierung mit Object Pascal (5. Studienbrief, Kapitel 5) 9.4. + 16.4. 2. Software-Bausteine am Beispiel der Delphi-Komponenten (5. Studienbrief, Kapitel

Mehr

Whitepaper Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Server 2005 / 2008

Whitepaper Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Server 2005 / 2008 Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Andreas Glaser, 23. September 2008 Teufenerstrasse 19 CH 9001 St.Gallen t [+41] 71 228 67 77 f [+41] 71 228 67 88 info@namics.com

Mehr

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel

NoSQL Datenbanken. Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel NoSQL Datenbanken Seminar:Software as a Service, Cloud-Computing und aktuelle Entwicklungen Dozent: Dipl. Inf. Andreas Göbel 17. Juni 2010 Gliederung Der Begriff NoSQL Wichtige Konzepte NoSQL-Arten Cassandra

Mehr

Seminar C16 - Datenmodellierung für SAP BW

Seminar C16 - Datenmodellierung für SAP BW C16: Datenmodellierung für SAP BW Ein Seminar der DWH academy Seminar C16 - Datenmodellierung für SAP BW Dieses Seminar soll einen umfassenden Einblick in die Datenmodellierung beim Einsatz von SAP BW

Mehr

eevolution Business Intelligence Oliver Rzeniecki COMPRA GmbH Programmierer & Datenbankadministrator

eevolution Business Intelligence Oliver Rzeniecki COMPRA GmbH Programmierer & Datenbankadministrator eevolution Business Intelligence Oliver Rzeniecki COMPRA GmbH Programmierer & Datenbankadministrator Agenda Was ist Business Intelligence? Was ist OLAP? Unterschied zwischen OLAP und OLTP? Bestandteile

Mehr

EXASOL Anwendertreffen 2012

EXASOL Anwendertreffen 2012 EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2

Mehr

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Datei: Asklepius DA Flyer_Leistung_2 Seite: 1 von:5 1 Umfassende Datenanalyse Mit Asklepius-DA

Mehr

Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends. Cloud-Datenbanken. Franz Anders 02.07.2015

Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends. Cloud-Datenbanken. Franz Anders 02.07.2015 Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends Cloud-Datenbanken Franz Anders 02.07.2015 Dies ist das erweiterte Abstract zum Vortrag Cloud-Datenbanken für das Oberseminar Datenbanksysteme

Mehr

Relationale Datenbanken Datenbankgrundlagen

Relationale Datenbanken Datenbankgrundlagen Datenbanksystem Ein Datenbanksystem (DBS) 1 ist ein System zur elektronischen Datenverwaltung. Die wesentliche Aufgabe eines DBS ist es, große Datenmengen effizient, widerspruchsfrei und dauerhaft zu speichern

Mehr

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden

Mehr

Carl-Engler-Schule Karlsruhe Datenbank 1 (5)

Carl-Engler-Schule Karlsruhe Datenbank 1 (5) Carl-Engler-Schule Karlsruhe Datenbank 1 (5) Informationen zur Datenbank 1. Definition 1.1 Datenbank-Basis Eine Datenbank-Basis ist eine Sammlung von Informationen über Objekte (z.b Musikstücke, Einwohner,

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

Semantic Web: Resource Description Framework (RDF)

Semantic Web: Resource Description Framework (RDF) Big Data Semantic Web: RDF Information Retrieval Map Reduce: Massiv parallele Verarbeitung Datenströme Peer to Peer Informationssysteme No SQL Systeme Multi-Tenancy/Cloud-Datenbanken Semantic Web: Resource

Mehr

8. Big Data und NoSQL-Datenbanken

8. Big Data und NoSQL-Datenbanken 8. Big Data und NoSQL-Datenbanken Motivation Big Data wachsende Mengen und Vielfalt an Daten Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Hadoop, MapReduce

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger.

Fakultät für Informatik & Wirtschaftsinformatik DB & IS II SS 2015. NoSQL. http://www.w3resource.com/mongodb/nosql.php. Dr. Christian Senger. NoSQL http://www.w3resource.com/mongodb/nosql.php NoSQL 1 Short History of Databases 1960s - Navigational DBs CODEASYL (COBOL) IMS (IBM) 1980s to 1990s - Object Oriented DBs Object DB's Object-Relational-

Mehr

Relationale Datenbanken Kursziele

Relationale Datenbanken Kursziele Relationale Datenbanken Kursziele DB Grundlagen Daten-Modellierung Relationales Modell und DB => Praxis: Mit SQL als Anfragesprache Mit MySQL als DB RDB 1-1 Kursinhalt (Tage) 1. DB Einleitung / Entity-Relationship

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

BD01: Big Data und Business Intelligence Eine fruchtbare Partnerschaft oder nur eine kurze Affäre?

BD01: Big Data und Business Intelligence Eine fruchtbare Partnerschaft oder nur eine kurze Affäre? BD01: Big Data und Business Intelligence Eine fruchtbare Partnerschaft oder nur eine kurze Affäre? Ein Seminar der DWH academy Seminar BD 01: Big Data und Business Intelligence Nischenthema oder strategische

Mehr

Verschiedene Arten des Datenbankeinsatzes

Verschiedene Arten des Datenbankeinsatzes 1 Beispiele kommerzieller DBMS: Kapitelinhalt Was charakterisiert und unterscheidet verschiedene Einsatzbereiche für. Welche prinzipiell unterschiedlichen Anforderungen ergeben sich für das DBMS bei Ein-

Mehr

Konzeption eines Master-Data-Management-Systems. Sven Schilling

Konzeption eines Master-Data-Management-Systems. Sven Schilling Konzeption eines Master-Data-Management-Systems Sven Schilling Gliederung Teil I Vorstellung des Unternehmens Thema der Diplomarbeit Teil II Master Data Management Seite 2 Teil I Das Unternehmen Vorstellung

Mehr

CouchDB & CouchApps. Strukturlose Speicherung von Daten und Anwendungen. B1 Systems GmbH. March 18, 2012. http://www.b1-systems.de

CouchDB & CouchApps. Strukturlose Speicherung von Daten und Anwendungen. B1 Systems GmbH. March 18, 2012. http://www.b1-systems.de CouchDB & CouchApps Strukturlose Speicherung von Daten und Anwendungen B1 Systems GmbH http://www.b1-systems.de March 18, 2012 c B1 Systems GmbH 2004 2012 Chapter -1, Slide 1 CouchDB Grundlagen CouchDB

Mehr

Inhalt. Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle. Daten und Tabellen - ein Beispiel. Daten und Tabellen - Normalisierung

Inhalt. Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle. Daten und Tabellen - ein Beispiel. Daten und Tabellen - Normalisierung Inhalt Ein Einführung in die Nutzung von SQL-Datenbanken am Beispiel Oracle Daten und Tabellen Normalisierung, Beziehungen, Datenmodell SQL - Structured Query Language Anlegen von Tabellen Datentypen (Spalten,

Mehr

Grundlagen der Informatik. Prof. Dr. Stefan Enderle NTA Isny

Grundlagen der Informatik. Prof. Dr. Stefan Enderle NTA Isny Grundlagen der Informatik Prof. Dr. Stefan Enderle NTA Isny 2 Datenstrukturen 2.1 Einführung Syntax: Definition einer formalen Grammatik, um Regeln einer formalen Sprache (Programmiersprache) festzulegen.

Mehr

EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis

EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis Business Apéro Exasol / SHS VIVEON, Zürich Zürich, 15. November 2011 Dr. Jörg Westermayer

Mehr

TU München, Fakultät für Informatik Lehrstuhl III: Datenbanksysteme Prof. Dr. Thomas Neumann

TU München, Fakultät für Informatik Lehrstuhl III: Datenbanksysteme Prof. Dr. Thomas Neumann TU München, Fakultät für Informatik Lehrstuhl III: Datenbanksysteme Prof. Dr. Thomas Neumann Blatt Nr. 11 Übung zur Vorlesung Einsatz und Realisierung von Datenbanksystemen im SoSe15 Moritz Kaufmann (moritz.kaufmann@tum.de)

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

7. Big Data und NoSQL-Datenbanken

7. Big Data und NoSQL-Datenbanken 7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften

Mehr

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben Transbase Hypercube ist eine Transbase -Option, die die innovative Hypercube-Technologie für komplexe analytische Anwendungen (OLAP)

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Überblick über NoSQL Datenbanken

Überblick über NoSQL Datenbanken 1 Überblick über NoSQL Datenbanken Seminararbeit Software Systems Engineering - WS 2012 / 2013 Mario David - Student - Master Informatik (SSE) Universität zu Lübeck Zusammenfassung Diese Seminararbeit

Mehr

SAP HANA ist schnell erklärt. TOBA Trainerwochenende vom 09. - 12. Mai 2013 in Prag

SAP HANA ist schnell erklärt. TOBA Trainerwochenende vom 09. - 12. Mai 2013 in Prag SAP HANA ist schnell erklärt TOBA Trainerwochenende vom 09. - 12. Mai 2013 in Prag Ihr Referent Steckbrief Name: Miroslav Antolovic Jahrgang: 1975 Stationen: SAP, Walldorf 1999-2004 Realtech, Walldorf

Mehr

vinsight BIG DATA Solution

vinsight BIG DATA Solution vinsight BIG DATA Solution München, November 2014 BIG DATA LÖSUNG VINSIGHT Datensilos erschweren eine einheitliche Sicht auf die Daten...... und machen diese teilweise unmöglich einzelne individuelle Konnektoren,

Mehr

Skalierbare Datenbanksysteme (NoSQL)- Document Stores (CouchDB) für das Cloud Computing-Seminar an der HS-Mannheim im SS2012

Skalierbare Datenbanksysteme (NoSQL)- Document Stores (CouchDB) für das Cloud Computing-Seminar an der HS-Mannheim im SS2012 Skalierbare Datenbanksysteme (NoSQL)- Document Stores (CouchDB) für das Cloud Computing-Seminar an der HS-Mannheim im SS2012 Marcel Sinn Hochschule Mannheim Fakultät für Informatik Paul-Wittsack-Straße

Mehr

Einsatz von NoSQL-Datenbanken in modernen Webapplikationen Masterthesis

Einsatz von NoSQL-Datenbanken in modernen Webapplikationen Masterthesis Einsatz von NoSQL-Datenbanken in modernen Webapplikationen Masterthesis Medien und Kommunikation vorgelegt von: Andreas Hofstetter Abgabedatum: 01.05.2012 Erstbetreuer: Zweitbetreuer: Prof. Dr. Volker

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr