Datenmassenspeicher. nannten NoSQL-Datenbanken I I anwendungen verbirgt sich. frir Einsatzzwecke optimiert der fast schon sprichwortliche

Größe: px
Ab Seite anzeigen:

Download "Datenmassenspeicher. nannten NoSQL-Datenbanken I I anwendungen verbirgt sich. frir Einsatzzwecke optimiert der fast schon sprichwortliche"

Transkript

1 Know-how I NoSQL- lsabel Drost, Lars George Datenmassenspeicher Konzepte von NoSQL-Datenba nken Web-Anwendungen stellen Anforderungen, die relationale Datenbanke nur schlecht erf0llen kiinnen. Unter dem Oberbegriff NoSQL sind daher eine Reihe von entstanden, die neue ldeen umsetzen und den Schwerpunkt auf Skalierbarkeit und den Umgang mit unstrukturierten Daten legen. l-l intervielen interaktiven Web- nannten NoSQL- I I anwendungen verbirgt sich frir Einsatzzwecke optimiert der fast schon sprichwortliche wurden, die sich erheblich von LAMP-Stack aus,,linun, Apache, den Szenarien etablierter relationaler Datenbanksysteme un- MySQL und PHP": Die Anwendung lduft auf einem oder mehreren Linux-Rechnern, wird von terscheiden. dem Apache-Webserver ausgel iefert, speichert ihre Daten in einer SQL relationalen Datenbank (RDBMS) Name NoSQL bereits begeht es um, und ist in einer Skriptsprache ge. schrieben. Vor allem f0r das "M" die nicht (oder nicht nur) die im Stack entwickeln sich in den Standard Query Language als letzten Jahren allerdings mehr Abfragesprache venvenden. SQL und mehr Alternativen. Die meisten davon sind aufanwendungs- verstanden) in der Entwicklerge- entwickeln und betreiben NoSQL- mdchtige und dennoch ver- stellt eine ausdrucksstarke. fiille zugeschnitten, die sich mit meinschaft nicht unumstritten. Aus den Anforderungen solcher Nutzer ergeben che Abfragesprache frir relatiogleichsweise leicht verstdndli- einer herkdmmlichen relationalen SQL-Datenbank nicht oder dass Diskussionen angeregt und sich wesentliche Eigenschaftennale Daten dar. Sie ist - von,,ei- ist, hat er doch dazu gefrihrt, nur mit sehr viel Aufiivand umsetzen lassen. Schlagwort zusammengefr.ihrtken: Sie skalieren problemlos Abwandlungen abgesehen - an- unter einem gemeinsamen der meisten NoSQL-Datenbannigen" herstellerspezifischen Ursprtinglich eine ldee von wurden, die so vorher kaum riber viele Server, bieten eine bietertibergreifend standardisiert, sodass es mit SQL vertrau- Eric Evans und Johan Oskarsson, stattgefunden haben. hohe VerfUgbarkeit und sind den Organisatoren des ersten Vorreiter bei den NoSQL-Da-f0tenbanken sind die gro8en In- denen die Lese- gegenuber den leicht fiillt, eine neue Datenbank Szenarien konzipiert, in ten Entwicklern vergleichsweise NoSQL-Treffens in Kalifornien, f0r den Namen einer Konferenz ternetfirmen. Google beispielsweise hat mit Bigtabl eine so- Uberzahl sind. lm Gegenzug ver- Tools, die das Formulieren von Schreibzugriffen deutlich in der anzubinden. Es gibt unzdhlige zum Thema hochskalierbare, hat sich der Begriff genannte spaltenorientierte Datenbank entwickelt, die verteilt sierte Abfragesprache SQL und fur Programmierer existieren zichten sie auf die standardi- SQl-Abfragen erleichtern, und inzwischen fiir nicht-relationale, auf Skalierbarkeit optimierte weltweit etabliert. lduft und die Daten for die Web- fur die Konsistenz der Daten als den Umgang mit relationalen auf Zehntausenden von Servern geben weniger starke Garantien zahlreiche Abstraktionen, um Obwohl der Begriff selbst (heute suche speichert [1]. Auch Unternehmen wie Amazon, Facebook, Eigenschaften wird bereits deutorientierten Sprachen heraus traditionelle RDBMS. Aus diesen auch aus objekt- eher als,,not only 5Q1",,,nicht nur SQL", denn als,,kein SQL" Linkedln, Twitter oder Yahoo lich, dass die meisten der soge- einfach zu gestalten. 168 c't 2010, Heft 1 5

2 Know-how I NoSQL- Warumalsosollteman diese naturlichere Gesamtlcisung aus Konsistentoder Komponenten ein verteiltessysvorteileaufgeben? Als Beispiel Anwendungund Datenbank; al- verfi.igbar? tem umfasst:bei gro8en Clusseihierein Bloggenannt:Wenn lerdingssindsiebeider Abfrage ternisteinepartitionierung eher die Datenbank zujedemposting von Datenmeistwenigermdch- DerPreisfUrdie im Vergleichmit die RegelalsdieAusnahme. Man d e n In h altund einigew e n i g e tig alsrdbms. relationalen einfa- hatdanndiewahl,entwederdie Metadatenwie das Verdffentliche Skalierbarkeit ist,dassviele komolette Datenbank abzuchungsdatumund Tags speinosql- keinestar- schalten, um siein einemkonsisthinkbig chert,die bei jedem Aufruf des ke Konsistenz der Datengaran- tentenzustandzu halten,oder Blogsin festgelegter Formange- Webanwendungen startentypi- tierenkcinnen. kom- Konsistenzverletzungen Stattdessen zu akzeigt und bestenfalls Tag-weise scherweise kleinmit einemein- men leichtgewichtigere Garan- zeptieren,um die Datenbank softiertwerdensollen,benotigt zigen Rechnerals Datenbank- tien wie,,eventual consistency" verf0gbarzu halten.nosql-damankeinejoins,gruppierungen Backend. Wenndie Lastansteigt, zum Einsatz. tenbankenbeziehendieseuberodergarstatistische Funktionen. stelltmandie Datenbankoft auf TraditionellerelationaleDa- legungbereitsin ihr Designein. Diezahlreichen Optimierungen, eine Master-5lave-Konfiguration tenbankenarbeitennach dem Amazonbeispielsweise hat sich die relationale bie- um, in der ein ServerSchreibzu- ACID-Prinzip. Transaktionen sind bei seinemwebshop,der auf ten,die Machtigkeit derabfrage- griffeentgegennimmt, wdhrend atomar(a):siewerdenentweder Tausenden von riberdie ganze spracheund ihre Standardisie-ein zweiterlesezugriffe auslie- komplett ausgefiihrtoder gar Welt verteilten Servern lduft, rungbietenkeinevorteile,wenn fert. Die ndchstestufe besteht nicht;es ist unmdglich, nur par- dazuentschieden, Konsistenzgadie Blog-Anwendung sowieso besteht dann aus mehr als tiell geschriebenedaten a) rantienan einigenstellenaufzunurzweioderdreifesteinkodier- einemslave,um die Lastder Le- lesen.c (fur Consistency)be- weichen,um eine hdhereverte Datenbankanfragen enthslt. sezugriffezu verteilen.lst eine deutet,dasssichdie Datenbank frigbarkeitzu erreichen[5]. Die FrirvieleWebanwendungen sind hohe Verftigbarkeit frir Schreib- zu jedem Zeitpunktin einem eigens entwickelte Key-ValueandereKriterienwie eine gute zugriffewichtig,bietetsicheine konsistentenzustand befindet Datenbank DynamoerlaubtUpSkalierbarkeit und die einfache Master-Master-Replikation an, in und die beim Aufsetzender Da- datesnur basierend auf einzelei n b i n dungin A nwen d u n g e n der Schreibzugriffeauf zwei tenbankdefiniertenconstraints nen Schl0sseln - die lsolation wichtiger. Rechnernparallel ausgefuhrt einhdlt.transaktionen sind ge- ganzertransaktionen wird nicht NoSQL- bringen werden.fillt einer davon aus, geneinander isoliert(l):solange garantiert. daherhiufig HTTP/REST-Sch nitt- kann der zweite Rechnerr,iber- einetransaktion abliiuft,kcinnen Vielfach greifen NoSQL-Dastellenmit - der Einsatzim lnter- nehmen. keinedavon betroffenendaten tenbankenaufdasprinzip,,evennet und derausgangspunkt viedoch was, wenn so viele gelesenodergar riberschriebentual consistency" zurrick:nach ler Projektebei Internetfirmen Datenzu speichern undzu verar- werden- Transaktionen, die sich einerveriinderung ist garantiert, lassengrr.iben. Dieeinfachstvor- beitensind,dasssiedie Kapazi- aufgleichedatensetze beziehen, dassletztlichallelesendenprostellbareformeinerdatenabfra- tet einesrechners sprengen? In arbeitetdie Datenbankseriell zessedie aktualisierten Daten ge sprichtein gespeichertes Ob- diesemfall mtissendie Daten ab. Das D frlr Dauerhaftigkeit erhaltenwerden.allerdings gibt jekt Uber einen eindeutigen riber mehrere Server verteilt schlieblich bezeichnet die Eigen- es, andersals bei den starken Schkissel an: Die Datenbank- werden(sharding), indemman schafteinerdatenbank, System- Konsistenzgarantien traditionelman spricht von Key-Value- die Datenbank aufteilt. Um ausfdlleohne Datenverlust zu ler Datenbanksysteme, ein InStores- presentiert sichalsasso- jedem zu speichernden Datum Uberstehen. konsistenzfenster. in demclients ziativesarray(hashin Perl,Map einenserverzuzuweisen, kommt EinidealesSpeicher-Backend unter Umstanden veraltetedain Java,Dictionaryin Python). hiufig ein Consistent-HashingsolltesolchefestenKonsistenz- ten erhalten.ln vielenkontexten Nichtseltenist dasfiir Weban- Algorithmuszum Einsatz.Das garantiengeben.allerdingsist ist dasdurchausakzeptabel: Ob wendungen schonausreichend. stelltsicher, dasssichdie bislang Konsistenznicht alles:bei E- die Sucheauf einer News-Site Eine andere, von vielen geltendezuordnungvon Daten Commerce-Anwendungen bei- auchdie jtingste,erst vor weninosql- unterstr.itz- zu Servernnichtallzumassiven- spielsweise sindhochverfiigbare gen Sekundenonlinegestellte te Moglichkeit zur Formulierung dert,wenn Rechnerhinzukom- Systemegefragt - kann eine Nachrichtfindet, spielt keine komplexerer AbfragensindMap- menoderwegfallen- ansonsten A ppl i kati on ei ne B estel l ung grobe Rolle. Die bekannteste Reduce-Jobs: Die Map-Funktion wdre die Datenbankvor allem nichtentgegennehmen, sofrihrt lmplementierung von,,eventual transformiert Daten,indem sie mit dem Umverteilen der bislang diesdirektzu finanziellen Verlus- consistency" stelltvermutlichdas beisoielsweise ein bestimmtes gespeichertendaten beschdf- ten.verteilte soll- DNSdar: Auch hier dauert es Datenfeldausjedem Datensatz tigt,wennsichdiezahlder Kno- ten zudemeine Partitionierung einige Zeit, bis sich eine Anauswdhlt. Dieentstehende Liste ten im Clusterdndert. des Netzwerks durch Probleme derungriberalledns-server vervon Schh.issel-Wert-Paaren wird StumbleUpon beispielsweisezwischenden Knotenoder gar breitethat. dann von der Reduce-Funktionliefgenauin diesesskalierungs-den AusfallganzerNetzsegmen- AbgeschwdchteKonsistenzaggregiert. Da sowohldie Map- problem [3]. Der Bookmark- te im Clustertolerieren.Schon garantien k6nnen in unteralsauchreduce-prozesse vonei- Dienststartetemit MySQL, muss- vor einigenjahrenhabenaller- schiedlichen Spielarten auftreten: nander unabhingig jeweils te abermit dem Anwachsen der dingsgilbertund Lynchin einer 5o garantiert,,readyour writes", einenteilder Datenbearbeiten, Datenbankaus Performance- Ausarbeitung zumcap-thoerem dass ein schreibender Prozess kcinnensieparallellaufen.details GrUnden auf immermehrfeatu- (Consistency, Availability,Par- bei darauffolgenden Lesezugrifdazufindensichin [2]. resder relationalen Datenbank tition tolerance)gezeigt,dass fen mindestensseineeigenen Anforderungen wie das Fil- verzichten- bis hin zum Ab- Systemenur zwei dieserdrei Updatessieht,wdhrend,,monotern von Datensetzen nachbe- schalten dersekunddren lndizes. Eigenschaften voll erfullenk6n- tonicread"sicherstellt, dassspdstimmtenkriterien, ftir die rela- In dem Master-5lave-Szenario nen [4]. terelesezugriffe nieslterewerte generische wurdendie Schreibzugriffe tionale auf Bei einer verteilten Daten- liefern als frtihere.,,monotonic Funktionen bereitstellen, imple- den Masterzum Engpass; der bank lassensich Datenkonsis- write"wiederumserialisiert die mentierthierdie AnwendungUmfangder Datendrohte,die tenz und Verfilgbarkeit nur ga- Schreibzugriffe einesprozesses. aufden konkretenanwendungs- Kapazitat einesservers zu spren- rantieren,solangealle Kompo- AlsEntwickler mussmansichdafallzugeschnitten und optimiert. gen. Ftir das Unternehmen er- nenten erreichbarsind. Aller- r0berim Klarensein,wasdieabNoSQL- erlauben wiessichschlieblich HBase, geschwechten eine dingsist die Wahrscheinlichkeit, Konsistenzgaranso mit ihren domiinenspezifi-freielmplementierung von Big- dass irgendeinekomponente tien bedeuten.gehtes zum BeischenSprachenhdufigeineviel Table,alsLosung. ausfdllt,um so hciher,je mehr spielum monetdre Transaktionen, c't 2010.Heft15 169

3 Know-how I NoSQL- so ist sehr wahrscheinlich ein schreibenund lesen;allerdings Webanwendungen kaum eine ( "ze itsch n ift": { Systemmit starkerkonsistenz fehlender Datenbank die kom- Rolle. "n a n e u ' ' cr tlia g a zin ", "issn ": " E6 i9 ", ndtig, schlieblich mcichteman plexerenabfragemechanismen "p r e is":3.7 0, nicht,dassetwa der r.iberwiesedokumentenorientierter Daten- CouchDB: la Se ": ,"Au f ne Betragkurzzeitig auf beiden banken. WikizumMitnehmen ) Kontenauftaucht. lstabereinab GooglesBigtableund deren undzu leichtveralteterwert,der freie lmplementierunghbase CouchDBist einedokumentenbaldauf den aktuellenwechselt, JSON-Dokumente bestehen sindebensowiecassandra Spal- orientiertedatenbank.in der aussichtderanwendung akzep- ausschliissel-wert-paaren. tendatenbanken.5ie erfordern Dokumenteals JSON-Objekte tabel,konnendie letztlichkonvorabdie Definitionvon Spalten, representiert sind.damituntersistenten einesehr ist als ein relationalesdaten- die jedoch im Unterschied zu stiitztcouchdb alledatentypen, garantieren. bankschema. hoheverfiigbarkeit BeivielenNoSQL- relationalen eine die fr.irjsondefiniertsind.als erforderndasfeh- variablezahlvon jederzeitver- schemafreiedatenbankbenodatentypenund len eineswertes,ein andersbe- iinderbarenwerten enthalten tigt CouchDB keinefestedefininanntesoder ein zusdtzliches konnenund daherals Spalten- tion der zu erwartendendatenschemata Feld keine besonderebehand- familien oder Spaltengruppen objekte.daserleichtertden UmDie Arbeitmit einersql-daten- lung beim Umgangmit der Da- bezeichnetwerden.5o kcinnte gangmit sichdndernden Datenbank beginntin der Regelmit tenbank.die Behandlung dieser der Entwickler in dervordefinier- strukturen:eineanderungwie der DefinitioneinesfestenDa- Ausnahmefiille obliegtdann al- ten Spaltenfamilie wdh- ein zus6tzliches Feld,,Private,,VCard" tenbankschemas. dasdie Tabel- lerdingsdem Anwendungsent- rendder Laufzeitbeliebigviele Mailadresse" im Adressdatensatz len.derenattributeund Relatio- wickler- wie auchnull-e ntre-attributespeichern, zum Beispiel der Angestelltenzwingt nicht nen festlegt.anderungenam ge beirelationalen,,v C ard:n ame",,,v C ard:p hone" zu einer umfangreichen Daten, Schema sindzwarauchnachbe- in der Anwendungabgefangen,,VCard:Mail" und soweiter.spal- migration. fullender Datenbankmoglich, werdenmtissen. ten sind also vergleichbar mit Zugriffeauf die Datenbank erallerdingserzwingt das meist Hashes,Maps bei Java oder folgennachdemprinzipdesoptieinedatenmigration mit hohen Dictionaries in Python.Uberdie mistischen Locking: Will Prozess Schliisselund Spalten Kosten.In NoSQL- Zuordnung eines Wertes zu A einendatensatz modifizieren, sind die Datenstrukturen sche- Nichtrelationale einerspaltenfamilie teiltderent- liest er ihn ein und bekommt mafreiund lassensichleichtan- lassensichgrob in f0nf Katego- wicklerder Datenbank mit,wel- nebeneinemsnapshot des Dapassen. Einedokumentenorien-rieneinteilen: che Werte zusammengespei- tensatzes dieversion seines Snaptierte NoSQL-Datenbank wie DokumentenorientierteDa- chertwerdensollen:andersals shotsmitgeteilt.willer die modicouchdb kannbeliebigedaten- tenbanken wie CouchDBund relationalerdbmslegen Spal- fiziertendatenin die Datenbank sdtzeflexibelspeichern. Mo n g o D B s p e i c h e r n w eni g tendatenbanken nichtsdmtliche zunickschreiben, musser dievorals Beispielsollder Umgang strukturiertelnformationenin FeldereinesDatensatzes hinter- her erhalteneversionsnummer mit Visitenkarten dienen:ahn- JSON-formatierten Dokumenten einanderauf dem Datentrager mit 0bergeben.Hat ein zweiter lich wie personenbezogene Ein- (JavaScriptObject Notation, ab, sondernverteilendie Spal- Prozess B in derzwischenzeit den trage einer Datenbankhaben siehekastenaufdieserseite)als tenfamilienuber verschiedene Datensatzmodifiziert,so hat er diese Kdrtchen r.iblicherweise eine Reihevon Sch[issel-Wert-Dateien. damitauchdie Versionsnummer Eintriigefiir den Namen,die Te- Paaren. Siebringenin der Regel Graphendatenbankenwie des Datensatzes verdndert.da lefonnummer, die Adresse, eine eine fr.ir das Web natrirliche Neo4jsindauf die Speicherung die Versionin der Datenbank Fa xn u m m erund eine E -M a i l - Schnittstelle auf der Grundlage komplexerbaum-und Netzwerk- nichtmit dervon A ribergebenen gibt es auch von HTTPund REST (Represen- strukturen Adresse. Allerdings optimiert,die sichin Versiontibereinstimmt, lehntdie Visitenkarten, die mehrinforma- tionalstatetransfer) mit. Daauf relationalennur Datenbank die Anderungab: A tionen enthalten,zum Beispiel ein explizitesschemaf0r die schlecht abbildenlassen. EinBei- muss die Daten erneut lesen, einenakademischen Titel oder Daten verzichtetwird, lassen spieldaftirwiren die Follower- seine Anderungenvornehmen eine Berufsbezeichnung, oder sich Modifikationen, die sonst Beziehungen zwischen den und einenweiterenversuchstardenen die Faxnummerfehlt. eine Schema-Anderung nach Twitter-Mitgliedern. ten, die Anderungen zur0ckzuzudem kdnnen die einzelnen sichziehenwrirden,vergleichs- Schonldngerim Einsatz sind schreiben.diesesmodell optifelderunterschiedliche Bezeich- weiseeinfachumsetzen. die objektorientierten Daten- miertdiewartezeit dereinzelnen nungen haben,etwa,, ", VielfachgenUgtftir Anwen- banken.siewerdenals Persis- Prozesse: Die Interaktionmit der All dasliisst dungender einfacheschltissel- tenzschicht vor allemin Anwen- Datenbank,,Mail"oder,, ". ist im Mittelschneller sichin einerrelationalen Daten- basiertezugriff auf abgelegte dungeneingebettet, die in ob- alsbeiklassischen, blockierenden bankkaumabbilden: Das - Daten- Key-Value-Stores sind iektorientierten Sprachen erstellt Modellen und bei hohem Feld heibt dort immer gleich, frir diesenanwendungsfall opti- sind.wenigauf Skalierung opti- Schreibaufkommen schlimmsund wenn kein akademischer miert.derbekannteste Vertreter miert,spielensie bei typischen tenfalls genauso langsam. Titelvorgesehen ist,lssster sich dr.lrfte Memcachedsein, ein hochstensabspeichern, indem Cache-Server, der hiiufigbenomanein anderes Feldzweckent- tigte h 6 t.,.-. i i ').g D B,r, e fremdet. re Serverim RAMspeichert.Mit r h F.b :h o u n kr l ( u ( ;h d * o n l n. l tsa a Fh a * o p d ::u b l n tu :]M s Ea r B Dokumentenorientierte Daten- Redis und wie banken sind den gedruckten Voldemortund Riakdiedieldeen Visitenkarten iihnlicher: DerAn- hinter Amazons hochverfligwender ist nicht gezwungen, baremkey-value-store Dynamo CouchDB gleichzu BeginneinesProjektes umsetzen, sindinzwischen weiein rigidesschemafestzulegen. tere Vertreterhinzugekommen. Vielmehrdefiniertjedes abge- Der UbergangzwischenKeylegte Dokumentselbst,welche Value-Stores und dokumentenfelderes enthelt.zudem sind orientierten ist auch komplexe Datentypen etwasunscharf:so lassensich moglich,was deutlichflexibler Datenin Riakim JSON-FormatCouchDBbringt eineweb-basierte Administrationsoberfldche mit. i;! 170 c't 2010.Heft15

4 Know-how I NoSQL- CouchDB liisst sich r.iber ein die aus der traditionellen Datenbankwelt bekannte Master-Masnical besteht darin, diese Infra- Diese Server stellen jedoch keine Ziel von Ubuntu-Hersteller Cano- oder mehr Servern zu starten. HTTP/REST-lnterface a nsprechen, was die Integration in Webanwendungen sehr einfach gestaltet. ter-replikation als auch eine Master-Slave Replikation sind mogstruktur als Standard frir alle Plattformen zu etablieren. Als Desk- besonderen Anforderungen und sind meist sogenannte,,commo- Auf einem Rechner mit lich. Dar0ber hinaus untersttltzt topcouch ist die Datenbank dity Server", also auf gut Deutsch laufender CouchDB gibt der Aufruf CouchDB einen einfachen Aus- inzwischen Bestandteil einer Spe- Stangenware. Damit kommt der URL tausch tiber mehr als zwei Maszifi kation von freedesktop.org. ein HBase-Cluster unterm Strich ein JSON-Objekt zuruck: ter. Auch die Kommunikation billiger als ein dicker Server f0r 0ber CouchDB-lnstanzen, die in eine vergleichbar leistungsfiihige, {"couchdb":"welcome","version":" "} getrennten HBase: Die Petabyte-DB Rechenzentren oder nicht verteilte Datenbank. Uber die URL htto://localhost: sogar auf unterschiedlichen Kontinenten HBase ist nicht die Art von Daten sind in HBase in Zeilen 5984/_all_dbs erhiilt man ein laufen, stellt kein Pro- Datenbank, die man als Backend organisiert, wobei jede Zeile aus Array mit allen angelegten, blem dar. Ein Abgleich zwischen einer Instanz auf einem mobilen ftir einen kleinen Webshop oder die selbst geschriebene Foreneinem sortierten Sch[lssel und (nahezu) beliebig vielen Spalten dotobosel _all_docs liefert eine Endgerdt und einer verteilten lnstanz in einer Cloud-Computing-lmplementierung von Googles ten lassen sich dabei zu Spalten- Software verwendet: Die freie besteht. Inhaltlich dhnliche Spal- Ubersicht aller in der angesprochenen Datenbank gespeicherten Dokumente An der Verteilung einer logischen zum Speichern sehr grober,,telefon:dienstlich" und,,telefon: Infrastruktur ist ebenso mciglich. BigTable-Spezifikation [1] wurde familien zusammenfassen (etwa Um in CouchDB gespeicherte Instanz riber mehrere Rechenknoten Datenmengen konzipiert und privat"). Die Spaltenfamilien wer- Daten zu filtern, zu aggregieren wird derzeit gearbeitet. daher konsequent auf horizontale den beim Anlegen einer Daten- und miteinander zu verbinden. CouchDB kommt nicht nur als Skalierbarkeit ausgelegt. Damit bank festgelegt; Anderungen daran dienen Views. die man riblicherweise Backend ftir Webapplikationen ist allerdings auch die Hrjrde sind ein aufirendiger adminis- als MapReduce-Jobs in der zum Einsatz. Seit Version 9.10 ver- zum Einstieg erheblichoher als trativer Prozess. Neue Spalten in- Programmiersprache JavaScriptwendet Ubuntu als zentralen bei anderen Systemen: Auch nerhalb einer Spaltenfamilie lassen sich hingegen jederzeit mit formuliert. Auf diese Weise stehen dem Entwickler umfangrei- CouchDB - in jeder aktuellen aufeinem einzelnen Rechner be- einer einfachen Schreiboperation Dienst zur Datensynchronisationwenn die Datenbank stand-alone che AusdrucksmOglichkeiten fur Ubuntu-Version liiuft standardmiibig trieben werden kann, laufen hinzufr.igen (etwa,ielefon:5!ype"). die Interaktion mit CouchDB zur eine CouchDB-lnstanz, in HBase-l nstallationen typischer- lm Unterschied zu einer relatrieben Verf0gung. Details dazu finden der sich persdnliche Daten wie weise auf grd8eren Clustern zusammen tionalen Datenbank speichert mit Apache Hadoop [2]. HBase physisch nicht die komtionalen sich in der CouchDB-Dokumentation. CouchDB kann die Ergebmarks sichern und r.iber den Hadoop unterstutzt die Dapletten Zeilen zusammenhdn- Adressbuch, Notizen oder Booknisse dieser Jobs als separate Dokumente Cloud-Service UbuntuOne mit tenbank durch die in das Hagend, sondern die Werte pro speichern, die bei Up- anderen Rechnern synchronisie-doop-dateisystem HDFS einge- Spaltenfamilie. Spalten, die in dates des Datenbestandes automatisch aktualisiert werden. Auf diese Weise sind deutliche Performance-Vofteile ren lassen. Auch Entwickler anderer Applikationen k6nnen diesen Dienst nutzen. um Daten riber die baute Reolikation der Daten auf Dateiebene und stellt mit Map- Reduceinen Mechanismus zur einer Zeile nicht vorkommen, werden dabei nicht gespeichert. HBas eignet sich so ideal zum bei hdufig wie- Ubuntu-Cloud zu replizieren. Ein Verfiigung, um HBase-TabellenSpeichern von schwach besetzren derkehrenden Abfragen zu verzeichnen. Es ist einfach. die Datenbank beliebiger GrdBe in kurzer Zeit durchlaufen zu konnen. HBase kann aber auch in anderen Umgebungen ten Tabellen (sparse tables): Nur Spalten, die einen Wert enthalten, verursachen Speicherbedarf. horizontal zu skalieren: Sowohl laufen, beispielsweisedas erlaubt eine nahezu unbeten in Amazons 53 oder Elastic Block Storage (EBS). Die Voraussetzung zum Aufbau eines Clusters konnen allerdings schon abschrecken: Die Empfehlung lautet, mit zehn grenzte Anzahl an Spalten: Ziel des Projekts ist es,,,milliarden von Zeilen und Millionen von Spalten zu speichern". Ein wichtiger Bestandteil der Architektur ist, dass HBase konsistentes Hashing weder einsetzt noch bendtigt: Ein Master teilt -/\ jedem Region Datenbankserver einen Server festen Bereich der anhand des Zeilenschltissels riber die gesamte Datenbank geordneten Zeilen zu. Diese Aufteilung der Zeilen in sogenannte Regionen erlaubt eben jene Skalierbarkeit auf theoretisch unbegrenzt viele Daten. Will die Client-Anwendung eine Zeile verindern oder in einer Region eine neue Zeile einf0gen, dann Ubernimmt der zugeordnete Region Server diese Ahion. Dieser Region Server speichert die Werte jeder Spaltenfamilie in einem HStore, dem Dateien - die sogenannten HFiles -zugeordnet sind. Letztere werden dann mit den Mechanismen des Hadooo Distributed File System (HDFS) HBase verwendet Hadoop zum verteilten Speichern der Daten. auf mehreren Datenknoten ab- Region Server tr;l tl 172 c't 2010, Heft 15

5 Know-how I NoSQL- gelegt [6]. Hat ein RegionServer ein Problem oder fiillt er ganz aus, so verschiebt der Master innerhalb von Sekunden seinen Bereich auf einen anderen Server. Der HBase-Client erkennt diese Situation und schickt die Anfrage oder Modifikation automatisch an den neuen Rechner. HBase bietet einen sehr ver- 16sslichen Datendurchsatz: Daten werden zundchst im RAM zwischengespeichert und, wenn der RAM-Cache zur Neige geht, in einem Rutsch als neues HFile ins Dateisystem geschrieben. Ein Aufrdumprozess (Compaction) ordnet dann diese Verdnderungen im Hintergrund und fasst die HFiles zusammen. Das ist etwas v6llig anderes als die Anderung Tabelle der Daten in einer relationalen Datenbank, die bei zunehmender Dateigrd3e immer linger 0ber mehrere Server. NoSQL- haben da HBase verteilt Fazit die Daten anhand des Zeilenschl0ssels nach dem Datensatz auf der ihre Stdrken, wo traditionelle relationale schwd- Festplatte suchen muss, bevor sie eine Anderung schreiben Auch f0r Sprachen wie Jython, artigen Abfragesprache auch einen JDBC-Treiber zur Verf0gung mit wenig strukturierten Daten cheln: Sie gldnzen beim Umgang kann. Viele relationale werden daher mit stei- JVM laufen, existieren Schnitt- stellt. HBase-dsl will mit einer und skalieren problemlos auch Groovy und Scala, die auf der gender Datenmenge langsamer, stellen f0r HBase.5oll es kein Java eigenen Abfragesprache die zum tiber viele Datenbankserver. wdhrend bei HBase die Menge sein, gibt es vielfdltige Alternativen f0r die Kommunikation mit mierung des HBase-Java-APl verstriche bei der Datenkonsistenz. Teil etwas komplexe Program- Dafrir machen sie bewusst Ab- der bereits gespeicherten Daten praktisch keinen Einfluss auf die HBase: Stargate implementiert einfachen. Damit lassen sich wie Sie stellen daher keine Alternative oder gar Konkurrenzu Schreibgeschwindigkeit hat. eine REST-Schnittstelle zu HBase. mit der StringBuilder-Klasse Ahnlich verhdlt es sich bei Die Software kann als Daemon Java ganze Abfragen in einer einzigen Zeile formulieren, da jede mehr ergdnzen sie das Spektrum MySQL, Oracle und Co. dar; viel- Lesezugriffen: RDBMS mussen oder als Servlet arbeiten und unterstiitzt eine offene Serialisie- Methode des Objekts die aktuelle an Applikationen, aus denen dazu den Datenbestand durchsuchen, was umso linger dauert, rungsschnittstelle. Thrift ist ein Instanz wieder zurrickgibt. Entwickler auswihlen konnen, je mehr Daten bereits gespeichert sind. HBase kann hier aufwickeltes, noch junges Apache- einfache Client-Anwendungen, senden Persistenzschicht fr,ir ihre urspr0nglich bei Facebook ent- All diese APls eignen sich for die auf der Suche nach einer pasgrund des bekannten Zeilenschl0sselsofort auf den richti- Schnittstellen defi nieren lassen. aufnehmen wollen. Eine andere Projekt, mit dem sich Service- die direkt mit HBase Kontakt Anwendung sind. (odi) gen Server zugreifen, der wiederum intern mit einer biniiren aus denen der Thrift-CompilerMciglichkeit der Datenabfrage be- in MapReduce-Programmen, Literatur dann Code zur lmplementierungsteht Suche (also mit logarithmischemeiner RPC-basierten Kommunikation zwischen Clients und Ser- Ber Datenmengen ermdglichen. com/papers/bigtable.html die die verteilte Bearbeitungro- [1] Google BigTable: http//labs.google. Zeitverhalten) sehr effizient die Daten findet. vern generiert. Thrift unterst0tzt HBase wird mit fertigen Klassen [2] lsabel Drost, Simon Willnauer, eine Vielzahl an Programmier-frisprachen: C++, Java, Python, Hadoop Apache Hadoop speichert und die MapReduce-Plattform von Cloud Computing frei Haus, Vielsprachig ausgeliefert. Da Map- PHP, Ruby, Erlang, Perl, Haskell, Reduce selbst aber auch nicht analysiert grobe Datenmengen. HBase verfr.igt ljber eigene Modelle zur Abfrage der gespei- In letzter Zeit entstehen zu- ist, versuchen Projekte wie Casca- [3] StumbleUpon-Migration zu HBase: C#. Cocoa. Smalltalk, OCaml. ganz trivial in der Handhabung c't 4/10, S. I 80 cherten Daten. Ftir in Java programmierte HBase-Clients bietet HBase, die zum Teil SQL-iihnlichegibt es Schnittstellen zu Hadoops / HB ase-at-hadoopnehmend Projekte rund um ding dort auszuhelfen. AuBerdem htto://www.docstoc.com/docs/ sich die Verwendung des Java- Zugriffe erm6glichen oder eigene domenenspezifische Spraoder skriptartigen Sprachen eine [4] Seth Gilbert, Nancy Lynch, Bre- Hive und Pig, welche mit SQL- World-NYC API an. Dessen Verwendung wird anhand eines einfachen chen mitbringen. Zu Ersteren Analyse der gespeicherten Daten we/s Conjecture and the Feasibility of Consistent, Available, Partiti- Beispiels im HBase-Wiki erkliirt gehort HBgl, das neben der SQL- in HBasermciglichen. SchlieBlich (siehe c't-link unten). Der Java- on-tolerant Web Services: hftp:// Code im Kasten auf dieser Seite lpd.epfl.ch/sgilbert/pubs/brewers extrahiert die Titel einer Reihe lleaseconli guration conf i g = ner tl8aseconti guration( ); Conjecture-SigAct.pdf von in HBase gespeicherten lllabte table = ner }ltabie(contig, "blog"); [5] Amazon Dynamo: Scan s = ner ScanO; Blog-Postings mit dem Ziel, ein s.addcoiunn(bites.tobytes("postings"), Sytes,to8ytes("ti ttes")); d istri buted.com/2m7 / 1 O / amazons Inhaltsverzeichnis zu erstellen. ResuItScanner scanner : table.getscanner(s); dynamo.html tty { Zundchst Ubergibt ein Konfigurationsobjekt Verbindungs- ) finalty { Storage, for (ResuIt resutt: scanner) output(resuit); [6] Lars George, HBase Architecture und Authentifizierungsdaten, com / 2OO9 / 1 O / hbase-arch itectu re-, scanner,ctoseo; anschliebend iteriert ein Scanner- 101-storage.html Objekt riber alle Blogeintriige der Tabelle,,blog". Das Java-APl erlaubt den einfachen Zugriff auf Daten in HBase. bringt HBaseine in JRuby umgesetzte Shell mit, mit deren Hilfe Entwickler Ad-hoc-Queries ausfuhren und schnelle Analysen durchfrihren kdnnen. Seine Stdrken spielt HBase bei der Verwaltung von Daten im Petabyte-Bereich aus. Lese- und Schreibzugriffe skalieren gut, da sie aufgrund der verteilten Natur von HBase 0ber viele Knoten parallel erfolgen kdnnen. Datenreplikation kommt aufgrund der Hadoop-Basis automatisch mit. Batch-Analysen in Form von Map Reduce-Jobs lassen sich einfach formulieren. HBase eignet sich auch als Quelle und Ziel firr MapReduce-Jobs innerhalb des Hadoop-Frameworks. & c't 2010, Heft

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg

NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1

NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1 NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken

Charakteristika und Vergleich von SQL- und NoSQL- Datenbanken Universität Leipzig Fakultät für Mathematik und Informatik Abteilung Datenbanken Dozent: Prof. Dr. Erhard Rahm Betreuer: Stefan Endrullis Problemseminar NoSQL-Datenbanken Semester: WS 11/12 Charakteristika

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank

SimpleVOC-Yetanother. Bausteine für eine Key/Value- Datenbank SimpleVOC-Yetanother Memcached? Bausteine für eine Key/Value- Datenbank SimpleVOC Yet another memcached? Bausteine für eine Key/Value Datenbank. Theorie (Martin Schönert) Praxis (Frank Celler) Eine Weisheit

Mehr

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010

NoSQL. Einblick in die Welt nicht-relationaler Datenbanken. Christoph Föhrdes. UnFUG, SS10 17.06.2010 NoSQL Einblick in die Welt nicht-relationaler Datenbanken Christoph Föhrdes UnFUG, SS10 17.06.2010 About me Christoph Föhrdes AIB Semester 7 IRC: cfo #unfug@irc.ghb.fh-furtwangen.de netblox GbR (http://netblox.de)

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Institut für Verteilte Systeme

Institut für Verteilte Systeme Institut für Verteilte Systeme Prof. Dr. Franz Hauck Seminar: Multimedia- und Internetsysteme, Wintersemester 2010/11 Betreuer: Jörg Domaschka Bericht zur Seminarssitzung am 2011-01-31 Bearbeitet von :

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends. Cloud-Datenbanken. Franz Anders 02.07.2015

Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends. Cloud-Datenbanken. Franz Anders 02.07.2015 Extended Abstract Obserseminar: Datenbanksysteme - Aktuelle Trends Cloud-Datenbanken Franz Anders 02.07.2015 Dies ist das erweiterte Abstract zum Vortrag Cloud-Datenbanken für das Oberseminar Datenbanksysteme

Mehr

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken. Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken Speichern und Analysen von großen Datenmengen 1 04.07.14 Zitat von Eric Schmidt (Google CEO): There was 5 exabytes of information created between the dawn of civilization through

Mehr

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme

Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Kapitel 4 Teil 2 NoSQL-Datenbanksysteme Inhalt: CAP (Consistency/Availability/Partition-Tolerance); BASE (Basically Available, Soft State, Eventually Consistent); Datenmodelle: Key-Value-Stores, Spaltenbasierte

Mehr

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs

Mehr

NoSQL-Databases. Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de

NoSQL-Databases. Präsentation für Advanced Seminar Computer Engineering, Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de NoSQL-Databases Präsentation für Advanced Seminar "Computer Engineering", Matthias Hauck, matthias.hauck@stud.uni-heidelberg.de Klassische SQL-Datenbanken Anwendungsgebiet: Geschäftsanwendungen Behördenanwendungen

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen

SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen SQL- & NoSQL-Datenbanken - Speichern und Analysen von großen Datenmengen Lennart Leist Inhaltsverzeichnis 1 Einführung 2 1.1 Aufgaben einer Datenbank...................... 2 1.2 Geschichtliche Entwicklung

Mehr

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1)

Datenbanken und SQL. Kapitel 1. Übersicht über Datenbanken. Edwin Schicker: Datenbanken und SQL (1) Datenbanken und SQL Kapitel 1 Übersicht über Datenbanken Übersicht über Datenbanken Vergleich: Datenorganisation versus Datenbank Definition einer Datenbank Bierdepot: Eine Mini-Beispiel-Datenbank Anforderungen

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Definition Informationssystem

Definition Informationssystem Definition Informationssystem Informationssysteme (IS) sind soziotechnische Systeme, die menschliche und maschinelle Komponenten umfassen. Sie unterstützen die Sammlung, Verarbeitung, Bereitstellung, Kommunikation

Mehr

Session Storage im Zend Server Cluster Manager

Session Storage im Zend Server Cluster Manager Session Storage im Zend Server Cluster Manager Jan Burkl System Engineer, Zend Technologies Agenda Einführung in Zend Server und ZSCM Überblick über PHP Sessions Zend Session Clustering Session Hochverfügbarkeit

Mehr

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer

Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer Verteiltes Backup Einleitung Grundlegende Backup Techniken Backup in Netzwerken Client/Server Peer-to-Peer Einleitung Backup: Das teilweise oder gesamte Kopieren der in einem Computersystem vorhandenen

Mehr

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011

Eine Einführung in Apache CouchDB. Java-Forum Stuttgart 2011 Eine Einführung in Apache CouchDB Java-Forum Stuttgart 2011 Johannes Schneider, cedarsoft GmbH js@cedarsoft.com http://blog.cedarsoft.com http://cedarsoft.com Vielen Dank CouchDB The VERY Basics Vorerfahrung?

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)

SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce) Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 8I Searching as a Service (Programming Model: MapReduce) Michel Schmitt (520361) 1.06.2009 Inhalt 1. Einführung...

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Perzentile mit Hadoop ermitteln

Perzentile mit Hadoop ermitteln Perzentile mit Hadoop ermitteln Ausgangspunkt Ziel dieses Projektes war, einen Hadoop Job zu entwickeln, der mit Hilfe gegebener Parameter Simulationen durchführt und aus den Ergebnissen die Perzentile

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

NoSQL für Anwendungen

NoSQL für Anwendungen NoSQL für Anwendungen Hochschule Mannheim Fakultät für Informatik Cluster Grid Computing Seminar SS 2012 Lemmy Tauer (729400) lemmy.coldlemonade.tauer@gmail.com NoSQL CAP / ACID / Kompromisse Key-Value

Mehr

Seminarvortrag. Cloud Computing. Christophe Sokol 26.01.2012

Seminarvortrag. Cloud Computing. Christophe Sokol <sokol@inf.fu-berlin.de> 26.01.2012 Seminarvortrag Cloud Computing Christophe Sokol 26.01.2012 Ablauf des Vortrags Hintergrund: Der Plat_Forms-Wettbewerb Was ist Cloud Computing? Aufgaben lösen in der Cloud 3 / 23

Mehr

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern.

NoSQL-Datenbanken. Markus Kramer. deren Probleme herauszuarbeiten und andere Grundlagen zu erläutern. 1 NoSQL-Datenbanken Markus Kramer Zusammenfassung NoSQL-Datenbanken sind zu einer interessanten Alternative zu herkömmlichen Datenbanken geworden. In dieser Arbeit werden die dahinter liegenden Konzepte

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

Der Cloud-Dienst Windows Azure

Der Cloud-Dienst Windows Azure Der Cloud-Dienst Windows Azure Master-Seminar Cloud Computing Wintersemester 2013/2014 Sven Friedrichs 07.02.2014 Sven Friedrichs Der Cloud-Dienst Windows Azure 2 Gliederung Einleitung Aufbau und Angebot

Mehr

Dunkel Cloud Storage. Der sichere Cloud-Speicher für Unternehmen

Dunkel Cloud Storage. Der sichere Cloud-Speicher für Unternehmen Dunkel Cloud Storage Der sichere Cloud-Speicher für Unternehmen Was ist Dunkel Cloud Storage? Dunkel Cloud Storage (DCS) stellt Ihnen Speicherplatz nach Bedarf zur Verfügung, auf den Sie jederzeit über

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Angreifbarkeit von Webapplikationen

Angreifbarkeit von Webapplikationen Vortrag über die Risiken und möglichen Sicherheitslücken bei der Entwicklung datenbankgestützter, dynamischer Webseiten Gliederung: Einführung technische Grundlagen Strafbarkeit im Sinne des StGB populäre

Mehr

Datenbanken. NoSQL-Datenbank MongoDB. von Maximilian Weber. Listing 1. Artikelserie

Datenbanken. NoSQL-Datenbank MongoDB. von Maximilian Weber. Listing 1. Artikelserie Gigantische Datenbank Die humongous database oder kurz MongoDB hat einen einprägsamen Namen und ist eine vielversprechende NoSQL-Datenbank. MongoDB möchte die Lücke zwischen Key-Value-Stores (die schnell

Mehr

Cloud-Provider im Vergleich. Markus Knittig @mknittig

Cloud-Provider im Vergleich. Markus Knittig @mknittig Cloud-Provider im Vergleich Markus Knittig @mknittig As Amazon accumulated more and more services, the productivity levels in producing innovation and value were dropping primarily because the engineers

Mehr

Erstellung eines Frameworks für Shop Systeme im Internet auf Basis von Java

Erstellung eines Frameworks für Shop Systeme im Internet auf Basis von Java Erstellung eines Frameworks für Shop Systeme im Internet auf Basis von Java Präsentation zur Diplomarbeit von Übersicht Java 2 Enterprise Edition Java Servlets JavaServer Pages Enterprise JavaBeans Framework

Mehr

Relationale Datenbanken Datenbankgrundlagen

Relationale Datenbanken Datenbankgrundlagen Datenbanksystem Ein Datenbanksystem (DBS) 1 ist ein System zur elektronischen Datenverwaltung. Die wesentliche Aufgabe eines DBS ist es, große Datenmengen effizient, widerspruchsfrei und dauerhaft zu speichern

Mehr

Web Technologien NoSQL Datenbanken

Web Technologien NoSQL Datenbanken Web Technologien NoSQL Datenbanken Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Information and Service Systems Department of Law and Economics WS 2011/2012 Wednesdays, 8:00 10:00 a.m. Room HS 021, B4

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

TECHNISCHE PRODUKTINFORMATION CARUSO

TECHNISCHE PRODUKTINFORMATION CARUSO 1111 TECHNISCHE PRODUKTINFORMATION CARUSO TECHNISCHE PRODUKTINFORMATION Seite 0/7 Inhalt 1 Systemdefinition............2 2 Technische Details für den Betrieb von CARUSO......2 2.1 Webserver... 2 2.2 Java

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Prof. Dr.-Ing. Rainer Schmidt 1

Prof. Dr.-Ing. Rainer Schmidt 1 Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2

Mehr

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz

25.09.2014. Zeit bedeutet eine Abwägung von Skalierbarkeit und Konsistenz 1 2 Dies ist ein Vortrag über Zeit in verteilten Anwendungen Wir betrachten die diskrete "Anwendungszeit" in der nebenläufige Aktivitäten auftreten Aktivitäten in einer hochgradig skalierbaren (verteilten)

Mehr

Kommunikationsübersicht XIMA FORMCYCLE Inhaltsverzeichnis

Kommunikationsübersicht XIMA FORMCYCLE Inhaltsverzeichnis Kommunikationsübersicht Inhaltsverzeichnis Kommunikation bei Einsatz eines MasterServer... 2 Installation im... 2 Installation in der... 3 Kommunikation bei Einsatz eines MasterServer und FrontendServer...

Mehr

Database Exchange Manager. Infinqa IT Solutions GmbH, Berlin Stralauer Allee 2 10245 Berlin Tel.:+49(0) 30 2900 8639 Fax.:+49(0) 30 2900 8695

Database Exchange Manager. Infinqa IT Solutions GmbH, Berlin Stralauer Allee 2 10245 Berlin Tel.:+49(0) 30 2900 8639 Fax.:+49(0) 30 2900 8695 Database Exchange Manager Replication Service- schematische Darstellung Replication Service- allgemeines Replikation von Daten von bzw. in ein SAP-System und einer relationalen DMS-Datenbank Kombination

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Datenbanktechnologie mit praktischen Übungen in MySQL und PHP

Datenbanktechnologie mit praktischen Übungen in MySQL und PHP Datenbanktechnologie mit praktischen Übungen in MySQL und PHP Übung, Sommersemester 2013 08. April 2013 - Einführung Sebastian Cuy sebastian.cuy@uni-koeln.de Modulzuordnung Informationsverarbeitung, Bachelor

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud 1 Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Zusammenfassung Das Thema Big Data und, damit

Mehr

whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz

whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz whitepaper NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz NoSQL Not only... but also SQL: Flexibilität und Vielfalt in der Persistenz Dieses Dokument soll die Technologien,

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de Configuration Management mit Verbosy 17.04.2013 OSDC 2013 Eric Lippmann Kurzvorstellung NETWAYS Expertise OPEN SOURCE SYSTEMS MANAGEMENT OPEN SOURCE DATA CENTER Monitoring & Reporting Configuration Management

Mehr

Cloud-Plattform: Appscale Hochschule Mannheim

Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Cloud-Computing Seminar Hochschule Mannheim WS0910 1/28 Cloud-Plattform: Appscale Hochschule Mannheim Florian Weispfenning Fakultät für Informatik Hochschule Mannheim florian.weispfenning@stud.hs-mannheim.de

Mehr

Carl-Engler-Schule Karlsruhe Datenbank 1 (5)

Carl-Engler-Schule Karlsruhe Datenbank 1 (5) Carl-Engler-Schule Karlsruhe Datenbank 1 (5) Informationen zur Datenbank 1. Definition 1.1 Datenbank-Basis Eine Datenbank-Basis ist eine Sammlung von Informationen über Objekte (z.b Musikstücke, Einwohner,

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

Kooperativer Speicher: Schwächen und Gegenmaßnahmen

Kooperativer Speicher: Schwächen und Gegenmaßnahmen Kooperativer Speicher: Schwächen und Gegenmaßnahmen Cooperative storage: weaknesses and countermeasures Lutz Behnke 2. Dezember 2005 2005 Lutz Behnke 1 /home/sage/texte/haw/master/seminar/coop_storage_failure.sxi

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

whitepaper CLOUD-ENTWICKLUNG: BESTE METHODEN UND SUPPORT-ANWENDUNGEN

whitepaper CLOUD-ENTWICKLUNG: BESTE METHODEN UND SUPPORT-ANWENDUNGEN whitepaper CLOUD-ENTWICKLUNG: BESTE METHODEN UND SUPPORT-ANWENDUNGEN CLOUD-ENTWICKLUNG: BESTE METHODEN 1 Cloud-basierte Lösungen sind auf dem IT-Markt immer weiter verbreitet und werden von immer mehr

Mehr

Private Cloud mit Eucalyptus am SCC

Private Cloud mit Eucalyptus am SCC Private Cloud mit Eucalyptus am SCC Christian Baun 15. Dezember 2009 KIT The cooperation of Forschungszentrum Karlsruhe GmbH und Universität Karlsruhe (TH) http://www.kit.edu Cloud-Comuting = Grid-Computing?!

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

Seminar im Wintersemester 2008/2009. Complex and Distributed IT-Systems TU Berlin

Seminar im Wintersemester 2008/2009. Complex and Distributed IT-Systems TU Berlin Betrieb komplexer IT-Systeme Seminar im Wintersemester 2008/2009 Complex and Distributed IT-Systems TU Berlin Status Quo Rechenzentren erfüllen Vielzahl an Diensten Klassische Server-Dienste Mailserver,

Mehr

Relationale Datenbanken Kursziele

Relationale Datenbanken Kursziele Relationale Datenbanken Kursziele DB Grundlagen Daten-Modellierung Relationales Modell und DB => Praxis: Mit SQL als Anfragesprache Mit MySQL als DB RDB 1-1 Kursinhalt (Tage) 1. DB Einleitung / Entity-Relationship

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

vfabric-daten Big Data Schnell und flexibel

vfabric-daten Big Data Schnell und flexibel vfabric-daten Big Data Schnell und flexibel September 2012 2012 VMware Inc. All rights reserved Im Mittelpunkt: Daten Jeden Morgen wache ich auf und frage mich: Wie kann ich den Datenfluss optimieren,

Mehr

Aufbau von Cloud-Infrastrukturen mit Eucalyptus

Aufbau von Cloud-Infrastrukturen mit Eucalyptus Michael Stapelberg Cloud-Computing Seminar Universität Heidelberg SS2009 1/34 Aufbau von Cloud-Infrastrukturen mit Eucalyptus Michael Stapelberg Universität Heidelberg Stapelberg@stud.uni-heidelberg.de

Mehr

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB

Karl Glatz Oktober 2009. Vorstellung der verteilten NoSQL Datenbank CouchDB Karl Glatz Oktober 2009 Vorstellung der verteilten NoSQL Datenbank CouchDB Web Awendung (AJAX) MySQL SQL Web Server PHP HTTP (HTML) ORM (Framework) JSON API (AJAX) Web Browser Java Script HTTP RESTful

Mehr

Software as a Service, Cloud Computing und aktuelle Entwicklungen Seminarvorbesprechung

Software as a Service, Cloud Computing und aktuelle Entwicklungen Seminarvorbesprechung Software as a Service, Cloud Computing und aktuelle Entwicklungen Seminarvorbesprechung A. Göbel, Prof. K. Küspert Friedrich-Schiller-Universität Fakultät für Mathematik und Informatik Lehrstuhl für Datenbanken

Mehr

Semantic Web: Resource Description Framework (RDF)

Semantic Web: Resource Description Framework (RDF) Big Data Semantic Web: RDF Information Retrieval Map Reduce: Massiv parallele Verarbeitung Datenströme Peer to Peer Informationssysteme No SQL Systeme Multi-Tenancy/Cloud-Datenbanken Semantic Web: Resource

Mehr

Big Data Lösungen mit Apache Hadoop. Gunnar Schröder, T-Systems Multimedia Solutions GmbH

Big Data Lösungen mit Apache Hadoop. Gunnar Schröder, T-Systems Multimedia Solutions GmbH Big Data Lösungen mit Apache Hadoop Gunnar Schröder, T-Systems Multimedia Solutions GmbH Was ist Big Data? 2 Charakteristiken von Big Data Three Vs of Big Data VOLUME Terabytes Petabytes Exabytes Zettabytes

Mehr

Inhalt. Vorwort... IX. 1 Einführung... 1 Grundlagen... 1 Kritik... 2 Soziales Netz... 4 Warum Facebook genutzt wird... 7

Inhalt. Vorwort... IX. 1 Einführung... 1 Grundlagen... 1 Kritik... 2 Soziales Netz... 4 Warum Facebook genutzt wird... 7 Inhalt Vorwort.............................................................. IX 1 Einführung........................................................ 1 Grundlagen.......................................................

Mehr

Shibboleth Clustering und Loadbalancing

Shibboleth Clustering und Loadbalancing Shibboleth Clustering und Loadbalancing STEINBUCH CENTRE FOR COMPUTING - SCC KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Computercluster

Mehr

CouchDB & CouchApps. Strukturlose Speicherung von Daten und Anwendungen. B1 Systems GmbH. March 18, 2012. http://www.b1-systems.de

CouchDB & CouchApps. Strukturlose Speicherung von Daten und Anwendungen. B1 Systems GmbH. March 18, 2012. http://www.b1-systems.de CouchDB & CouchApps Strukturlose Speicherung von Daten und Anwendungen B1 Systems GmbH http://www.b1-systems.de March 18, 2012 c B1 Systems GmbH 2004 2012 Chapter -1, Slide 1 CouchDB Grundlagen CouchDB

Mehr

Optimierung von Analytischen Abfragen über Statistical Linked Data mit MapReduce

Optimierung von Analytischen Abfragen über Statistical Linked Data mit MapReduce Optimierung von Analytischen Abfragen über Statistical Linked Data mit MapReduce Sébastien Jelsch 1, Benedikt Kämpgen 1 und Stefan Igel 2 1 FZI Forschungszentrum Informatik sebastien.jelsch@fzi.de, kaempgen@fzi.de

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Verteilte Systeme. Map Reduce. Secure Identity Research Group

Verteilte Systeme. Map Reduce. Secure Identity Research Group Verteilte Systeme Map Reduce Map Reduce Problem: Ein Rechen-Job (meist Datenanalyse/Data-Mining) soll auf einer riesigen Datenmenge ausgeführt werden. Teile der Aufgabe sind parallelisierbar, aber das

Mehr

Whitepaper Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Server 2005 / 2008

Whitepaper Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Server 2005 / 2008 Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Andreas Glaser, 23. September 2008 Teufenerstrasse 19 CH 9001 St.Gallen t [+41] 71 228 67 77 f [+41] 71 228 67 88 info@namics.com

Mehr

Gliederung und Einordnung

Gliederung und Einordnung Gliederung und Einordnung 1. Objektorientierte Programmierung mit Object Pascal (5. Studienbrief, Kapitel 5) 9.4. + 16.4. 2. Software-Bausteine am Beispiel der Delphi-Komponenten (5. Studienbrief, Kapitel

Mehr

Buildfrei skalieren für Big Data mit Z2

Buildfrei skalieren für Big Data mit Z2 Buildfrei skalieren für Big Data mit Z2 Henning Blohm ZFabrik Software KG 5.6.2013 1 Teil 1: Buildfrei entwickeln und skalieren Teil 2: Big Data, Cloud, und wie es zusammenpasst 2 1. Teil BUILDFREI ENTWICKELN

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Google Spanner. Proseminar Ein-/Ausgabe Stand der Wissenschaft. Hanno Harte. Betreuer: Julian Kunkel 24.6.13

Google Spanner. Proseminar Ein-/Ausgabe Stand der Wissenschaft. Hanno Harte. Betreuer: Julian Kunkel 24.6.13 Google Spanner Proseminar Ein-/Ausgabe Stand der Wissenschaft Hanno Harte Betreuer: Julian Kunkel 24.6.13 1 /31 Gliederung - Überblick - Funktionsweise - True Time - Konsistenzsemantik - Benchmarks - Zusammenfassung

Mehr

Informatik Programmiersprachen eine kurze Übersicht

Informatik Programmiersprachen eine kurze Übersicht Informatik eine kurze Übersicht Seite 1 natürliche Sprachen (nach Wikipedia) ca 6500 gesprochene Sprachen davon etwa die Hälfte im Aussterben etwa 500 Schriftsprachen mit gedruckten Texten P. Bueghel Turmbau

Mehr

Hadoop-as-a-Service (HDaaS)

Hadoop-as-a-Service (HDaaS) Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Arnold Müller freier IT Mitarbeiter und Geschäftsführer Lena Frank Systems Engineer @ EMC Marius Lohr Systems Engineer @ EMC Fallbeispiel:

Mehr

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company

Mehr