Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt

Save this PDF as:
Größe: px
Ab Seite anzeigen:

Download "Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache."

Transkript

1 Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt

2 Apache The Apache Software Foundation Community und Code Apache Software License Free + Open + Source Mission: Software free of charge problemlos in Closed Source verwendbar

3 Referent unabhängiger Software Architekt, Frankfurt Member The Apache Software Foundation aktiv in Apache James Apache Labs (PMC Chair) Vysper: XMPP Server

4 Inhalt Übersicht Hadoop Distributed Computing Architektur Verteiltes File System: HFS Verteilte Datenbank: HBase Verteilte Programme: Map/Reduce Das Hadoop Umfeld

5 Hadoop Produkte Hadoop HFS Hadoop HBase MapReduce Zookeeper Pig Distributed File System Distributed Database Distributed Data Processing Coordinate Distributed Processes Data Analysis Language

6 Warum Hadoop? Verbessert... Skalierbarkeit (Datenmenge) Durchsatz ( Throughput ) Reliability: Design-for-failure...durch Einsatz von COTS Hardware Trade-offs: Latency, Consistency

7 klassisch: 3-tier

8 3-tier Eigenschaften Daten skalieren...gigabyte Relationale DB: Dutzende Spalten Millionen von Zeilen Redundante Daten sind nicht live Skalierbarkeit sehr begrenzt mehrere single points of failure

9 Distributed Computing

10 Hadoop Eigenschaften Daten skalieren... Terabyte Distributed DB: Millionen von Spalten Milliarden von Zeilen Redundante Daten sind alle zugreifbar Skalierbarkeit auf DataNodes DataNode = Fail-over, NameNode = SPF

11 Distributed Write Name Node Replication Control 3. Replication Coordination NYC 4a. Replicate 1. Coordinate Write Zürich Client 4b. Replicate 2. Initial Write

12 HFS Vorbild: Google File System verteiltes FS Software-FS, benutzt die File Systeme der Betriebssysteme (Linux) R/W: Client greift direkt auf DataNode zu FS regelt Verteilung & fail-over

13 HBase Vorbild: Google s BigTable basiert auf HFS Jede Zelle ist versioniert schwach besetzte Matrix schema-frei & keine Fremdschlüssel Zeilen sind geordnet, über definierten Key Jede Spalte gehört zu einer ColumnFamily

14 RDB: Storing Mail key h_from h_to body type read prio M1 openexpo.ch apache.org Hi! text :24 2 M2 spammer.de apache.org <a href= scam.html > Buy me!</a> html :00-1

15 HBase: Storing Mail key M1 time stamp t3 header: body: tag: from to text html read prio openexpo.ch apache.org Hi! <b>hi!</b> M2 t4 spammer.de apache.org <a href= scam.html > Buy me!</a> Yes M1 t :24 1 M1 t6 2

16 Map/Reduce Vorbild: Google s Map/Reduce Paper führt Programme auf Hadoop aus Code & Daten nah beieinander verteilt/parallelisiert Daten und Code

17 Map DataNode Code Data Big Problem DataNode Code Data Code Many Data DataNode Code Data DataNode Code Data

18 Reduce DataNode Partial Result DataNode Partial Result Big Problem DataNode Partial Result Result DataNode Partial Result

19 Map/Reduce Anwendungen Aggregationen über viele Daten Zähle für jede Webseite, wieviele andere Seiten auf sie verweisen! Monte-Carlo-Simulation Invertieren großer Matrizen siehe Apache Mahout!

20 Map/Reduce: Link-Zähler Map Job1 Sites for openexpo.ch 2 [a-g].ch apache.org 1 Map Job 2 [h-l].ch openexpo.ch 1 Map Job 3 [m-z].ch openexpo.ch 1 Reduce openexpo.ch 4 apache.org 1

21 Manage Map/Reduce TaskTracker Startet und überwacht Nodes Koordiniert Übergang von Map zu Reduce Einzeltask Fail-over: auf Ersatz-Nodes

22 verwandte Apache Produkte Apache Nutch Apache Mahout Hama (Incubator) Internetcrawler Maschinenlernen Matrizenoperationen CouchDB (Incubator) Distributed DB (Erlang)

23 Links

24 Vielen Dank! Besuchen Sie uns auf dem ASF Stand! Fragen und Antworten Do you believe in the Users? Behind the Scenes of the ASF Ceki Gülcü Taming content repositories with Sling Brian Fitzpatrick Do 10:10 Lars Eilebrecht Do 13:10 SLF4j and logback projects Do 13:50 Bertrand Delacrétaz Do 15:10

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Apache Software Foundation

Apache Software Foundation Apache Software Foundation Leading the Wave of Open Source Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Wie alles begann 1996: Loser Zusammenschluß von

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

PostgreSQL in großen Installationen

PostgreSQL in großen Installationen PostgreSQL in großen Installationen Cybertec Schönig & Schönig GmbH Hans-Jürgen Schönig Wieso PostgreSQL? - Die fortschrittlichste Open Source Database - Lizenzpolitik: wirkliche Freiheit - Stabilität,

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Hadoop-as-a-Service (HDaaS)

Hadoop-as-a-Service (HDaaS) Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Arnold Müller freier IT Mitarbeiter und Geschäftsführer Lena Frank Systems Engineer @ EMC Marius Lohr Systems Engineer @ EMC Fallbeispiel:

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Open Source als de-facto Standard bei Swisscom Cloud Services

Open Source als de-facto Standard bei Swisscom Cloud Services Open Source als de-facto Standard bei Swisscom Cloud Services Dr. Marcus Brunner Head of Standardization Strategy and Innovation Swisscom marcus.brunner@swisscom.com Viele Clouds, viele Trends, viele Technologien

Mehr

EHCache und Terracotta. Jochen Wiedmann, Software AG

EHCache und Terracotta. Jochen Wiedmann, Software AG EH und Terracotta Jochen Wiedmann, Software AG Autor Perl-Contributor DBD::mySQL 2, DBI::Proxy, DBI::Shell, DBD::CSV, Net::Daemon, RPC::Pl(Client Server) (Autor) DBI (Developer) ASF-Member (Apache Software

Mehr

Dokumentenorientierte Datenbanken - MongoDB

Dokumentenorientierte Datenbanken - MongoDB Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell

Mehr

Überblick und Vergleich von NoSQL. Datenbanksystemen

Überblick und Vergleich von NoSQL. Datenbanksystemen Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH

Complex Hosting. Whitepaper. Autor.: Monika Olschewski. Version: 1.0 Erstellt am: 14.07.2010. ADACOR Hosting GmbH Complex Hosting Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Complex Hosting

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

Dateisysteme und Datenverwaltung in der Cloud

Dateisysteme und Datenverwaltung in der Cloud Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1

Mehr

Big Data Management Thema 14: Cassandra

Big Data Management Thema 14: Cassandra Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read

Mehr

Continuous Database Integration mit Flyway

Continuous Database Integration mit Flyway XP Days Germany 2015 Continuous Database Integration mit Flyway Sandra Parsick info@sandra-parsick.de @SandraParsick Zur meiner Person Freiberufliche Softwareentwickler und Consultant im Java- Umfeld Schwerpunkte:

Mehr

BigTable. 11.12.2012 Else

BigTable. 11.12.2012 Else BigTable 11.12.2012 Else Einführung Distributed Storage System im Einsatz bei Google (2006) speichert strukturierte Daten petabyte-scale, > 1000 Nodes nicht relational, NoSQL setzt auf GFS auf 11.12.2012

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?

Mehr

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de Big Data in a Nutshell Dr. Olaf Flebbe of ät oflebbe.de Zu mir Bigdata Projekt, benutzt Apache Bigtop Linux seit Anfang vor Minix/ATARI Linuxtag 2001? Promoviert in Computational Physics in Tü Seit Jan

Mehr

FileLock FLEXIBLE SKALIERBARE KOSTENEFFIZIENTE HARDWARE- UNABHÄNGIGE LÖSUNGEN ZUR LANG-ZEIT DATENARCHIVIERUNG YOUR DATA.

FileLock FLEXIBLE SKALIERBARE KOSTENEFFIZIENTE HARDWARE- UNABHÄNGIGE LÖSUNGEN ZUR LANG-ZEIT DATENARCHIVIERUNG YOUR DATA. FileLock FLEXIBLE SKALIERBARE KOSTENEFFIZIENTE HARDWARE- UNABHÄNGIGE LÖSUNGEN ZUR LANG-ZEIT DATENARCHIVIERUNG YOUR DATA. YOUR CONTROL Simplify Compliance Produkt Highlights: einfach bedienbar hardwareunabhängig

Mehr

HDFS als schneller und günstiger Storage?

HDFS als schneller und günstiger Storage? HDFS als schneller und günstiger Storage? Das Hadoop Distributed File System (HDFS) verwaltet spielend riesige Datenmengen, lässt sich im laufenden Betrieb bequem skalieren und ist komfortabel zu administrieren.

Mehr

Die wichtigsten Hadoop-Komponenten für Big Data mit SAS

Die wichtigsten Hadoop-Komponenten für Big Data mit SAS Webinar@Lunchtime Die wichtigsten Hadoop-Komponenten für Big Data mit SAS Herzlich Willkommen bei Webinar@Lunchtime Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Xing-Profil:

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Albert HAYR Linux, IT and Open Source Expert and Solution Architect. Open Source professionell einsetzen

Albert HAYR Linux, IT and Open Source Expert and Solution Architect. Open Source professionell einsetzen Open Source professionell einsetzen 1 Mein Background Ich bin überzeugt von Open Source. Ich verwende fast nur Open Source privat und beruflich. Ich arbeite seit mehr als 10 Jahren mit Linux und Open Source.

Mehr

5. Programmierschnittstellen für XML

5. Programmierschnittstellen für XML 5. Programmierschnittstellen für Grundlagen Dr. E. Schön FH Erfurt Sommersemester 2015 Seite 135 Programmierschnittstelle Notwendigkeit: Zugriff auf -Daten durch Applikationen wiederverwendbare Schnittstellen

Mehr

Das Beste aus zwei Welten

Das Beste aus zwei Welten : Das Beste aus zwei Welten Das Beste aus zwei Welten Aufruf von R Funktionen mit PROC IML KSFE 2012 08.03.2012 ist IT Dienstleister für Business Intelligence und Datenanalyse gibt es seit über 20 Jahren

Mehr

5. Programmierschnittstellen für XML

5. Programmierschnittstellen für XML 5. Programmierschnittstellen für für Medientechnologen Dr. E. Schön Wintersemester 2015/16 Seite 146 Notwendigkeit: Programmierschnittstelle Zugriff auf -Daten durch Applikationen wiederverwendbare Schnittstellen

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

Solaris Cluster. Dipl. Inform. Torsten Kasch <tk@cebitec.uni Bielefeld.DE> 8. Januar 2008

Solaris Cluster. Dipl. Inform. Torsten Kasch <tk@cebitec.uni Bielefeld.DE> 8. Januar 2008 Dipl. Inform. Torsten Kasch 8. Januar 2008 Agenda Übersicht Cluster Hardware Cluster Software Konzepte: Data Services, Resources, Quorum Solaris Cluster am CeBiTec: HA Datenbank

Mehr

Hadoop. Simon Prewo. Simon Prewo

Hadoop. Simon Prewo. Simon Prewo Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"

Mehr

Big Data in der Praxis

Big Data in der Praxis Jonas Freiknecht Big Data in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren HANSER Vorwort XI 1 Einleitung 1 2 Big-Data 7 2.1 Historische Entstehung 8 2.2 Big-Data

Mehr

HA Architekturen mit MySQL

HA Architekturen mit MySQL HA Architekturen mit MySQL DOAG SIG Database MySQL, Hannover, 19. May 2011 Oli Sennhauser Senior MySQL Consultant, FromDual GmbH oli.sennhauser@fromdual.com http://www.fromdual.com www.fromdual.com 1 FromDual

Mehr

Wonderware 2014. InTouch 11.0 Wonderware InTouch 2014

Wonderware 2014. InTouch 11.0 Wonderware InTouch 2014 März 2014 2014 Invensys. All Rights Reserved. The names, logos, and taglines identifying the products and services of Invensys are proprietary marks of Invensys or its subsidiaries. All third party trademarks

Mehr

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131 Architekturen Von der DB basierten zur Multi-Tier Anwendung DB/CRM (C) J.M.Joller 2002 131 Lernziele Sie kennen Design und Architektur Patterns, welche beim Datenbankzugriff in verteilten Systemen verwendet

Mehr

!"#$"%&'()*$+()',!-+.'/',

!#$%&'()*$+()',!-+.'/', Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook

Mehr

Einführung in CouchDB

Einführung in CouchDB Einführung in CouchDB Zurücklehnen und entspannen! http://slog.io Thomas Schrader (@slogmen) 12/2010 Übersicht Bestandsaufnahme Ansatz Geschichte Technologien Features Skalierbarkeit Kurz & Gut Fazit Relationale

Mehr

Open Source. Hendrik Ebbers 2015

Open Source. Hendrik Ebbers 2015 Open Source Hendrik Ebbers 2015 Open Source About me Hendrik Ebbers Lead of JUG Dortmund Java Architect @ Canoo Engineering AG JavaOne Rockstar, Java Expert Group Member Speaker, blogger & author Engineering

Mehr

Big Data in der Forschung

Big Data in der Forschung Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die

Mehr

CentricStor FS. Scale out File Services

CentricStor FS. Scale out File Services CentricStor FS Scale out File Services Richard Schneider Product Marketing Storage 1 Was ist CentricStor FS? CentricStor FS ist ein Speichersystem für das Data Center Zentraler Pool für unstrukturierte

Mehr

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek. wojtenek@mac.com Verfügbarkeit von Applikationen und Failover Szenarien Winfried Wojtenek wojtenek@mac.com Verfügbarkeit % Tage Stunden Minuten 99.000 3 16 36 99.500 1 20 48 99.900 0 9 46 99.990 0 0 53 99.999 0 0 5 Tabelle

Mehr

Interoperabilität mit Office-Anwendungen (1)

Interoperabilität mit Office-Anwendungen (1) Interoperabilität mit Office-Anwendungen (1) Durch.NET Programme (z.b. Visual Basic) können Microsoft-Office- Anwendungen automatisiert werden. Diese Technik basiert auf den s.g. Interop-Assemblys das

Mehr

vinsight BIG DATA Solution

vinsight BIG DATA Solution vinsight BIG DATA Solution München, November 2014 BIG DATA LÖSUNG VINSIGHT Datensilos erschweren eine einheitliche Sicht auf die Daten...... und machen diese teilweise unmöglich einzelne individuelle Konnektoren,

Mehr

Prof. Dr.-Ing. Rainer Schmidt 1

Prof. Dr.-Ing. Rainer Schmidt 1 Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2

Mehr

Webseiten-Bericht für bibekkumarshrestha.com.np

Webseiten-Bericht für bibekkumarshrestha.com.np Website SEO Analysis and Seo Service Webseiten-Bericht für bibekkumarshrestha.com.np Generiert am 19 Januar 2016 04:08 AM Der Wert ist 69/100 Improve Score for just $99 SEO Inhalte Seitentitel SEO Specialist

Mehr

TimeMachine. Installation und Konfiguration. Version 1.4. Stand 09.01.2014. Dokument: installcentos.odt

TimeMachine. Installation und Konfiguration. Version 1.4. Stand 09.01.2014. Dokument: installcentos.odt Installation und Konfiguration Version 1.4 Stand 09.01.2014 TimeMachine Dokument: installcentos.odt Berger EDV Service Tulbeckstr. 33 80339 München Fon +49 89 13945642 Mail rb@bergertime.de Versionsangaben

Mehr

Open Source in der Cloud

Open Source in der Cloud Open Source in der Cloud Jens Fitzke fitzke@lat-lon.de http://www.lat-lon.de/ über lat/lon Uni Bonn spin-off als GbR (2000) - 2004: GmbH GDI/OGC/ISO-Kompetenz + Freie Software Beratung, Software-/Lösungsentwicklung,

Mehr

Zentrale Steuerkonsole sämtlicher NetKey Tools. Zentrale gescannte Hardware-Informationen. Übersichtliches Software-Inventar über alle PCs

Zentrale Steuerkonsole sämtlicher NetKey Tools. Zentrale gescannte Hardware-Informationen. Übersichtliches Software-Inventar über alle PCs Zentrale Steuerkonsole sämtlicher NetKey Tools Die PMC PC Management Console bildet den Kern von Net- Key. Als zentrales Steuerelement für sämtliche NetKey Tools verwaltet sie alle relevanten betriebswirtschaftlichen

Mehr

R.I.P Oracle-Datenbank. ggg

R.I.P Oracle-Datenbank. ggg R.I.P Oracle-Datenbank ggg DOAG Konferenz + Ausstellung - Nürnberg 16. November 2016 Jedes IT-Projekt benötigt eine Datenbank 2 Große Websites, aber... 3 Gartner Studie 4 DB-Engines Ranking 5 Anwendungsfall

Mehr

Kooperativer Speicher: Schwächen und Gegenmaßnahmen

Kooperativer Speicher: Schwächen und Gegenmaßnahmen Kooperativer Speicher: Schwächen und Gegenmaßnahmen Cooperative storage: weaknesses and countermeasures Lutz Behnke 2. Dezember 2005 2005 Lutz Behnke 1 /home/sage/texte/haw/master/seminar/coop_storage_failure.sxi

Mehr

PV-S1600 Betriebssystem-Aktualisierungsvorgang. Sie müssen die beiden folgenden Schritte ausführen,

PV-S1600 Betriebssystem-Aktualisierungsvorgang. Sie müssen die beiden folgenden Schritte ausführen, PV-S1600 Betriebssystem-Aktualisierungsvorgang Vorbereitung Sie müssen die beiden folgenden Schritte ausführen, bevor Sie den unten beschriebenen Vorgang ausführen können. Installieren Sie den File Transfer

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

Microsoft SharePoint 2013 Vorteile und Neuheiten. Fachseminar Microsoft SharePoint 2013

Microsoft SharePoint 2013 Vorteile und Neuheiten. Fachseminar Microsoft SharePoint 2013 Microsoft SharePoint 2013 Vorteile und Neuheiten Fachseminar Microsoft SharePoint 2013 Agenda Systemanforderungen Lizensierung / Versionen Neues zu: Installation Migration Oberfläche Modern UI (Metro)

Mehr

Konsistenzproblematik bei der Cloud-Datenspeicherung

Konsistenzproblematik bei der Cloud-Datenspeicherung Konsistenzproblematik bei der Cloud-Datenspeicherung ISE Seminar 2012 Adrian Zylla 1 Cloud Bereitstellung von Speicher- und Rechenkapazität Die Cloud ist für den Anwender eine Blackbox Besitzt drei Servicemodelle

Mehr

Installation / Update Advantage Database Server. Die Software Hausverwaltung

Installation / Update Advantage Database Server. Die Software Hausverwaltung Installation / Update Advantage Database Server Die Software Hausverwaltung Inhaltsverzeichnis 1. DOWNLOAD DES AKTUELLEN ADVANTAGE DATABASE SERVERS... 1 2. ERSTINSTALLATION DES ADVANTAGE DATABASE SERVERS...

Mehr

inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale.

inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale. inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale. Mit inphonation erhält der Nutzer - schnell und aktuell abhängig von seinem Aufenthaltsort das Wissen, das er dort benötigt und

Mehr

Excel beschleunigen mit dem mit Windows HPC Server 2008 R2

Excel beschleunigen mit dem mit Windows HPC Server 2008 R2 Excel beschleunigen mit dem mit Windows HPC Server 2008 R2 Steffen Krause Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/steffenk Haftungsausschluss Microsoft kann für die Richtigkeit

Mehr

TinyMCE. Frederik Leidloff

TinyMCE. Frederik Leidloff TinyMCE Frederik Leidloff Übersicht 2 TinyMCE Lizenz Entwicklung Bug Beschreibung XSS und Same Origin Policy Problemlösung TinyMCE 3 Tiny Moxiecode Content Editor Anpassbar durch Themes und Plugins Sprache

Mehr

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer

Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum

Mehr

Albert Dengg. Graz, 2013-04-24

Albert Dengg. Graz, 2013-04-24 1 / 14 Oder: System wirklich und was kann man tun um die Situation zu verbessern? Graz, 2013-04-24 2 / 14 Über meine Person Studiere Medizinische Informatik an der TU-Wien Arbeite seit 1998 mit GNU/Linux

Mehr

www.google- melange.com

www.google- melange.com www.google- melange.com Agenda Was Wie Warum Google S:pendien Teilnehmende Nützliche ist Google Summer of Code? funk:oniert Google Summer of Code? sollte ich teilnehmen? Summer of Code Zeitplan Projekte

Mehr

Copyright & Copyriot

Copyright & Copyriot Sabine Nuss: Copyright & Copyriot Aneignungskonflikte um geistiges Eigentum im informationellen Kapitalismus (S. 74 88) Dominik Paulus Hochschule Darmstadt Fachbereich Informatik Informatik und Gesellschaft

Mehr

ALM mit Visual Studio Online. Philip Gossweiler Noser Engineering AG

ALM mit Visual Studio Online. Philip Gossweiler Noser Engineering AG ALM mit Visual Studio Online Philip Gossweiler Noser Engineering AG Was ist Visual Studio Online? Visual Studio Online hiess bis November 2013 Team Foundation Service Kernstück von Visual Studio Online

Mehr

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company

Mehr

Wörterbücher von MS nach Ooo konvertieren

Wörterbücher von MS nach Ooo konvertieren Wörterbücher von MS nach Ooo konvertieren Herausgegeben durch das deutschsprachige Projekt von OpenOffice.org Autoren Autoren vorhergehender Versionen RPK ggmbh Kempten Copyright und Lizenzhinweis Copyright

Mehr

Bernd Fondermann brainlounge. Blaue oder rote Pille: SQL oder MapReduce?

Bernd Fondermann brainlounge. Blaue oder rote Pille: SQL oder MapReduce? Bernd Fondermann brainlounge Blaue oder rote Pille: SQL oder MapReduce? TODOs pills on all pages upd source code 1 Blaue oder rote Pille - SQL oder MapReduce? Bernd Fondermann, BigDataCon/JAX 2012 2 Rote

Mehr

Freie Software: Was bringt s mir? Peter Bubestinger, David Ayers. 17. Mai 2008

Freie Software: Was bringt s mir? Peter Bubestinger, David Ayers. 17. Mai 2008 1 / 26 17. Mai 2008 2 / 26 Worum geht s in diesem Vortrag? Freie Software (...und dem Chef) 3 / 26 Freie Software...im Unterschied zu: Freeware (Skype, Acrobat Reader,...) Proprietäre Software Open Source?

Mehr

inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale.

inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale. inphonation macht aus jedem Mobilgerät eine kleine Informationszentrale. Mit inphonation erhält der Nutzer - schnell und aktuell abhängig von seinem Aufenthaltsort das Wissen, das er dort benötigt und

Mehr

Gliederung Erkennung anhand des Absenders. Methoden zur Filterung und Blockung. Alexandru Garnet

Gliederung Erkennung anhand des Absenders. Methoden zur Filterung und Blockung. Alexandru Garnet Methoden zur Filterung und Blockung von Mails Alexandru Garnet Seminar Intenetkommunikation WS 2004/2005 Prof. Dr. Martin Leischner 1 Gliederung Erkennung anhand des Absenders Whitelist/Blacklist Realtime

Mehr

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN Dr. Bernd Kiupel Azure Lead Microsoft Schweiz GmbH NEUE MÖGLICHKEITEN DURCH UNABHÄNGIGKEIT VON INFRASTRUKTUR BISHER: IT-Infrastruktur begrenzt Anwendungen

Mehr

. Sage-Einsatz in der Lehre. Open Source Mathematik-Software. Jochen Schulz. Georg-August Universität Göttingen 1/15

. Sage-Einsatz in der Lehre. Open Source Mathematik-Software. Jochen Schulz. Georg-August Universität Göttingen 1/15 1/15 Sage-Einsatz in der Lehre Open Source Mathematik-Software Jochen Schulz Georg-August Universität Göttingen 2/15 Aufbau 1 Was ist Sage? 2 Erfahrungen - Ein Beispiel 3 Zusammenfassung 3/15 Aufbau 1

Mehr

Torsten Flatter inovex GmbH. "Git.NET" gibt's nicht?

Torsten Flatter inovex GmbH. Git.NET gibt's nicht? Torsten Flatter inovex GmbH "Git.NET" gibt's nicht? Vorstellung Torsten Flatter inovex GmbH.NET / C# seit 2004 VSS, CVS, SVN, TFS, hq, git Enterprise-Umfeld Agenda Überblick Grundlagen Einsatzbereiche

Mehr

Auf dem Weg in das postrelationale Zeitalter

Auf dem Weg in das postrelationale Zeitalter Auf dem Weg in das postrelationale Zeitalter Karin Schatz InterSystems GmbH (schatz@intersystems.de) DECUS 18.04.2002 Topics Was ist Caché? Wer ist InterSystems? Beispiel-Installationen Live Entwicklung

Mehr

Umbenennen eines NetWorker 7.x Servers (UNIX/ Linux)

Umbenennen eines NetWorker 7.x Servers (UNIX/ Linux) NetWorker - Allgemein Tip #293, Seite 1/6 Umbenennen eines NetWorker 7.x Servers (UNIX/ Linux) Dies wird offiziell nicht von unterstützt!!! Sie werden also hierfür keinerlei Support erhalten. Wenn man

Mehr

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern

Mehr

Wie Amazon mit Hilfe von Technologie und Daten erfolgreich ist Startup Firmen in Deutschland und weltweit haben Agilität, Innovation und globale

Wie Amazon mit Hilfe von Technologie und Daten erfolgreich ist Startup Firmen in Deutschland und weltweit haben Agilität, Innovation und globale Wie Amazon mit Hilfe von Technologie und Daten erfolgreich ist Startup Firmen in Deutschland und weltweit haben Agilität, Innovation und globale Reichweite in ihrer DNA. Was sind ihre Erfolgskriterien,

Mehr

Sichere Einbindung von Open Source in kommerzielle Projekte

Sichere Einbindung von Open Source in kommerzielle Projekte Sichere Einbindung von Open Source in kommerzielle Projekte Urs Böhm BU Embedded Juli 2014 Noser Engineering AG 2014, Alle Rechte vorbehalten. Disclaimer: Ich bin kein Jurist! Dies ist keine juristische

Mehr

WebReplicator 2005. WebReplicator 2005. Features. Net Server

WebReplicator 2005. WebReplicator 2005. Features. Net Server WebReplicator 2005 Features Replizierung mit beliebig vielen Replikanten Sichere Replizierung durch Repository-Technik Timestamp-Konfliktmanagement Integrierter Zeitcheck für ein sicheres Timestamp-Verfahren

Mehr

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012

Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012 Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing

Mehr

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce

MapReduce und Datenbanken Thema 15: Strom bzw. Onlineverarbeitung mit MapReduce MapReduce Jan Kristof Nidzwetzki MapReduce 1 / 17 Übersicht 1 Begriffe 2 Verschiedene Arbeiten 3 Ziele 4 DEDUCE: at the intersection of MapReduce and stream processing Beispiel 5 Beyond online aggregation:

Mehr

EMC. Data Lake Foundation

EMC. Data Lake Foundation EMC Data Lake Foundation 180 Wachstum unstrukturierter Daten 75% 78% 80% 71 EB 106 EB 133 EB Weltweit gelieferte Gesamtkapazität Unstrukturierte Daten Quelle März 2014, IDC Structured vs. Unstructured

Mehr

Übersicht. Eclipse Foundation. Eclipse Plugins & Projects. Eclipse Ganymede Simultaneous Release. Web Tools Platform Projekt. WSDL Editor.

Übersicht. Eclipse Foundation. Eclipse Plugins & Projects. Eclipse Ganymede Simultaneous Release. Web Tools Platform Projekt. WSDL Editor. Eclipse WSDL-Editor Übersicht Eclipse Foundation Eclipse Plugins & Projects Eclipse Ganymede Simultaneous Release Web Tools Platform Projekt WSDL Editor Bug #237918 Eclipse Foundation Was ist Eclipse?

Mehr

SEMINAR Modifikation für die Nutzung des Community Builders

SEMINAR Modifikation für die Nutzung des Community Builders 20.04.2010 SEMINAR Modifikation für die Nutzung des Community Builders Step by Step Anleitung ecktion SEMINAR Modifikation für die Nutzung des Community Builders Step by Step Anleitung Bevor Sie loslegen

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der

Mehr

OSS & Cloud Computing: der Motor für das Geoportal Bund

OSS & Cloud Computing: der Motor für das Geoportal Bund OSS & Cloud Computing: der Motor für das Geoportal Bund Hanspeter Christ, Prozessleiter a.i. Webinfrastruktur swisstopo David Oesch, Projektleiter Geoportal Bund Ausgangslage: Geoportal Bund Situation

Mehr

3. Stud.IP-Entwickler-Workshop 2. Juni 2006 Workshop 3c: Stud.IP-Enterprise-Edition André Noack, Frank Elsner

3. Stud.IP-Entwickler-Workshop 2. Juni 2006 Workshop 3c: Stud.IP-Enterprise-Edition André Noack, Frank Elsner 3. Stud.IP-Entwickler-Workshop 2. Juni 2006 Workshop 3c: Stud.IP-Enterprise-Edition André Noack, Frank Elsner Gliederung Das Problem: Skalierbarkeit LAMP Tuning Mehr als ein Server Stud.IP und shared nothing

Mehr

Tuning des Weblogic /Oracle Fusion Middleware 11g. Jan-Peter Timmermann Principal Consultant PITSS

Tuning des Weblogic /Oracle Fusion Middleware 11g. Jan-Peter Timmermann Principal Consultant PITSS Tuning des Weblogic /Oracle Fusion Middleware 11g Jan-Peter Timmermann Principal Consultant PITSS 1 Agenda Bei jeder Installation wiederkehrende Fragen WievielForms Server braucheich Agenda WievielRAM

Mehr