HDFS als schneller und günstiger Storage? Ja, sagen ADACOR und Red Bull Media House GmbH

Transkript

1 Open-Xchange Immer Up-to-Date dank multifunktionaler Groupware Seite 3 Im Interview Andreas Melzner von Cologne Intelligence Seite 4 Fabian Dorschel vom Red Bull Media House Seite 11 Alexander Constantin von Signal7 Seite 12 Neu Live jetzt noch näher dran! Mit Human Data Monitoring Seite 14 TOPTHEMA HDFS als schneller und günstiger Storage? Ja, sagen ADACOR und Red Bull Media House GmbH Seite 6

2 Editorial Inhalt Editorial...02 Tools Mit der multifunktionalen Groupware-Lösung von Open-Xchange immer Up-to-Date...03 Im Interview ADACOR setzt auf strategische Partnerschaften: Interview mit Andreas Melzner von Cologne Intelligence...04 Top-Thema HDFS als schneller und günstiger Storage? Ja, sagen die ADACOR und Red Bull Media House GmbH...06 Im Interview Innovative Mediendistribution im digitalen Zeitalter: Interview mit Fabian Dorschel vom Red Bull Media House Im Interview Komplexe Anforderungen verlangen komplexe Lösungsansätze: Interview mit Alexander Constantin von Signal Neuheiten Live jetzt noch näher dran! Mit Human Data Monitoring ADACOR Aktuell Mit Hitradio FFH auf den Hund gekommen Kurz vorgestellt: Systemadministrator Christian Saar Hallo Sie, ja Sie! Unsere Sommerausgabe der Behind The Scene ist diesmal im wahrsten Sinne des Wortes ins Wasser gefallen. Hatten wir überhaupt Sommer? Eher sind wir vom verlängerten Frühling direkt in den Herbst gestolpert, daher wird diese Ausgabe der BTS auch umfangreicher als sonst. Der eigentlich nicht dagewesene Sommer hat uns fest in seinem Projektgriff gehabt. Große Projekte werfen große Schatten voraus und ein Kernthema dieser Ausgabe wird unsere Arbeit mit der Red Bull Media House GmbH sein. Für die Be reitstellung der vielfältigen medialen Daten aus dem Unternehmen Red Bull bedurfte es eines ebenso vielfältigen und ausgeklügelten Konzeptes. Ein Hadoop- Cluster versorgt seither Mediastationen weltweit mit Video- und Bilddaten. Lesen Sie mehr über die Hadoop-Technologie, ihren genauen Einsatzzweck und warum wir uns für die gleiche Technologie wie Google entschieden haben. Mit unserem Partner Signal7 haben wir beim Red-Bull-Media-House-Projekt zusammengearbeitet. Im Interview erfahren Sie warum, wieso, weshalb. Human Data Monitoring von examedia bietet interessante Möglichkeiten, sportliche und mentale Belastungen zu visualisieren. Welche Möglichkeiten heute und zukünftig diese Anwendung bietet, beschreibt unser Bericht. Natürlich finden Sie auch wieder reichlich News aus der ADACOR sowie weitere Projekte, Interviews und Kurzweiliges. Das wollen wir Ihnen nicht vorenthalten. Viel Lesespaß, Ideen, Anregungen und natürlich viel Vergnügen wünscht Ihnen Ihr Christian Spin Chefredakteur ADACOR Behind The Scene Leiter Vertrieb und Marketing 2 Behind The Scene Ausgabe 08 / November

3 Immer Up-to-Date mit Open-Xchange Open-Xchange, das ist die Groupware des gleichnamigen Herstellers, die in verschiedenen Lizenzierungsvarianten erhältlich ist und Unternehmen dabei unterstützen soll, organisatorische und administrative Prozesse innerhalb eines Teams zu strukturieren und zu optimieren. Ob das Programm hält, was es verspricht? Nun, der Markt an erhältlichen Groupware-Lösungen ist denkbar groß. So gibt es z. B. Lotus Notes von IBM, Groupwise von Novell oder auch Microsoft-SharePoint- Technologien. Alles namhafte Anbieter. Warum also hat sich ADACOR schließlich für die OpenSource-Software Open-Xchange entschieden? Die Wahl ist auf Open-Xchange gefallen, weil diese Applikation den Anforderungen des ständig wachsenden Teams am besten gerecht wurde, erklärt Patrick Fend, Geschäftsführer und technischer Leiter der ADACOR Hosting GmbH. OpenSource: ein Muss für ADACOR? Ja, dass es sich bei OpenXchange um eine OpenSource-Groupware handelt, war für ADACOR durchaus ausschlaggebend bei der Entscheidung für Open-Xchange. Denn es ist ausgesprochen praktisch, wenn z. B. bestimmte Konfigurationen oder Schnittstellen angepasst werden müssen. Man kann die entsprechenden Änderungen dann selbst vornehmen. Vorausgesetzt natürlich, man weiß, was man tut. Seit Anfang 2010 setzt ADACOR Open-Xchange ein. Veraltete Systeme wurden in diesem Zusammenhang abgelöst und gleichzeitig die Voraussetzung für strukturiertere Arbeitsabläufe und eine verbesserte Kommunikation innerhalb des Teams geschaffen. Ausschlaggebend bei der Entscheidung für Open-Xchange waren vor dem Hintergrund der zwei Standorte in Offenbach und Essen letztlich folgende Features: Open-Xchange unterstützt Mobil-Devices, insbesondere die Synchronisation mit Blackberries und so genannter PIM-Daten (PIM = Personal Information Manager) mithilfe der Zusatzsoftware OXtender für Business Mobility. Die Anwendung lässt sich komplett in Outlook integrieren, mithilfe des Add-ons OXtender für Outlook. Open-Xchange lässt sich in eine homogene Windowsumgebung integrieren und unterstützt den Abgleich der Windows-Domänen- User. Die Applikation bietet eine große Zahl kompatibler Schnittstellen, es können z. B. IAM-Lösungen (IAM = Identity and Access Management) angebunden werden. Seit der Implementierung, die alles in allem ca. 6 Wochen in Anspruch nahm, nutzt das ADACOR-Team vor allem die Kalenderfunktion, die -Funktion, die Aufgabenverwaltung, das Dokumenten- und Adress- Patrick Fend, Geschäftsführer und technischer Leiter management. Die zentrale Verwaltung der Kontakte und User, der Zugangsberechtigungen und Netzwerk-Logins stellt in Verbindung mit der Synchronisationsfunktion über Mobil-Devices sicher, dass jeder Mitarbeiter von überall stets Zugriff auf die aktuellsten Daten hat. Und das ist immer noch eine der wichtigsten Voraussetzungen für effizientes Arbeiten. Kontakt Patrick Fend Geschäftsführer NOC ADACOR Hosting GmbH Kaiserleistraße Offenbach am Main Telefon: +49 (0) info@adacor.com Internet: Behind The Scene 3

4 Im Interview Herr Andreas Melzner, Geschäftsführer der Cologne Intelligence GmbH in Köln Um auf die verschiedensten Kundenanforderungen bestmöglich reagieren zu können, setzt die ADACOR Hosting GmbH auf strategische Partnerschaften. Nachhaltige Lösungsansätze für Kunden wurden z. B. auch gemeinsam mit dem Unternehmen Cologne Intelligence realisiert. Das Unternehmen mit Sitz in Köln ist auf IT- und Prozessberatung spezialisiert. Was macht Cologne Intelligence genau? Cologne Intelligence bietet seinen Kunden einen ganzheitlichen Beratungsansatz, d. h. wir bieten fachliche und technische Beratung aus einer Hand. Konzepte setzen wir mittels erprobten, webbasierten Standardlösungen um, die wir individuell anpassen und integrieren. Fallweise ent- Eine besondere Stärke von Cologne Intelligence ist die Erfahrung in agiler Softwarewickeln wir auf die Geschäftsprozesse unserer Kunden angepasste Software. Wir haben ein Team von hochqualifizier - ten und erfahrenen Business-Analysten, Software-Entwicklern und Qualitätsmanagern. In den Bereichen Business Intelligence, Individualsoftware-Entwicklung und Enterprise- Architektur gehören unsere Mitarbeiter zu den besten, die der Markt zu bieten hat. An wen richtet sich das Leistungsangebot von Cologne Intelligence? Unsere Lösungen und Beratungsansätze funktionieren branchenunabhängig, da sie stark auf Technologien und Methoden fokussiert sind. Wir haben allerdings weit- reichende Projektexpertisen in den Bereichen Logistik, Finanzdienstleistungen, Energie und Gesundheitswesen. Was unterscheidet Cologne Intelligence von anderen Anbietern? Mit den derzeit 50 Mitarbeitern schaffen wir es, unsere Kunden schnell, flexibel und kostengünstig zu beraten. Dabei können wir von der Konzeption über die Entwicklung bis zur Qualitätssicherung alle Bereiche einer professionellen Software-Entwicklung abdecken. Unsere Kunden wissen unseren Ehrgeiz, unseren Pragmatismus und unsere Offenheit zu schätzen. 4 Behind The Scene Ausgabe 08 / November

5 Entwicklung, die sich mit Methoden wie z. B. Scrum längst bei unseren Kunden etabliert hat. Welche Lösungsansätze bieten Sie Ihren Kunden konkret? Wir konzentrieren uns auf 3 Lösungsbereiche. Im Bereich Business Intelligence bieten wir vom Berichtswesen bis zum komplexen Datawarehouse maßgeschneiderte und integrierte Lösungen an. Dabei setzen wir auf Partnerschaften mit etablierten Lösungsanbietern wie Business Objects (SAP), IBM Cognos oder MS-SQL Server von Microsoft. In der Software-Entwicklung bieten wir individuelle und webbasierte Software zur Abbildung von Geschäftsprozessen an. Dabei konzentrieren wir uns auf JAVA- Technologien, die hinsichtlich Sicherheit, Performanz und Integrationsfähigkeit zu den überlegenen Technologien gehört. Der Bereich Enterprise-Architektur beschäftigt sich mit der Architektur und Organisation von komplexen Systemlandschaften. Diese zu planen oder oftmals durch Methoden wie SOA zu konsolidieren, ist die Aufgabe unserer technischen Architekten. Wie kam es zu der Partnerschaft mit ADACOR? Wir arbeiten seit 2004 mit ADACOR zusammen und haben nach vielen gemeinsamen Projekten bis heute nur gute Erfahrungen in der Zusammenarbeit gemacht. Unser erstes gemeinsames Projekt war der Betrieb einer von uns entwickelten Stammdatenverwaltung für den Deutschen Hausärzteverband. Heute ist daraus mittler weile ein ganzes Rechenzentrum mit vielfältigen Applikationen und Servern im Bereich des Gesundheitswesens geworden. Dabei werden die Applikationen von Cologne Intelligence auf Basis von JAVA-Technologien entwickelt und von ADACOR mit höchsten Leistungs- und Sicherheitsstandards gehostet. Was schätzen Sie an der Zusammenarbeit mit ADACOR? Es ist fantastisch, dass wir einen Partner gefunden haben, der so ähnlich tickt wie wir. Die Geschäftsführung und die Mitarbeiter sind in der Zusammenarbeit einfach kompetent, pragmatisch und schnell. Das ist genau das, was unsere Kunden von uns verlangen und wir natürlich auch von unserem Hosting-Partner verlangen müssen. Es ist fantastisch, dass wir einen Partner gefunden haben, der ähnlich tickt wie wir. (Andreas Melzner) Wie sehen Sie die Entwicklung der Partnerschaft in der Zukunft? Wir sind bei unseren Software-Lösungen darauf angewiesen, einen zuverlässigen Hosting-Partner mit anbieten zu können. Den haben wir in ADACOR gefunden. Ich denke, dass unsere Kunden in Zukunft noch mehr auf das Thema Sicherheit und Datenschutzthemen achten werden. ADACOR und Cologne Intelligence sind in diesen Bereichen exzellent aufgestellt. Da wir bisher gute Erfahrungen in der Zusammenarbeit gemacht haben, kann man sich nur auf weitere gemeinsame Projekte freuen. Interview: Josephine Alberts Kontakt Andreas Melzner Geschäftsführer Cologne Intelligence GmbH Rolshover Straße Köln andreas.melzner@co-in.de Internet: Behind The Scene 5

6 HDFS ALS schneller und günstiger Storage? Ja, sagt nicht nur ADACOR. Auch die Red Bull Media House GmbH ist überzeugt! Das Hadoop Distributed File System (HDFS), die Storage-Einheit des Apache Hadoop Projektes, verwaltet spielend riesige Datenmengen, lässt sich im laufenden Betrieb bequem skalieren und ist komfortabel zu administrieren. Das besondere Konzept des HDFS macht es einerseits robust gegen Ausfälle, andererseits ist es enorm schnell in der Auslieferung. HDFS wurde jedoch ausdrücklich nicht als Online-Storage konzipiert. Wie kam es dennoch dazu, dass die Red Bull Media House GmbH HDFS seit 2008 als Storage für den Red Bull Content Pool einsetzt? 6 Behind The Scene Ausgabe 08 / November

7 Am Anfang war der Content! Und zwar jede Menge davon. So viel, dass sich die Red Bull Media House GmbH nach einer neuen Lösung für den Red Bull Content Pool umsah. Denn das rasant wachsende Datenvolumen und stetig steigende Benutzerzahlen erfordern neue Strategien und Konzepte. Der angesichts dieser Datenmengen enorme Bedarf an Hardware geht jedoch gleichzeitig auch mit einem erhöhten Ausfallrisiko einer dieser Komponenten einher. Eine Problematik, der sich auch die Red Bull Media House GmbH bewusst war. Eine neue Online-Storage-Lösung musste her. Aber welche? Bereits in den ersten Gesprächen legte die Red Bull Media House GmbH ausführlich das Vorhaben von Red Bull dar. Das beachtliche und täglich wachsende Datenvolumen bestmöglich zu verwalten, das wurde schnell deutlich, war dabei die übergeordnete Zielsetzung. Die Anforderungen der Red Bull Media House GmbH Der Red Bull Content Pool dient dem Kunden als zentrales Repository, in dem sämtlicher Content von Red Bull abgelegt wird und in weiterer Folge schnell und einfach weltweit zur Verfügung gestellt werden soll. Dazu zählen neben Moving Images (von kurzen Clips bis zu Kinoproduktionen) auch sämtliche Still Images und Audiodateien, die in verschiedenen Formaten und Qualitätsstufen vorgehalten werden bzw. on-demand jederzeit entsprechend generiert werden können. Die Liste der Anforderungen enthielt neben dem reinen Hosting der gesamten Projekt-Infrastruktur folgende Punkte: Storage im Petabyte-Bereich Redundanz der Daten sehr hohe Lesegeschwindigkeit durch schnelle Datenauslieferung einfache Nutzbarkeit für Applikationen ohne Wartungsfenster skalierbar kurze Downtime im Fehlerfall günstiger als Standardlösungen, beispielsweise mit EMC Zunächst wurde über Standard-Storage-Lösungen von EMC oder NetApp nachgedacht, aber ADACOR schlug vor, auch den Einsatz eines Distributed File Systems oder anderer Lösungen in Erwägung zu ziehen. Beim DFS z. B. handelt es sich um ein verteiltes Dateisystem, das den Zugriff auf Dateien über ein Rechnernetz und die Speicherung der Daten auf mehreren Standard-Servern erlaubt. Verschiedene Open-Source-Ansätze wurden bei der ADACOR Hosting GmbH diskutiert und getestet, um alle Anforderungen zu erfüllen. Darunter waren NFS, GlusterFS, Lustre, Openfiler, CloudStore und schließlich HDFS. Im Folgenden sind die einzelnen Varianten mit ihren Möglichkeiten und Grenzen kurz skizziert; jeweils vor dem Hintergrund der konkreten Kundenanforderungen. Behind The Scene 7

8 Analyse der verschiedenen Lösungsansätze System Pro Contra NFS NFS ist mit Unix-Bordmitteln zu realisieren. Es handelt sich um ein Standardsystem, das auf sämtlichen Unix-Derivaten vorhanden ist. Die Vorteile sind unter anderem finanzieller (Einsatz von Standard-Hardware, keine Lizenzkosten) und administrativer Art (durchsichtiges Konzept, gut zu administrieren). Außerdem ist NFS stabil und vielfach in verschiedensten Rechnerlandschaften getestet, sodass unbekannte Bugs kaum eine Gefahr darstellen. Einige Nachteile fielen so stark ins Gewicht, dass dieser Ansatz verworfen wurde. Dazu zählten die Performance, die nicht vorhandene Replikation der Daten und die Verwaltung des Storage, welche die Applikation vollständig selbst hätte übernehmen müssen. GlusterFS Das dateibasierte GlusterFS wurde für verteilte Systeme (Cluster) entwickelt und ist bei der ADACOR Hosting GmbH bereits in anderem Kontext im Einsatz. Mit steigender Anzahl an GlusterFS-Servern steigt der maximal mögliche Datendurchsatz. GlusterFS verhält sich robust gegen Fehler und kann fast beliebig skaliert werden. Aufgrund des sehr hohen administrativen Aufwandes (aufwändig zu konfigurierende Replikationsmechanismen) und der Baumstruktur, die bei jeder Skalierung eine Downtime erfordert, wurde auch dieser Ansatz verworfen. Lustre Das blockbasierte Dateisystem Lustre überzeugte durch hohe Performance, gute Skalierbarkeit und komfortable Administration. Es verwaltet bis zu mehrere tausend Cluste rnodes sowie Daten im Petabyte-Bereich. Nutzdaten und Metadaten werden getrennt auf unterschiedlichen Servern vorgehalten. Zum Zeitpunkt der Tests fehlten diesem Dateisystem noch die Replikationsmechanismen. So entfiel Lustre als Lösung für die Kundenanforderung. Openfiler Problemlos verwaltet Openfiler interne Platten als Software-RAID. Über iscsi können externe Platten ebenfalls eingebunden werden, was in den Tests auch probiert wurde. Das Einbinden und Verwalten ging mühelos. Einzige Hürde für die konkrete Anforderung ist die große Menge der Daten. Ein Rebuild von 3 Terabyte brauchte mehrere Tage; für Datenmengen im Petabyte-Bereich würde Openfiler zu lang brauchen, daher wurde auch diese Möglichkeit ausgeschlossen. CloudStore CloudStore, ehemals KFS bzw. Kosmosfs, konnte nicht ausgiebig getestet werden, da sich zum Zeitpunkt der Tests diese Variante noch im Entwicklungsstadium befand. Schon beim Kompilieren gab es so erhebliche Schwierigkeiten, dass diese Möglichkeit schon im Ansatz ausgeschlossen wurde. HDFS Das blockbasierte Hadoop Distributed File System (HDFS) ist die Storage-Einheit des Apache Hadoop Projektes und überzeugte durch sehr schnelle Auslieferung der Daten, komfortable Verwaltung von vielen wie auch sehr großen Dateien, erhebliche Fehlertoleranz, zentrale Administration, Einsatz auf Standard-Hardware und Redundanz der Daten. Die HDFS-Umgebung kann ohne Wartungsfenster skaliert werden. HDFS wurde nicht konzipiert, um als Storage-Ersatz verwendet zu werden und der NameNode stellt einen Single Point of Failure dar. 8 Behind The Scene Ausgabe 08 / November

9 Und die Moral von der Geschicht? Dass es die perfekte, allen Anforderungen gleichermaßen gerecht werdende Lösung im Projekt-Alltag nur sehr selten gibt, wissen alle, die sich ernsthaft schon einmal gefragt haben, ob das Phänomen der eierlegenden Woll-Milch-Sau real jemals überlebensfähig wäre. Sprich, alle getesteten Dateisysteme weisen viele Vorteile, aber wegen eines Hardwarefehlers aus oder wird beschädigt, muss er entweder manuell neu gestar- auch einige Nachteile auf. Sie wurden detailliert mit der Red Bull Media House GmbH erörtert. Es tet oder mithilfe eines Ersatz-Nodes wiederhergestellt werden. Auch Konfigurationsdateien sind galt abzuwägen. Der Favorit, der sich vor dem Hintergrund der dann anzupassen. Insgesamt kann dies einige Systemanalysen und im Hinblick auf die Anforderungen von Red Bull heraus kristallisiert hat, war Zugriff auf das HDFS möglich. Aktuell laufende Minuten dauern. Während dieser Zeit ist kein HDFS. Im HDFS gibt es zwei Typen von Servern: Schreib- und Leseprozesse auf das Filesystem NameNodes und DataNodes. Die Datenblöcke werden mit einer Fehlermeldung abgebrochen. werden auf den DataNodes vorgehalten; sämtliche Meta-Informationen sind auf dem Name- wie auch Red Bull bekannt und wird bewusst Die Problematik des NameNodes ist ADACOR Node gespeichert. Alle Daten auf den DataNodes akzeptiert. Nachdem die Entscheidung für HDFS werden mehrfach redundant gesichert, sofern gefallen war, wurde im Rahmen des konkreten ein Replikationsfaktor konfiguriert wurde. Designprozesses deshalb besonders großer Wert darauf gelegt, diesem Schwachpunkt bestmöglich Rechnung zu tragen. Hierfür wird der Index Allerdings stellt der NameNode einen Single Point of Failure dar. Er bildet die Kernfunktion des Systems, das für den schnelleren Lesezugriff große chert und zusätzlich regelmäßig eine Sicherungs- zunächst sowohl lokal als auch im Netz gespei- Dateien in kleinere Datenblöcke teilt. Für diese kopie angelegt. Um Downtimes auf ein Minimum Blöcke vergibt der NameNode IDs, die er im sogenannten Index verwaltet. Fällt der NameNode werden alle Server rund um die Uhr mit der zu reduzieren und Fehler frühzeitig zu erkennen ADACOR hat Vorreitergeist bewiesen! Aufgrund des großen Erfolges der Apache Storage-Einheit HDFS geht die Entwicklung dahin, HDFS vermehrt auch als Storage für andere Projekte zu nutzen. Mittlerweile wurde von Apache für HDFS ein eigenes Subprojekt ins Leben gerufen. Die aktuelle Entwicklung bestätigt unseren für den Red Bull Content Pool verfolgten Lösungsansatz. Wir haben das Potenzial von HDFS als Storage frühzeitig erkannt, es uns zu Nutzen gemacht und unserem Kunden zur Verfügung gestellt. Alexander Lapp, COO und Prokurist NOC ADACOR Hosting GmbH Monitoring-Software Nagios überwacht. Dort ist verankert, dass bei einem Alarm sofort ein Techniker informiert wird, der umgehend eingreifen kann. Für die Red Bull Media House GmbH erwies sich HDFS als die beste Storage-Lösung, die nicht nur in der Theorie, sondern seit 2008 auch in der Praxis sehr gut funktioniert. Sowohl ADACOR als auch die Red Bull Media House GmbH sind mit dem Ergebnis mehr als zufrieden. Aktuell werden netto ca. 250 Terabyte Datenvolumen (brutto aufgrund der Datenredundanz also 500 Terabyte) auf den Servern der ADACOR gehostet. Der inund externe Zugriff auf den Red Bull Content Pool wird von einer eigens hierfür entwickelten Applikation verwaltet: dem Media-Manager. Diese Applikation wurde von einer Darmstädter Firma, der Signal7 GmbH, entwickelt und läuft ebenfalls auf den Servern der ADACOR. In enger Kooperation mit der Forte Advisors AG war Signal7 außerdem maßgeblich an der Konzeption der gesamten Systemarchitektur beteiligt. Lesen Sie mehr darüber in den Interviews auf den folgenden Seiten. Kontakt Alexander Lapp COO und Prokurist NOC ADACOR Hosting GmbH Kaiserleistraße Offenbach am Main Telefon: +49 (0) Internet: Behind The Scene 9

10 Das Apache Hadoop Projekt Die ursprüngliche Aufgabe des Apache Hadoop Projektes bestand in der Verwaltung von riesigen Datenmengen, die bei Suchmaschinen anfallen, während sie das Internet durchsuchen. Ziel dieses Open-Source-Projektes ist eine sichere, gut skalierbare Datenverarbeitung auf verteilten Systemen. Die zentralen Bestandteile sind das Hadoop Common, HDFS und MapReduce. Für die Verarbeitung dieser zahlreichen wie auch sehr großen Dateien wurde der MapReduce- Algorithmus entwickelt, der im Apache Hadoop Projekt seine Implementierung fand. Hadoop Common enthält die grundlegenden Funktionen für sämtliche Hadoop Subprojekte. HDFS hält die Daten vor und MapReduce ermöglicht die Verarbeitung von sehr großen Dateien auf verteilten Systemen. Aufgrund der enormen Datenmengen wird Hadoop im Cluster betrieben. Eine der aktuell größten Implementierungen von Hadoop umfasst rund Server und ist bei Yahoo zu finden. Eine Besonderheit von Hadoop ist der Einsatz von Standard-Hardware. Je nach Projektgröße stellt dies einen erheblichen Kosten- und Zeitvorteil dar. Hadoop ist nicht als Online-Storage konzipiert, das wird auf den Projektseiten des Apache Hadoop Projektes klar postuliert. Dies zeigt sich auch bei einer genaueren Betrachtung der Storage-Komponente HDFS und ihrem Single Point of Failure, dem NameNode, welcher die Indizes sämtlicher gespeicherter Datenblöcke verwaltet. Die Bestandteile des Apache Hadoop Projektes Hadoop Common Den Kern des Konglomerats bildet das Hadoop Common (früher Hadoop Core), in das die übrigen Komponenten eingebettet sind. Hier sind die grundlegenden Funktionen aller Komponenten enthalten. Chukwa Chukwa nutzt die Skalierbarkeit und die Robustheit von Hadoop zur Analyse von Log-Dateien. HBase HBase ist die Hadoop-Datenbank und spezialisiert auf Lese-/ Schreibzugriffe von sehr großen Dateien über viele Systeme (Nodes). HBase orientiert sich an der Bigtable von Google und hat sich als Ziel gesetzt, eine gigantische Tabelle zu verwalten, die Billionen von Zeilen und Millionen von Spalten hat. Das Besondere an HBase und am gesamten Hadoop-Konzept ist die Verwendung von Standard-Hardware. HDFS HDFS verwaltet die in Blöcke aufgespaltenen Dateien sowie ihre Repliken. Es regelt außerdem die Verteilung der jeweiligen Datenblöcke auf den verschiedenen Nodes. Hive Hive enthält neben verschiedenen Analysewerkzeugen auch die Sprache Hive QL, die auf SQL basiert und Datenbankabfragen auf SQL-vertraute Weise erlaubt. Ganz dem Open-Source-Gedanken entsprechend können Entwickler mit Hive QL eigene, spezifischere Analysemethoden implementieren. MapReduce Das Framework MapReduce ermöglicht einen sehr schnellen und parallelen Zugriff auf eine hohe Anzahl an Dateien, die auf zahlreichen Clusternodes verteilt sind. Pig Pig ist die Grundlage für die parallele Verarbeitung. Wie Hive ist auch Pig so konzipiert, dass Entwickler eigene Funktionen programmieren und implementieren können. Zookeeper Mit dem Zookeeper werden Konfigurationen auf verteilten Systemen zentral verwaltet. Über eine Weboberfläche lässt sich der Zookeeper bequem administrieren. 10 Behind The Scene Ausgabe 08 / November

11 Im Interview Fabian Dorschel, Head of Engineering & Innovation der Red Bull Media House GmbH Innovative Medien distribution im digitalen Zeitalter Die Red Bull Media House GmbH, eine 100%ige Tochter der Red Bull GmbH, produziert und vertreibt weltweit Medieninhalte im Kulturund Extremsportbereich. In welcher Form der neue HDFS-basierte Content Pool das Kernstück der Mediendistribution bildet, erklärt Fabian Dorschel im Interview. Welche Funktion erfüllt der Content Pool für das Unternehmen genau? Der Red Bull Content Pool ist die zentrale Content-Drehscheibe in der Red-Bull-Welt. Sämtliche medialen Inhalte, die im Rahmen von hunderten Events jährlich in 160 Ländern, aber auch im Media House selbst, produziert werden, kommen in den Content Pool. Dort durchlaufen sie eine technische und inhaltliche Qualitätskontrolle, werden verschlagwortet, lizenzrechtlich geklärt und schließlich für die filebasierte digitale Distribution über unser Content-Pool-Netzwerk zu Verfügung gestellt. Genau dieser Distributionsteil unterscheidet den Content Pool auch von klassischen Archivsystemen das System ist auf kurze Turn-Around-Times optimiert und ermöglicht die teilautomatisierte Verteilung von Content in verschiedensten Formaten in die ganzen Welt. Die Red Bull Media House GmbH ist der Empfehlung der ADACOR Hosting GmbH gefolgt und hat den neuen Content Pool mit HDFS umgesetzt. Warum haben Sie sich im Hinblick auf die gegebenen Anforderungen für diese Lösung entschieden? Unsere anfänglichen Gespräche mit klassischen Storage-Anbietern haben ergeben, dass deren Lösungen neben den enorm hohen Kosten nicht beliebig skalierbar sind. Daraufhin haben wir uns auf die Suche nach einer innovativen, kostengünstigen und hochskalierbaren Lösung gemacht und sind im Zuge unserer Recherchen auf das Apache Hadoop Projekt gestoßen. Neben den bereits genannten Vorteilen verfügt HDFS mit Ebay, Yahoo, Google etc. auch über entsprechende Referenzen. Zudem kommt das JAVA Interface der Softwaretechnologie des Red Bull Content Pool sehr entgegen. Sind Sie mit dem erzielten Ergebnis zufrieden? Was sind Ihres Erachtens die besonderen Highlights des neuen Content Pools? Die bisher erzielten Ergebnisse erfüllen uns ere Erwartungen in hohem Maße, auch wenn die Entwicklung noch lange nicht abgeschlossen ist. Unsere Strategie, mit innovativen und zum Teil frei verfügbaren Technologien zu arbeiten, ist aus meiner Sicht voll aufgegangen. Wir haben mit dem Content Pool ein äußerst fortschrittliches, flexibles und doch relativ kostengünstiges System geschaffen, das genau auf die sich ständig ändernden Bedürfnisse unseres Konzerns zugeschnitten ist. Welche Anforderungen an den Content Pool sehen Sie in Zukunft? In erster Linie fordern wir höchstmögliche Flexibilität, um in dem sich rasch ändernden bzw. sich weiterentwickelnden Medienumfeld Schritt halten zu können, ohne massiv in die Architektur des Content Pool eingreifen zu müssen. An der Lösungsentwicklung für den neuen Content Pool waren die ADACOR und Signal7 entscheidend beteiligt. Warum haben Sie sich für diese beiden Dienstleister entschieden? Entsprechend der Vision des Red Bull Content Pool haben wir uns auch bei den beteiligten Dienstleistern bewusst für kleine und unbürokratische Firmen mit großem Know-how entschieden. ADACOR hat hier zusätzlich auch noch mit seiner Erfahrung im Hinblick auf HDFS sowie den hervorragenden Verbindungen zum E-Shelter in Frankfurt gepunktet. Was schätzen Sie insbesondere an der Partnerschaft mit ADACOR? ADACOR hat sich über den gesamten Projektverlauf als engagierter und innovativer Dienstleister erwiesen. Dazu kommt die hohe Einsatzbereitschaft und Flexibilität der Mitarbeiter. Die kompetente und unbürokratische Unterstützung hat uns in der Umsetzung des Projekts Red Bull Content Pool massiv geholfen. Kontakt Fabian Dorschel Head of Engineering & Innovation Red Bull Media House GmbH Oberst-Lepperdinger-Straße A-5071 Wals bei Salzburg Internet: Behind The Scene 11

12 Komplexe Anforderungen verlangen komplexe Lösungs ansätze: Die Neuaufsetzung des Content Pool für die Red Bull Media House GmbH Im Interview Herr Alexander Constantin, Projektleitung Content Pool bei Signal7 Gesellschaft für Informationstechnologie mbh in Darmstadt Insbesondere bei komplexen Projekten mit einem umfangreichen Anforderungskatalog arbeiten oftmals mehrere Dienstleister mit unterschiedlichen Spezialgebieten zusammen. Im Rahmen der Neuaufsetzung des Content Pool für die Red Bull Media House GmbH griff das Know-how der ADACOR Hosting GmbH, Forte Advisors AG und Signal7 GmbH perfekt ineinander. Die Signal7 GmbH hat ihren Sitz in Darmstadt. Welche Produkte und Dienstleistungen bieten Sie Ihren Kunden genau an? Wir konzipieren und implementieren maßgeschneiderte Lösungen in den Bereichen Content, Knowledge- und Digital-Asset-Management für weltweit operierende Unternehmen. Unser Portfolio erstreckt sich vom Unternehmens-Intranet über öffentlich erreichbare Medien datenbanken hin zu webbasierten Content-Management- Infrastrukturen. Uns ist es wichtig, den kompletten Zyklus abzudecken. Daher bieten wir unseren Kunden eine umfassende Betreuung, ausgehend von der konkreten Anforderungsanalyse über die Konzeption und Entwicklung bis hin zum Rollout. Insbesondere im Rahmen der langjährigen Zusammenarbeit mit Red Bull liegt unser Fokus auf dem ganzheitlichen Verständnis der Unternehmensprozesse mit dem Ziel, Synergien zwischen den ver- schiedenen weltweiten Fachabteilungen und Tochtergesellschaften zu identifi zieren und nachhaltige Lösungen auf dem Stand der Technik zu realisieren. Neben der ADACOR Hosting GmbH und der Forte Advisors AG war auch die Signal7 GmbH maßgeblich an der Neuaufsetzung des Content Pool für die Red Bull Media House GmbH beteiligt. Welche Aufgaben hat Signal7 im Rahmen dieses Projektes konkret? Signal7 war bereits für das Vorgängerprojekt des Content Pool an der Anforderungsanalyse und Erstellung eines Pflichtenhefts beteiligt. Im Content Pool haben wir die Software-Architektur in Kooperation mit der Forte Advisors AG von Grund auf neu entwickelt und sind seit Anfang des Projektes mit der Konzeption, Entwicklung, ständigen Weiterentwicklung und den regelmäßigen Rollouts betraut. Im Zuge dessen konnten wir uns bei der Erarbeitung der Systemarchitektur mit der ADACOR Hosting GmbH auf einen starken und zuverlässigen Partner verlassen. 12 Behind The Scene Ausgabe 08 / November

13 Der Media Manager verwaltet den in- und externen Zugriff auf den Red Bull Content Pool. Nach welchem Prinzip arbeitet der Media Manager? Im Prinzip funktioniert der Media Manager wie viele andere web basierte Digital-Asset-Management-Systeme auch. Der wesentliche Unterschied ist, dass der Media Manager individuell auf die Bedürfnisse und Anforderungen des Red Bull Media House zugeschnitten ist und nicht anders herum. Ein Ergebnis der Evaluierung existierender Digital-Asset- Management-Systeme war, dass diese Systeme nicht die Anfor derungen des Red Bull Media House erfüllten. Dies sowie das sehr positive Echo auf erste funktio nale Prototypen von Signal7 führte zusammen mit den schlechten Erfahrungen, die man mit einem Standardprodukt bezüglich seiner Anpassbarkeit im Rahmen eines Vorgänger projekts des Content Pool gemacht hatte, unserer Einschätzung nach zur Entscheidung, den Content Pool als Individual entwicklung durch Signal7 realisieren zu lassen. Welche besonderen Features und Highlights bietet der Media Manager darüber hinaus? Mit Sicherheit kann man hier das feingranu lare Berechtigungskonzept nennen, das es uns ermöglicht, auf nahezu alle Anforderungen zu reagieren und Berechtigungen aus beliebigen Eigenschaften abzuleiten. Was ist ein CPAS und welchen Zweck erfüllt er genau? Der Content Pool ist ein föderatives System und besteht aus mehreren unterschiedlich wichtigen Standorten auf der Welt, so genannten Content Pool Sites. An diesen Sites sind Content Pool Agent Server (CPAS) installiert, die dem Content Pool lokale Services zur Inter aktion mit dieser Site anbieten. Mit Hilfe dieser Services lässt sich z. B. Content ausliefern, aber auch beziehen. Einige Sites bieten erweiterte Services an, beispielsweise den Zugriff auf Transcoding-Cluster oder verteilte Speichersysteme wie Hadoop oder GlusterFS. Der Media Manager läuft auf den Servern der ADACOR Hosting GmbH. Wie bewerten Sie die Zusammenarbeit mit ADACOR? Im Rahmen unserer Zusammenarbeit haben wir die ADACOR Hosting GmbH als kompetenten Partner kennen und schätzen gelernt, der bereit ist, aktuelle Technologien wie z. B. den Hadoop-Cluster einzusetzen. Besonders hervor zuheben ist auch die Bereitschaft, sich im Betrieb auftretende Probleme zu eigen zu machen und mit sehr viel Energie an deren Lösung zu arbeiten. Darüber hinaus schätzen wir den persönlichen Kontakt zu Mitarbeiter, die mit ebensolchem Spaß und Enthusiasmus ihren Beruf ausüben wie wir bei Signal7. Interview: Josephine Alberts Der Content Pool als serviceorientierte Architektur (SOA) bietet vielerlei Services an, die unter anderem vom Media Manager genutzt werden. Transcoding-Services zum Transcodieren von Video-, Bild- und Audio-Daten, Content-Logistics-Services zur Verteilung von Content im Content Pool Netzwerk basierend auf einer Signiant-Integration sowie Licence-Services zur Auslieferung von Lizenzen (z. B. an die Programmplanung von ServusTV, dem österreichischen Privatfernsehsender der Red Bull Media House GmbH). Im Media Manager befindet sich auch das von Signal7 auf die Anforderungen des Red Bull Media House Legal-Departments zugeschnittene Rights-Management-System zur Verwaltung des Rechtebestands aller Assets. Kontakt Alexander Constantin (Projektleitung Content Pool) Signal7 Gesellschaft für Informations technologie mbh Pallaswiesenstraße Darmstadt Telefon: + 49 (0) Telefax:+ 49 (0) contact@signal7.de Internet: Behind The Scene 13

14 LIve JetZt noch näher Dran! mit human Data monitoring Ein mobiles EKG-Gerät wird zur Messung der Herzfrequenzvariabilität eingesetzt und die Herzfrequenz sowie das Stresslevel eines Menschen live für die Zuschauer am Bildschirm visualisiert. Das Unternehmen examedia war an der medialen Umsetzung dieses Verfahrens, das den Zuschauern in den Bereichen Sport und Entertainment erstmals live Einblicke in die physiologischen und mentalen Vorgänge der Sportler, Kandidaten oder Protagonisten gewährt, maßgeblich beteiligt. Puls 105,75 Stress 020,89 Die Messung der Herzfrequenzvariabilität, auch Herzratenvariabilität (HRV), zur Feststellung des Stresslevels ist grundsätzlich nicht neu. Schon lange ist bekannt, dass die Herzfrequenz Rückschlüsse auf den mentalen Zustand eines Menschen zulässt. Zunächst wurde diese Erkenntnis jedoch ausschließlich im Rahmen der Präventivmedizin genutzt. Erst nach und nach hielt sie auch Einzug in das Management-, Sport- und Leistungsportcoaching. Neu und einzigartig ist jedoch, dass dieses Verfahren nun auch im Medienumfeld eingesetzt wird, insbesondere in den Bereichen Sport und Entertainment, um dem Zuschauer einen Einblick examedia technisches Know-how im medienumfeld Das Kölner Unternehmen ist spezialisiert auf Dienstleistungen im Bereich der technischen Medienentwicklung. Der Schwerpunkt liegt auf der erfolgreichen Umsetzung neuer und interdisziplinärer Medien sowie dem Aufbau und dem Betrieb digitaler IP-Netzwerke zur Übertragung von Video- und Audiosignalen. Das Angebot reicht von der Beratung über das Projektmanagement bis hin zur technischen Umsetzung der vom Kunden favorisierten medialen Lösung. in die physiologische und mentale Konstitution des Protagonisten zu geben. Der Zuschauer ist also im wahrsten Sinne des Wortes so nah dran wie noch nie. Die Idee, diese physiologischen und mentalen Daten bei Fernsehproduktionen in den Bereichen Sport und Entertainment live und in Echtzeit zu übertragen, entwickelte examedia vor dem Hintergrund der Zusammenarbeit mit der Red Bull Media House GmbH, die viele Extremsport events live überträgt. Mithilfe eines 1-kanaligen hochauflösenden mobilen EKG-Gerätes mit Messwerten pro Sekunde wird die Herzfunk tion des Protagonisten erfasst und über Bluetooth und einen separaten Hochfrequenz-Sender an ein System übertragen, das auf der Grundlage der erfassten Daten eine Spektralanalyse durchführt. Die Herzschlagvariabilität bzw. das Frequenzspektrum gibt dann Aufschluss über das Stresslevel des Protagonisten. Dies wird dann zusätzlich zum Herzschlag auf dem Bildschirm für den Zuschauer grafisch dargestellt. Ausführliche Informationen sowie Projektreferenzen sind auf der Website ( zu finden. Aktuell denke man, so Klaus Asshauer (Managing Director), gemeinsam mit der ADACOR Hosting GmbH darüber nach, das Gerät mit integriertem Speicherchip zukünftig vermehrt auch Arztpraxen bzw. Allgemeinmedizinern als Hilfsmittel für 24-Stunden-EKGs anzubieten, um psychische Stressfaktoren von Patienten erkennen und diesen therapeutisch und präventiv besser begegnen zu können. Auch Großunternehmen mit steigenden Krankmeldungen können profitieren und das Gerät z. B. einsetzen, um dem Burnout-Syndrom bei Mitarbeitern vorzubeugen. Die Übertragung der auf dem Chip gespeicherten Patientendaten an das System, das die Spektralanalyse durchführt, erfolgt online und entspricht vor dem Hintergrund der deutschen Datenschutzbestimmungen höchsten Sicherheitskriterien. Auf die ADACOR ist in dieser Hinsicht Verlass. Bereits in anderen Projekten hat sich die ADACOR als zuverlässiger und kompetenter Servicepartner erwiesen und die benötigten Online-Systeme für examedia bereitgestellt. Kontakt Klaus Asshauer (Managing Director) examedia GmbH Stadtwaldgürtel Köln Telefon: + 49 (0) Telefax: + 49 (0) klaus.asshauer@examedia.net Internet: 14 Behind The Scene Ausgabe 08 / November

15 Adacor Aktuell Auf den Hund gekommen ADACOR ist nicht nur ein mitarbeiterfreundliches Unternehmen. Nein, tierlieb sind wir auch. Deshalb darf Bürohund Ben sein Herrchen und unseren Prokuristen, Alexander Lapp, auch jeden Tag ins Büro begleiten. Offenbar ist dabei auch so einem Hund bewusst, wie wichtig gute Beziehungspflege im Leben ist, denn alle Kollegen werden von Ben stets mit einem Schwanzwedeln begrüßt. Dass Hunde gut für das allgemeine Betriebsklima sind, ist dabei grundsätzlich nicht neu. Neu ist jedoch, dass ein Bild des besten Freundes von ADACOR auf Hitradio FFH veröffentlich wurde. Angesichts des vom Tierschutzbund organisierten tierischen Schnuppertages, bei dem Tierhalter ihre haarigen Lieblinge mit an den Arbeitsplatz bringen sollten, suchte Hitradio FFH die hundefreundlichste Firma in Hessen. Bens Herrchen hat ein Bild von seinem Vierbeiner in Arbeitskleidung eingeschickt, das prompt auf der Homepage des Senders veröffentlicht wurde. Wer letztlich als hundefreundlichste Firma gekürt wurde? Ehrlich gesagt das wissen wir nicht. Für die ADACOR-Mitarbeiter gibt es ohnehin nur einen Sieger, und der heißt Ben. Schließlich ist er es und kein anderer Hund, der bereits die Herzen des gesamten ADACOR-Teams gewonnen hat. Kurz vorgestellt Systemadministrator Christian Saar Bereits seit April 2008 unterstützt Christian Saar aus Grävenwiesbach die ADACOR Hosting GmbH im Bereich Systemadministration. Der passionierte Autodidakt hat seine IT-Begeisterung schon in jungen Jahren entdeckt und bereits als Schüler das Netzwerk seiner Schule administriert. Nach dem Bund arbeitete er dann zunächst in einem kleinen Systemhaus, bevor er sich schließlich selbstständig machte und sowohl Privatkunden als auch kleinere Firmen mit seinem Fachwissen in Sachen IT unterstützte. Der Wechsel zu ADACOR ergab sich Anfang 2008 eher zufällig über einen Freund, der bereits für die ADACOR arbeitete. Man suche dort einen Systemadministrator, hieß es. Christian bewarb sich und erhielt den Zuschlag. Seitdem unterstützt er die ADACOR mit seinem Know-how und hat sein Wissen im Rahmen der ADACOR-Projekte weiter ausbauen können. Im Red Bull Projekt hat er beispielsweise die verschiedenen, im Hinblick auf die Kundenanforderungen relevanten Systeme analysiert, die Ergebnisse statistisch aufbereitet und diese anschließend gemeinsam mit dem ADACOR-Team ausgewertet. Nachdem der Kunde der Empfehlung von ADACOR gefolgt und die Wahl auf HDFS gefallen war, hat er außerdem die Grundinstallation und -konfiguration des Systems übernommen. Behind The Scene 15

16 Impressum ADACOR Behind The Scene Herausgeber: ADACOR Hosting GmbH Emmastraße 70 A Essen Geschäftsführer: Thomas Wittbecker Andreas Bachmann Patrick Fend Wussten Sie, DASS % der Weltbevölkerung noch nie ein Telefonat gemacht oder entgegengenommen haben, aber 98% der Deutschen über 18 Jahre mindestens ein Mobiltelefon besitzen? (Quelle: Zahl-des-Tages.de) Kontaktdaten: Telefon: +49 (0) Telefax: +49 (0) magazin@adacor.com Internet: Chefredakteur: Christian Spin, ADACOR Die Behind The Scene Redaktion bedankt sich Wir bedanken uns herzlich für die inhaltliche Unterstützung bei dieser Ausgabe bei: Andreas Melzner, Geschäftsführer, Cologne Intelligence GmbH Fabian Dorschel, Head of Engineering & Innovation, Red Bull Media House GmbH Paul Urthaler, Service Manager, Red Bull Media House GmbH Alexander Constantin, Projektleitung Content Pool, Signal7 GmbH Klaus Asshauer, Managing Director, examedia GmbH Redaktion: Thomas Wittbecker, ADACOR Josephine Alberts, Düsseldorf Art Director: Jens Veerbeck, Essen Satz: ensemble»design, Soest Vorschau In der 9. Ausgabe der Behind the Scene stellen wir Ihnen den Projektbericht mit dem Deutschen Hausärzteverband vor. Mit dem Wasserrucksack können in Katastrophengebieten große Mengen verschmutztes Wasser aufbereitet werden, was die Adacor damit zu tun hat, erfahren Sie ebenfalls in der nächsten BTS. Zudem greifen wir ein aktuelles Technikthema auf und auch sonst dürfen Sie wieder auf interessante Infos gespannt sein. Druck: Althoff Druck, Soest Fotonachweis: Fotolia (Aleksey Bakaleev) Cologne Intelligence Red Bull Signal7 examedia Die neunte Ausgabe des ADACOR-Kundenmagazins erscheint im März ADACOR 16 Behind The Scene Ausgabe 08 / November