Oracle Whitepaper Oktober Oracle: Big Data für das Unternehmen

Transkript

1 Oracle Whitepaper Oktober 2011 Oracle: Big Data für das Unternehmen

2 Executive Summary...2 Einführung...3 Definition von Big Data... 3 Die Bedeutung von Big Data... 4 Erstellung einer Big Data-Plattform...6 Infrastrukturanforderungen... 6 Lösungsspektrum... 7 Die Big Data-Lösung von Oracle...9 Oracle Big Data Appliance... 9 In-Database Analytics...12 Schlussfolgerung...15

3 Executive Summary Um den Begriff Big Data gibt es derzeit viel Hype dahinter verbirgt sich jedoch eine ganz einfache Entwicklung. Seit Jahrzehnten stützen sich Unternehmen bei ihren Geschäftsentscheidungen auf Transaktionsdaten, die in relationalen Datenbanken gespeichert sind. Neben diesen kritischen Daten gibt es aber noch eine Vielzahl an weiteren Quellen für nicht traditionelle und weniger streng strukturierte Daten wie Weblogs, Social Media, s, technische Sensoren sowie Fotos, die eine wahre Schatzgrube an nützlichen Zusatzinformationen darstellen. Während derartiges Material noch vor wenigen Jahren umgehend entsorgt worden wäre, erlauben Kostenreduzierungen und Leistungssteigerungen bei Speicher und Rechner heute die Sammlung und das Vorhalten dieser Daten. Immer mehr Unternehmen sind daher bemüht, neben ihren herkömmlichen Unternehmensdaten auch nicht traditionelle, aber potenziell ebenso wertvolle Daten für ihre Business Intelligence-Analysen zu nutzen. Um einen konkreten geschäftlichen Nutzen aus Big Data zu ziehen, benötigen Sie geeignete Tools, mit denen sich die unterschiedlichsten Datentypen aus verschiedenen Quellen erfassen und organisieren und anschließend unkompliziert für Analysen im Gesamtkontext aller Unternehmensdaten nutzen lassen. Oracle bietet das umfassendste und am besten integrierte Produktportfolio am Markt, um Sie dabei zu unterstützen, diese unterschiedlichen Datentypen zu gewinnen, zu organisieren und gemeinsam mit Ihren vorhandenen Daten auf neue Erkenntnisse und versteckte Zusammenhänge hin zu analysieren. 2

4 Einführung Mit der neu vorgestellten Oracle Big Data Appliance bietet Oracle als erster Hersteller eine umfassende, integrierte Lösung für das gesamte Spektrum an Unternehmensanforderungen zu Big Data. Grundgedanke der Big Data-Strategie von Oracle ist die Weiterentwicklung Ihrer derzeitigen Systemarchitektur für Unternehmensdaten durch die Einbeziehung von Big Data mit dem Ziel, für das Business einen zusätzlichen Wertbeitrag zu leisten. Durch diese Weiterentwicklung der bestehenden Unternehmensarchitektur können Sie sich die bewährten Vorteile Ihrer Oracle Systeme hinsichtlich Zuverlässigkeit, Flexibilität und Performance zu Nutze machen. Definition von Big Data Unter dem Begriff Big Data werden in der Regel die folgenden Datentypen zusammengefasst: Traditionelle Unternehmensdaten Kundeninformationen aus CRM-Systemen, transaktionsbezogene ERP-Daten, Webstore-Transaktionen, Daten aus der Finanzbuchhaltung usw. Maschinell generierte/sensorendaten Datensätze mit Anrufdetails (CDR), Weblogs, intelligente Zählersysteme, Sensoren, Geräteprotokolle (oftmals als digitale Spuren oder Digital Exhaust bezeichnet), Daten aus Finanzhandelssystemen usw. Soziale Daten Kundenfeedbacks, Daten aus Microblogging-Diensten wie Twitter oder Social Media-Plattformen wie Facebook Nach Einschätzung des McKinsey Global Institute wächst das Datenvolumen jährlich um 40 %. Für den Zeitraum zwischen 2009 und 2020 sagt McKinsey einen Anstieg um das 44-Fache voraus. Neben dem Volumen als offensichtlichstem Parameter sind hierbei noch eine Reihe weiterer Merkmale relevant. Big Data ist durch vier Schlüsselmerkmale gekennzeichnet: Volumen. Maschinell generierte Daten werden in deutlich größerer Menge erzeugt als traditionelle Daten. Ein einzelnes Düsentriebwerk kann beispielsweise innerhalb von 30 Minuten 10 TB an Daten generieren. Bei mehr als Linienflügen am Tag liegt das tägliche Volumen allein dieser Datenquelle in einem Bereich von mehreren Petabyte. Intelligente Strom-/Gaszähler und industrielle Großanlagen wie Ölraffinerien und Bohrinseln erzeugen ähnliche Datenmengen und verschärfen damit das Problem. Geschwindigkeit/Häufigkeit. Der Datenstrom bei Social Media ist zwar weniger massiv als bei den maschinell generierten Daten, enthält aber Unmengen an CRM-relevanten Informationen über Meinungen und Beziehungen. Selbst bei einer maximalen Länge von 140 Zeichen pro Tweet sammelt sich durch die hohe Geschwindigkeit (oder Häufigkeit) der Twitter-Daten ein riesiges Volumen an über 8 TB am Tag. 3

5 Vielfalt. Herkömmliche Datenformate sind in der Regel relativ gut dokumentiert und verändern sich nur langsam. Im Bereich der nicht traditionellen Daten zeigt sich dagegen ein Schwindel erregendes Maß an Dynamik. Neue Services, Sensoren oder Marketingkampagnen erfordern auch neue Datentypen zur Erfassung der generierten Informationen. Nutzen. Der wirtschaftliche Nutzen der verschiedenen Daten schwankt erheblich. Meist verstecken sich in der Fülle an nicht traditionellen Daten wertvolle Informationen; die Herausforderung besteht darin, den Wert für das Business zu erkennen, sie zu transformieren und dann für Analysezwecke herauszufiltern. Um das Potenzial von Big Data optimal zu nutzen, müssen Unternehmen ihre IT-Infrastruktur aufrüsten, damit sie mit dem Tempo und Volumen der vielfältigen Datentypen Schritt halten kann. Anschließend geht es darum, diese Daten in die übrigen Unternehmensdaten der Organisation zu integrieren und weiter zu analysieren. Die Bedeutung von Big Data Bei der Extrahierung und Analyse von Big Data in Kombination mit traditionellen Unternehmensdaten lassen sich tief greifende, neue Erkenntnisse über den Geschäftsverlauf gewinnen und in gesteigerte Produktivität, eine Verbesserung der Wettbewerbsfähigkeit sowie eine Stärkung der Innovationskraft umsetzen mit potenziell signifikanten Auswirkungen auf den Gewinn. Im Gesundheitswesen ist z. B. gerade die Verwaltung chronischer oder langfristiger Krankheiten besonders kostspielig. Geräte zur ambulanten Überwachung und Erfassung wichtiger Vitalwerte bieten nur eine von zahlreichen Möglichkeiten, um mithilfe von Sensordaten sowohl die Patientengesundheit zu verbessern als auch die Anzahl an Arztbesuchen und Krankenhausaufenthalten zu verringern. Produktionsunternehmen können aus ihren Produkten mithilfe von eingebauten Sensoren eine Fülle an Telemetriedaten ableiten. Ein mögliches Nutzungsfeld hierfür bieten Dienste wie OnStar mit Kommunikations-, Sicherheits- und Navigationsfunktionen. Noch wichtiger sind möglicherweise die auf diesem Weg erfassten Informationen zu Nutzungsprofilen oder Ausfallraten sowie zu weiteren Verbesserungsmöglichkeiten, mit denen sich die Entwicklungsund Herstellungskosten der Produkte senken lassen. Die Ausbreitung von Smartphones und anderen GPS-Geräten bietet Werbetreibenden die Möglichkeit, Verbraucher gezielt anzusprechen, wenn sie sich in der Nähe eines bestimmten Ladengeschäfts, Cafés oder Restaurants befinden. Hier eröffnen sich neue Umsatzmöglichkeiten für Dienstleister und Chancen zur Neukundengewinnung für zahlreiche Unternehmen. Einzelhändler wissen in der Regel, wer ihre Produkte kauft. Social Media und die Weblog- Dateien ihrer E-Commerce-Website lassen sich daraufhin analysieren, wer was warum nicht gekauft hat Informationen, die Einzelhändlern bisher nicht zugänglich waren. Ein solches 4

6 Vorgehen ermöglicht eine deutlich wirksamere, feinmaschige Kundensegmentierung und eine präzisere Ausrichtung von Marketingkampagnen sowie eine größere Effizienz in der Lieferkette. Soziale Netzwerke wie Facebook oder LinkedIn schließlich wären ohne Big Data gar nicht vorstellbar. Ihr Geschäftsmodell basiert auf einem personalisierten Erleben des Webs, was sich nur durch Erfassung und Nutzung aller verfügbaren Daten über einzelne Benutzer oder Mitglieder realisieren lässt. 5

7 Erstellung einer Big Data-Plattform Wie bei Data Warehousing, Webstores oder jedweder IT-Plattform bestehen auch bei einer Infrastruktur für Big Data spezifische Anforderungen. Bei der Beurteilung aller relevanten Komponenten ist zu berücksichtigen, dass das Endziel darin besteht, Big Data möglichst unkompliziert in die übrigen Unternehmensdaten zu integrieren, um dann detaillierte Analysen an den kombinierten Data Sets vornehmen zu können. Infrastrukturanforderungen Die Anforderungen an eine Big Data-Infrastruktur reichen von der Datenerfassung über die Datenorganisation bis hin zur Datenanalyse. Erfassung von Big Data Die Datenerfassung hat sich wohl mit am stärksten verändert. Da sich Big Data auf Datenströme mit hoher Geschwindigkeit und großer Vielfalt bezieht, muss die entsprechende Infrastruktur für die Beschaffung von Big Data eine geringe und kalkulierbare Latenzzeit sowohl bei der Erfassung der Daten als auch bei der Ausführung kurzer, einfacher Abfragen gewährleisten. Ferner muss ein extrem hohes Transaktionsvolumen (oft in einer verteilten Umgebung) ebenso unterstützt werden wie flexible, dynamische Datenstrukturen. Für die Erfassung und Speicherung von Big Data werden häufig so genannte NoSQL- Datenbanken verwendet, die gut für dynamische Datenstrukturen geeignet und äußerst skalierbar sind. In NoSQL-Datenbanken werden meist ganz unterschiedliche Daten gespeichert, da diese Systeme rein auf die Erfassung von Daten ohne Kategorisierung und Parsing ausgelegt sind. NoSQL-Datenbanken werden beispielsweise oft für die Speicherung von Social Media-Daten verwendet. Während sich kundenseitige Anwendungen häufig ändern, werden die zugrunde liegenden Speicherstrukturen möglichst einfach gehalten. Statt also ein Schema mit Relationen zwischen Entitäten zu definieren, enthalten diese einfachen Strukturen oft nur einen Hauptschlüssel zur Identifizierung des Data Points und anschließend einen Content Container mit den relevanten Daten. Diese einfache und dynamische Struktur erlaubt die Durchführung von Änderungen ohne kostspielige Reorganisation auf der Speicherebene. Organisation von Big Data In der klassischen Data Warehousing-Terminologie wird die Organisation von Daten als Datenintegration bezeichnet. Aufgrund des enormen Volumens an Big Data werden diese Daten tendenziell eher an ihrem ursprünglichen Speicherort organisiert. Durch den Verzicht auf die Verschiebung riesiger Datenmengen sparen die Unternehmen sowohl Zeit als auch Geld. Die Infrastruktur zur Organisation von Big Data muss auch in der Lage sein, die Daten an ihrem ursprünglichen Speicherort zu be- und zu verarbeiten, einen extrem hohen Durchsatz bei umfangreichen Schritten zur Datenverarbeitung zu gewährleisten (häufig im Batch-Modus) und die unterschiedlichsten Formate an strukturierten und unstrukturierten Daten zu unterstützen. 6

8 Hadoop ist eine neue Technologie, mit der große Datenmengen organisiert und verarbeitet werden können, ohne dass die Daten dafür aus ihrem ursprünglichen Datenspeicher-Cluster entfernt werden müssen. Hadoop Distributed File System (HDFS) wird beispielsweise zur langfristigen Speicherung von Weblogs verwendet. Diese Weblogs werden durch die Ausführung von MapReduce-Programmen innerhalb der Cluster in Browsing-Verhalten umgewandelt (Session). Anschließend werden die so gewonnenen Ergebnisse im Cluster aggregiert und dann in ein relationales DBMS geladen. Analyse von Big Data Da Daten in der Organisationsphase nicht unbedingt verschoben werden, erfolgt auch die Analyse unter Umständen in einer verteilten Umgebung, in der sich bestimmte Daten weiterhin an ihrem ursprünglichen Speicherort befinden und transparent über ein Data Warehouse abgerufen werden. Die geeignete Infrastruktur zur Analyse von Big Data muss anspruchsvolle Analytik wie statistische Analysen und Data Mining für unterschiedliche Datentypen in verschiedenen Systemen unterstützen, sich für ein extremes Datenvolumen skalieren lassen, bei Verhaltensänderungen schnellere Antwortzeiten erzielen und die Entscheidungsfindung auf Basis analytischer Modelle automatisieren. Vor allem aber muss die Infrastruktur in der Lage sein, kombinierte Analysen für Big Data und traditionelle Unternehmensdaten durchzuführen. Neue Erkenntnisse werden nicht allein aus der Analyse neuer Daten gewonnen, sondern durch die Untersuchung dieser Daten im Kontext der bereits vorhandenen Daten, mit deren Hilfe bekannte Probleme aus einem neuen Blickwinkel beleuchtet werden können. Beispielsweise lassen sich aus der Analyse der Bestandsdaten eines intelligenten Verkaufsautomaten in Verbindung mit dem Veranstaltungskalender des Gebäudes, in dem der Automat aufgestellt ist, Hinweise auf den optimalen Produktmix und Nachfüllplan für den Automaten ableiten. Lösungsspektrum Zahlreiche neue Technologien nehmen für sich in Anspruch, die oben geschilderten Anforderungen an die IT-Infrastruktur zu erfüllen. Bei Fertigstellung dieses Whitepapers gab es am Markt über 120 Open Source-Angebote für Key-Value-Datenbanken zur Erfassung und Speicherung von Big Data, wobei sich Hadoop als primäres System zur Organisation von Big Data und für relationale Datenbanken abzeichnet, die ihre Datenanalysen auf weniger strukturierte Daten ausweiten. Das aus diesen neuen Systemen hervorgegangene Lösungsspektrum ist zweigeteilt und umfasst: NoSQL-Lösungen (Not only SQL): entwicklerorientierte Spezialsysteme SQL-Lösungen: managebare, sichere und zuverlässige relationale Datenbankmanagement-Systeme (RDBMS) NoSQL-Systeme sind auf die Erfassung aller Daten ausgelegt, sehen jedoch nach Eingabe der Daten im System keine Kategorisierung oder Parsing vor. Entsprechend vielfältig sind die 7

9 gespeicherten Daten. SQL-Systeme fügen Daten dagegen in der Regel in wohl definierte Strukturen ein und ordnen den erfassten Daten Metadaten zu, mit deren Hilfe die Konsistenz der Datentypen gewährleistet und ihre Validierung ermöglicht wird. Distributed File Systems Key/Value Stores MapReduce Solutions NoSQL Flexible Specialized Developercentric DBMS (OLTP) ETL Data Warehouse SQL Trusted Secure Administered ACQUIRE ORGANIZE ANALYZE Abbildung 1: Zweigeteiltes Lösungsspektrum Verteilte Dateisysteme und (Key-Value-)Transaktionsspeicher dienen in erster Linie der Datenerfassung und entsprechen meist den oben geschilderten Anforderungen. Um relevante Informationen aus den Daten dieser Lösungen zu extrahieren und auszuwerten, werden maßgeschneiderte MapReduce-Programme parallel auf den verteilten Datenknoten ausgeführt. Key-Value-Speicher oder NoSQL-Datenbanken sind gewissermaßen die OLTP-Datenbanken für Big Data und als solche für die extrem schnelle Erfassung von Daten und einfache Abfragemuster optimiert. NoSQL-Datenbanken können eine äußerst hohe Performance erzielen, da die erfassten Daten rasch mit einem einzelnen Identifizierungsschlüssel gespeichert und nicht ausgewertet und in ein Schema eingefügt werden. Auf diese Weise können NoSQL-Datenbanken innerhalb kurzer Zeit eine große Anzahl an Transaktionen speichern. Da sich die Daten in der NoSQL-Datenbank jedoch häufig ändern, ist ihre Organisation nur mit entsprechendem Programmieraufwand für die Interpretation der verwendeten Speicherlogik möglich. In Verbindung mit der fehlenden Unterstützung für komplexe Abfragemuster erschwert dies Endbenutzern das Herausfiltern von wertvollen Informationen aus den Daten einer NoSQL-Datenbank. Um den größten Nutzen aus NoSQL-Lösungen zu ziehen und sie von entwicklerorientierten Speziallösungen in unternehmenstaugliche Lösungen zu verwandeln, müssen sie in einer bewährten Infrastruktur mit SQL-Lösungen zusammengeführt werden, die auch die Anforderungen moderner Unternehmen an die Managebarkeit und Security erfüllen. 8

10 Die Big Data-Lösung von Oracle Oracle hat als erster Anbieter eine umfassende, integrierte Lösung auf den Markt gebracht, die das gesamte Anforderungsspektrum zu Big Data abdeckt. Grundgedanke der Big Data-Strategie von Oracle ist die Erzielung eines geschäftlichen Mehrwerts durch Einbeziehung von Big Data in die aktuelle Architektur für Unternehmensdaten. Durch die Weiterentwicklung der bestehenden IT-Architektur können dabei auch die bewährten Vorteile Ihrer Oracle Systeme hinsichtlich Zuverlässigkeit, Flexibilität und Performance genutzt werden. HDFS Hadoop (MapReduce) Oracle NoSQL Database Oracle Loader for Hadoop Data Warehouse In-Database Analytics Analytic Applications Enterprise Applications Oracle Data Integrator ACQUIRE ORGANIZE ANALYZE Abbildung 2: Big Data-Lösungen von Oracle DECIDE Oracle Big Data Appliance Oracle ist in einzigartiger Weise dafür qualifiziert, alle notwendigen Voraussetzungen für die Bewältigung der Herausforderungen von Big Data einschließlich Software und Hardware mit einem Engineered System zu erfüllen. Die Oracle Big Data Appliance kombiniert optimierte Hardware mit einem umfassenden Software-Stack aus von Oracle entwickelten Speziallösungen zu einem vollständigen, leicht zu betreibenden System für das Beschaffen, Organisieren und Laden von Big Data in die Oracle Database 11g. Die Lösung ist für extrem leistungsstarke Analysen aller Datentypen konzipiert mit der Performance, Verfügbarkeit, Wartbarkeit und Security eines Systems für die Unternehmens-IT. Darüber hinaus ist es eng mit Oracle Exadata und der Oracle Datenbank integriert, sodass Sie Ihre sämtlichen Daten hoch performant analysieren können. 9

11 Abbildung 3 zeigt die Oracle Big Data Appliance im Ökosystem aller Oracle Engineered Systems für Big Data. Die Oracle Big Data Appliance deckt die Anforderungen zur Erfassung und Organisation von Daten, die in NoSQL-Lösungen gespeichert werden, ab. Oracle Big Data Appliance HDFS Hadoop (MapReduce) Oracle NoSQL Database Oracle Loader for Hadoop Data Warehouse In-Database Analytics Analytic Applications Enterprise Applications Oracle Data Integrator ACQUIRE ORGANIZE ANALYZE Abbildung 3: Oracle Big Data Appliance DECIDE Oracle Big Data Appliance: Hardware-Komponenten Die Oracle Big Data Appliance ist als Rack mit 18 Sun-Servern konfiguriert und bietet eine Gesamtspeicherkapazität von 432 TB. Jeder Server im Rack hat 2 Prozessoren mit jeweils 6 Cores, sodass die Gesamtanzahl im vollen Rack bei 216 Cores liegt. Bei einem Arbeitsspeicher von 48 GB pro Server ergeben sich für das volle Rack 864 GB. Oracle Big Data Appliance: Software-Komponenten Die Oracle Big Data Appliance kombiniert Open Source-Software mit Oracle Software, um den speziellen Anforderungen von Big Data in Unternehmen gerecht zu werden. Die verteilte, hoch skalierbare Key-Value-Datenbank Oracle NoSQL Database basiert auf Oracle Berkeley DB. Als Universal-Key-Value-Speicher für den Einsatz in Unternehmen erweitert sie die verbreitete Berkeley DB um einen intelligenten Treiber, der die zugrunde liegende Speichertopologie verfolgt, die Daten zerteilt und jeweils dem Speicherort mit der geringsten Latenz zuweist. Im Gegensatz zu den Lösungen von Mitbewerbern ist die Oracle NoSQL Database unkompliziert in der Installation, Konfiguration und im Management, unterstützt ein breites Spektrum an Workloads und erbringt höchste Zuverlässigkeit, unterstützt vom Oracle Support, wie in Unternehmen erforderlich. Die Oracle NoSQL Database ist in erster Linie zur Erfassung von Daten mit geringer Latenzzeit sowie für schnelle Abfragen dieser Daten (in der Regel mittels Key Lookup) geeignet und wartet mit einem leicht zu nutzenden Java-API und einem Management-Framework auf. Das Produkt wird sowohl als Open-Source Community Edition als auch in einer kostenpflichtigen Enterprise Edition für große, verteilte Rechenzentren angeboten. Die Letztere ist Bestandteil der Big Data Appliance. 10

12 Acquire Organize Oracle Whitepaper Big Data für das Unternehmen Mit Oracle Loader for Hadoop (OLH) können Benutzer die Vorteile der Hadoop MapReduce- Verarbeitung nutzen und somit optimierte Data Sets für effiziente Lade- und Analysevorgänge in der Oracle Database 11g erstellen. Im Gegensatz zu anderen Hadoop-Ladeprogrammen werden hier interne Oracle Formate generiert, mit denen Daten schneller geladen und die Systemressourcen der Datenbank weniger beansprucht werden. OLH wird als letzter, separater Schritt (Zuordnen Partitionieren Reduzieren) in die MapReduce-Transformation aufgenommen. Dabei werden die Daten mithilfe der CPUs im Hadoop-Cluster in Oraclekompatible Formate konvertiert. Auf diese Weise wird der Oracle Cluster entlastet, und es können höhere Dateneinspeisungsraten erzielt werden, da die Daten bereits für die Oracle Datenbank formatiert sind. Nachdem die Daten geladen wurden, sind sie permanent in der Datenbank verfügbar, wo sie von den Datenbankbenutzern jederzeit schnell über SQL oder Business Intelligence-Tools abgerufen werden können. Der Oracle Data Integrator Application Adapter for Hadoop vereinfacht mit einem leicht zu bedienenden Interface die Datenintegration aus Hadoop und einer Oracle Datenbank. Sobald die Daten in der Datenbank verfügbar sind, können Endbenutzer mit SQL und der Oracle BI Enterprise Edition darauf zugreifen. Die Oracle Big Data Appliance umfasst auch eine Open Source-Version von Apache Hadoop mit HDFS und anderen Komponenten, eine Open Source-Implementierung des Statistikpakets R für die Analyse ungefilterter Daten auf der Oracle Big Data Appliance und das Betriebssystem Oracle Enterprise Linux 5.6. Oracle NoSQL Database Oracle Data Integrator (Hadoop Knowledge Module) Oracle Loader for Hadoop Hadoop Oracle Enterprise Linux & Java VM Oracle Big Data Appliance Abbildung 4: Allgemeiner Überblick über die Big Data Appliance-Software Unternehmen, die bereits eine Hadoop-Lösung einsetzen und keinen Bedarf an einem integrierten Angebot wie der Oracle Big Data Appliance haben, können Daten mithilfe externer Oracle Tabellen aus HDFS integrieren. Um eine solche Lösung zu erstellen, wird das HDFS- Dateisystem über eine Open Source-Lösung mit dem Namen Filesystem in User SpacE (FUSE) 11

13 gemountet und eine externe Tabelle für ein Data Set definiert. Sobald HDFS über die externe Tabelle für die Datenbank sichtbar ist, können die entsprechenden Daten anhand von SQL- Abfragen abgerufen und mit residenten Daten der Datenbank gejoint werden. Ein vorheriges Laden der Daten in die Datenbank ist nicht erforderlich. Externe Tabellen und Direktzugriff eignen sich vor allem für die vorläufige Datensondierung oder in Fällen, in denen nur ein gelegentlicher Zugriff auf große Mengen an HDFS-Daten benötigt wird. Nachdem sich der Analyst einen genaueren Überblick über die Daten verschafft und geeignete Lösungen erstellt hat, können die Daten mit dem Oracle Loader for Hadoop in die Datenbank geladen werden. Durch die permanente Vorhaltung der Daten in der Oracle Datenbank sind Anforderungen an einen performanteren Datenzugriff, eine bessere Verfügbarkeit für große Benutzerzahlen und eine lückenlose Security besser zu erfüllen. In-Database Analytics Nachdem die Daten von der Oracle Big Data Appliance in die Oracle Database oder nach Oracle Exadata geladen wurden, können Endbenutzer die folgenden anwenderfreundlichen Tools für anspruchsvolle In-Database Analysen einsetzen: Oracle R Enterprise Mit der Oracle Version der gängigen Statistikumgebung Project R können Statistiker R für extrem große Data Sets einsetzen, ohne dabei Einschränkungen bei der Nutzung durch den Anwender in Kauf nehmen zu müssen. Mithilfe von R lassen sich z. B. Flugverspätungen an bestimmten Flughäfen vorhersagen oder klinische Versuchsdaten analysieren und auswerten. In-Database Data Mining Mit diesem Tool lassen sich komplexe Modelle erstellen und für Prognoseanalysen an sehr großen Datenmengen nutzen. Endbenutzer können die Ergebnisse dieser Vorhersagemodelle in ihre BI-Tools einbinden, ohne dafür genaue Kenntnisse über die Erstellung der Modelle zu benötigen. Mithilfe von Regressionsmodellen kann beispielsweise das Kundenalter anhand des Kaufverhaltens und demografischer Daten vorhergesagt werden. In-Database Text Mining Dieses Tool ermöglicht durch die Kombination aus Oracle Text und Oracle Data Mining die Untersuchung von Texten aus Microblogs, Kommentarfeldern aus CRM-Systemen und Websites für Beurteilungen und Rezensionen. Ein Beispiel für derartiges Text Mining sind kommentarbasierte Sentimentanalysen. Bei dieser Form der Analyse geht es darum, die emotionale Bewertung bestimmter Unternehmen, Produkte oder Services durch den Kunden zu erfassen. In-Database Semantic Analysis Mit diesem Tool erstellen Sie Diagramme und stellen Verbindungen zwischen verschiedenen Data Points und Data Sets her. Mithilfe von Semantikanalysen werden z. B. Beziehungsnetze erstellt, um den Wert des Freundeskreises von Kunden zu bestimmen. Bei Analysen zur Kundenabwanderung 12

14 wird der Wert eines Kunden in Beziehung zu seinem Netz gesetzt und nicht allein auf die einzelne Person bezogen. In-Database Spatial Hiermit lassen sich Daten um eine räumliche Dimension erweitern und grafisch abbilden. Auf diese Weise können Endbenutzer geodatenbezogene Beziehungen und Trends besser und effizienter nachvollziehen. Anhand von räumlichen Daten kann beispielsweise ein Netz aus Personen und ihre geografische Distanz dargestellt werden. Kunden, die sich in räumlicher Nähe zueinander befinden, können sich gegenseitig in ihrem Kaufverhalten beeinflussen. Hier bieten sich zusätzliche Verkaufschancen, die ohne Berücksichtigung der räumlichen Dimension nicht oder nur schwer erkannt werden. In-Database MapReduce Dieses Tool ermöglicht die Erstellung von prozeduraler Logik und den nahtlosen Einsatz der parallelen Ausführung durch die Oracle Datenbank. Mit In-Database MapReduce können Experten hoch performante Routinen mit komplexer Logik erstellen. In-Database MapReduce kann mithilfe von SQL ausgesetzt werden. Konkrete Anwendungsbeispiele wären die Sessionization von Weblogs oder die Organisation von Call Details Records (CDRs). Jede dieser Analytikkomponenten aus der Oracle Datenbank ist für sich genommen wertvoll. Durch den kombinierten Einsatz erzielen Unternehmen jedoch einen noch größeren Mehrwert. Die Darstellung der Analyseergebnisse für Endbenutzer mithilfe von SQL oder einem BI-Tool sichert einer Organisation Wettbewerbsvorteile gegenüber anderen Unternehmen, die nicht das gesamte Analytikpotenzial einer Oracle Datenbank nutzen. Die Oracle Big Data Appliance und Oracle Exadata sind über InfiniBand verbunden, sodass bei Batch-Operationen oder Abfragen ein Datentransfer in Hochgeschwindigkeit erzielt werden kann. Oracle Exadata bietet eine herausragende Performance beim Hosting von Data Warehouses und Datenbanken für die Transaktionsverarbeitung. Nachdem die Daten nun ein für den generellen Gebrauch taugliches Format aufweisen, können Unternehmensanalysten daraus mithilfe von Oracle Exalytics eine Fülle an wertvollen Erkenntnissen ziehen. Oracle Exalytics ist ein Engineered System und ermöglicht Business- Anwendern den blitzschnellen ( speed-of-thought ) Datenzugriff. Das System ist für die Oracle Business Intelligence Enterprise Edition optimiert und verfügt über In-Memory- Aggregationsfunktionen. Die Oracle Big Data Appliance bietet Kunden in Verbindung mit der Oracle Exadata Database Machine und der neuen Oracle Exalytics In-Memory Machine alles, was sie für die Erfassung, Organisation und Analyse von Big Data benötigen, um so aus diesen Daten einen maximalen Mehrwert für ihr Unternehmen zu ziehen. 13

15 Die folgende Abbildung zeigt drei Big Data Appliances, die einen Datenstrom von Sensoren und Social Media aufnehmen, diese Daten erfassen, organisieren und mithilfe von Oracle Exadata analysieren. Abbildung 5: Anwendungsbeispiel für Big Data Appliance und Exadata 14

16 Schlussfolgerung Durch die Analyse neuer und vielfältiger digitaler Datenströme erschließen Unternehmen sich zusätzliche Quellen mit wirtschaftlichem Nutzen sowie frische Erkenntnisse über das Kundenverhalten und eine frühzeitige Erkennung von Markttrends. Das enorme Volumen an neuen Daten stellt IT-Abteilungen aber auch vor große Herausforderungen. Um einen konkreten geschäftlichen Vorteil aus Big Data zu ziehen, benötigen Sie geeignete Tools, mit denen sich die unterschiedlichsten Datentypen aus verschiedenen Quellen erfassen, organisieren und anschließend unkompliziert für Analysen im Gesamtkontext aller Unternehmensdaten nutzen lassen. Die Oracle Big Data Appliance unterstützt Unternehmen in Verbindung mit Oracle Exadata bei der Erfassung, Organisation und Analyse aller strukturierten und unstrukturierten Unternehmensdaten und liefert damit die ideale Grundlage für fundierte Entscheidungen. 15

17 Oracle: Big Data für das Unternehmen Oktober 2011 Autor: Jean-Pierre Dijcks Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA USA Informationen weltweit: Telefon: Fax: oracle.com Copyright 2011, Oracle und/oder angeschlossene Unternehmen. Alle Rechte vorbehalten. Dieses Dokument dient lediglich zu Informationszwecken. Die enthaltenen Informationen können ohne vorherige Ankündigung geändert werden. Die Richtigkeit dieses Dokuments kann nicht garantiert werden. Es unterliegt keinen Garantien oder Bedingungen, die mündlich gegeben wurden oder gesetzlich gegeben sind. Es unterliegt keinen Garantien oder Bedingungen hinsichtlich der Marktgängigkeit oder Zweckmäßigkeit. Insbesondere schließen wir jegliche Haftung aus, die sich aus diesem Dokument ergeben könnte. Vertragliche Pflichten können weder direkt noch indirekt aus diesem Dokument abgeleitet werden. Kein Teil dieses Dokuments darf ohne vorherige schriftliche Genehmigung weder elektronisch noch mechanisch zu irgendeinem Zweck, in irgendeiner Form und auf irgendeine Weise reproduziert oder weitergegeben werden. Oracle ist eine eingetragene Marke der Oracle Corporation und/oder ihrer verbundenen Unternehmen. Andere Namen und Bezeichnungen können Marken ihrer jeweiligen Inhaber sein