Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Transkript

1 Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria

2 Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards Datawarehouse & Datamarts Datenbanken (strukturiert) Flexibilität u. Agilität Automated Analytics Strukturierte & unstrukturierte Data Stores Datenbanken (strukturiert) interne Semiund unstrukturierte Daten Complex Automated Analytics Multi-Domain Data Stores Datenbanken (strukturiert) interne und externe Semi- und unstrukturierte Daten Complex Automated Predictive Analytics Multi-Domain Data Stores Datenbanken (strukturiert) interne und externe Semi- und unstrukturierte Daten Social Media Complex Automated Predictive Analytics Multi-Domain Data Stores Datenbanken (strukturiert) interne und externe Semi- und unstrukturierte Daten Social Media Sensoren 1. Generation 2. Generation 3. Generation 4. Generation 5. Generation 6. Generation

3 Wann kommt Data Discovery zum Einsatz? 1. Anwender wissen nicht im voraus welche Fragen gestellt werden müssen - Es gibt zu viele Variablen und Kombinationsmöglichkeiten um sich vorab festzulegen - Geschäftsbedingungen und Fragestellungen ändern sich häufig und sind nicht planbar 2. IT kann vorab nicht festlegen welches Datenmodell benötigt wird - Die Vielfalt der Datenformate erschwert die Integration in ein zentrales Datenmodell - Für die Analyse werden Datenquellen mit unstrukturierten Daten benötigt - Schemata ändern sich häufig zeitaufwändige Anpassungen Data Discovery ist eine sinnvolle Ergänzung zu bestehenden BI Systemen

4 Warum ist Oracle Endeca anders? Konventionelles Business Intelligence Front End Visualisierung Dashboards, Berichte etc. Neues Data Warehouse Datenmodellierung und Design Industrie Standard: 6 9 Monate Datawarehouse & Datamarts Zusätzlich einige Monate für Datenqualität, ETL Prozesse, BI Layer Daten Extrahieren, Transformieren, Laden ETL Prozesse Quelle A Quelle B Quelle C Um schließlich Fragen zu beantworten, die VORAB gestellt wurden

5 Warum ist Oracle Endeca anders? Konventionelles Business Intelligence Front End Visualisierung Dashboards, Berichte etc. Neue Quelle in bestehendes DWH integrieren Industrie Standard: 3 Monate Datawarehouse & Datamarts Daten Extrahieren, Transformieren, Laden ETL Prozesse Fehlende Flexibilität und Agilität Quelle A Quelle B Quelle C Quelle D

6 Warum ist Oracle Endeca anders? Neue Endeca Application in einigen Tagen / Wochen Endeca Information Discovery Oracle Endeca Dashboards Es können Fragen beantwortet werden, die NICHT mit konventionellen BI Tools beantwortet werden können z.b. Alternativvorschläge wenn Jobs in einer anderen Branche verfügbar sind Oracle Endeca Server Neue Datenquellen flexibel und schnell integrierbar Kein Modellierungsaufwand, keine Änderung des BI Layers Oracle Endeca Integration Suite Quelle A Quelle B Quelle C

7 Big Data Discovery braucht flexible Datenmodelle Attribute Quelle A Standort, Familienstand, Alter Globale Attribute Job, Person, Firma, Zeit Systeme (z.b. Oracle Datenbank) Attribute Quelle B Stellen ID, Stellenbeschreibung, Lebenslauf Externe Daten von Web Foren (z.b. XING, Linkedin) Statistische Daten z.b. Statistik Austria Weitere interne und externe Datenquellen (strukturiert und unstrukturiert)

8 Entwicklung einer Endeca Anwendung (Übersicht) Unterschiedlichste Arten von Daten werden geladen und ggf angereichert Structured Automatische Zusammenfassung in Oracle Endeca Server KEIN DATENMODELL Drag-and-drop Dashboard Entwicklung Interaktive Suche, Navigation und Visualisierung Semi-Structured Unstructured Iterative Entwicklung

9 Big Data: Neue Chancen, neue Herausforderungen Die Herausforderung von Big Data: Grosse Datenmengen (Volume) Der Nutzen von Big Data: Analysieren ALLER relevanten Daten, nicht nur Daten aus dem DWH sondern auch unstrukturierte Daten, Sensordaten, Social Media, Weblogs, Blogs, RSS Feeds etc. Smarte Analysen - nicht nur analysieren, WAS passiert ist sondern verstehen WARUM, Vorhersagen treffen Geschwindigkeit, mit denen neue Daten generiert werden (Social Media, Sensordaten etc.) - Velocity Vielfalt der Datenformate (Variety), erfordert neue Methoden der Speicherung und Verarbeitung Ungewisser Wert (Value) der Information (was ist relevant und was nicht), erfordert kostengünstigen Speicher und effiziente und intelligente Verarbeitung

10 Big Data und Hadoop Gut geeignet für Big Data Anwendungen : Flexibles Dateisystem (HDFS) um jegliche Arten von Daten abzuspeichern Einfache, effiziente Skalierbarkeit Niedrige Kosten für Storage (Commodity HW)

11 Die eierlegende Wollmilchsau? Skalierbar, ABER nur Batch Verarbeitung, keine interaktive Analyse Leistungsfähig und flexibel, ABER vorrangig für Experten Bis jetzt nicht gut integriert in bestehende BI Tools Benötigt neue Qualifikationen und Expertise Enterprise Class Verfügbarkeit, Wartung DAHER Hadoop sollte Teil einer Big Data Referenzarchitektur sein!!! 1. Understanding the Logical Data Warehouse: The Emerging Practice, 21 June 2012, by Mark A. Beyer and Roxane Edjlali

12 Big Data Familie Oracle Exalytics In-Memory Machine Oracle Business Intelligence Oracle TimesTen Oracle Essbase Oracle Endeca Oracle Hyperion Planning Oracle Exadata Oracle Big Data Appliance Oracle Database Exadata Software Advanced Analytics Oracle NoSQL Oracle R Apache Hadoop

13 Oracle s Strategy Tested together Certified together Packaged together Deployed together Upgraded together Managed together Supported together