Oracle Enterprise Manager 12c:

Transkript

1 Oracle Enterprise Manager 12c: Historisierung und Analyse von Daten aus OEM Cloud Control in Hadoop Ingo Reisky Senior Consultant OPITZ CONSULTING Deutschland GmbH Matthias Fuchs Solutions Architect ISE Information Systems Engineering GmbH Nürnberg, OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 1

2 Vorstellung OPITZ CONSULTING Mission Wir entwickeln gemeinsam mit allen Branchen Lösungen, die dazu führen, dass sich diese Organisationen besser entwickeln als ihr Wettbewerb. Unsere Dienstleistung erfolgt partnerschaftlich und ist auf eine langjährige Zusammenarbeit angelegt. Leistungsangebot Business IT Alignment Business Information Management Business Process Management Anwendungsentwicklung SOA und System-Integration IT-Infrastruktur-Management Märkte Branchenübergreifend Über 600 Kunden 29% Industrie / Versorger / Telekommunikation Eckdaten Gründung Mitarbeiter 9 Standorte 29% Handel / Logistik / Dienstleistungen 42% Öffentliche Auftraggeber / Banken und Versicherungen / Vereine und Verbände OPITZ CONSULTING, OPITZ I.S.E. CONSULTING GmbH 2014 GmbH 2014 Seite 2

3 ISE Information Systems Engineering Enable extreme Performance. Gegründet 1991 Mitarbeiteranzahl: 50 Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg Schwerpunkte: Oracle Engineered Systems (Exadata / Exalogic / Exalytics) Data Warehousing & Business Intelligence Oracle DB Migrationen, Optimierungen, Hochverfügbarkeit Managed Service für Datenbanken, BI und Middlewareapplikationen Oracle Partner Engineered Systems Award Copyright (C) ISE GmbH - All Rights Reserved 3

4 ISE Oracle Technology Center Enable extreme Performance. Erstes und einziges Exastack Technology Center in Deutschland in Nürnberg Copyright (C) ISE GmbH - All Rights Reserved 4

5 Agenda 1. Big Data aus dem Enterprise Manager? 2. Lösungsansätze im OEM 3. Lösungsansätze in Apache Hadoop 4. Praktischer Lösungsvorschlag 5. Zusammenfassung & Ausblick OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5

6 1 Big Data aus dem Enterprise Manager? OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 6

7 Der OEM als Datenstaubsauger Oracle Enterprise Manager 12c (OEM) sammelt zahlreiche Kennzahlen (Metriken) auf fast allen Ebenen der IT- Infrastruktur OEM unterstützt zahlreiche unterschiedliche Zieltypen: OS-Metriken (Windows, Linux, Unix, ) Oracle DB-Ziele: DB, GI, RAC, DG, Oracle FMW-Ziele: WLS Cluster, OSB, SOA, WCP, WCC, OAM, OVD, Non-Oracle DB und MW (z.b. MYSQL DB und Tomcat AS) Weitere Zieltypen (z.b. HW-LB via snmp) bis hin zu Oracle Engineered Systems (z.b. Exadata) Standardmetriken unterschiedlich je Zieltyp, erweiterbar mit Metric Extensions oder eigenen Agent Plug-ins Zusätzlich On-Demand-Funktionen (z.b. Logfile-Viewing) OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 7

8 Beteiligte Systemkomponenten im OEM 12c R4 OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 8

9 Rolle des OEM in der Praxis Oft steht in der Praxis der Einsatz als Monitoring-Werkzeug im Vordergrund: Hauptfunktion Überwachung/Alarmierung im Fokus Nebenfunktionen Kapazitätsplanung, Reporting, nicht im Fokus Alte Metrikdaten werden oft zeitnah aggregiert und später ganz gelöscht, da sie für Überwachung und Alarmierung nicht mehr relevant sind Frische Incidents und Problems, also junge Metriken, am interessantesten 1-2 Wochen alte Metriken nur noch für z.b. Ursachenforschung gebraucht Danach Schnee von gestern Damit stehen die Metrikdaten aber nicht in Rohform und nicht dauerhaft für eigene Auswertungen zur Verfügung OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 9

10 Der Lebenszyklus der OEM Metrikdaten Vier zentrale DB-Views im OEM Repository (SYSMAN): MGMT$METRIC_CURRENT: jüngster Metrikwert MGMT$METRIC_DETAILS: gesammelte Rohdaten MGMT$METRIC_HOURLY: Stundenwerte MGMT$METRIC_DAILY: Tageswerte Reduktion des Datenvolumens durch Aggregation: Standardwerte Aufbewahrungszeit: Rohdaten für 7 Tage; Stunden-Daten für 31 Tage; Tages-Daten für 1 Jahr (keine Monats-/Jahres-Daten) Konfigurierbar (MOS Doc ID => Änderung Partitionierung) Kompromiss zwischen Datenwachstum im Repo und Aufbewahrungszeit (retention times) Rohdaten (höchster Detaillierungsgrad) sind also in der Standardkonfiguration schon nach einer Woche weg! OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 10

11 OEM Reporting-Werkzeuge & Datenmodell Grundsätzlich gelten die Einschränkungen des OEM Datenmodells: Aufbewahrungsfristen der Metrikdaten (Purging Policies) Auf effektives Schreiben der vom OMS empf. Agent-Uploads hin optimiert Oracle Information Publisher (IP): Integriert in OEM 11g und 12c, bewährte Reports Produkt schon länger abgekündigt, keine langfristige Lösung Oracle Business Intelligence Publisher (BIP): In OEM 12c integriert, für Reports mit begrenzter Komplexität gut geeignet Komplexe Abfragen mit dem BIP auf das OEM Repo dauern zu lange für interaktives Online-Reporting und können hohe DB Last verursachen Bugs: Seit OEM 12c R4 nun BIP möglich plus Bundle Patches SQL Zugriff auf Repository, SQL Developer: MGMT$ Views OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 11

12 Alternativen zu den OEM Reporting-Werkzeugen? Aufbewahrungsfristen der Metrikdaten im OEM Repository könnten erhöht werden, aber: Performance des OEM muss gewährleistet bleiben und hohe Kosten der Datenhaltung stehen dem entgegen Kostenargument gilt auch bei Transfer der Metrikdaten in dediziertes, hochperformantes DWH/RDBMS Datenmengen können ziemlich groß werden (in der Praxis zusätzliche Metrik-Rohdaten in Größenordnung GB/Monat gesehen) Lösungsvorschlag: Verwendung von Commodity Hardware und Open Source Software: Apache Hadoop OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 12

13 2 Lösungsansätze im OEM OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 13

14 Ansatzpunkte im OEM im Überblick An welchen Stellen im OEM System können Metrikdaten abgegriffen werden? Zentrale Ansatzpunkte: Direkte Datenübernahme aus der OEM Repository DB SQL Zugriff, DB Link, Verwendung von OEM Data Exchange Connectors Spezieller Typ von OEM Management Connector, JMX-basiert Dezentrale Ansatzpunkte: OEM Management Agents auf den Zielsystemen Verwendung von OEM Metric Extensions (früher: User-Defined Metrics ) Verwendung von Custom Agent Plug-ins (Hardcore) OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 14

15 Ansatzpunkte für den Datentransfer im OEM 12c OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 15

16 Direkte Datenübernahme aus OEM Repository DB Haupt-Views können ausgelesen werden: MGMT$... OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 16

17 Direkte Datenübernahme aus OEM Repository DB DDL von View MGMT$METRIC_CURRENT: Leider kein Primary Key OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 17

18 Verwendung von Data Exchange Connectors Data Exchange-Konnektoren sind eine Funktionalität im OEM 12c, um externe Systeme per Java Messaging Service (JMS) anzubinden, eingehend oder ausgehende Nachrichten Es gibt Werkzeuge im Hadoop-Ökosystem, die eingehende JMS-Nachrichten aufnehmen können (z.b. Apache Flume) OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 18

19 Verwendung von Metric Extensions (ME) ME werden zentral im OMS gepflegt, dezentral auf die Agenten deployed und können dort beliebige Skripte ausführen => möglicher Weg, Hadoop direkt anzusprechen? OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 19

20 Verwendung von Custom Agent Plug-ins Falls die Möglichkeiten von Metric Extensions den Anforderungen nicht genügen, können via Oracle Extensibility Development Kit (EDK) eigene Agent Plug-ins entwickelt werden. Sind Java-basiert => Möglichkeit, den Hadoop Cluster direkt per Webservice Call anzusprechen? Näheres siehe Cloud Control Extensibility Programmer's Guide. Analog zu Metric Extensions sind auch hier ggf. Netzwerk- /Firewall-Freischaltungen für die Kommunikation Host Target Hadoop erforderlich. OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 20

21 3 Lösungsansätze in Hadoop OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 21

22 Bestandteile von Apache Hadoop Hadoop Common: enthält von den Komponenten gemeinsam genutzte Utilities Hadoop HDFS ( Hadoop Distributed File System ): ein verteiltes, hochverfügbares Datei-System, welches auf Schreibzugriff und große Dateien hin optimiert ist Hadoop YARN ( Yet Another Resource Negotiator ): Ressourcen-Manager Hadoop MapReduce (MR): der ursprüngliche Map-and-Reduce Algorithmus Zweck: Parallele Ausführung von Java-Programmen auf großen Filesystem-Daten, die verteilt über Daten-Knoten mit rel. kostengünstiger Hardware von der Stange erfolgt OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 22

23 Wo ist die Brücke zwischen den Welten? OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 23

24 Übersicht Hadoop Ökosystem Die vier Kernkomponenten werden durch einen bunten Blumenstrauß an Bearbeitungswerkzeugen ergänzt! Processing Layer Stinger Resource Management YARN + MapReduce Storage Layer Filesystem (HDFS) OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 24

25 Hadoop Processing Layer und Daten-Basis Basis kann jegliche Art von unstrukturierten Daten sein, Nutzung ist abhängig von der Processing Layer Erweiterung Bilder Logfiles Filme Dokumente Die Analyse der Daten erfolgt über YARN Ressourcen- Management verteilt im Cluster Die Geschwindigkeit ist somit nur noch von der Anzahl der Datenverarbeitungsknoten und dem Storagesystem abhängig OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 25

26 4 Praktischer Lösungsvorschlag OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 26

27 Gewählter Architekturansatz SQL-Import von OEM Metrikdaten Datei-Import aus Filesystemen (Logfiles von OEM-Zielen) Auswertung mit ausgewählten Werkzeugen Analytic output Elasticsearch YARN/MR Weblogs Flume HDFS SQOOP CC RDBMS OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 27

28 Verwendete Werkzeuge Sqoop SQL to Hadoop Integration in Hadoop um Daten als relationalen DBs in HDFS zu laden Flume Tool zum einsammeln von Logs verteilt, hochverfügbar Elasticsearch Server für Enterprise-Suche (mandantenfähig, volltextfähig), basierend auf JSON-Dokumenten OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 28

29 Sqoop Daten-Import Abfrage der Metadaten in der Oracle DB zur Partitionierung der MapReduce Jobs Übergabe der Jobs an YARN Start der Jobs OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 29

30 Sqoop Workflow Sqoop DB Load Store Data in HDFS Load Data into HIVE Analytic Queries mit Impala oder Big Data SQL OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 30

31 Ergebnis: Sqoop Job erfolgreich OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 31

32 Ergebnis: Dateien im Sqoop Ausgabe-Verzeichnis OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 32

33 Ergebnis: Externe Tabelle in Hive anlegen OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 33

34 Ergebnis: Tabelle in Hue OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 34

35 Ergebnis: Beispieldaten in Hue OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 35

36 Nächste Schritte Automatisierung mit Oozie: Workflow anlegen, um die zuvor gezeigten manuellen Schritte zu automatisieren Auswertung der Daten in Hive mit Standard-BI-Tools Echtzeit-Abfragen über z.b. Cloudera Impala OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 36

37 Flume Integration Weblogs Flume HDFS Kopieren der Logs, komprimieren Weitere Auswertung mit z.b. PIG Weblogs Flume Elastic Search Speichern der Logdaten als Jason, Real Time Index, Auswertung mit Kibana OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 37

38 Konfiguration Flume-Agent für Log-Kopie < > source_agent.sources = wls_server</pre> source_agent.sources.wls_server.type = spooldir source_agent.sources.wls_server.channels = memorychannel source_agent.sources.wls_server.fileheader = true source_agent.sources.wls_server.deletepolicy = immediate source_agent.sources.wls_server.spooldir = /.../user_projects/domains/base_domain/logrotate #source_agent.sources.wls_server.ignorepattern = soa_server1.log < > OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 38

39 Log Files in Hue OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 39

40 Inhalt der Logs Weiterverarbeitung mit z.b. R oder PIG Und laden in Elasticsearch OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 40

41 Flume nach Elasticsearch Weitere Konfiguration Flume-Agent < > e_agent.sources.tail.type = exec e_agent.sources.tail.command = tail -f --retry /u01/12.1/oracle/middleware/ user_projects/domains/base_domain/servers/soa_server1/logs/soa_server1-diagnostic.log e_agent.sources.tail.interceptors=i1 i2 i3 e_agent.sources.tail.interceptors.i1.type=regex_extractor e_agent.sources.tail.interceptors.i1.regex = \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] (.*) e_agent.sources.tail.interceptors.i1.serializers = s1 s2 s3 s4 s5 s6 s7 s8 e_agent.sources.tail.interceptors.i1.serializers.s1.name = date e_agent.sources.tail.interceptors.i1.serializers.s2.name = mangedserver e_agent.sources.tail.interceptors.i1.serializers.s3.name = type e_agent.sources.tail.interceptors.i1.serializers.s4.name = addon e_agent.sources.tail.interceptors.i1.serializers.s5.name = ComponentID e_agent.sources.tail.interceptors.i1.serializers.s6.name = tid e_agent.sources.tail.interceptors.i1.serializers.s7.name = userid e_agent.sources.tail.interceptors.i1.serializers.s8.name = ecid < > OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 41

42 Flume-Meldungen in Kibana OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 42

43 Kibana Analytics Visual Analytics in Kibana Beispiel Fehlerklassen OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 43

44 5 Zusammenfassung und Ausblick OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 44

45 Zusammenfassung Oracle Enterprise Manager 12c sammelt bereits im Standard eine große Vielfalt von Metriken für heterogene Arten von Zielen (DB, Middleware, Apps, Engineered Systems, ) Datenmodell des OEM ist historisch auf Monitoring & Alarmierung ausgerichtet, Repository hat Einschränkungen bzgl. Online-Auswertungen / Information Discovery Durch den Transfer der Metrik-Daten in einen Hadoop Cluster können diese Einschränkungen umgangen werden: Rohdaten speicherbar, eigene Datenmodelle verwendbar Sind die Metrikdaten in Hadoop verfügbar, bieten sich dort alle bekannten Möglichkeiten der Werkzeuge des Hadoop- Ökosystems: Schema-on-Read, Suche, Visualisierung, OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 45

46 Ausblick Rolle des OEM wird durch Engineered Systems wichtiger, zukünftig noch höheres Volumen und Vielfalt der Metrikdaten zu erwarten. Mehr Mehrwert! Oracle trägt dem Rechnung: Oracle Analytics Cloud kürzlich angekündigt. Big data as a service BDaaS Leveraging Oracle Big Data SQL, Hadoop, and Oracle Database as a Service together Partnerschaft zwischen Oracle und Cloudera, einer der führenden Hadoop-Distributionen: Cloudera in Oracle Big Data Appliance enthalten (Engineered System) Oracle Big Data Lite Virtual Machine ausprobieren, VBox VM enthält in aktueller Version u.a. Cloudera CDH viel Spass beim Testen! OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 46

47 Oracle Unified Query Oracle Integration Hadoop Abfrage der Daten über SQL Die Daten können in Hadoop oder einer Oracle DB liegen OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 47

48 Oracle Hadoop Integration Oracle Hadoop Erweiterung Query Offloading to Hadoop Oracle Big Data SQL SparkSQL Hive Impala Hive Metastore Table Definitions: movieapp_log_json Tweets avro_log Metastore maps DDL to Java access classes OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 48

49 Fragen und Antworten OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 49

50 Ansprechpartner bei OPITZ CONSULTING Ingo Reisky Senior Consultant, Infrastructure Consulting OPITZ CONSULTING Deutschland GmbH Telefon Mobil slideshare.net/opitzconsulting xing.com/net/opitzconsulting OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 50

51 Ansprechpartner bei ISE Matthias Fuchs Solutions Architect ISE Information Systems Engineering GmbH Telefon Mobil Blog - LinkedIn - Xing - Twitter - OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 51