Markus Heinisch Architekt Nürnberg,

Transkript

1 Oracle AD4J Your Troubleshooter Markus Heinisch Architekt Nürnberg, Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien

2 Agenda Einführung AD4J Installation Kundeneinsatz Daten sind immer im Spiel. Usage Scenarios Fazit Oracle AD4J 2

3 Troubleshooting Challenges Unklare Problemstellung Hohe Erwartungshaltung Fachbereich vs. Betrieb Unbekanntes System Don t touch a running System -Syndrom Restriktiver Zugang zum produktiven System Geringe Möglichkeiten zur Einflußnahme Oracle AD4J 3

4 Application Diagnostics for Java (AD4J) Untersuchung der Probleme in produktiven Umgebungen nicht im Testsystem verkürzt Zeit bis zur Lösung des Problems Monitoring von Applikationen mit Grenzwertüberwachung und Notifikation Ermöglicht proaktive Maßnahmen Zur Anzeige der Java Aktivitäten ist keine Instrumentierung notwendig Hot Deployment Minimal Runtime Overhead (<1%) Standalone Tool (Teil von Oracle Enterprise Manager 10g R4) Oracle AD4J 4

5 Usage Scenarios 1. Memory Leak Detection and Analysis 2. Activity Monitoring and Diagnostics 3. Elapsed Time Analysis 4. Cross-tier correlation with DB Oracle AD4J 5

6 Systemaufbau Quelle: Oracle Application Diagnostics for Java (AD4J), OTN Oracle AD4J 6

7 Agenda Einführung AD4J Installation Kundeneinsatz Daten sind immer im Spiel. Usage Scenarios Fazit Oracle AD4J 7

8 Installation Console Installation Console Web-Applikation (JServ) AD4J Repository Postgres DB Certification Authority (CA) und self-signedsigned Certificate für HTTPS Zugriff auf Web-Applikation Abhängig von OS-Plattform Windows, Linux, AIX, Solaris, HP-UX Agent Installation Download Agent aus der Console Java Agent local-remote, WAR-EAR, standalone ZIP Abhängig von zu beobachtender JVM JDK DB Agent 32/64 bit, OS-abhängig Oracle 8i-11g, keine Windows-DB Unterstützung tüt Oracle AD4J 8

9 Deployment Hot Deployment bei Web und Application Servern Kein Restart von Applikation oder Server notwendig Keine Änderungen an JVM-Parametern oder der Applikationskonfiguration JVM Schnittstelle JVMPI/JVMTI (Java Virtual Machine Tool Interface) wird nicht verwendet Kein Classloader Zirkus Standalone Application AD4J Agent startet zu untersuchende Applikation Parameter jamisdaemon = true Agent verwendet JNI OS abhängige shared Lib Oracle AD4J 9

10 Agenda Einführung AD4J Installation Kundeneinsatz Daten sind immer im Spiel. Usage Scenarios Fazit Oracle AD4J 10

11 Kundeneinsatz - Problembeschreibung Problembeschreibung: Auf dem produktiven System tritt in während der Verarbeitung von HTTP-Requests auf dem Server eine OutOfMemoryExceptions auf (Java Heap Space). D.h., dass zu diesem Zeitpunkt die JVM nicht mehr genügend freien Speicher zur Verfügung hat, um neue Speicheranforderungen zu bedienen. Der Fehler tritt nahezu täglich auf Auf Fehler folgt manueller Reboot Es kann bis zum nächsten Fehler wieder gedruckt werden Oracle AD4J 11

12 Potentielle Ursachen Is it abugor a Feature? Das Problem kann verschiedene Gründe haben: Die Ressourcen von Tomcat sind zum Zeitpunkt des Fehlers vollständig belegt, weil entsprechend viele Sessions parallel drucken Bei jedem HTTP Request geht Speicher verloren, d.h., es werden Objekte in der JVM nicht freigegeben, obwohl sie nicht mehr gebraucht werden (Memory Leak) Falsche Konfiguration in der Applikation oder in Tomcat Bug in der Applikation bzw. den Verwendeten Libraries AD4J Usage Scenario Memory Leak Detection and Analysis Oracle AD4J 12

13 Vorgehen Ziel Verantwortliche Objekte für den Speicherzuwachs identifizieren Maßnahme Untersuchung von mehreren Heap Dumps Implementierung 1. Word erzeugt ein Serienbrief (ca. 70 Seiten) 1. Mittels mehreren HTTP-Requests an OMS übergeben 2. OMS verarbeitet das Dokument 3. Nach ca. 5 min (eingestellter Session Timeout) wurde ein Heapdump der Serverapplikation durchgeführt. 4. Dump wurde auf den AD4J Server Rechner übertragen 5. Dump in AD4J Console zur weiteren Analyse geladen Oracle AD4J 13

14 AD4J Hinweis: Heapdump Verzeichnis konfigurieren Dump erzeugen Oracle AD4J 14

15 Heap Usage Nacheinander Heapdumps p in AD4J laden Compare Heaps Mittels eines DIFF 2 zweier aufeinander folgender Heapdumps ergibt sich in AD4J 1 3 Oracle AD4J 15

16 Compare Heap Speicherverbrauch des Heaps von einem Druck zum nächsten Klick auf Dictionary führt zur detaillierten Darstellung der abhängigen Objekte Oracle AD4J 16

17 Ursache gefunden Hauptverantwortlich Klassen für den Speicherzuwachs gefunden Drilldown der Objekte möglich Ansicht von Children, Parents und Roots Oracle AD4J 17

18 Standalone Application Beispiel TOMAS Is there a memory leak? Start der Komponente Renderer Renderer mittels AD4J Skript: java.exe -Xmx512m -Dlog4j.configuration=file:/config/log4j.properties -cp tomas-rendering jar;c:\tmp\jamagent.zip jamagent.jamrun jamisdaemon=true jamjvmid=renderer com.trivadis.tomas.rendering.starter.renderingstarter %* config/rendering.xml Oracle AD4J 18

19 Agenda Einführung AD4J Installation Kundeneinsatz Daten sind immer im Spiel. Usage Scenarios Fazit Oracle AD4J 19

20 Usage Scenarios 1. Memory Leak Detection and Analysis (JVM Memory Analysis) 2. Activity Monitoring and Diagnostics 3. Elapsed Time Analysis 4. Cross-tier correlation with DB Oracle AD4J 20

21 Activity Monitoring and Diagnostics Examining JVM Activity Was passiert jetzt in den JVMs & DBs? Thread Heap Oracle AD4J 21

22 Activity Monitoring and Diagnostics Detailierte Ansichten zu Threads und Heaps Agenten senden Datenbasis an Console Einstellbar auf Seite JVMs Pools, Property Poll Interval (ms) Grenzwerte für red red und yellow yellow Stati Logging der Agentendaten Past JVM Activity : Last 24 hrs Drilldown Top Methodenaufrufe Top HTTP Requests Oracle AD4J 22

23 Notifications Einfaches /SNMP Alerting JVM Pool bezogen Red/Yellow Grenzwerte konfigurieren Dokumentation sehr knapp Oracle AD4J 23

24 Elapsed Time Analysis Untersuchung von aktiven Threads über eine Zeitspanne Definition einer Messreihe Gespeichert als Textdatei(en) Analyse der Daten nach Thread state Methode Request Oracle AD4J 24

25 Trace database bottlenecks to Java Korrelation von Datenbankaktivitäten und Java-Methodenaufrufen DB Engpässe können verantwortlichen Java Method-Calls zugeordnet werden Voraussetzung ist ein installierter DB-Agent Windows nicht unterstützt Oracle AD4J 25

26 Fazit Nachteile Web-lastig: HTTP Request/Response als natürliche Klammer Was ist mit Demons/Standalone Applikationen? Webapplikation nicht ganz fehlerfrei Dokumentation sehr sparsam Vorteile Memory Leak Detection funktioniert einfach Easy to use Easy to install In produktiven System einsetzbar, geringer Overhead Als Überwachungstool für sensitiven Zeitraum nutzbar Oracle AD4J 26

27 Ressourcen Trivadis: acle-ad4j-installation-on-linux.aspx OTN: com/enterprise manager/fusion middleware management packs.html /t h l / t / / t/i d l _source/index.htm, Flash Slide Show (Hörspiel) Oracle AD4J 27

28 Vielen Dank!? Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien