Oracle AD4J Your Troubleshooter

Transkript

1 Oracle AD4J Your Troubleshooter DOAG Konferenz 2009 Markus Heinisch Architekt Nürnberg, Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien

2 Trivadis Facts & Figures Über 540 Mitarbeiter an 13 Standorten im Raum D-A-CH Finanziell unabhängig und nachhaltig profitabel Kennzahlen 2008 Konsolidierter Konzernumsatz: CHF 108 Mio. / EUR 68 Mio. Bei über 650 Dienstleistungskunden in über 1'600 Projekten aktiv Über 150 Service Level Agreements Über 5'000 Schulungsteilnehmer Forschungs- und Entwicklungsbudget: CHF 6.0 Mio. / EUR 3.6 Mio

3 Trivadis - das Besondere Kundenindividuelle Lösungskompetenz und Herstellerunabhängigkeit Technologiekompetenz Lösungs- und Integrations-Know-how Begleitung über den gesamten IT-Projekt- Lifecycle bietet fundierte Methodenkenntnisse und eigenentwickelte Vorgehensweisen garantiert wiederholbare Qualität und Realisierungssicherheit hat über 15 Jahre Expertise in Oracle, Microsoft, IBM & Open Source verfügt über ein eigenes Technology Center und setzt auf technologische Exzellenz hat eine breite, branchenübergreifende Kundenbasis und jährlich über 1600 Projekte verbindet technologisches Spezialistenwissen mit dem Verständnis für die Business-Spezifika des Kunden begleitet den gesamten IT-Projekt-Lifecycle mit einem modularen Dienstleistungsportfolio bietet für jeden Reifegrad die passende Dienstleistungs- und Lösungskombination

4 Agenda Einführung AD4J Kundeneinsatz Fazit Daten sind immer im Spiel. Oracle AD4J 4

5 Troubleshooting Challenges Unklare Problemstellung Unbekanntes System Hohe Erwartungshaltung Fachbereich vs. Betrieb Don t touch a running System -Syndrom Restriktiver Zugang zum produktiven System Geringe Möglichkeiten zur Einflußnahme Oracle AD4J 5

6 Application Diagnostics for Java (AD4J) Untersuchung der Probleme in produktiven Umgebungen nicht im Testsystem verkürzt Zeit bis zur Lösung des Problems Monitoring von Applikationen mit Grenzwertüberwachung und Notifikation Ermöglicht proaktive Maßnahmen Zur Anzeige der Java Aktivitäten ist keine Instrumentierung notwendig Hot Deployment Minimal Runtime Overhead (<1%) Standalone Tool (Teil von Oracle Enterprise Manager 10g R4) Oracle AD4J 6

7 Usage Scenarios 1. Memory Leak Detection and Analysis 2. Activity Monitoring and Diagnostics 3. Elapsed Time Analysis 4. Cross-tier correlation with DB Oracle AD4J 7

8 Systemaufbau Quelle: Oracle Application Diagnostics for Java (AD4J), OTN Oracle AD4J 8

9 Installation Console Installation Console Web-Applikation (JServ) AD4J Repository Postgres DB Certification Authority (CA) und self-signed Certificate für HTTPS Zugriff auf Web-Applikation Abhängig von OS-Plattform Windows, Linux, AIX, Solaris, HP-UX Agent Installation Download Agent aus der Console Java Agent local-remote, WAR-EAR, standalone ZIP Abhängig von zu beobachtender JVM JDK DB Agent 32/64 bit, OS-abhängig Oracle 8i-11g, keine Windows-DB Unterstützung Oracle AD4J 9

10 Deployment Hot Deployment bei Web und Application Servern Kein Restart von Applikation oder Server notwendig Keine Änderungen an JVM-Parametern oder der Applikationskonfiguration JVM Schnittstelle JVMPI/JVMTI (Java Virtual Machine Tool Interface) wird nicht verwendet Kein Classloader Zirkus Standalone Application AD4J Agent startet zu untersuchende Applikation Parameter jamisdaemon = true Agent verwendet JNI OS abhängige shared Lib Oracle AD4J 10

11 Agenda Einführung AD4J Kundeneinsatz Fazit Daten sind immer im Spiel. Oracle AD4J 11

12 Kundeneinsatz - Problembeschreibung System: OutputManagement System mit Input als Word-Serienbrief und Output als AFP-Stream Problembeschreibung: Auf dem produktiven System tritt während der Verarbeitung von HTTP-Requests auf dem Server eine OutOfMemoryExceptions auf (Java Heap Space). D.h., dass zu diesem Zeitpunkt die JVM nicht mehr genügend freien Speicher zur Verfügung hat, um neue Speicheranforderungen zu bedienen. Der Fehler tritt nahezu täglich auf Auf Fehler folgt manueller Reboot Es kann bis zum nächsten Fehler wieder gedruckt werden Oracle AD4J 12

13 Potentielle Ursachen Is it a Bug or a Feature? Das Problem kann verschiedene Gründe haben: Die Ressourcen von Tomcat sind zum Zeitpunkt des Fehlers vollständig belegt, weil entsprechend viele Sessions parallel arbeiten Bei jedem HTTP Request geht Speicher verloren, d.h., es werden Objekte in der JVM nicht freigegeben, obwohl sie nicht mehr gebraucht werden (Memory Leak) Falsche Konfiguration in der Applikation oder in Tomcat Bug in der Applikation bzw. den verwendeten Libraries AD4J Usage Scenario Memory Leak Detection and Analysis Oracle AD4J 13

14 Vorgehen Ziel Verantwortliche Objekte für den Speicherzuwachs identifizieren Maßnahme Untersuchung von mehreren Heap Dumps Durchführung 1. Word erzeugt ein Serienbrief (ca. 70 Seiten) 1. Mittels mehreren HTTP-Requests an OMS übergeben 2. OMS verarbeitet das Dokument 3. Nach ca. 5 min (eingestellter Session Timeout) wurde ein Heapdump der Serverapplikation durchgeführt. 4. Dump wurde auf den AD4J Server Rechner übertragen 5. Dump in AD4J Console zur weiteren Analyse geladen Oracle AD4J 14

15 AD4J Hinweis: Heapdump Verzeichnis konfigurieren Dump erzeugen Oracle AD4J 15

16 Heap Usage Nacheinander Heapdumps in AD4J laden Compare Heaps Mittels eines DIFF zweier aufeinander folgender Heapdumps ergibt sich in AD4J Oracle AD4J 16

17 Compare Heap Speicherverbrauch des Heaps von einem Druck zum nächsten Klick auf Dictionary führt zur detaillierten Darstellung der abhängigen Objekte Oracle AD4J 17

18 Ursache gefunden Hauptverantwortlich Klassen für den Speicherzuwachs gefunden Drilldown der Objekte möglich Ansicht von Children, Parents und Roots Oracle AD4J 18

19 Standalone Application Beispiel TOMAS Is there a memory leak? Start der Komponente Renderer mittels AD4J Skript: java.exe -Xmx512m -Dlog4j.configuration=file:/config/log4j.properties -cp tomas-rendering jar;c:\tmp\jamagent.zip jamagent.jamrun jamisdaemon=true jamjvmid=renderer com.trivadis.tomas.rendering.starter.renderingstarter %* config/rendering.xml Oracle AD4J 19

20 Agenda Einführung AD4J Kundeneinsatz Fazit Daten sind immer im Spiel. Oracle AD4J 20

21 Fazit Nachteile Web-lastig: HTTP Request/Response als natürliche Klammer Was ist mit Demons/Standalone Applikationen? Webapplikation nicht ganz fehlerfrei Dokumentation sehr sparsam Vorteile Memory Leak Detection funktioniert einfach Easy to install Easy to use In produktiven System einsetzbar, geringer Overhead Als Überwachungstool für sensitiven Zeitraum nutzbar Oracle AD4J 21

22 Ressourcen Trivadis: acle-ad4j-installation-on-linux.aspx OTN: _source/index.htm, Flash Slide Show (Hörspiel) Oracle AD4J 22

23 Weitere Fragen? Trivadis finden Sie auf Ebene 3 Stand Nr. 304? Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg München Stuttgart Wien