Vorlesung Software-Reengineering

Transkript

1 Vorlesung Software-Reengineering Prof. Dr. Rainer Koschke Arbeitsgruppe Softwaretechnik Fachbereich Mathematik und Informatik Universität Bremen Wintersemester 2007/08 Überblick I 1

2 1 Probleme statischer Analysen Information durch dynamische Analyse Testfälle Instrumentierung Probleme der Instrumentierung Weiterverarbeitung dynamischer Information Anwendungsbeispiele Vergleich mit statischer Analyse Wiederholungsfragen Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Probleme statischer Analysen Bisher: statische Analyse Aliasing Polymorphismus und dynamisches Binden Reflection verteilte Systeme Laufzeitinstanzen versus statischer Einheiten (z.b. Klassen) viele Entscheidungen erst zur Laufzeit statische Analyse problematisch Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

3 Vorlesung Software-Reengineering Probleme statischer Analysen Probleme statischer Analysen Probleme statischer Analysen Bisher: statische Analyse Aliasing Polymorphismus und dynamisches Binden Reflection verteilte Systeme Laufzeitinstanzen versus statischer Einheiten (z.b. Klassen) viele Entscheidungen erst zur Laufzeit statische Analyse problematisch statisch = ruhend, unbeweglich bezieht sich hier auf den Quellcode. Dieser ändert sich nicht während der Analyse. dynamisch = ändert sich hier ändert sich der Zustand des Programms (d.h. des Arbeitsspeichers etc.) mit jeder ausgeführten Anweisung. Aliasing: mehrere Zeiger auf das gleiche Objekt. Problem: Erst zur Laufzeit ist wirklich bekannt, auf welches Objekt der Zeiger konkret zeigt. Polymorphismus: auch hier entscheidet sich erst zur Laufzeit durch den Typ des Objekts, welche Methode konkret aufgerufen wird. Reflection is the ability of a running program to examine itself and its software environment, and to change what it does depending on what it finds. Verteiltes System: Menge interagierender Prozesse ohne gemeinsamen Speicher, d.h. mit Kommunikation untereinander. Definition : Analyse der Eigenschaften eines laufenden Programms. Ablauf: 1 Ausführen des Programms 2 Beobachtung der Ausführung 3 Analyse der Ergebnisse Notwendig: 1 Wahl der Testfälle 2 Instrumentierung oder Interpretation 3 Analysemethoden/-werkzeuge Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

4 Vorlesung Software-Reengineering Probleme statischer Analysen Definition : Analyse der Eigenschaften eines laufenden Programms. Ablauf: 1 Ausführen des Programms 2 Beobachtung der Ausführung 3 Analyse der Ergebnisse Notwendig: 1 Wahl der Testfälle 2 Instrumentierung oder Interpretation 3 Analysemethoden/-werkzeuge Eine dynamische Analyse hat jeder schon verwendet: Testen. Auch dabei wird das Programm ausgeführt, das Verhalten des Programms während der Ausführung beobachtet und aus den Beobachtungen Rückschlüsse gezogen (ist die Spezifikation erfüllt oder nicht?). Auch beim Testen ist die Wahl der Testfälle entscheidend: Möglichst alle Teile des Programms sollen in allen Varianten mindestens einmal ausgeführt worden sein. Eine hohe Testabdeckung ist also wünschenswert. Genauso ist es bei den meisten dynamischen Analysen. Für weitergehende Analysen ist in der Regel ein Blick in den inneren Zustand des Programms notwendig. Daher müssen Vorkehrungen getroffen werden, um diesen Zustand zugreifbar zu machen. Zum Beispiel müssen evtl. Variablenwerte ausgegeben oder das Passieren bestimmter Punkte erfasst werden. Dazu ist eine Instrumentierung notwendig. Was messen? Beobachtung der Ausführung durch Messen Codeabdeckung oder Häufigkeit Anweisungen, Zweige, Pfade, Aufrufe,... berechnete Werte Laufzeit, Speicherverbrauch Reihenfolge von Operationen... Problem: Messung ändert Verhalten Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

5 Wahl der Testfälle Testsuite bestimmt Kosten (Zeit und Raum) Genauigkeit (was wird nie ausgeführt) Problem: Vollständige Testabdeckung im Allgemeinen nicht zu erreichen. Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / Vorlesung Software-Reengineering Testfälle Wahl der Testfälle Wahl der Testfälle Testsuite bestimmt Kosten (Zeit und Raum) Genauigkeit (was wird nie ausgeführt) Problem: Vollständige Testabdeckung im Allgemeinen nicht zu erreichen. Vollständige Testabdeckung ist im allgemeinen nicht erreichbar, sobald ein Programm Schleifen enthält, die beliebig oft durchlaufen werden können. Dann müsste es unendlich viele Testfälle geben.

6 Instrumentierung Source code Parser Analyzer Intermediate representation Preprocessor cpp Transformation Source code Unparser Intermediate representation Compiler gprof Object code Byte code BCEL Soot Libs Linker VM Execution JDI Executable Instrumented artefact VM Execution Valgrind gdb/mi Instrumenting instance Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / Vorlesung Software-Reengineering Instrumentierung Instrumentierung Instrumentierung Parser Intermediate Source code Analyzer representation Preprocessor cpp Transformation Intermediate Source code Unparser representation Compiler gprof BCEL Object code Byte code Soot Libs Linker VM Execution JDI Executable Instrumented artefact VM Execution Valgrind gdb/mi Instrumenting instance gprof BCEL Soot JDI Valgrind gdb/mi Gnu Profiler der GNU Compiler Collection (gcc) Byte Code Engineering Library zur Analyse und Transformation von Java-Byte-Code Framework zur Analyse und Transformation von Java-Byte-Code Java Debugger Interface : Werkzeugkasten für Debugging und Profiling von Linux-Programmen zeilenbasierte, maschinenorientierte und textuelle Schnittstelle zu gdb, dem Debugger der GNU Compiler Collection (gcc)

7 Instrumentierung Performanz? Debug-Schnittstelle i.d.r. langsam Profiler schnell Aufwand? Profile-, Coverage-Information umsonst automatisierbar? Bezug zum Quellcode? schwierig bei Maschinencode unabhängig von Compiler/Prozessor? Unabhängig von Programmiersprache? Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Datenmenge Problem häufig: zu viele Daten! Lösungen: selektive Instrumentierung sofortige Verarbeitung (online) Umkodierung verlustfreie Kompression Filterung Vorverarbeitung (Trace Summarization) Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

8 Auswertung Aggregation Statistiken Inferenz: Ableitung neuen Wissens maschinelles Lernen Visualisierung je online/offline möglich Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Beispiel: Profiling Ziel: Performance-Engpässe finden Techniken: Messen der Zeiten Zeit vor/nach Ausführung Mitzählen, Summieren PC Sampling % cumulative self self total time seconds seconds calls ms/call ms/call name open offtime memccpy write... Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

9 Vorlesung Software-Reengineering Anwendungsbeispiele Beispiel: Profiling Beispiel: Profiling Ziel: Performance-Engpässe finden Techniken: Messen der Zeiten Zeit vor/nach Ausführung Mitzählen, Summieren PC Sampling % cumulative self self total time seconds seconds calls ms/call ms/call name open offtime memccpy write... PC sampling: in festen Zeitintervallen (z.b. alle 10ms) wird ermittelt, worauf gerade der Programmzähler (PC) zeigt. Der Zähler für die entsprechende Anweisung (oder die Funktion, zu der die Anweisung gehört) wird um eins erhöht. Dies wird über den gesamten Programmlauf wiederholt. Funktionen, in denen sehr viel Zeit verbracht wurde, haben damit am Ende einen hohen Zählerstand und können somit als Performance-kritisch identifiziert werden. Vorteil: wesentlich geringerer Overhead als beim Merken der Zeiten bei jedem Funktionseintritt/-austritt. Beispiel: Dynamisches Slicing (Agrawal und Horgan 1990) Statisches Slicing: Erreichbarkeit im System-Dependency-Graph Dynamisches Slicing: Verfolgen von Werten zur Laufzeit Jeder Wert wird annotiert: wo wurde er berechnet? aus welchen Werten? Dann: Rückwärtsverfolgung der Verweise Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

10 Vorlesung Software-Reengineering Anwendungsbeispiele Beispiel: Dynamisches Slicing (Agrawal und Horgan 1990) Beispiel: Dynamisches Slicing (Agrawal und Horgan 1990) Statisches Slicing: Erreichbarkeit im System-Dependency-Graph Dynamisches Slicing: Verfolgen von Werten zur Laufzeit Jeder Wert wird annotiert: wo wurde er berechnet? aus welchen Werten? Dann: Rückwärtsverfolgung der Verweise Beispiel: a = 5; if (x) { a++; } print(a); Zur Laufzeit ist immer bekannt, ob x true oder false war, d.h. ob bei print a=5 oder a=6 ist. Beispiel: Collaborations (Richner und Ducasse 2002) Aufzeichnen von Methodenaufrufen Aufrufer, Aufgerufener (Klasse, Instanz), Methode Pattern-Matching Suchen ähnlicher Muster Klassen, Instanzen, Methoden, Struktur Auswahl über Klassen/Methoden Collaboration Browser Object A methodcall() return Object B Visualisierung als Sequenzdiagramm Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

11 Beispiel: Invariantenerkennung (Ernst 2000) public class StackAr { Object[] thearray; int topofstack;... } Invarianten: thearray!= null thearray.getclass() == java.lang.object[].class topofstack >= -1 topofstack <= thearray.length - 1 thearray[0..topofstack] elements!= null thearray[topofstack+1..] elements == null Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Beispiel: Invariantenerkennung (Ernst 2000) Betrachtung aller Variablen auch abgeleitete Variablen sum, min, max first, second, last s[i], s[i-1], Teilsequenzen s[0..i], s[0..i-1] Anzahl Aufrufe einer Funktion Instanziierung und Testen aller potentiellen Invarianten Filterung der übrigen Invarianten hinreichend signifikant? Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

12 Beispiel: Dynamic Object Process Graph (Quante und Koschke 2006) Rekonstruktion des Kontrollflussgraphen Projektion auf ein Objekt Instrumentierung von Verzweigungen Routinenaufrufen Operationen auf Objekt Verwandt zu Slicing Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Beispiel: Dynamic Object Process Graph select() Call irc_io Call connect_to_server read() main loop select() Call do_server Call irc_do_a_screen Call connect Call dgets fcntl() Call login_to_server Call p_channel Call send_line setsockopt() socket() Start send() Call parse_command Final close() fcntl() Call irc_exit send_to_server and its call sites command dispatching through function pointers Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

13 Statische Analyse von Programmverhalten Analyse des Codes Modell des Programmzustands erstellen Mögliches Verhalten folgern abstrakte Ausführung Abstrakte Ausführung: meist Datenflussanalyse Transferfunktion für jede Anweisung Änderung des abstrakten Zustands? Beispiel: y = x++; Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Wahl der abstrakten Domäne Domäne: {even, odd, either} <x odd, y either> y = x++; <x even, y odd> <x even, y either> y = x++; <x odd, y even> Domäne: {prime, nonprime, anything} <x prime, y anything> y = x++; <x anything, y prime> Domäne: Menge von möglichen nat. Zahlen <x {3,5,7}, y IN> y = x++; <x {4,6,8}, y {3,5,7}> Domäne: symbolische Auswertung <x n, y n > y = x++; <x n+1 = x n + 1, y n+1 = x n > Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

14 Wahl der abstrakten Domäne Abstraktion bestimmt Kosten (Zeit und Raum) Genauigkeit (Informationsverlust) Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Statisch vs. Dynamisch Statisch abstrakte Domäne aufwändig wenn genau konservativ wegen Abstraktion vollständig (plus mehr) da konservativ begrenzte Sichtweite eher lokal Abstraktion bestimmt Kosten, Genauigkeit Dynamisch konkrete Ausführung kann aufwändig sein präzise keine Abstraktion unvollständig nicht verallgemeinerbar kann entfernte Beziehungen aufdecken Testsuite bestimmt Kosten, Genauigkeit Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

15 Statisch vs. Dynamisch dynamisch: zu konkret, nicht verallgemeinerbar Teilmenge statisch: zu abstrakt, daher ungenau Obermenge Wahrheit liegt (meist) dazwischen statisch dynamisch wirklich Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Statisch vs. Dynamisch Beispiel: y = f(x); if (y < 0) y = -y; Dynamisch: y {0, 2, 7, 43, 79} Statisch: 0 y MAX INT Wirklich: 0 y 100 Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

16 Kombination Aggregation dynamisch statisch: Übergeneralisierung erkennen statisch dynamisch: gezielte Instrumentierung Hybride Analysen Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 Beispiele Übersicht Anwendung dynamisch statisch Typprüfung Speicherzugriffsprüfung Slicing Merkmalsuche Protokollerkennung Protokollverifikation Metriken Verhalten Struktur - Profiling - Testabdeckung Finden toten Codes Klonerkennung Zeigeranalyse leicht schwierig Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28

17 Wiederholungs- und Vertiefungsfragen I Nennen Sie Vor- und Nachteile dynamischer Analyse gegenüber statischer Analyse Was kann durch dynamische Analyse alles erfasst werden? Wie kann dynamische Analyse durchgeführt werden? Welche Probleme hat die Instrumentierung? Nennen Sie Beispiele für Anwendungen dynamischer Analyse. Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28 1 Agrawal und Horgan 1990 Agrawal, Hiralal ; Horgan, Joseph R.: Dynamic Program Slicing. In: Proceedings of the Conference on Programming Language Design and Implementation. White Plains, New York, USA, Juni Ernst 2000 Ernst, Michael: Dynamically Discovering Likely Program Invariants. Seattle, Washington, USA, University of Washington, Department of Computer Science and Engineering, Dissertation, August Quante und Koschke 2006 Quante, Jochen ; Koschke, Rainer: Dynamic Object Process Graphs. In: Proceedings of the European Conference on Software Maintenance and Reengineering. Bari, Italy, März Richner und Ducasse 2002 Richner, Tamar ; Ducasse, Stéphane: Using Dynamic Information for the Iterative Recovery of Collaborations and Roles. In: Proceedings of the International Conference on Software Maintenance. Montreal, Canada : IEEE Computer Society Press, Oktober 2002, S Rainer Koschke (Univ. Bremen) Vorlesung Software-Reengineering WS 2007/ / 28