Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen

Transkript

1 Patrick Schlott Fachbereich Informatik Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 1

2 Gliederung Einführung Expertenfindung anhand von Bugreports Expertenfindung anhand von Testfällen Abschlussbetrachtung Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 2

3 Einführung Worum gehts hier überhaupt? Unterstützung von Projektmanagern zur Expertenfindung Ansprüche: Automatisierung Hohe Genauigkeit Anwendbarkeit Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 3

4 Einführung Motivation Projektmanager Peter Entwicklerteam Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 4

5 Einführung Motivation Projektmanager Peter Fehler Kunde Entwicklerteam Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 5

6 Einführung Motivation Projektmanager - Fehler verifizieren - Fehlerumfeld bestimmen Peter - Fehler zuweisen Fehler Kunde Entwicklerteam Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 6

7 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 7

8 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Klaus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 8

9 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Hugo Klaus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 9

10 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Hugo Klaus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 10

11 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Frida Hugo Klaus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 11

12 Einführung Motivation Projektmanager Peter Fehler Kunde Karl Entwicklerteam Frida Hugo Klaus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 12

13 Gliederung Einführung Expertenfindung anhand von Bugreports Who Should Fix This Bug? Evaluation Probleme Neuzuweisungsgraphen Expertenfindung anhand von Testfällen Abschlussbetrachtung Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 13

14 Bugreports Bugreports Viele Projekte verwenden Bugtrackersysteme Meldung von Fehlern durch User Bestandteile: Freitextfeld Kurzbeschreibung Metadaten Zugewiesener Bearbeiter (Assigned-To) Statusfeld Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 14

15 Bugreports Beispielprojekt Eclipse Teilweise mehrere Hundert Bugreports am Tag Besonders nach Releases Manuelle Durchsicht Statusänderung nach etwa 17 Tagen Manuelle Zuweisung Nach etwa 24 weiteren Tagen Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 15

16 Who Should Fix This Bug? Paper I Who Should fix this Bug? John Anvik, Lyndon Hiew, Gail C. Murphy University of British Columbia ICSE 2006 Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 16

17 Who Should Fix This Bug? Grundlegender Ansatz Verwendung der textuellen Beschreibung Maschinelles Lernen Verwenden von Trainingsdaten Anwenden auf neue Bugreports Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 17

18 Who Should Fix This Bug? Überwachte Lernende Maschine Endliche Anzahl an Trainingsdaten Bestehend aus Merkmalen Endliche Anzahl an Kategorien Hier Entwickler Einordnung von Daten in Kategorien Überwacht: Zuordnung bekannt und fest Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 18

19 Who Should Fix This Bug? Schritt 1: Trainingsdaten aufbereiten Textuelle Beschreibung verarbeitbar machen Bug Report Liste von Merkmalen Ordnen nach relativer Häufigkeit Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 19

20 Who Should Fix This Bug? Schritt 2: Trainingsdaten kategorisieren Experte für Bugreports finden Projekt analysieren und Regeln aufstellen Assigned-To-Feld verwenden oder Bug Logs verwenden Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 20

21 Who Should Fix This Bug? Schritt 2: Mögliche Regeln Regel 1: FIXED Bearbeiter als Experte übernehmen Regel 2: DUPLICATE Bearbeiter des Originals als Experte übernehmen Regel 3: INVALID oder WONTFIX Nicht Klassifizierbar Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 21

22 Who Should Fix This Bug? Schritt 3: Filterung Entfernen nicht klassifizierbarer Reports Nicht mehr verfügbare Entwickler ausschließen Entwickler mit zu wenig Trainingsdaten ausschließen Anschließend training der Maschine Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 22

23 Who Should Fix This Bug? Evaluation Ansatz wurde auf 3 Open Source Projekte angewandt Eclipse Firefox GCC Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 23

24 Who Should Fix This Bug? Vorgehensweise Große Anzahl an Trainingsdaten Kategorisierung durch Bug Logs Ansatz auf neuere Prüfdaten anwenden Liste empfohlener Experten mit wirklichen Experten vergleichen Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 24

25 Who Should Fix This Bug? Ergebnisse Eclipse Firefox GCC Trainingszeitraum September 2004 April 2005 Trainingsdaten Prüfdaten Genauigkeit (eine Empfehlung) 58% 64% 6% Genauigkeit (drei Empfehlungen) 47% 57% 18% Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 25

26 Who Should Fix This Bug? Problem I: Experten Keine Projektmanager mit Überblick oder Expertenlisten verfügbar Berechnung anhand von Modulaktivitäten Entwickler verwenden häufig andere Kennung als im Bugtrackersystem Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 26

27 Who Should Fix This Bug? Problem II: Schlechte GCC-Werte Genauigkeit deutlich zu niedrig Ansatz vermutlich nicht geeignet für Projekt Mögliche Gründe: Eine extrem dominater Entwickler (1394 zu 160) Viele Entwickler mit sehr wenig Beiträgen Nur 29 von 92 Entwicklern betrachtet 32 von 84 Benutzernamen konnten nicht zugeordnet werden Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 27

28 Who Should Fix This Bug? Problem III: Praktischer Nutzen Nur externe Genauigkeitsbestimmung Keine Studie zum praktischen Nutzen für Projektmanager Keine Prozessverbesserung bestimmbar Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 28

29 Who Should Fix This Bug? Problem IV: Qualität von Bugreports Bugreports werden von Usern geschrieben Häufig kein Fachwissen Teilweise schlechte Beschreibung Extrem unterschiedliche Formulierungen Mögliche Verbesserung durch Wörterbücher Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 29

30 Gliederung Einführung Expertenfindung anhand von Bugreports Who Should Fix This Bug? Evaluation Probleme Neuzuweisungsgraphen Expertenfindung anhand von Testfällen Abschlussbetrachtung Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 30

31 Neuzuweisungsgraph Motivation Bisherige Annahme: Bugreport wird genau einer Person vorgelegt. Realität: Häufige Neuzuweisung von Bugreports Gründe: Falsche Zuweisung Zusätzliches Wissen benötigt Entwickler nicht verfügbar Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 31

32 Neuzuweisungsgraph Anzahl Neuzuweisungen Eclipse Mozilla Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 32

33 Neuzuweisungsgraph Neuzuweisungsgraph Umwandeln von vergangenen Neuzuweisungen in Pfade Markov-Modell aus Pfaden erstellen Zustände = Entwickler Zustandsübergänge = Neuzuweisungen Übergangswahrscheinlichkeiten aus Pfaden Nur Abhängig von aktuellem Zustand Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 33

34 Neuzuweisungsgraph Verbesserungspotential Aufzeigen von Teamstrukturen Besonders wichtig für Open Source Projekte Kombination mit automatisierter Expertenfindung Verbesserungen von 0% -16% je nach Projekt und Algorithmus Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 34

35 Gliederung Einführung Expertenfindung anhand von Bugreports Expertenfindung anhand von Testfällen WhoseFault Evaluation Probleme Abschlussbetrachtung Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 35

36 WhoseFault Paper II WHOSEFAULT: Automatic Developer-to-Fault Assignment through Fault Localization Francisco Servant James A. Jones University of California, Irvine ICSE 2012 Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 36

37 WhoseFault Übersicht Test Fälle Quellcode Repository Fehler lokalisieren Codegeschichte analysieren Verdächtigkeitswerte Expertisen berechnen History Graph Entwicklerliste Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 37

38 WhoseFault Übersicht Test Fälle Quellcode Repository Fehler lokalisieren Codegeschichte analysieren Verdächtigkeitswerte Expertisen berechnen History Graph Entwicklerliste Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 38

39 WhoseFault Tarantula Code Testfall 1 Testfall 2 Testfall 3 a = x[0]; x x x b = x[2]; x x x op = x[1]; x x x if (op == 'plus') x x x return a + b; x else if (op == 'minus') x x return a * b; x else if (op == 'mal') x return a * b; x Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 39

40 WhoseFault Tarantula Code Testfall 1 Testfall 2 Testfall 3 a = x[0]; x x x b = x[2]; x x x op = x[1]; x x x if (op == 'plus') x x x return a + b; x else if (op == 'minus') x x return a * b; x else if (op == 'mal') x return a * b; x Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 40

41 WhoseFault Übersicht Test Fälle Quellcode Repository Fehler lokalisieren Codegeschichte analysieren Verdächtigkeitswerte Expertisen berechnen History Graph Entwicklerliste Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 41

42 WhoseFault Quellcodegeschichte analysieren Quellcode-Repository History Graph aufbauen Mehrteiliger Graph Jede Version ein Teil Teile bestehen aus Codezeilen und Autoren Jede Zeile hat 0 oder 1 Vorgänger Vorgänger mit Levenshtein-Distanz ermitteln Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 42

43 WhoseFault History Graph erstellen Version 1 (Paul) Version 2 (Paul) Version 3 (Frida) Version 4 (Paul) public void run() { public void run() { public void run() { public void run() { } i = 0; j = 2; j = 2; } i = 5; i = 5; x = i + j } } Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 43

44 WhoseFault History Graph erstellen Version 1 (Paul) Version 2 (Paul) Version 3 (Frida) Version 4 (Paul) public void run() { } public void run() { i = 0; } public void run() { j = 2; i = 5; x = i + j public void run() { j = 2; i = 5; } } Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 44

45 WhoseFault Übersicht Test Fälle Quellcode Repository Fehler lokalisieren Codegeschichte analysieren Verdächtigkeitswerte Expertisen berechnen History Graph Entwicklerliste Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 45

46 WhoseFault Expertise Annahmen: Mehr Änderungen = Höhere Expertise Zeitnahe Änderungen = Höher die Expertise Kombination aus Quellcodegeschichte und Fehlerlokalisation Nur Zeilen mit Wahrscheinlichkeit > 0 betrachten Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 46

47 WhoseFault Für jede Zeile Expertise berechnen Betrachte Verdächtigkeitswert v Wenn v > 0 Verfolge History Graph Für jede ändernde Version Betrachte Ersteller e Berechne Aktualität a der Version (0-1) Addiere (a * v) zum Expertisenwert von e Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 47

48 WhoseFault Evaluation Ansatz wurde im Tool WhoseFault implementiert Angewandt auf AspectJ Ca Versionen aus 8,5 Jahren Fehlersuche mit IBugs Verwendet wurden Testfälle, die in der Vorversion fehlschlagen und in der Folgeversion nicht mehr Prüfdaten: 889 Testfälle Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 48

49 WhoseFault Evaluation Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 49

50 WhoseFault Zusätzliche Untersuchungen Vergleich mit Anzahl der Commits 4% besser für 1; 40% für 3 Entwickler Einfluss der drei Bestandteile Änderung Empfehlungen Historie auf Dateiebene -1% -0% -20% Lokalisation ohne bestandene Testfälle +0% -1% -0% Expertise nach Commitzahl -6% -9% -31% Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 50

51 WhoseFault Problem I: Genauigkeit 35% für eine Empfehlung sehr gering Andere Berechnung als erstes Ansatz Nur ein Experte pro Testfall Ist nur der Beheber ein Experte? Nur 8 Entwickler durchschnittlich Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 51

52 WhoseFault Problem II: Praktischer Nutzen Keine Nutzbarkeitsstudie Für welche Testarten anwendbar? Evaluation an nur einem Projekt Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 52

53 Gliederung Einführung Expertenfindung anhand von Bugreports Expertenfindung anhand von Testfällen Abschlussbetrachtung Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 53

54 Hohe Genauigkeit? Paper I: Bugreports Zwischen 6% und 60% für Expertengruppen Verbesserung bis auf 70% mit Neuzuweisungen Paper II: Testfälle Ungefähr 35% für einen möglichen Experten Expertenfindung diskutabel in beiden Ansätzen Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 54

55 Automatisierung? Beide Ansätze nur als Unterstützung nutzbar Auswahl weiterhin manuell aber mit Vorschlägen Vermutlich hilfreicher für unerfahrene Projektmanager und Entwickler, die Hilfe benötigen Vorteil Paper II: Fehlerlokalisation könnte gleich mitgeliefert werden Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 55

56 Anwendbarkeit? Paper I: Bestimmte Vorraussetzung müssen erfüllt sein (Siehe GCC-Beispiel) Testdaten benötigt, kann erst nach einiger Projektlaufzeit eingeführt werden Projektanaylse für Kategorisierung nötig Getestet nur an Open Source Projekten Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 56

57 Anwendbarkeit? Paper II: Gute Testabdeckung benötigt Von Beginn an anwendbar Nutzen variiert stark mit Teststrategie Instrumentierung notwendig Wenig Anpassungen notwendig Auch nur an Open Source Projekten getestet Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 57

58 Quellen Who Should Fix This Bug? J. Anvik, L. Hiew, G. C. Murphy (ICSE 2006) Improving Bug Triage With Tossing Graphs G. Jeong, S. Kim, T. Zimmermann (ESEC/FSE 2009) WhoseFault: Atomatic Developer-To-Fault Assignment Through Fault Localization F. Servant, J. Jones (ICSE 2012) Visualization Of Test Information To Assist Localisation J. A. Jones, M. J. Harrold, J. Stasko (ICSE 2002) Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 58

59 Patrick Schlott Fachbereich Informatik Vielen Dank für Ihre Aufmerksamkeit Automatisierte Expertenfindung zur Fehlerbehebung in großen Softwaresystemen 59