Statistische Analyse mittels Softwarefehler-Datenbanken unter Berücksichtigung von fehlenden Werten

Transkript

1 Statistische Analyse mittels Softwarefehler-Datenbanken unter Berücksichtigung von fehlenden Werten Inaugural-Dissertation zur Erlangung des akademischen Grades eines Doktors der Wirtschafts- und Sozialwissenschaften (Dr. rer. pol.) der Friedrich-Alexander-Universität Erlangen-Nürnberg vorgelegt von Dipl.-Math. oec. Andreas Wittmann aus Pfaffenhofen a. d. Ilm

2 Erstreferent: PD Dr. Michael Grottke Zweitreferent: Prof. Dr. Ingo Klein letzte Prüfung:

3 Danksagung An dieser Stelle möchte ich mich bei allen Personen bedanken, die für das Gelingen der vorliegenden Arbeit auf direkte und indirekte Weise beigetragen haben. Zuallererst bedanke ich mich bei meinem Doktorvater, PD Dr. Michael Grottke, für die ausgezeichnete und langjährige Betreuung und die hilfreichen Diskussionen, die einen entscheidenden Beitrag zum erfolgreichen Abschluss der Arbeit geleistet haben. Mein herzlicher Dank gilt Herrn Professor Dr. Ingo Klein für die Übernahme des Zweitgutachtens. Insbesondere durch die Teilnahme am statistischen Seminar wurde mir die Gelegenheit geboten, verschiedene Aspekte der Arbeit vorstellen und diskutieren zu können. Ferner möchte ich mich bei Herrn Dr. Florian Koller- Meinfelder für die wertvollen Ratschläge im Bezug auf die Durchführung der Simulationsstudie zur Analyse der Regressionsparameter danken. Ich bedanke mich bei Herrn Rolf Dettweiler, Abteilungsleiter Applikationsentwicklung der msggillardon AG, der mir die Freiheit gab, diese Arbeit anfertigen zu können. Darüber hinaus bedanke ich mich bei meinen Kollegen vom MARZIPAN/M-Team, wobei ich insbesondere den Korrekturlesern Harald Kalinke und Jürgen Minhoff für die hilfreichen Ratschläge grammatikalischer und stilistischer Art danken möchte. Ich bedanke mich bei meinen Eltern und Schwiegereltern für die immerwährende Unterstützung im Laufe der Jahre. Mein größter Dank gilt meiner Frau Annika und unseren Kindern Maximilian und Helena für den seelischen und moralischen Beistand. Ihr ward und seid meine größte Motivation. Andreas Thomas Wittmann Pfaffenhofen a. d. Ilm, April 2014

4

5 Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Notation ix xi xvii 1 Einleitung 1 2 Analyse des Ticket-Bearbeitungsprozesses Einleitung Allgemeine Darstellung Theoretische und empirische Ausgangslage Forschungsrahmen Ticket-Eigenschaften Anzahl der Anhänge Verständlichkeit Komponente Länge der Fehlerbeschreibung Reputation des Erstellers Ticket-Änderungen Vorgehensmodell Kontrollvariablen Last Release-Alter Release-Größe Release-Komplexität Systemtyp Team-Erfahrung Methoden, Analyse und Ergebnisse Datenbeschreibung Operationalisierung zu Variablen

6 vi Inhaltsverzeichnis Abhängige Variablen Unabhängige Variablen Kontrollvariablen Konstante, unbeobachtete oder mit anderen Variablen hoch korrelierte Einflussgrößen Deskriptive Analyse der Bearbeitungszeiten Deskriptive Analyse der Anzahl der Entwickler, Tester und Wiedereröffnungen Zeitliche Veränderung von Fehlertickets Veränderung der Ticketbeschreibung im Zeitverlauf Veränderung der Priorität im Zeitverlauf Modelle Modellierung der Bearbeitungszeiten Modellierung der Anzahl der Entwickler, Tester und Wiedereröffnungen Empirische Analyse Box-Cox-Transformation der Bearbeitungszeiten Entfernung von einflussreichen Beobachtungen Überprüfung der Annahme der Normalverteilung der Residuen Überprüfung der Homoskedastizitätsannahme Überprüfung der Homogenitätshypothese Unabhängigkeit der Beobachtungen Überprüfung von Missspezifikation Untersuchung hinsichtlich Multikollinearität Überprüfung auf Überdispersion Ergebnisse Diskussion Bewertung der Validität Konstruktvalidität Interne Validität Externe Validität Zuverlässigkeit Zusammenfassung Grundlagen fehlender Werte Einleitung Fehlend-Mechanismen Missing Completely at Random Missing at Random Missing Not at Random

7 Inhaltsverzeichnis vii 3.3 Verschiedenheit und Ignorierbarkeit Fehlend-Muster Fehlend-Techniken Listenweiser Fallausschluss Mittelwert- und Modusergänzung Ergänzung durch verkettete Anwendung von Support-Vektor-Maschinen Support-Vektor-Klassifikation One-Against-One-Ansatz Support-Vektor-Regression Algorithmus zur Ergänzung von fehlenden Werten Mehrfache Ergänzung Verkettete Regression Datenvermehrungsverfahren Kombination der Ergebnisse Simulationsstudie Einleitung Simulation von fehlenden Werten Berechnung des Fehlend-Anteils Fehlend-Muster-basierter Ansatz Löschen von Werten nach dem MCAR-Fehlend-Mechanismus Löschen von Werten nach dem MAR-Fehlend-Mechanismus Löschen von Werten nach dem MNAR-Fehlend-Mechanismus Fehlend-Anteil-basierter Ansatz Löschen von Werten nach dem MCAR-Fehlend-Mechanismus Löschen von Werten nach dem MAR-Fehlend-Mechanismus Löschen von Werten nach dem MNAR-Fehlend-Mechanismus Simulationsaufbau Datensatz Anteil an fehlenden Werten Update der Zeilen aus der Fehlend-Muster-Häufigkeitsmatrix Gütemaße Analyse der Regressionsparameter Prognose von Entwicklungszeiten Durchführung der Ergänzungen Verwandte Arbeiten Ergebnisse Analyse der Regressionsparameter Prognose von Entwicklungszeiten Zusätzliche Simulationsstudie

8 viii Inhaltsverzeichnis Deskriptive Analyse der simulierten Datensätze Zusammenfassung Anwendung auf reale Daten aus einer Fehlerdatenbank Einleitung Berücksichtigung von zensierten Entwicklungszeiten Ergebnisse Zusammenfassung und Ausblick 187 A Dokumentation der beiligenden CD-ROM 191 B Tabellen 193 B.1 Simulationsstudie zur Analyse der Regressionsparameter B.2 Deskriptive Analyse der simulierten Datensätze Literaturverzeichnis 237

9 Abbildungsverzeichnis 2.1 Schritte im Ticket-Bearbeitungsprozess der Fehlerdatenbank Abstrakte Grundstruktur zur Modellierung des Ticket-Bearbeitungsprozesses Ermittlung des Scrum-Datums anhand des Scrum-Einführungsdatums und des Median der internen Prozesszeiten Geschätzte Überlebenswahrscheinlichkeiten unter Verwendung der Prozesszeiten PROZ (obere Reihe) und der Prozesszeiten PROZ (untere Reihe) Fallunterscheidung zur Berechnung der Überdeckungstage Berechnung der Last unter Verwendung der Überdeckungstage für ein abgeschlossenes und für ein offenes Fehlerticket Lastberechnung unter Verwendung der Methoden 1 bis Erstellte, geschlossene und offene Fehlertickets pro Tag Lastberechnung in Abhängigkeit vom Bearbeitungsstatus der Fehlertickets und vom Fehlend-Status der unabhängigen Variablen Prozesszeiten und Lastberechnung zu Beispiel Fehlend-Muster Klassifikationsproblem mit optimaler Hyperebene und Rand [131, S. 12] Aufbau der Fehlend-Muster-Häufigkeitsmatrix H Fehlend-Muster zur Indikatormatrix R sim und zugehörige Indizes in der Fehlend- Muster-Teilmatrix H F Boxplots der Simulationsergebnisse für die Analyse der Regressionsparameter: Über alle Regressionsparameter gemittelter mittlerer quadratischer Fehler Boxplots der Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend-Muster-basierten-Ansatz: Über alle Regressionsparameter gemittelter mittlerer quadratischer Fehler mit Unterscheidung in Fehlend-Anteile und -Mechanismen

10 x Abbildungsverzeichnis 4.5 Boxplots der Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend-Anteil-basierten-Ansatz: Über alle Regressionsparameter gemittelter mittlerer quadratischer Fehler mit Unterscheidung in Fehlend-Anteile und -Mechanismen Boxplots der Simulationsergebnisse zur Prognose der Entwicklungszeiten: Mittlerer quadratischer Fehler Boxplots der Simulationsergebnisse zur Prognose der Entwicklungszeiten zum Fehlend-Muster-basierten-Ansatz: Mittlerer quadratischer Fehler mit Unterscheidung in Fehlend-Anteile und -Mechanismen Boxplots der Simulationsergebnisse zur Prognose der Entwicklungszeiten zum Fehlend-Anteil-basierten-Ansatz: Mittlerer quadratischer Fehler mit Unterscheidung in Fehlend-Anteile und -Mechanismen Streudiagramme einer Substichprobe zu Modell (4.18) Streudiagramme einer Substichprobe zu Modell (4.19)

11 Tabellenverzeichnis 2.1 Vier Fehlertickets und berechnete Kenngrößen zu Algorithmus Anzahl der erstellten, geschlossenen und offenen Fehlertickets in Bezug auf Tabelle Zehn Fehlertickets und berechnete Kenngrößen zu Algorithmus Deskriptive Statistik der Entwicklungszeiten: Minimum (min), Mittelwert (m), Median (med), Standardabweichung (sd) und Maximum (max) der Entwicklungszeit Deskriptive Statistik der Testzeiten: Minimum (min), Mittelwert (m), Median (med), Standardabweichung (sd) und Maximum (max) der Testzeit Anzahl der Entwickler, Tester und Wiedereröffnungen: Anzahl und Anteil der Fehlertickets Variablen, deren Änderungen im Bearbeitungsprotkoll eines Fehlertickets dokumentiert sind Anzahl der Prioritätsänderungen: Anzahl und Anteil der Fehlertickets Prozesszeiten (PROZ), Zeitdauer bis zur ersten, zweiten und dritten Prioritätsänderung (CPRI1, CPRI2 und CPRI3) und deren Anteil an der Prozesszeit (jeweils als Mittelwert) Ergebnisse des Jarque-Bera-Tests Ergebnisse des Breusch-Pagan-Tests Ergebnisse des RESET-Tests Wertebereich des Varianz-Inflations-Faktors GVIF adj Test auf Überdispersion Ergebnisse der Kleinste-Quadrate-Regression für die abhängigen Variablen ETWZ, QSTZ und PRIN Ergebnisse der Poisson-, Negativ-Binomial-, Zero-Inflated-Poisson- und Zero- Inflated-Negativ-Binomial-Regression für die abhängige Variable NETWN Ergebnisse der Poisson-, Negativ-Binomial-, Zero-Inflated-Poisson- und Zero- Inflated-Negativ-Binomial-Regression für die abhängige Variable NQSTN Ergebnisse der logistischen Regression für die abhängige Variable REOP... 71

12 xii Tabellenverzeichnis 4.1 Auflistung der Variablen aus der Datenmatrix Z mit Beschreibung und Fehlend- Anteil Ergebnisse der logistischen Regressionen unter Verwendung des Fehlend-Status der Variable REAL als abhängige Variable Simulationsergebnisse für die Analyse der Regressionsparameter bei 20% Fehlend-Anteil (Sortierung der Fehlend-Techniken je Fehlend-Mechanismus anhand des mittleren Rangs): Über alle Regressionsparameter gemittelte Gütemaße Simulationsergebnisse für die Prognose der Entwicklungszeiten zum Fehlend- Muster-basierten Ansatz. Prognoseergebnisse: Mittelwert (m), Median (med) und Standardabweichung (sd) des mittleren quadratischen Fehlers Simulationsergebnisse für die Prognose der Entwicklungszeiten zum Fehlend- Anteil-basierten Ansatz. Prognoseergebnisse: Mittelwert (m), Median (med) und Standardabweichung (sd) des mittleren quadratischen Fehlers Ergebnisse der Kleinste-Quadrate-Regression zu den Modellen (4.18) und (4.19) Simulationsergebnisse zur zusätzlichen Simulationsstudie zur Analyse der Regressionsparameter zu den Modellen (4.18) und (4.19): Über alle Regressionsparameter gemittelte Gütemaße Simulationsergebnisse zur zusätzlichen Simulationsstudie zur Analyse der Regressionsparameter zu den Modellen (4.18) und (4.19): Gemittelte Gütemaße je Parameter Gemittelte relative Häufigkeitsverteilung der fehlenden Werte aus den Kategorien zur Variable FUNU Gemittelte bivariate relative Häufigkeitsverteilung der fehlenden Werte aus den Kategorien der Variable FUNU unterteilt in Intervalle der Donor-MAR-Variable LBES zum MAR-Fehlend-Mechanismus Gemittelte relative Häufigkeitsverteilung der fehlenden Werte aus den Intervallen zur Variable REAL Gemittelte bivariate relative Häufigkeitsverteilung der fehlenden Werte aus den Intervallen der Variable REAL unterteilt in Intervalle der Donor-MAR-Variable LBES zum MAR-Fehlend-Mechanismus Gemittelte relative Häufigkeitsverteilung der Fehlend-Muster zum Fehlend-Anteil-basierten Ansatz bezüglich der Existenz in der Fehlend-Muster-Häufigkeitsmatrix H Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Muster-basierten Ansatz bei 20% Fehlend-Anteil.. 174

13 Tabellenverzeichnis xiii 4.15 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Anteil-basierten Ansatz bei 20% Fehlend-Anteil Ergebnisse der Kleinste-Quadrate-Regression zu Modell (2.4) und der Maximum- Likelihood-Schätzung unter Berücksichtigung von Zensierung bei der Ergänzung durch MS, SVM, MICE und DA Auflistung der qualitativen Variablen aus der Datenmatrix Z mit Beschreibung und relativer Häufigkeit je Kategorie B.1 Simulationsergebnisse für die Analyse der Regressionsparameter bei 10% Fehlend-Anteil (Sortierung der Fehlend-Techniken je Fehlend-Mechanismus anhand des mittleren Rangs): Über alle Regressionsparameter gemittelte Gütemaße B.2 Simulationsergebnisse für die Analyse der Regressionsparameter bei 30% Fehlend-Anteil (Sortierung der Fehlend-Techniken je Fehlend-Mechanismus anhand des mittleren Rangs): Über alle Regressionsparameter gemittelte Gütemaße B.3 Simulationsergebnisse für die Analyse der Regressionsparameter bei 40% Fehlend-Anteil (Sortierung der Fehlend-Techniken je Fehlend-Mechanismus anhand des mittleren Rangs): Über alle Regressionsparameter gemittelte Gütemaße B.4 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für den Achsenabschnitt B.5 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable COLI B.6 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.7 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.8 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.9 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.10 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable LBES B.11 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable REPU B.12 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable NPRI B.13 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable VOMO Kategorie Scrum 206

14 xiv Tabellenverzeichnis B.14 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable LAST B.15 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable REAL B.16 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable SYTY Kategorie Produktion B.17 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Muster-basierten Ansatz: Gütemaße für die Kovariable TEER B.18 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für den Achsenabschnitt B.19 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable COLI B.20 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.21 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.22 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.23 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable FUNU Kategorie K B.24 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable LBES B.25 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable REPU B.26 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable NPRI B.27 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable VOMO Kategorie Scrum 220 B.28 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable LAST B.29 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable REAL B.30 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable SYTY Kategorie Produktion B.31 Simulationsergebnisse für die Analyse der Regressionsparameter zum Fehlend- Anteil-basierten Ansatz: Gütemaße für die Kovariable TEER B.32 Gemittelte relative Häufigkeitsverteilung der fehlenden Werte aus den Intervallen zur Variable COLI

15 Tabellenverzeichnis xv B.33 Gemittelte relative Häufigkeitsverteilung der fehlenden Werte aus den Kategorien zur Variable SYTY B.34 Gemittelte bivariate relative Häufigkeitsverteilung der fehlenden Werte aus den Intervallen der Variable COLI unterteilt in Intervalle der Donor-MAR-Variable LBES zum MAR-Fehlend-Mechanismus B.35 Gemittelte bivariate relative Häufigkeitsverteilung der fehlenden Werte aus den Kategorien der Variable SYTY unterteilt in Intervalle der Donor-MAR-Variable LBES zum MAR-Fehlend-Mechanismus B.36 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Muster-basierten Ansatz bei 10% Fehlend-Anteil B.37 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Muster-basierten Ansatz bei 30% Fehlend-Anteil B.38 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Muster-basierten Ansatz bei 40% Fehlend-Anteil B.39 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Anteil-basierten Ansatz bei 10% Fehlend-Anteil B.40 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Anteil-basierten Ansatz bei 30% Fehlend-Anteil B.41 Relative Häufigkeitsverteilung der Fehlend-Muster in der Fehlend-Muster-Häufigkeitsmatrix H und gemittelte relative Häufigkeitsverteilung der Fehlend-Muster in den simulierten Datensätzen mit den Fehlend-Mechanismen MCAR, MAR und MNAR zum Fehlend-Anteil-basierten Ansatz bei 40% Fehlend-Anteil

16

17 Notation Abkürzungen DA Mehrfache Ergänzung durch Datenvermehrungsverfahren 98 LD Listenweiser Fallausschluss 83 MAR Missing at Random 77 MCAR Missing Completely at Random 77 MICE Mehrfachen Ergänzung durch verkettete Regression 93 MNAR Missing Not at Random 78 MS Mittelwert- und Modusergänzung 83 NB Negativ-Binomial-Modell 53 SVM Ergänzung durch verkettete Anwendung von Support-Vektor- 84 Maschinen ZINB Zero-Inflated-Negativ-Binomial-Modell 57 ZIP Zero-Inflated-Poisson-Modell 54 Funktionen und Zufallsvariablen Be(p) Bernoulli-Verteilung mit dem Parameter p 114 χ 2 (n) χ 2 -Verteilung mit n Freiheitsgraden 96 E(X) Erwartungswert der Zufallsvariable X 52

18 xviii Notation F(t) Verteilungsfunktion 24 f (t) Wahrscheinlichkeits- bzw. Dichtefunktion 24 S(t) Überlebensfunktion 24 F(n,m) F-Verteilung mit n Zähler- und m Nenner-Freiheitsgraden 108 F n,m,α α-quantil zur F-Verteilung mit n Zähler- und m Nenner- Freiheitsgraden 108 I A (x) Indikatorfunktion für x A 30 L Likelihood-Funktion 52 ln(x) Natürlicher Logarithmus von x 49 Multinom(n, p) Multinomialverteilung mit dem Parameter n und dem Parametervektor p 100 N(µ,σ 2 ) Normalverteilung mit Erwartungswert µ und Varianz σ 2 49 P(A) Wahrscheinlichkeit für das Ereignis A 24 P(A B) Bedingte Wahrscheinlichkeit für das Ereignis A gegeben das Ereignis 51 B t n,α α-quantil zur t-verteilung mit n Freiheitsgraden 107 Var(X) Varianz der Zufallsvariable X 52 Sonstige Bezeichnungen AIC Informationskriterium von Akaike 59 γ 0 Vorgegebener Anteil an fehlenden Werten 110 γ Anteil an fehlenden Werten 110 BIC Bayesianisches Informationskriterium 59 Ende eines Algorithmus 26 I n Einheitsmatrix der Dimension n n 60 Endedatum i Endedatum des i-ten Fehlertickets ausgehend von der zensierten Prozesszeit PROZ i 26

19 Notation xix Erstelldatum i Erstelldatum des i-ten Fehlertickets 25 ETWZ i Entwicklungszeit des i-ten Fehlertickets 49 H Fehlend-Muster-Häufigkeitsmatrix 111 H F Teilmatrix aus H 111 n beob Anzahl der Beobachtungen ohne fehlende Werte 92 n fehl Anzahl der Beobachtungen mit fehlenden Werten 92 n fehl i Anzahl der fehlenden Werte in der i-ten Zeile aus H F 112 PROZ i Prozesszeit des i-ten Fehlertickets 23 PROZ i Zensierte Prozesszeit des i-ten Fehlertickets 23 R Indikatormatrix zur Datenmatrix Z 78 R 2 Bestimmtheitsmaß 50 R 2 adj angepasstes Bestimmtheitsmaß 50 R 2 MF McFadden Bestimmtheitsmaß 58 sp(a) Spur der Matrix A 101 Z Datenmatrix zur Fehlerdatenbank 77 Z beob Teilmatrix der beobachteten Daten zur Datenmatrix Z 78 Z fehl Teilmatrix der fehlenden Daten zur Datenmatrix Z 78 Z qual Teilmatrix der qualitativen Variablen zur Datenmatrix Z 99 Z quant Teilmatrix der quantitativen Variablen aus der Datenmatrix Z 99 Z sim Simulationsdatenmatrix 110

20

21 1 Einleitung Im Rahmen der Softwareentwicklung ist die Verwaltung von Fehlermeldungen, Änderungswünschen und Neuanforderungen von zentraler Bedeutung. Hierzu wird meist eine Fehlerdatenbank genutzt. Diese ermöglicht es, den Überblick über die erfassten Meldungen zu behalten. Die Meldungen werden in Form von Fehlertickets in der Datenbank erfasst. Ein Fehlerticket stellt einen Datensatz dar, der sich auf einen einzelnen Fehler bezieht. Im Idealfall enthält ein Fehlerticket eine detaillierte Beschreibung hinsichtlich der Nachvollziehbarkeit einer Fehlerkonstellation. Jedoch weisen Fehlertickets in der Realität deutliche Schwankungen hinsichtlich ihrer Qualität auf [15]. Ferner ist es möglich, dass ein neues Fehlertickets zu Beginn der Bearbeitung noch nicht alle relevanten Informationen enthält, die im Zuge des Ticket-Bearbeitungsprozesses durch die am Prozess beteiligten Personen unter Umständen nachgetragen werden. Der Ticket-Bearbeitungsprozess besteht grob aus den Schritten Ticket-Erstellung, Korrektur des Fehlers, Qualitätssicherung und Ticket-Schließung, die zeitlich hintereinander durchlaufen werden. Die Aufwände und Kosten zur Korrektur von Fehlern und zur Umsetzung von Änderungswünschen und Neuanforderungen lassen sich anhand von Fehlertickets schätzen. Damit zugleich der Prozess zur Bearbeitung eines Fehlertickets möglichst effizient verläuft, ist es für den Entwickler von besonderer Bedeutung, dass möglichst alle relevanten Informationen in einem Fehlerticket vorhanden sind. Auf diese Weise ist sichergestellt, dass der Entwickler den Fehler möglichst schnell nachvollziehen und korrigieren kann. Um eine Aussage über die Korrekturdauer von Fehlertickets treffen zu können, ist es erforderlich, den Aufwand zu schätzen. Die am häufigsten hierfür eingesetzte Methode ist die Expertenschätzung [100]. Dabei geben Personen aufgrund ihrer Erfahrung mit bisher korrigierten Fehlertickets eine Schätzung bezüglich des zu erwartenden Aufwands ab. Wurden sehr viele neue Fehlertickets erfasst, bindet diese Art der Schätzung unter Umständen viele Mitarbeiter, so

22 2 1 Einleitung dass bereits die Schätzung des Aufwands erhebliche Kosten verursacht. Alternativ lässt sich die Schätzung des Aufwands mit einem statistischen Modell ermitteln [51, 66, 109, 158]. Zugleich ist es somit möglich, die Einflussfaktoren auf die Effizienz des Bearbeitungsprozesses zu bestimmen. Mit den daraus gewonnen Erkenntnissen können die Erfasser von Fehlertickets dahingehend geschult werden, Tickets möglichst vollständig und mit den relevanten Informationen auszufüllen, damit die Bearbeitung der Fehlertickets durch die Entwickler und Tester zukünftig schneller und effizienter vorgenommen werden kann. Eine Voraussetzung der meisten empirischen Methoden zur Analyse eines Datensatzes ist, dass die zu untersuchenden Daten vollständig sind. Wie die folgenden Ausführungen zeigen, ist das bei einer Fehlerdatenbank nicht zwingend gegeben. Die Felder, die bei der Erfassung eines Fehlertickets ausgefüllt werden, lassen sich häufig in zwei Kategorien einteilen. Für die erste Kategorie, die Pflichtfelder, ist der Anwender verpflichtet, einen Wert einzugeben, um das Ticket erstellen zu können. Für die zweite Kategorie, die Nicht-Pflichtfelder oder Kann-Felder, ist es dem Anwender freigestellt, das Feld zu befüllen. In erster Linie fehlen Werte bei neu erfassten Fehlertickets, wenn bei den Nicht-Pflichtfeldern kein Wert eingetragen ist. Zusätzlich können fehlende Werte durch fehlerhafte Werte in Pflichtfeldern entstehen [103]. Wurde z. B. in einem Pflichtfeld in dem Feld Version eine Versionsnummer eingetragen, die zum Zeitpunkt der Ticket-Erstellung noch gar nicht existiert, kann man davon ausgehen, dass es sich um eine fehlerhafte Eingabe handelt. Deshalb behandeln die folgenden Analysen eine fehlerhafte Eingabe ebenfalls als einen fehlenden Wert. Der Einfluss von Team-Faktoren wie Produktivität, Größe, Verteilung oder Erfahrung eines Teams auf die Effizienz des Ticket-Bearbeitungsprozesses anhand von Daten aus mehreren Openund Closed-Source-Software-Projekten wurde bereits untersucht [58]. Die Effizienz des Bearbeitungsprozesses wurde dabei als Zeit festgelegt, die darauf verwendet wird, einen Fehler zu bearbeiten. Für die Analyse wurde je Projekt die durchschnittliche Bearbeitungszeit der zugehörigen Fehlertickets genutzt. Darauf aufbauend wird in der vorliegenden Arbeit der Einfluss von Ticket- Eigenschaften wie Länge der Beschreibung oder Reputation des Erstellers einer Fehlerdatenbank einer Closed-Source-Software auf die Effizienz des Ticket-Bearbeitungsprozesses analysiert. Somit kann eine feingranulare Betrachtung der Effizienz des Ticket-Bearbeitungsprozesses auf der Ebene von einzelnen Fehlertickets erfolgen. Zudem werden Ticket-Änderungen und ein Wechsel im Vorgehensmodell zur Softwareentwicklung und dessen Einfluss auf die Effizienz des Ticket-Bearbeitungsprozesses untersucht. Darüber hinaus werden in einer Simulationsstudie fünf unterschiedliche Techniken zum Umgang mit fehlenden Werten verglichen. Dabei werden drei verschiedene Mechanismen, die zu fehlenden Werten führen, und deren Auswirkungen auf die Ergebnisse analysiert. Außerdem werden in der Simulationsstudie Anteile von 10%, 20%, 30% und 40% fehlender Werte berücksichtigt. Ferner wird in der Studie analysiert, wie sich fehlende Werte auf die Parameter eines linearen Modells auswirken. Die Entwicklungszeit, d. h. die Zeit zur Korrektur eines Fehlers, wird prognostiziert und untersucht, welchen Einfluss fehlende Werte auf das Prognoseergebnis haben.