Softwarecontrolling mittels Kennzahlen

Transkript

1 Proseminar IT-Kennzahlen und Sofwaremetriken Timo Besenreuther 21. Juni 2010 Timo Besenreuther 21. Juni 2010 Seite 1 von 43

2 Überblick Motivation Projektmanagement im Wandel Allgemeines zu Qualität und Software Controlling Qualitätsmodelle McCall, ISO/IEC 9126 Goal Question Metric Capgemini sd&m Kennzahlensystem ConQAT Einsatz Ansätze zum Einsatz von Kennzahlen Kennzahlen im Entwicklungsprozess Timo Besenreuther 21. Juni 2010 Seite 2 von 43

3 Motivation Timo Besenreuther 21. Juni 2010 Seite 3 von 43

4 Projektmanagement im Wandel Klassisches Verständnis Einhaltung des Zeitplans Einhaltung des Budgetplans Erfüllung von Anforderungen (Funktionalität, Effizienz) Weiterentwicklung der Software Branche Verteilte Systeme Verstreute Teams Spezialisierte Rollen Kurze Release-Zyklen Hoher Termin- und Budgetdruck => Softwareentwicklung muss gut geplant und verlässlich sein Timo Besenreuther 21. Juni 2010 Seite 4 von 43

5 Messpunkte für Qualität? Anforderungsanalyse Architekturentwurf Feinentwurf Feinentwurf Realisierung Realisierung Komponententest Komponententest Integration Integrationstest Projekt-Unterstützungssystem Timetracking, Issuetracking... Timo Besenreuther 21. Juni 2010 Seite 5 von 43

6 Klassische Messpunkte für Qualität Anforderungsanalyse Architekturentwurf Feinentwurf Realisierung Komponententest Feinentwurf Realisierung Komponententest Fehler im Feinentwurf der Komponente X wird frühestens im Komponententest festgestellt Integration Integrationstest Projekt-Unterstützungssystem Timetracking, Issuetracking... Timo Besenreuther 21. Juni 2010 Seite 6 von 43

7 Moderne Messpunkte für Qualität Anforderungsanalyse Architekturentwurf Feinentwurf Realisierung Komponententest Feinentwurf Realisierung Komponententest Das Risiko von Fehlern, die durch Fehler früherer Phasen verursacht werden wird minimiert Integration Integrationstest Projekt-Unterstützungssystem Timetracking, Issuetracking... Timo Besenreuther 21. Juni 2010 Seite 7 von 43

8 Software Controlling Erweiterung des Qualitätsverständnisses Von Projektmanagement zu Software Controlling: Risiken frühzeitig erkennen und Einfluss nehmen Erweiterte Betrachtung Status, Qualität & Zeiteinhaltung von Zwischenprodukten Lastenheft, Architekturentwurf, Kern-Komponenten Interne Qualitätsmerkmale wie Dokumentation & Metriken Timo Besenreuther 21. Juni 2010 Seite 8 von 43

9 Software Controlling Definitionen Funktions- und bereichsübergreifendes Koordinationssystem Als Ziele werden Wirtschaftlichkeit und Effektivität der Planung, Steuerung und Kontrolle aller IT-Prozesse, deren Ressourcen und der Infrastruktur in der Organisation definiert. [Kütz05] Allgemeiner Controlling Ansatz [Kargl99] Unterstützung, Informationsversorgung & Koordination von Zielfindung Planung Überwachung Timo Besenreuther 21. Juni 2010 Seite 9 von 43

10 Software Controlling Ziele des Software Controllings Transparenz über den Zustand der Software und des Projekts Stärkung des Qualitätsbewusstseins der Beteiligten Überwachung der Kosten Stärkung des Vertrauens beim Kunden Schaffen von Wettbewerbsvorteilen gegenüber Unternehmen ohne effektives Software Controlling Timo Besenreuther 21. Juni 2010 Seite 10 von 43

11 Qualität und ihre Sichtweisen Nutzungsqualität Durch Kontext bestimmten Nutzen der Software für den Kunden Wahrnehmung des Kunden Externe Produktqualität Funktionalität, Zuverlässigkeit, Benutzbarkeit, Effizienz Ziel des klassischen Projektmanagements Interne Produktqualität Wartbarkeit, Portierbarkeit Prozessqualität Reaktionszeit auf externe Einflüsse, Qualität der Kommunkation Timo Besenreuther 21. Juni 2010 Seite 11 von 43

12 Beispiele für Metriken Nutzungsqualität Externe Produktqualität Kundenbefragung Ergebnis Unittests, Anzahl Bugreports Erinnerung Wahrnehmung des Eigenschaft Kunden des Objekts (vorherige Folie) Metrik Interne Produktqualität Architekturverletzungen, Kommentaranteil, teilw. Resultat von Code Reviews Zahlenwert Prozessqualität Umfang von Code Reviews, Bearbeitungsstatus Timo Besenreuther 21. Juni 2010 Seite 12 von 43

13 Qualitäts-Controlling durch Kennzahlensystem Kennzahl / Metrik Indikator für einen Qualitätsaspekt Hat alleine wenig Aussagekraft Kennzahlensystem Zusammengesetzt aus vielen Kennzahlen Gewichtet und interpretiert einzelne Werte Soll den Prozesszustand widerspiegeln Fortschritt gegenüber Plan Einhaltung von definierten Prozessabläufen Soll Auskunft über Risiken / Effizienzhemmnisse geben Unreife Zwischenprodukte Zukunftsperspektive (Wartbarkeit, Erweiterbarkeit) Timo Besenreuther 21. Juni 2010 Seite 13 von 43

14 Qualitätsmodelle Timo Besenreuther 21. Juni 2010 Seite 14 von 43

15 Frühes Qualitätsmodell: McCall (1977) Unterteilung nach Tätigkeit Produktnutzung Korrektheit, Zuverlässigkeit, Effizienz, Integrität, Nutzbarkeit Produkttransition Portierbarkeit, Wiederverwandbarkeit, Plattformunabhängigkeit Produktüberarbeitung Wartbarkeit, Flexibilität, Testbarkeit Viele der Faktoren können nicht genau gemessen werden, sondern werden auf einer Checkliste subjektiv mit Werten von 0 bis 10 belegt. Der Endwert ist die gewichtete Summe der Faktoren. Vollständige Liste der Faktoren: Timo Besenreuther 21. Juni 2010 Seite 15 von 43

16 Heutiges Modell: ISO/IEC 9126 Definiert Begriffe, schafft Klarheit und Standards Hohes Abstraktionsniveau, ebenfalls nicht direkt messbar Timo Besenreuther 21. Juni 2010 Seite 16 von 43

17 Kritik an Qualitätsmodellen Fehlende Metriken Viele Eigenschaften sind zu weich, um gemessen zu werden Unpassende Metriken Mehrdeutigkeit, Redundanz In der Praxis nicht erhebbar Falsches Testobjekt Fertige Sofware statt Zwischenprodukte oder Prozesse Für Sofware Controlling ist aber beides nötig Aggregation Viele Standards machen keine Angaben zum Zusammenführen der Daten zu einer höherwertigen Aussage Timo Besenreuther 21. Juni 2010 Seite 17 von 43

18 Ansatz: Goal Question Metric Ziel CRs 10% schneller bearbeiten Frage Wie schnell bearbeiten wir CRs im Moment? Wie hat sich die Bearbeitungszeit verändert? Metrik Durchschnittliche Bearbeitungszeit heute Durchschnittliche Bearbeitungszeit nach CR Typ Durchschnittliche Bearbeitungszeit nach Monaten Timo Besenreuther 21. Juni 2010 Seite 18 von 43

19 Ansatz: Goal Question Metric Ziele haben fünf Aspekte Messobjekt Zweck Qualitätsfokus Blickwinkel Kontext Analysiere die CR Bearbeitung zum Zwecke der Verbesserung in Bezug auf Bearbeitungszeiten vom Blickwinkel des Entwicklers im Kontext des Projekts X Timo Besenreuther 21. Juni 2010 Seite 19 von 43

20 Das Capgemini sd&m Kennzahlensystem Hintergrund Entwicklung aus der Industrie (Capgemini sd&m), kommerziell Maßnahme gegen erkannte Unzulänglichkeit bisheriger Systeme Verbindet Systeme zu einem großen Kennzahlensystem Eigenschaften von Software Systemumfang und -komlexität Technische Code-Qualität Effizienz Korrektheit und funktionale Vollständigkeit Fortschritt Allgemeiner Projektstatus Timo Besenreuther 21. Juni 2010 Seite 20 von 43

21 Systemumfang und -komlexität Kenngrößen SLOC Anzahl Statements Anzahl Klassen Anzahl Kommentare Anzahl Abhängingkeiten Motivation Allgemeine Information, Normalisierung anderer Messgrößen, gibt Auskunft über Qualität des Entwurfs Quellen javancss, SonarJ Timo Besenreuther 21. Juni 2010 Seite 21 von 43

22 Technische Code-Qualität Kenngrößen Anzahl Regelverstöße Warnungsdichte (nicht kritische Regelverstöße) Motivation Einhaltung von Standards und Vorgaben Architekturentwurf Coding Guidelines State-of-the-Art Quellen SonarJ, Findbugs Timo Besenreuther 21. Juni 2010 Seite 22 von 43

23 Effizienz Kenngrößen Antwortzeit Aufrufhäufigkeit Motivation Bewertung von Leistungszielen Quellen Performancelog Stresstest Timo Besenreuther 21. Juni 2010 Seite 23 von 43

24 Korrektheit und funktionale Vollständigkeit Kenngrößen Fehleranzahl Fehlerdichte Fehlerhafte Testfälle Motivation Beurteilung der funktionalen Qualität Quellen Bugzilla xunit Timo Besenreuther 21. Juni 2010 Seite 24 von 43

25 Fortschritt Kenngrößen Bearbeitungsstatus Anzahl offener Issues Anzahl Änderungen Testüberdeckung Codereview-Aufwand Codereview-Tiefe Motivation Gegenüberstellung planerischer Bearbeitungsstatus Entwicklungsdynamik der Komponenten Umfang an durchgeführten Entwicklungs- und QS-Maßnahmen Timo Besenreuther 21. Juni 2010 Seite 25 von 43

26 Fortschritt Quellen Artefaktliste Aktivitätenliste Konfigurationsmanagement Projektmanagement-Tool Evtl. Bugzilla Timo Besenreuther 21. Juni 2010 Seite 26 von 43

27 Allgemeiner Projektstatus Kenngrößen Subjektive Aussagen von Mitarbeitern Motivation Vervollständigung des ermittelten Projektstatus Validierung der Kennzahlensystems Quellen Voting im Web durch Mitarbeiter Fragebögen Timo Besenreuther 21. Juni 2010 Seite 27 von 43

28 Vergleich der Kennzahlen Produktstruktur (Komponentenebene) Zeitlicher Verlauf Umfang und Komplexität Fortschritt Tech. Code-Qualität Projektstatus Effizienz Korrektheit Wert mit Kritikalität der Komponente gewichten (Wichtigkeit der Funktion aus Anwendersicht, Komplexität) Bezogen auf ganzes Projekt Timo Besenreuther 21. Juni 2010 Seite 28 von 43

29 Vergleich der Kennzahlen Automatisierte Erhebung Manuelle Erhebung Umfang und Komplexität Projektstatus Tech. Code-Qualität Effizienz Korrektheit Fortschritt Bezieht menschliche Urteilskraft mit ein Mögliche Fragen Wie ist die Qualität? Wird der nächste Meilenstein planmäßig erreicht? Wie ist die Stimmung? Timo Besenreuther 21. Juni 2010 Seite 29 von 43

30 Vergleich der Kennzahlen Daten aus Build-Prozess Manuelle Eingaben Umfang und Komplexität Tech. Code-Qualität Korrektheit Projektstatus Tech. Code-Qualität Fortschritt Aus Planungswerkzeugen Projektstatus Aus Fehlerverwaltung Korrektheit Fortschritt Aus laufendem System Effizienz Timo Besenreuther 21. Juni 2010 Seite 30 von 43

31 ConQAT Hintergrund Universitäre Entwicklung (TU München, Lehrstuhl Broy) Open Source Beinhaltet Kennzahlensystem mit Reports Gibt auch Überblick über andere Bereiche SVN Statistiken Bugzilla Statistiken Clone Detection Timo Besenreuther 21. Juni 2010 Seite 31 von 43

32 Dashboard Timo Besenreuther 21. Juni 2010 Seite 32 von 43

33 Change Requests Timo Besenreuther 21. Juni 2010 Seite 33 von 43

34 Metriken Timo Besenreuther 21. Juni 2010 Seite 34 von 43

35 Metriken Timo Besenreuther 21. Juni 2010 Seite 35 von 43

36 Architektur Timo Besenreuther 21. Juni 2010 Seite 36 von 43

37 Architektur Timo Besenreuther 21. Juni 2010 Seite 37 von 43

38 Einsatz von Kennzahlen Timo Besenreuther 21. Juni 2010 Seite 38 von 43

39 Zieldefinierte Verwendung Zieldefiniert heißt Ausgehend von gezielten Fragen zur Qualität Es werden zum Beantworten Kennzahlen gemessen Reports erstellen Bsp: Qualität des täglichen Builds Verstöße gegen Guidelines Fehlgeschlagene Testfälle Bsp: Kontrolle der Qualitätssicherungsmaßnahmen Review-Aufwände Testabdeckung Timo Besenreuther 21. Juni 2010 Seite 39 von 43

40 Explorative Verwendung Explorativ heißt Überblick über Entwicklung der Kennzahlen (Trends) Verlgeich der Komponenten Auffälligkeiten finden, Untersuchungen anstoßen Vor allem für Qualitätsverantwortliche Beispiel Komponente hat vergleichsweise hohe Fehlerdichte Testüberdeckung prüfen (besonders viele Tests?) Maßnahmen ergreifen Timo Besenreuther 21. Juni 2010 Seite 40 von 43

41 Das Kennzahlensystem im Entwicklungsprozess Durchführen von Analysen Kontinuierlich (eher explorativ): Projektleitstand Zu Meilensteinen (eher zieldefiniert) An Quality Gates (eher zieldefiniert) Angebot Spezifikation Konstruktion Umsetzung Integration (-stest) Produktiver Betrieb Quality Gates Komponentenabnahme Kontinuierliche Integration Test (funktionale und nichtfunktionale Anforderungen) Erheben & Auswerten von Kennzahlen Timo Besenreuther 21. Juni 2010 Seite 41 von 43

42 Wichtige Bemerkungen Aussagekraft der Kennzahlen Die Zahlen dienen als Orientierung, nicht als Ziel gegen das optimiert wird Die Werte müssen immer interpretiert und in Kontext gesetzt werden Die Kennzahlen sind zwar ein Frühwarnsystem, garantieren aber an sich keine hohe Qualität Aggregation und Automatisierung Aggregation zu Gesamtwerten nicht automatisch möglich Selbst Indikatoren (wie Ampeln) sind trügerisch Timo Besenreuther 21. Juni 2010 Seite 42 von 43

43 Vielen Dank für die Aufmerksamkeit Quellen Bennicke et al. - Software Controlling Informatik Spektrum Kütz05: Martin Kütz IT Controlling für die Praxis (1. Auflage 2005) Kargl99: Herbert Kargl DV Controlling (4. Auflage 1999) Peter Liggesmeyer Softwarequalität: Testen, analysieren und verifizieren von Software de.wikipedia.org/wiki/goal_question_metric Timo Besenreuther 21. Juni 2010 Seite 43 von 43