Eine wertbasierte Sicht auf Softwarequalität

Transkript

1 Florian Deißenböck Eine wertbasierte Sicht auf Softwarequalität 25. Juni 2008 BITKOM AK SQM und PG BE&QM Gemeinsame Arbeiten mit S. Wagner, E. Jürgens, B. Hummel, M. Pizka, M. Broy

2 2» Quality is a complex and multifaceted concept. It is also the source of great confusion «David A. Garvin, 1984

3 Qualität Sichtweisen, Fragestellungen Qualitätsmodellierung Aktivitäten, Modelle, Qualitäts-Controlling Erfahrungen Qualitätssicherungstechniken, Prozessvarianten Herausforderungen

4 Qualität Sichtweisen Transzendenter Ansatz Qualität ist immanente Güte, sie ist erkennbar aber nicht definierbar Produktorientierter Ansatz Qualitäts-Unterschiede zwischen Produkten spiegeln sich in der unterschiedlichen Ausprägung von Produkt-Attributen wieder Benutzerorientierter Ansatz»Qualität liegt im Auge des Betrachters«Herstellungsorientierter Ansatz Qualität ist definiert durch die Erfüllung der Anforderungen bzw. durch Abweichungen von der Spezifikation Wertorientierter Ansatz Qualität als Tradeoff zwischen Kosten und Nutzen David A. Garvin, What does»product Quality«Really Mean?, 1984

5 Qualitätsattribute ISO 9126, 2003

6 6 Qualitätskosten Quality Costs Conformance Costs Non-Conformance Costs Prevention Costs Appraisal Costs Internal Failure Costs External Failure Costs F.M. Gryna, Quality Costs, 1988 Qualität is kein Selbstzweck Maintainability:»The effort needed to make specified modifications to a component implementation«(sei) Monetäre Einheiten erlauben quantitative Vergleich unterschiedlicher Aspekte»Money is the basic language of upper management«(gryna, 1988)

7 Qualitätskosten Definieren Kosten Q-Attribut Aktivitäten Stakeholder Nutzbarkeit Nutzung Nutzer Wartbarkeit Wartung Entwickler Performanz Betrieb Operator Portierbarkeit Schulung Trainer Zuverlässigkeit F. Deißenböck, S. Wagner, M. Pizka, Kosten-basierte Klassifikation von Qualitätsanforderungen, 2007

8 Qualitäts-Matrix Aktivitäten Entitäten Attribute F. Deissenboeck et al., An Activity-Based Quality Model for Maintainability, ICSM, 2007 M. Broy, F. Deissenboeck, M. Pizka, Demystifying Maintainability, WoSQ, 2006

9 Qualitäts-Controlling Developer Analysis Tool creates/modifies analzyes Artifacts respects Guidelines & Review Checklists generates educates uses Quality Engineer designs reviews Quality Model configures interprets defines generates Quality Reports

10 Quality-Dashboards Deissenboeck et al., Tool Support for Continuous Quality Controlling,

11 QS-Planung Frage: Verteilung der Aufwände für verschieden Testmethoden? Gesucht: Optimaler ROI Nutzen = gesparte zukünftige Kosten Dist Inspection Unit Test Int. Test System Test Profit ROI , , , ,035-0, ,28 Benötigt: Systemgröße, Fehlerdichte, Fehlerbehebungskosten, Effektivität der Testmethoden, S. Wagner, A Model and Sensitivity Analysis of the Quality Economics of Defect-Detection Techniques,

12 Fehler-Findung Testen Inspektionen Effektivität [%] Type Lowest Mean Median Highest Functional Structural All Effektivität [%] Lowest Mean Median Highest Effizienz [Defekte/PS] Type Lowest Mean Median Highest Functional Structural All Effizienz [Defekte/PS] Lowest Mean Median Highest Entfernungskosten [PS/Defekt] Type Lowest Mean Median Highest Unit Integration System All Entfernungskosten [PS/Defekt] Phase Lowest Mean Median Highest Req.ments Design Coding All S. Wagner, A Literature Survey of the Quality Economics of Defect-Detection Techniques,

13 Statische Analyse Frage: Wie gut funktionieren die statische Analysewerkzeuge Findbugs und PMD? Ist er Einsatz wirtschaftlich? Abgleich Systemhistorie und Feldfehler-Datenbank Leistung der Analysewerkzeuge ist abhängig von Entwicklungsphase Analysewerkzeuge konnten keinen Feldfehler für Produktionssystem finden Analysewerkzeuge erfordern Konfigurationsaufwand Aber: Entdeckung eines schweren Fehlers führt zu positivem ROI S. Wagner et al., An Evaluation of Two Bug Pattern Tools for Java,

14 Prozess-Varianten Frage: Ist der für Mainframe-Entwicklung eingesetzte Isolations-Mechanismus wirtschaftlich? Vergleich von realen Projekten nicht durchführbar Entwurf eines Prozess-Analyse-Modells auf Basis von Markov-Ketten F. Deissenboeck, M. Pizka, Probabilistic Analysis of Process Economics,

15 Prozess-Varianten Relative Bewertung von drei Prozess-Varianten Datenbasis: Vergangene Projekte + Forschungsergebnisse Kalibrierung des Analyse-Modells Auswertung Aufwand [%] Aufwand [%] Konflikt-Wahrscheinlichkeit Konflikt-Wahrscheinlichkeit F. Deissenboeck, M. Pizka, Probabilistic Analysis of Process Economics,

16 16 Herausforderungen Ziel Wirtschaftlich fundierte Praxis des Software-Qualitäts-Managements Erforderliche Schritte Integration der»qualitäts-managements-inseln«definition eines integrierten, operationalisierten Kosten/Nutzen-Modells Konsequente Datenerhebung QuaMoCo BMBF-Projekt (in Beantragung)»Software-Qualität: Flexible Modellierung und integriertes Controlling«Partner: TU München, Fraunhofer IESE, SAP, Siemens, sd&m, itestra

17 Referenzen Demystifying Maintainability M. Broy, F. Deissenboeck, M. Pizka Workshop on Software Quality (WOSQ) 2006 Tool Support for Continuous Quality Controlling F. Deissenboeck, E. Juergens, B. Hummel, S. Wagner, B. Mas y Parareda, M. Pizka IEEE Software, September 2008, to appear Probabilistic Analysis of Process Economics F. Deissenboeck, M. Pizka Software Process: Improvement and Practice, 2008, 13, 5-17 An Activity-Based Quality Model for Maintainability F. Deissenboeck, S. Wagner, M. Pizka, S. Teuchert, J.-F. Girard International Conference on Software Maintenance (ICSM) 2007 Kosten-basierte Klassifikation von Qualitätsanforderungen Florian Deissenboeck, Stefan Wagner, Markus Pizka Erhebung, Spezifikation und Analyse nichtfunktionaler Anforderungen in der Systementwicklung Workshop in Zusammenhang mit der SE Konferenz 2007 What Does»Product Quality«Really Mean? D.A. Garvin MIT Sloan Management Review, 1984, 26, Quality Costs F. Gryna J. Juran & F. Gryna (eds.): Juran s Quality Control Handbook, McGraw-Hill, 1988 An Evaluation of Two Bug Pattern Tools for Java S. Wagner, F. Deissenboeck, M. Aichner, J. Wimmer, M. Schwalb International Conference on Software Testing, Verification and Validation (ICST) 2008 A Model and Sensitivity Analysis of the Quality Economics of Defect-Detection Techniques S. Wagner International Symposium on Software Testing and Analysis (ISSTA) 2006 A literature survey of the quality economics of defect-detection techniques S. Wagner International symposium on International symposium on empirical software engineering (ISESE) 2006 ISO 9126 Standard for Software engineering Product quality Part 1: Quality model ISO Standard