Comparison of Software Products using Software Engineering Metrics

Transkript

1 Comparison of Software Products using Software Engineering Metrics Alexander Bätz Fakultät EIM Universität Paderborn 23. Juli / 28 Motivation Qualitätsbewertung von Software Vergleichbarkeit von Software Vergleiche von Software meist subjektiv Verwendung eigener Qualitätskriterien 2 / 28

2 Überblick / 28 Was ist Qualität? Qualität Qualitätsmodell Definition Software Qualität a : 1 Grad, zu dem ein System oder Prozess die gestellten Anforderungen erfüllt 2 Grad, zu dem ein System oder Prozess die Anforderungen oder Erwartungen des Nutzers erfüllt a IEEE_Std_ Kriterien für Qualität können abhängen von: Der Systemumgebung Möglichen Alternativen Der Entwicklungsphase 4 / 28

3 Arten von Qualität Qualität Qualitätsmodell Interne Qualität Modell- und Codequalität Code Reviews, Modellmetriken Externe Qualität Wenn die Anwendung ausgeführt wird Gemessen durch Simulation und Tests Nutzerqualität Qualität aus Nutzersicht Wie gut kann der Nutzer sein Ziel erreichen 5 / 28 Qualitätsmodelle Qualität Qualitätsmodell Konkretisieren Softwarequalität Leiten Unterbegriffe ab Schlagen messbare oder beobachtbare Eigenschaften vor 6 / 28

4 FCM-Modell Qualität Qualitätsmodell 7 / 28 ISO 9126 Qualität Qualitätsmodell 8 / 28

5 Softwaremaße Software Quality Metrics Qualität von Funktion, die eine Software-Einheit in einen Zahlenwert abbildet Erfüllungsgrad einer Qualitätseigenschaft Schaffen formale Vergleichs- und Bewertungsmöglichkeiten 9 / 28 Datenmessungen Software Quality Metrics Qualität von Messungen von der Datenqualität abhängig Kriterien für Datenqualität: Korrektheit Objektivität Genauigkeit Wiederherstellbarkeit 10 / 28

6 Modell- (intern) Software Quality Metrics Qualität von Modellbewertung Bewerten interne Struktur Weighted Methods per Class misst die Komplexität einer Klasse Methoden anhand ihrer Komplexität gewichtet 11 / 28 Defect Density (extern) Software Quality Metrics Qualität von Defect Density Beschreibt Fehler pro Fehlermöglichkeit Beispiele: Fehler pro Lines of Code Fehler pro Funktion 12 / 28

7 Problems per User Month (in use) Software Quality Metrics Qualität von Problems per User Month Qualität aus Kundensicht Probleme über dem Nutzungszeitraum Kann durch hohe Verkaufszahlen verfälscht werden 13 / 28 Metric Validation Software Quality Metrics Qualität von Ergebnis der Metrik soll mit empirischem Ziel übereinstimmen Ansatz 1: Statistische Analyse des Ergebnisses der Metrik Ansatz 2: Metrik korelliert mit einer bekannten Metrik 14 / 28

8 Goal Question Metric Methode eigene Qualitätsmodelle zu entwerfen Eigene Qualitätskriterien als Grundlage werden aufgrund von Kriterien und verfügbaren Daten ausgewählt 15 / 28 GQM-Modell 1 1 Basili, Goal Question Metric Paradigm, / 28

9 Vorlage für Goals Vorlage zur Definition von Analysezielen Purpose Zweck der Analyse Issue Untersuchte Eigenschaft Object Untersuchtes Objekt Viewpoint Blickwinkel der Analyse Vergleiche verschiedene Persistenz Technologien anhand ihrer Performance aus der Sicht von Softwareentwicklern 17 / 28 Auswirkungen von GQM Vorteile Nur für das Ziel relevante werden berechnet Eine Messung evtl. für mehrere Fragen verwendbar Nachteile Zeitlicher Mehraufwand um Goals und Questions zu definieren Im Vergleich zum Standartmodell fehleranfällig 18 / 28

10 A Evaluation of Maintainability and Performance of Persistency Techniques Vergleich von Persistenz Systemen Untersuchung auf Performance und Wartbarkeit Erzeugung eines GQM-Modells Nutzung von 19 / 28 Architektur 2 Goldschmidt, Evaluation of Persistency Techniques, / 28

11 Goals Purpose Issue Object Viewpoint Vergleich Performance bzw. Wartbarkeit Persistenz Systeme Software Entwickler Goal 1: Wartbarkeit Vergleiche verschiedene Persistenz Technologien anhand ihrer Performance aus der Sicht von Softwareentwicklern. Goal 2: Performance Vergleiche verschiedene Persistenz Technologien anhand ihrer Wartbarkeit aus der Sicht von Softwareentwicklern. 21 / 28 Goal 1 (Wartbarkeit): Questions 22 / 28

12 Goal 1 (Wartbarkeit): 23 / 28 Goal 2 (Performance): Questions 24 / 28

13 Goal 2 (Performance): 25 / 28 Ergebnisse Metrik NHibernate ADO.NET Design (Arbeitstage) 9 12 Workarounds (Anzahl) 1 1 Zeit für Workarounds (Arbeitstage) 2 0,5 Initialisierung (ms) 6211,2 5331,3 Speicherbedarf (mb) 56,1 51,8 CPU (Anwendung) (ms) 88,5 86,5 CPU (Datenbank) (ms) 5,8 3,3 Zeit / Operation (ms) 194,0 87,2 Operation / Minute 5,5 11,5 Max. Speicherbedarf (mb) 6,5 2,2 26 / 28

14 reduzieren Software auf aussagekräftige Werte Auswahl geeigneter schwierig Problem subjektiver Ergebnisse 27 / 28 Danke Vielen Dank für ihre Aufmerksamkeit 28 / 28