Qualitätssicherung. Software(technik)praktikum - Vorlesung Qualitätssicherung

Transkript

1 Qualitätssicherung

2 Externe Qualitätsprobleme (1)

3 Externe Qualitätsprobleme (1) Entwicklungskosten >300 Mio. Erwartete Dauer: 1 Jahr (tatsächlich: 3 Jahre) Unterstützt 10 Nutzer gleichzeitig statt den geplanten Zitat: Hauptproblem sei das Design des Systems, das Servern den Zugriff auf brachliegende Kapazitäten anderer Rechner nicht ermögliche.

4 Externe Qualitätsprobleme (2)

5 Interne Qualitätsprobleme: Wartung Prozesskontrollsystem Charakteristika? Lange Lebenszeit (>30 Jahre) Große Codebasis (>1 Mio. LOC) Warum warten? Probleme beheben Software ändern Wo suchen? Dokumentation Quellcode

6 Interne Qualitätsprobleme: Wartung Kosten der Software über ihren Lebenszyklus Verstehen Initialentwicklung Wartung Ändern Rebecca Tiarks: What Maintenance Programmers Really Do: An Observational Study [Som12]

7 Inhalte dieser Vorlesung Was ist Qualität? Begriffsdefinition Welche Qualitätseigenschaften gibt es? Qualitätsmodelle definieren diese Wie quantifiziert man Qualität? Messen & Schätzen Qualitätsmetriken Wo im Entwicklungsprozess spielt Qualität eine Rolle? Am Beispiel des V-Modells

8 Qualität Qualität kann verschiedene Bedeutungen haben, bzw. hängt von der Perspektive ab produktbezogene Qualität ( Wie gut ist das Produkt ) benutzerbezogene Qualität ( Wie gut ist das Produkt für die Bedürfnisse eines bestimmten Benutzers ) prozessbezogene Qualität ( Wie gut ist der Erstellungsprozess des Produkts ) Qualität möchte man erzielen Qualität sollte daher nachweisbar sein

9 Qualität Gesamtheit der Merkmale eines Produkts oder einer Tätigkeit, die die Erfüllung festgelegter oder vorausgesetzter Eigenschaften betreffen (nach DIN EN ISO 8402) Dazu gehören auch Dokumente des Entwicklungsprozesses Qualitätsanforderung Welche Qualitätseigenschaften gibt es? Hierfür gibt es Qualitätsmodelle

10 Qualitätsmodelle Mit Hilfe eines Qualitätsmodells kann eine systematische und begründete Abschätzung der Qualität eines Produkts erfolgen Qualität wird in DIN EN ISO 8402 Quality management and quality assurance definiert Typischerweise werden Qualitätseigenschaften über mehrere Hierarchiestufen in Teileigenschaften zerlegt ISO/IEC ehemals ISO/IEC 9126 Software engineering Product quality

11 ISO/IEC Software product quality model (interne und externe Qualitäten)

12 Relevanz der Q-Eigenschaften Anwendungsklasse Menschliches Leben ist betroffen Hohe Entwicklungskosten Lange Einsatzdauer Echtzeitanwendungen Qualitätseigenschaften Zuverlässigkeit, Korrektheit, Testbarkeit Zuverlässigkeit, Flexibilität Wartbarkeit, Flexibilität, Portabilität Effizienz Eingebettete Anwendungen Effizienz, Zuverlässigkeit Ähnlich zu McCall, Richards und Walters und nach Balzert

13 Qualitätsmetriken Qualität lässt sich durch Qualitätsmetriken nachweisen Eine Metrik M ist eine präzise definierte Methode, um ein Element einer (geordneten) Menge V einem System S zuzuordnen M ist zugleich auch die Einheit in der man die Qualität angibt Beispiel: S = Code eines Softwaresystems M = Lines of Code von S V = Natürliche Zahlen Methode: Zähle alle LOCs von S Weitere Beispiele für weitere Metriken: Anzahl der Methoden, Klassen, Codekommentarzeilen Antwortzeit Auslastung (z.b. der CPU) Durchsatz (z.b. in Netzwerken relevant)

14 Qualitätsmetriken Wie ermittelt man Metriken? Schätzen? Ja, aber wenn dann möglichst genau, begründet und systematisch Messen Bestenfalls wiederholbare Messungen

15 Beispiel für ein Qualitätsmodell: Factor-Criteria-Metrics-Model 0,3 Funktionalität 0,2 Zuverlässigkeit 0,2 Bedienbarkeit 0,5 Q-Eigenschaften 0,1 Richtigkeit Angemessenheit 0,7 Interoperabilität 0,3 0,2 Verständlichkeit 0,2 0,5 Erlernbarkeit Bedienbarkeit Q-Teileigenschaften QM-Bericht Die Qualität beträgt: 0,4 Qualitätsstufe: gut 380k 2,5 LOC Interactions /Use Case 0,01 Q-Metriken

16 Arten des Qualitätsmanagements Produktorientiertes und prozessorientiertes Qualitätsmanagement Konstruktive und analytische Maßnahmen des Qualitätsmanagements Diskussion: Welche Maßnahmen können wir in der Gruppe zur Erhöhung der Softwarequalität treffen?

17 Produkt- und Prozessorientiertes QM Produktorientiertes Qualitätsmanagement Das Softwareprodukt und Zwischenergebnisse (Klassen, Methoden oder Komponenten wie GUI, Parser, Algorithmen, usw.) werden auf vorher festgelegte Q-Eigenschaften und Metriken überprüft Direkte Sicherstellung, dass das Produkt bestimmte Q-Eigenschaften besitzt Prozessorientiertes Qualitätsmanagement Bezieht sich auf den Entwicklungsprozess der Software, eingesetzte Werkzeuge, Richtlinien für Dokumente, etc. Wird der Prozess eingehalten, ergibt sich automatisch eine hohe Qualität Inspiriert durch die industrielle Serienfertigung die gibt es aber bei Software kaum, daher muss prozess-orientiertes QM typischerweise an Projekte angepasst werden Rein prozessorientiertes QM hat sich als unzweckmäßig erwiesen nach Balzert

18 Konstruktive und Analytische QM-Maßnahmen Konstruktive QM-Maßnahmen Sorgen während des Erstellungsprozesses dafür, dass am Ende Qualitätsmerkmale erfüllt werden Analytische QM-Maßnahmen Dienen nur der Diagnose Messen des Qualitätsniveaus Finden von Defekten Erhöhen nicht direkt die Qualität eines Produkts, bzw. Prozesses Analytische Verfahren: Sammeln von Informationen über das Produkt bzw. den Prozess durch statische Betrachtung Testenden Verfahren: Sammeln von Informationen über das Produkt bzw. den Prozess durch dynamische Ausführung nach Balzert

19 Konstruktive, produktorientierte QM-Maßnahmen (Beispiele) sind Methoden, Sprachen, Standards, Richtlinien, etc., die für das erreichen bestimmter Q-Merkmale im Produkt sorgen, z.b. Richtlinien für Dokumente (z.b. Schema für das Pflichtenheft) Einsatz einer Programmiersprache mit statischer Typprüfung, z.b. Java (vermeidet viele Fehler) Objektorientierte Entwicklung (Vererbung und Polymorphie unterstützt die Wiederverwendbarkeit und Erweiterbarkeit) Einsatz von Design-Patterns (Plug-in-Mechanismus, MVC, etc. unterstützen das Erreichen verschiedene Q-Merkmale) Modellbasierte Entwicklung (z.b. mit UML, EMF; viele Fehler in automatisch generiertem Code werden vermieden) Einsatz von Werkzeugen wie z.b. Eclipse: automatische Code- Vervollständigung, Syntax-Highlighting, nach Balzert

20 Konstruktive, prozessorientierte QM-Maßnahmen (Beispiele) sind Methoden, Sprachen, Standards, Richtlinien, etc., die für das erreichen bestimmter Q-Merkmale im Prozess sorgen, z.b. Richtlinien: Welche Teilergebnisse mit welchem Inhalt müssen wann und von wem erstellt werden Definition eines Prozessmodells (Transparenz, Planbarkeit) Unterstützung der Zusammenarbeit durch ein Versions- und Konfigurationsmanagementsystem (SVN) Automatische Überwachung des Entwicklungsprozesses Einsatz von Wikis, oder z.b. Mylyn, IBM Rational Jazz, Regelmäßige Treffen mit standardisiertem Ablauf und schriftlichen Protokollen Pair-programming (prozess- oder produktorientierte Maßnahme?) nach Balzert

21 Analytische QM-Maßnahmen (Beispiele) Analytische Verfahren Statische Analyse Review Inspektion Walkthrough Audit (Erfassung von Prozessmerkmalen) Testende Verfahren Test Simulation Verifikation (vollständiger Beweis der Korrektheit eines Systems bzgl. bestimmter Eigenschaften, z.b. Model Checking) analytisches oder testendes Verfahren? nach Balzert

22 Prüfmethode Review Mehr oder weniger formale Prozess, in dem es darum geht, Fehler, Unklarheiten, Inkonsistenzen (allg. Schwächen) eines Dokumentes (oder Code-Abschnitts) aufzudecken. Dazu wird das Dokument systematisch in einem Team (von Gutachtern und unter Beteiligung der Autoren des Dokuments) angesehen und besprochen Das Ergebnis ist ein Prüfprotokoll oder die Freigabe des Dokumentes (ggf. nach Iteration)

23 Psychologie des Reviews Problem: Autoren stehen in der Schusslinie bzw. werden in die Mangel genommen Psychologische Aspekte müssen beim Ablauf berücksichtigt werden: z.b. Keine Vorgesetzen anwesend Keine Beurteilung anhand der Reviews

24 Prüfmethode Inspektion Sehr formale Form des Reviews Beteiligte: Gutachter, Autor(en), Moderator, Protokollant Ablauf: Eingangsprüfung: Moderator prüft Eingangskriterien und kann Prüfung ablehnen Planung: Moderator plant den Prüfprozess (Rollen, Zeitplan, Unterlagen, Aufteilung des Prüfobjekts, Kriterien) Einführung: Aufgaben verteilen, Vorgehen abstimmen Individuelle Vorbereitung: Beteiligte bereiten sich auf die Inspektionssitzung vor Inspektionssitzung: Prüfobjekt wird auf Defekte untersucht Überarbeitung Nachprüfung Abgabe nach Balzert

25 Prüfmethode Walkthrough Informelle Form des Reviews Beteiligte: Autor(en), Gutachter Ablauf: Ggf. Individuelle Vorbereitung und Prüfung des Gutachters kann den Walkthrough-Prozess verkürzen Walkthrough-Sitzung: Autor stellt das Produkt Schritt für Schritt vor Gutachter stellt fragen und weist auf Probleme hin Probleme werden protokolliert Walkthroughs können während des Software(technik)praktikums gut in Gruppen-Sitzungen durchgeführt werden Tutor kann Rolle des Gutachter spielen

26 Fehler und Tests Testen ist das Ausführen eines Programms, mit der Absicht (möglichst viele) Fehler zu finden Ein Fehler ist eine Abweichung des Verhaltens eines Produkts/Programms (IST) vom erwarteten Verhalten (SOLL). Ein Test besteht aus einem Satz von Eingabedaten zusammen mit dem jeweils erwarteten Ergebnis (SOLL). Beim Durchführen eines Tests wird das Programm mit den Eingabedaten ausgeführt und das Ergebnis mit dem erwarteten Ergebnis verglichen

27 Testen zur Qualitätssicherung Tests können Zutrauen in die Fehlerfreiheit vermitteln und liefern damit ein Maß für die Richtigkeit (Funktionalität) und die Fehlertoleranz und Reife (Zuverlässigkeit) des Programms Tests können meist automatisch durchgeführt werden; problematisch sind nur graphische Benutzeroberflächen

28 Stufen des Tests Tests können auf verschiedenen Stufen durchgeführt werden Abnahmetest (vom/mit Auftraggeber) Systemtest Integrationstest Unit-Test Dekomposition Test* Implementierung * der vorher spezifizierten Eigenschaften

29 Erinnerung: Bereits bekannt aus Vorlesung Softwareentwurf

30 Automatisierung Tests können meist automatisch durchgeführt werden; dazu sind evtl. Testtreiber nötig JUnit schwierig zu testen sind graphische Benutzeroberflächen Eingebettete Systeme warum?

31 Grenzen des Testens Testen kann nur die Anwesenheit von Fehlern zeigen nicht deren Abwesenheit, also die Fehlerfreiheit der Software der Fehler ist immer genau da, wo man nicht getestet hat Die Abwesenheit von Fehlern kann nur durch eine vollständige Verifikation überprüft werden z.b. Modelchecking: jeden möglichen erreichbaren Zustand eines Programms auf bestimmte Eigenschaften untersuchen jeden Fall testen Aber auch hier gibt es Grenzen: man überprüft nur vorher spezifizierte Eigenschaften aber erfüllt die Software die Erwartungen? Ist die Software dann sicher?

32 Prinzip: Frühzeitige Maßnahmen Je früher ein Fehler gefunden und beseitigt wird, desto weniger Folgekosten verursacht er. Frühzeitige Maßnahmen: Fehler sollten möglichst früh entdeckt werden! Extremform: Test-Driven Development Test-Cases werden vor der eigentlichen Implementierung geschrieben Podcast:

33 Prinzip: Unabhängige Qualitätssicherung Niemand macht gern das eigene Produkt kaputt ( Psychologie des Testens )! Wer beim Entwickeln einen Fall vergisst, vergisst ihn auch beim Testen. Unabhängige Qualitätssicherung: QS-Maßnahmen sollten niemals vom Entwickler selbst durchgeführt werden!

34 Prozessorientiertes QM Es gibt verschiedene Vorgehensmodelle bei der Softwareentwicklung Wasserfallmodell, V-Modell, Spiralmodell, es sind nur grobe Beschreibungen für das Vorgehen bei der Entwicklung es ist nicht immer zweckmäßig, diese Modelle weiter zu detaillieren Daher wurden verschiedene Rahmenmodelle entwickelt, welche allgemeiner Kriterien für die Durchführung eines Entwicklungsprozesses definieren CMMI SPICE / ISO ISO-9000 TQM

35 ISO / ISO 9001 Das ISO 9000-Modell besteht aus einer Reihe von Normen für ein Qualitätsmanagementsystem ISO 9000 Rahmenwerk Auftraggeber - Lieferanten Verhältnis ISO 9001 beschreibt ganz allgemein Modelle zur Darlegung der Qualitätssicherung in Entwicklung, Produktion, Montage und Kundendienst ISO ist eine Richtlinie für die Anwendung von ISO 9001 auf die Entwicklung und Wartung von Software (mit der hier üblichen Terminologie)

36 Wichtig: Darlegung! ISO legt kein Vorgehensmodell (Phasenmodell) fest; sie verlangt aber die Darlegung der Phasen, Ergebnisse und der jeweiligen Qualitätssicherungsmaßnahmen (Verifizierung) und sie legt einmalig oder periodisch im Unternehmen durchzuführende Maßnahmen und pro Projekt durchzuführende Maßnahmen fest Sie verlangt Maßnahmen zur Dokumentation der Projektabläufe ( Konfigurationsmanagement) Vorgeschriebene Tags im SVN

37 Qualitätssichernde Maßnahmen Festlegung der Qualitätspolitik Festlegung eines mit der Qualitätspolitik Beauftragten Regelmäßige Überprüfung Einplanung der Ressourcen für die Qualitätssicherung Konfigurationsmanagement Schulung

38 Dokumente Vertrag Spezifikation Entwicklungsplan Qualitätssicherungsplan Testplan Wartungsplan Konfigurationsmanagementplan Dokumente laut Projektplanskizze

39 Vor- und Nachteile von ISO 9000 Vorteile Qualitätsbewusstsein (auf Geschäftsführungsebene und Mitarbeiterebene) Dokumentation der Qualitätspolitik und ihrer Umsetzung Anpassungszwang (jährliche Überwachung) Wettbewerbsvorteil Nachteile Gefahr der Bürokratie (Dokumente um der Dokumente willen) Gefahr der Inflexibilität