Wie misst man Qualität?

Transkript

1 Software Systems Engineering Wie misst man Qualität? Dr. Privat-Doz. A Herrmann Institut Software Systems Engineering

2 Ziele dieses Workshops Workshop Wie misst man Qualität? Methoden lernen: Herleitung von Kriterien für Qualität Gewichtung von Kriterien Bewertung einer Software 2

3 Motivation: Qualitätsanforderungen Performanz (QA) Benutzerfreundlichkeit (QA) FA 1 FA 2 FA 3 FA 4 FA = funktionale Anforderung (Was?) QA = Qualitätsanforderung (Wie?) 3

4 ISO 9126 Funktionalität Angemessenheit Sicherheit Genauigkeit der Berechnung Interoperabilität Konformanz zu Standards Zuverlässigkeit Reife Fehlertoleranz Wiederherstellbarkeit Benutzbarkeit Verständlichkeit Erlernbarkeit Bedienbarkeit Effizienz Zeitverhalten Verbrauchsverhalten Änderbarkeit Analysierbarkeit Modifizierbarkeit Stabilität Prüfbarkeit Übertragbarkeit Anpassbarkeit Installierbarkeit Konformanz zu Standards Austauschbarkeit 4

5 Motivation: Bewertung Was bedeutet benutzerfreundlich? Vage -> messbare Qualitätsanforderungen Wie benutzerfreundlich ist die Software? (Wie) wird sie besser? Abhängigkeiten, z.b. langsame Software ist wenig benutzerfreundlich Benutzerfreundlichkeit ist subjektiv Benutzerfreundlichkeit Hängt vom Nutzungskontext ab 5

6 Herrmann A (2007) Von Risiken zu Nutzen: Vorhersage von Risiken durch Schätzmethoden. Metrikon 2007, , Kaiserslautern, Germany, pp Qualitätsattribute und -metriken Literatur Definitionen der Qualitätsattribute (QA) Metriken Definitionen beziehen sich auf einen (un)erwünschten Zustand Metriken messen Wahrscheinlichkeit oder Schaden eines unerwünschten Zustands

7 Typen unerwünschter Zustände -> Metriken Defekt Wahrscheinlichkeit Defektrate Schaden (uneinheitlich) Fehlfunktion Ausfallrate (uneinheitlich) System nicht betriebsbereit relative Ausfallzeit (uneinheitlich) hoher Aufwand oder Kosten Häufigkeit Aufwand oder Kosten 7

8 Benutzerfreundlichkeit Defekt Unangemessenheit für die spezifizierte Aufgabe (Angemessenheit) Fehlfunktion Fehlerfunktion durch Benutzerfehler (Fehlertoleranz) System nicht betriebsbereit hoher Aufwand oder Kosten Benutzer braucht zu viel Zeit (Produktivität) Benutzeraktion nicht erfolgreich (Bedienbarkeit) 8

9 ISO EN ISO Benutzer-orientierte Gestaltung interaktiver Systeme: Beschreibt einen Softwareentwicklungsprozess: Benutzerorientiert Prototypisch Iterativ vier wesentliche Teilaktivitäten: Nutzungskontext verstehen (Benutzer, Aufgaben, Umgebung) Anforderungen spezifizieren Lösungen produzieren (Prototyping) Lösungen bewerten (Experten-Reviews, Usability- Tests, Befragungen oder Mischung daraus) -> Nächste Iteration 9

10 Gliederung des Workshops 1. Herleitung von Kriterien 2. Gewichtung von Kriterien 3. Bewertung einer Software 10

11 11 Beispiel Bewerten der Benutzerfreundlichkeit eines Bestellvorgangs

12 Funktionale Anforderungen (FA) Artikel suchen include Artikel bestellen Benutzer Bestellung stornieren Artikel bezahlen Artikel zurückgeben 12

13 Herleitung von Kriterien Gängiges Prinzip: Standard Spezifische Kriterien 14

14 Bildschirmarbeitsverordnung DIN ISO 9241 EN ISO drei Leitkriterien: Effektivität zur Lösung einer Aufgabe Effizienz der Handhabung des Systems Zufriedenheit der Nutzer einer Software 15

15 ISO 9126 Funktionalität Angemessenheit Sicherheit Genauigkeit der Berechnung Interoperabilität Konformanz zu Standards Zuverlässigkeit Reife Fehlertoleranz Wiederherstellbarkeit Benutzbarkeit Verständlichkeit Erlernbarkeit Bedienbarkeit Effizienz Zeitverhalten Verbrauchsverhalten Änderbarkeit Analysierbarkeit Modifizierbarkeit Stabilität Prüfbarkeit Übertragbarkeit Anpassbarkeit Installierbarkeit Konformanz zu Standards Austauschbarkeit 16

16 Grundsätze der Dialoggestaltung Bildschirmarbeitsverordnung DIN ISO : Aufgabenangemessenheit Selbstbeschreibungsfähigkeit Steuerbarkeit Erwartungskonformität Fehlertoleranz Individualisierbarkeit Lernförderlichkeit Erklärung der Kriterien: 18

17 Konkretisierung der Qualitätsanforderungen Lernförderlichkeit Alle nötigen Informationen müssen zur gleichen Zeit für den Benutzer verfügbar sein. Fehlerhafte Eingaben lassen sich auf einfache Weise wieder rückgängig machen. Maske Bestellung bestätigen zeigt mindestens Artikel- Beschreibung, Lieferadresse und Bestellwert. Maske Bestellung bestätigen bietet die Möglichkeit, zum Bestellformular zurück zu kehren sowie die Bestellung abzubrechen. 19

18 MOQARE MOQARE = Misuse-Oriented Quality Requirements Engineering Herrmann A, Paech B (2008) MOQARE: Misuse-oriented Quality Requirements Engineering. Requirements Engineering Journal, Vol. 13, No. 1, Jan. 2008, pp

19 MOQARE: Prinzip der Misuse Cases Fahrrad fahren includes includes threatens Fahrrad stehlen Fahrradbesitzerin Fahrrad abschließen includes mitigates Luftpumpe stehlen Dieb Luftpumpe mitnehmen prevents threatens Rad aufpumpen 21

20 Konkretisierung in MOQARE Geschäftsziel Motivation von Benutzerfreundlichkeit Geschäftsschaden Qualitätsmangel Geschäftsschaden Qualitätsmangel Lernförderlichkeit Qualitätsziel der Qualitätsziel Qualitätsziel Benutzeroberfläche Misuse Case Misuse Case Misuse Case Misuse Case Misuse Case Bewertungs Gegenmaßnahme kriterien Alle nötigen Qualitätsziel Informationen Gegenmaßnahme Misuse Case Misuse Case Bewertungs kriterien Gegenmaßnahme Maske Bestellung bestätigten Gegenmaßnahme Gegenmaßnahme 22

21 MOQARE Misuse Tree Ausschnitt Umsatz Keine Bestellungen Zusatzkosten für Bestellungen Schlechte Benutzerführung Bestellungen per Telefon/ Fax Prozessunterstützung Lernförderlichkeit Performanz Benutzerfehler Informationen fehlen -> Stornierung oder Abbruch. Rückgängig- Machen von Fehlern Alle nötige Inf. auf Benutzerob. Information fehlt Für Use Case Best. bestätigen Maske Best. best. zeigt Zu viel Information auf Benutzeroberfläche -> Ineffizienz Keine überflüssigen Informationen auf Benutzeroberfläche Unnötige Eingaben Minimum an Pflichtfeldern 23

22 Übung 1 Gemeinsames Erstellen eines Misuse Tree für den Bestellvorgang -> Bewertungskriterien 24

23 Gliederung des Workshops 1. Herleitung von Kriterien 2. Gewichtung von Kriterien 3. Bewertung einer Software 25

24 Wozu Gewichtung von Kriterien? Manche Kriterien sind wichtiger / kritischer/ nützlicher als andere Releaseplanung für Verbesserung der Benutzerfreundlichkeit: Was zuerst umsetzen? Berechnen einer Gesamtbewertung X w i x i i wi : Gewicht des Kriteriums Nr. i xi: Erfüllung des Kriteriums Nr. i 26

25 27 Was bedeutet wichtig? Nutzen Risikoverringerung

26 graue (unerwünschte) Elemente: Risiko ri = Wahrscheinlichkeit x Schaden Bewertung in MOQARE: risikobasiert Keine Bestellungen Umsatz Zusatzkosten für Bestellungen Schlechte Benutzerführung Bestellungen per Telefon/ Fax Prozessunterstützung Lernförderlichkeit Performanz Benutzerfehler Informationen fehlen -> Stornierung oder Abbruch. Rückgängig- Machen von Fehlern Alle nötige Inf. auf Benutzerob. Information fehlt Für Use Case Best. bestätigen Maske Best. best. zeigt Zu viel Information auf Benutzeroberfläche -> Ineffizienz Keine überflüssigen Informationen auf Benutzeroberfläche Unnötige Eingaben Minimum an Pflichtfeldern 28

27 Risikobasierte Bewertung Risiko wi Bewertung der Software Restrisiko 0 xi Xi = Erfüllung des Kriteriums i 1 29

28 Übung 2 Gemeinsames Bewerten der Wichtigkeit von Kriterien 30

29 Gliederung des Workshops 1. Herleitung von Kriterien 2. Gewichtung von Kriterien 3. Bewertung einer Software 31

30 32 Bewertung der Software Testen (Use Cases j als Testfälle) Erfüllung des Kriteriums i durch Use Case j = xij Erfüllung des Kriteriums i Gesamtqualität der Software x i j x ij u j X i w i x i

31 Use Cases als Testfälle Artikel suchen include Artikel bestellen 5 Use Cases, Jeweils gleich wichtig ui = 1/5 Benutzer Bestellung stornieren Artikel bezahlen Artikel zurückgeben 33

32 Übung 3 - Bewertung Bewerten der Software gegenüber den Kriterien 34

33 35 Releaseplanung Priorität ~ (1-Erfüllungsgrad xij) x Gewicht uj (Use Case) x Gewicht wi (Testkriterium)

34 Übung 3 - Releaseplanung Releaseplanung 36

35 37 Gesamtbewertung Test (Use Cases j als Testfälle) Erfüllung des Kriteriums i durch Use Case j = xij Erfüllung des Kriteriums i Gesamtqualität x i j x ij u j X i w i x i

36 Übung 3 - Gesamtbewertung Gesamtbewertung 38

37 Abschlussdiskussion Qualitätsmessung umfasst Konkrete Anforderungen / Bewertungskriterien Gewichtung der Kriterien, z.b. entsprechend Risiko(verringerung) Bewertung der Software, evtl. funktionale Anforderungen (Use Cases) als Testfälle Nutzen der Qualitätsmessung für Releaseplanung und andere Entscheidungen 39

38 Vielen Dank für Ihre Teilnahme!