Qualitätssicherung von Software

Größe: px

Ab Seite anzeigen:

Download "Qualitätssicherung von Software"

Dagmar Manuela Auttenberg
vor 9 Jahren
Abrufe

1 Qualitätssicherung von Software Prof. Dr. Holger Schlingloff Huboldt-Universität zu Berlin und Fraunhofer FIRST

2 Folie 2 Wo stehen wir? 1. Einleitung, Begriffe, Software-Qualitätskriterien 2. anuelle und autoatisierte Testverfahren 3. Verifikation und Validierung, Modellprüfung 4. statische und dynaische Analysetechniken 5. Softwarebewertung, Softwareetriken 6. Codereview- und andere Inspektionsverfahren 7. Zuverlässigkeitstheorie FMEA, FMECA Fehlerbauanalyse stochastische Softwareanalyse 8. Qualitätsstandards, Qualitätsanageent, organisatorische Maßnahen

statische und dynaische Analysetechniken 5. Softwarebewertung, Softwareetriken 6.

3 Folie 3 Zuverlässigkeitstheorie Quantitative Erittlung von Ausfallwahrscheinlichkeiten Ursprung: Bewertung von Hardware! Alterung, Uwelteinflüsse, Materialfehler, Auch für Software einsetzbar?! Zertifizierungsprobleatik, z.b. Cenelec! vorausschauende Hinweise auf Schwachstellen FMEA, FMECA

Alterung, Uwelteinflüsse, Materialfehler, Auch für Software einsetzbar?

4 Folie 4 Fehlerbauanalyse (Fault tree analysis, FTA; DIN 25424) entwickelt 1961 von H.A. Watson, Bell Labs! Bewertung eines Raketen-Abschuss-Systes! für SW und eingebettete Systee erweitert Systeatische Suche nach Fehlerursachen Eliination von singulären Schwachstellen Top-down, von der Wurzel zu den Blättern! Jede Ebene i Bau zeigt den selben Sachverhalt, jedoch it verschiedenen Detaillierungsgraden! Wurzel repräsentiert Bedrohung, Blätter repräsentieren atoare Fehler (Ereignisse)! Innere Knoten sind Abstraktionen von Ereignisengen

für SW und eingebettete Systee erweitert Systeatische Suche nach Fehlerursachen Eliination von singulären Schwachstellen Top-down, von

5 Folie 5 Sybole Grundsybole Zusatzsybole aus: Liggeseyer, p.435

6 Folie 6 Vorgehensweise Top-Down-Analyse! Verfeinerung der Wirkzusaenhänge! beginnend it unerwünschte Ereignis DIN: Nichtverfügbarkeit einer Einheit = Wahrscheinlichkeit des Ausfalls zu eine Zeitpunkt (Verteilungsfunktion F(t)) Analyse von! Systefunktionen! Ugebungsbedingungen! Hilfsquellen! Koponenten! Organisation

Wahrscheinlichkeit des Ausfalls zu eine Zeitpunkt (Verteilungsfunktion F(t))

7 Folie 7 Beispiele aus: N. Leveson, Safeware

8 Folie 8

9 Folie 9 Berechnung Für boolesche Verknüpfungen! Und: F(t)=F 1 (t) * F 2 (t)! Oder: F(t)=F 1 (t) + F 2 (t) - F 1 (t)*f 2 (t)! Nicht: F(t)=1 - F (t) "Unabhängigkeit von Ereignissen beachten! Jede Blatt i Fehlerbau wird Risiko und Wahrscheinlichkeit zugeordnet! Risiko bedeutet finanzieller/aterieller Verlust! Wahrscheinlichkeit ggf. als Funktion der Zeit " Botto-up-Berechnung nach vorstehenden Regeln ergibt Prioritätenliste der Risiken

10 Folie 10 Schnitte (Cut sets) Ein Schnitt ist eine Menge von Basisereignissen, so dass gilt: Falls irgendein Ereignis des Schnittes nicht eintritt, wird auch das Ereignis der Wurzel nicht eintreten Repräsentation des Fehlerbaues durch Schnitte: Und-Oder-Bau it zwei Stufen Inforationen zur Bewertung von Systeschwächen (Relevanz von Ereignissen für den Schadensfall)

nicht eintreten Repräsentation des Fehlerbaues durch Schnitte: Und-Oder-Bau it zwei Stufen

11 Folie 11 Pause!

12 Folie 12 stochastische Zuverlässigkeitsodelle Idee: Quantifizierung der Zuverlässigkeit R (reliability) eines technischen (HW/SW-) Systes (vgl. SW-Metriken) Alterung: R=R(t) abhängig von der Zeit (Überlebenswahrscheinlichkeit)! z.b. ittlere Betriebsdauer zwischen Ausfällen bei Ausführungen Software: abhängig vo Reifegrad HW: Erhöhung der Zuverlässigkeit durch Redundanz, Fehlertoleranzkonzepte, SW: Übertragung der Konzepte? (ANSI/AIAAR , Recoended Practice for Software Reliability)

13 Folie 13 Definition Zuverlässigkeit Zuverlässigkeit (reliability)! Grad der Fähigkeit einer Betrachtungseinheit, die geforderte Leistung während einer vorgegebenen Zeitspanne zu erbringen! Wahrscheinlichkeit der Abwesenheit von Ausfällen über de Beobachtungszeitrau! R(t)=P[kein Ausfall i Intervall 0..t] vergleichbar! Verfügbarkeit (availability): Maß für die Wahrscheinlichkeit, dass die geforderte Leistung zu eine Zeitpunkt erbracht werden kann! Verlässlichkeit (dependability): Maß für das gerechtfertigte Vertrauen in die Leistung eines Systes

Wahrscheinlichkeit der Abwesenheit von Ausfällen über de Beobachtungszeitrau! R(t)=P[kein Ausfall i Intervall 0..t] vergleichbar!

14 Folie 14 Ausfallwahrscheinlichkeit F(t) = Wahrscheinlichkeit (indestens) eines Ausfalls i Beobachtungszeitrau F(t) = 1 - R(t) Oft sind F(t) und R(t) exponentiell verteilt (e -λt ) Software: Anteil der fehlerhaften an allen betrachteten Prograausführungen F(t) = li n# (n f / n) erste Ableitung ist Ausfalldichte: f(t) = df(t) / dt Tendenz der Ausfallwahrscheinlichkeit

Software: Anteil der fehlerhaften an allen betrachteten Prograausführungen F(t) = li n# (n

15 Folie 15 Ausfallrate Ausfallrate: Wahrscheinlichkeit, dass sich ein Ausfall pro Zeiteinheit in eine Intervall [t,t+δ] ereignet, gegeben Ausfallfreiheit bis zu t F(t+δ)-F(t) / δ*r(t) Häufigkeit, it der sich Ausfälle in eine Intervall ereignen Hazard-Rate: bedingte Ausfalldichte z(t) = f(t) / R(t) Grenzwert der Ausfallrate für kleine Intervalle

F(t+δ)-F(t) / δ*r(t) Häufigkeit, it der sich Ausfälle in eine Intervall ereignen

16 Folie 16 p: Wahrscheinlichkeit des Versagens in eine Progralauf (1-p): Wahrscheinlichkeit des Nichtversagens (1-p) n : Wahrscheinlichkeit des Nichtversagens in n paarweise unabhängigen Läufen Wahrscheinlichkeit indestens eines Versagens in n Läufen: 1-(1-p) n

Wahrscheinlichkeit des Nichtversagens in n paarweise

17 Folie 17 Aussagesicherheit Unter der Annahe, dass ein Syste bei allen Beobachtungen nieals versagt, ist p natürlich nicht exakt bestibar; berechenbar ist eine obere Schranke für p: p µ, wobei µ vorgegeben ist Mit Siulationsläufen ist die Wahrscheinlichkeit dieser Aussage bestibar: β = P(p µ) β heißt Aussagesicherheit der Hypothese

ist eine obere Schranke für p: p µ, wobei µ vorgegeben ist Mit Siulationsläufen

18 Zuverlässigkeit Folie 18 H. Schlingloff, Software-Qualitätssicherung Zusaenhang von µ, β und n Wahrscheinlichkeit, dass in n Läufen höchstens x Versagensfälle auftreten: Ausdruck nit it wachsende p onoton ab Wähle µ(x) so, dass Dann gilt: Daraus folgt (X=0): ( ) n x p p n x n p = = 1 ), ( 0 [ ] β µ µ = = 1 ) ( 1 ) ( 0 n X X X n [ ] [ ] = = β µ 1 1 ) ( 0 n X p p n P X p P [ ] [ ] β µ µ µ = = = 1 (0) ) ( 1 ) ( 0 n n X X X n

höchstens x Versagensfälle auftreten: Ausdruck nit it wachsende p onoton ab Wähle µ(x) so, dass Dann gilt:

19 Folie 19 [ ] n β = 1 1 µ Poisson-Verteilung statt binoischer Verteilung der Erwartungswerte ergibt eine ähnliche Ausfalldichtefunktion Forel reflektiert die erreichbare Aussagesicherheit bei gegebener Oberschranke für die Versagenswahrscheinlichkeit in Abhängigkeit von der Anzahl der versagensfreien Prograläufe

die erreichbare Aussagesicherheit bei gegebener Oberschranke für die

20 Folie 20 Beispielwerte für µ=10-4 β β = 1 - (1 - µ) n = 1-0,9999 n n n β 0, , , , , , , , , ,

40000 45000 50000 β 0,3934845 0,63213895 0,77688658

21 Folie 21 Zuverlässigkeitsodelle Makroodelle! Außenverhalten des Systes, Black-Box-Sicht! Ausfallrate proportional zur Zahl der enthaltenen Fehler Mikroodelle! innere Struktur, White-Box-Sicht! Ausfallrate abhängig von der Aufrufstruktur

22 Folie 22 Beispiel: Jelinski-Moranda-Makroodell Hazard-Rate proportional zur Anzahl enthaltener Fehler! feste anfängliche Gesatfehlerzahl! jeder Fehler verursacht it gleicher Wahrscheinlichkeit und Rate Fehler! aufgetretene Fehler werden sofort beseitigt (konstante Änderung bei jeder Prograversion) Abschätzung der Zahl der ursprünglichen Fehler durch Beobachtung von Ausfällen über einen Zeitrau Berechnung der Anzahl der Restfehler und des erforderlichen QS-Aufwandes

23 Folie 23 Beispiel: Shooan-Mikroodell Berücksichtigung der Prograstruktur: Aufteilung in Segente (Module, Klassen, Funktionen, ) Schätzung der relativen Ausführungshäufigkeit und zeit sowie der Fehlerwahrscheinlichkeit je Segent (Instruentierung des Quelltextes)! Fehler sind nicht gleichverteilt! große Module nicht zwangsweise fehlerbehaftet! keine strenge Korrelation Testfehler-Produktfehler Berechnung der Fehlerrate aus de Quotienten von fehlerhaften Ausführungen und zugehörigen Ausführungszeiten Trendanalyse für verbleibende Fehleranzahl

24 Folie 24 Bewertung der Modelle über 40 Varianten in der Literatur kein ideales Modell (viel Spielrau) Schätzungen, keine Vorhersagen! langfristige Kalibrierung nötig Genauigkeit bis zu +-5% erreichbar Werkzeuge verfügbar

25 Folie 25 Literaturepfehlungen Wolfgang Ehrenberger: Software-Verifikation, Verfahren für den Zuverlässigkeitsnachweis von Software; Hanser Verlag Peter Liggeseyer: Forale und stochastische Methoden zur Qualitätssicherung technischer Software F.Belli, M.Grochtann, O. Jack: Erprobte Modelle zur Quantifizierung der Software-Zuverlässigkeit; Inforatik Spektru 21: (1998) Jelinski, Z., Moranda, P.B., Software reliability research; in: Statistical Coputer Perforance Evaluation, W. Freiberger, Ed., New York, Acadeic, , 1972 Shooan, M., Operational testing and software reliability during progra developent; in Rec IEEE Syp. Coput. Software Rel., New York, 51-57, 1973.

Ähnliche Dokumente

Würfelt man dabei je genau 10 - mal eine 1, 2, 3, 4, 5 und 6, so beträgt die Anzahl. der verschiedenen Reihenfolgen, in denen man dies tun kann, 60!.

Würfelt man dabei je genau 10 - mal eine 1, 2, 3, 4, 5 und 6, so beträgt die Anzahl. der verschiedenen Reihenfolgen, in denen man dies tun kann, 60!. 040304 Übung 9a Analysis, Abschnitt 4, Folie 8 Die Wahrscheinlichkeit, dass bei n - maliger Durchführung eines Zufallexperiments ein Ereignis A ( mit Wahrscheinlichkeit p p ( A ) ) für eine beliebige Anzahl