Risikobasiertes Testen in der Praxis Impulsvortrag AK Testmanagement TAV 23 17./18. November 2005 by Maud Schlich - IT-PROJECT-SERVICE Seite 1 von 16 Beobachtungen in einem Unternehmen Neutrale Beobachtungen im Herbst 2005 Mittelständisches Unternehmen der SW-Branche by Maud Schlich - IT-PROJECT-SERVICE Seite 4 von 16 1
Definition Risikobasiertes Testen Risiko: ein potentielles Problem, d.h. die Möglichkeit, dass der vorgesehene Ablauf oder Ziele des Projektes gefährdet werden" (DIN 69905) Prozessrisiken + Produktrisiken by Maud Schlich - IT-PROJECT-SERVICE Seite 2 von 16 Prozessrisiken des Testprozesses Mangelnde Ressourcen (Kosten, Zeit, Personal) Mangelnde Qualität des Testens (z.b. Nicht- Erreichung von geforderten Abdeckungsmaßen, Nicht-Aufdecken/-Erkennen von Fehlerwirkungen) Risikomanagement im Testen in der Testplanung und regelmäßig bis zum Test(projekt)ende by Maud Schlich - IT-PROJECT-SERVICE Seite 3 von 16 2
Produktrisiken des Produktes sicherheitskritische Anwendungen (Safety) -> SIL Nicht-Erfüllung zugesagter Anforderungen / Qualitätsmerkmale by Maud Schlich - IT-PROJECT-SERVICE Seite 4 von 16 liegen in den Anforderungen? 150 Anforderungsdokumente von 5 Zeilen bis 20 Seiten jeweils ein Komplex von Anforderungen, aber nicht notwendigerweise ein Feature by Maud Schlich - IT-PROJECT-SERVICE Seite 5 von 16 3
liegen in den Anforderungen? Jede Anforderung wird zu einer Testspezifikation = 150 zu bewertende? by Maud Schlich - IT-PROJECT-SERVICE Seite 6 von 16 : Analyse der Anforderungen hinsichtlich ihrer Qualitätsmerkmale tsmerkmale Qualitätsmerkmale (ISO 9126) Änderbarkeit 5 4 Benutzbarkeit 3 2 Übertragbarkeit 1 0 Soll Ist Zuverlässigkeit Effizienz Funktionalität by Maud Schlich - IT-PROJECT-SERVICE Seite 7 von 16 4
: Analyse der Anforderungen hinsichtlich ihrer Qualitätsmerkmale tsmerkmale Jede Anforderung / Testspezifikation Gewichtung hinsichtlich Ihres Einflusses auf die analysierten Qualitätsmerkmale Analyse bezüglich einer geschätzten erhält einen Rang, eine Priorität oder Prio A: 50 Anforderungen / Testspezifikationen Prio B: 70 Anforderungen / Testspezifikationen Prio C: 30 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 8 von 16 : Analyse der Anforderungen hinsichtlich ihrer Qualitätsmerkmale tsmerkmale Prio A: 50 Anforderungen / Testspezifikationen -> Muss zu 100% getestet werden Prio B: 70 Anforderungen / Testspezifikationen -> Soll soweit wie möglich getestet werden Prio C: 30 Anforderungen / Testspezifikationen -> Wird getestet, wenn noch Zeit ist Aber: ca. 90% aller Anforderungen unabhängig von Prio sind direkte Kundenanforderungen. Ergebnis: doch alle testen? by Maud Schlich - IT-PROJECT-SERVICE Seite 9 von 16 5
: Analyse hinsichtlich Wichtigkeit für f r den Kunden Jede Anforderung / Testspezifikation Gewichtung hinsichtlich Wichtigkeit für den Kunden Analyse bezüglich einer geschätzten erhält einen Rang, eine Priorität oder Prio A: 140 Anforderungen / Testspezifikationen Prio B: 5 Anforderungen / Testspezifikationen Prio C: 5 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 10 von 16 : Analyse hinsichtlich Wichtigkeit für f r den Kunden Jede Anforderung / Testspezifikation Gewichtung hinsichtlich Wichtigkeit für den Kunden Analyse 5 Prio bezüglich C Anforderungen einer geschätzten werden erst im nächsten Release realisiert. erhält einen Rang, Ergebnis: eine Priorität 145 testen? oder Prio A: 140 Anforderungen / Testspezifikationen Prio B: 5 Anforderungen / Testspezifikationen Prio C: 5 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 10 von 16 6
: Priorisierung der einzelnen Testfälle Jede Testspezifikation enthält mehrere Testfälle. Beispiel: Equiv Class Error Guess. State- Based by Maud Schlich - IT-PROJECT-SERVICE Seite 11 von 16 : Priorisierung der einzelnen Testfälle In jeder Testspezifikation Analyse der Testfälle Gewichtung hinsichtlich? Analyse bezüglich einer geschätzten erhält einen Rang, eine Priorität oder Prio A: 4 Anforderungen / Testspezifikationen Prio B: 16 Anforderungen / Testspezifikationen Prio C: 30 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 12 von 16 7
: Priorisierung der einzelnen Testfälle In jeder Testspezifikation Analyse der Testfälle Gewichtung hinsichtlich Testdurchführbarkeit + subjektiver Wertung Analyse bezüglich einer geschätzten erhält einen Rang, eine Priorität oder Prio A: 4 Anforderungen / Testspezifikationen Prio B: 16 Anforderungen / Testspezifikationen Prio C: 30 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 13 von 16 : Priorisierung der einzelnen Testfälle In jeder Testspezifikation Analyse der Testfälle Gewichtung hinsichtlich Testdurchführbarkeit + subjektiver Wertung Also Analyse ca. bezüglich 4* 150 Testfälle einer geschätzten = 600 Testfälle A 16 *150 Testfälle = 2400 Testfälle B erhält einen Ergebnis: Rang, eine 3000 Priorität testen? oder Prio A: 4 Anforderungen / Testspezifikationen Prio B: 16 Anforderungen / Testspezifikationen Prio C: 30 Anforderungen / Testspezifikationen by Maud Schlich - IT-PROJECT-SERVICE Seite 13 von 16 8
Tatsächliche Tests: Die Entwicklung benötigte erheblich mehr Zeit -> Verkürzung der Testzeit -> Erhöhung der Testerzahl -> alle ungeübten Tester erhielten alle einfachen Testfälle und fanden 0 Majors und 2 Minors -> die eigentlichen Tester führten soviele Testfälle aus, wie möglich (unabhängig von jeglicher Priorisierung) und fanden <50 Majors und <100 Minors die Tests laufen nach Auslieferung weiter by Maud Schlich - IT-PROJECT-SERVICE Seite 14 von 16 Ergebnis??? by Maud Schlich - IT-PROJECT-SERVICE Seite 15 von 16 9
Meinungen, Kommentare, Verbesserungsvorschläge, Fragen, by Maud Schlich - IT-PROJECT-SERVICE Seite 16 von 16 10