Synergieeffekte der formalen QS von Geschäftsprozessen Referent: A. Peter Zimmermann Unser Testprozess hat den LEVEL 4 nach ISO / IEC 15504 (SPICE)
superdata auf einen Blick Produkte FIT Testverfahren (Modell und Methoden) FIT Testmatri (Testplanung) Bewertet mit LEVEL 4 nach ISO / IEC 15504 (SPICE) Bewertet mit LEVEL 4 nach ISO / IEC 15504 (SPICE) Seminare Projektmanagement, Testmanagement, Testmethoden, Entscheidungstabellentechnik Tools AUTO-PATE autom. QS und Testfalldefinition Preis WINNER 2005 Sparte IT- Anzahl Verkauf / Definition 14 Inst. XXXXX XXXXX XXXXX 14 Inst. XXXXX XXXXX XXXXX Anz. TN ca. 3000 Gesamt 8000 30 Lizenzen XXXXX Leistungen Beratung Coaching Schulung Durchführung XXXXX PATE GUI manuelle QS und Testfalldefinition ca 800 Liz. Vermittlung Kundenprojekte Projektmanagement Testmanagement Testfalldefinition (autom.mit AUTO-PATE ) Testfalldefinition (manuell.mit PATE GUI) Testdurchführung 25 XXXXX XXXXX XXXXX 45 XXXXX XXXXX XXXXX XXXXX XXXXX XXXXX 50 XXXXX XXXXX XXXXX 6 XXXXX XXXXX XXXXX
Themen Prinzipielles zu Thema Test Formale Prüfungen von Geschäftsprozessen (nach DIN 66241) Redundanz- / Widerspruchsfreiheit / Vollständigkeit Erkennen von Schwachstellen im Geschäftsprozess Synergieeffekte der formalen Qualitätssicherung / Test Aufbau von Metriken
Testaktivitäten Testfallermittlung Testfälle Testdatenerstellung Vorgabe SOLL Abweichungen Qualitätssicherung Testdaten/ SOLL-Ergebnis Ist-Ergebnis Testauswertung Anwendung Testdurchführung
Qualitätsgesicherte Anforderungen als Basis der Testfälle QS Testfälle, Testdaten Anforderung Realisierung + Entwicklertest Testdurchführung Qualitätsges. Anforderung incl. Testfälle Realisierung + Entwickertest Testdurchführung Testdaten
Aufbau der Zustandstabelle Prinzipieller Aufbau einer ET nach DIN 66241 Aufbau einer Zustandstabelle Bedingungen WENN Bedingungsanzeiger (,N,-) REGELN Prozessbeschreibung WENN DANN Systemzustände (,N,-) REGELN Aktionen DANN Aktionsanzeiger (X) Zustand OK Zustandsanzeiger (X) Nicht OK Testfall
Aufbau der Zustandstabelle ET nach DIN 66241 Zustandstabelle Serverabbruch N Serverabbruch Antwort Weiter N - Anz. Message Anz. Message Antwort Weiter N N System weiter System weiter N N N System stoppt System stoppt - N - OK Nicht OK Testfall
Automatisierte Definition der Zustandstabelle PLAUSI-KZ = FEHLER N N AUSGABE FEHLERTEXT N - - AUFRUF VERARBEITUNG - - N OK X X NOK X X Testfall X X
Ziel und Zweck Fachl. Anforderung Graph eepk s automatisch Zustandstabellen Qualitäts- Sicherung Prüfung auf Redundanz Widerspruch Vollständigkeit (nach DIN 66241) Definition der prozessorientierten Entscheidungstabellen Formale Qualitätssicherung der eepk s (nach DIN 66241)
Strukturanalyse (nach DIN 66241) Prüfung der Entscheidungstabelle auf Redundanz: Eine Regel ist in einer anderen enthalten und führt zum selben Ergebnis Folge: Die Regel ist überflüssig! Prüfung der Entscheidungstabelle auf Widerspruch: Eine Regel ist in einer anderen enthalten und führt zu einem unterschiedlichen Ergebnis Folge: Die Entscheidungstabelle ist formal falsch! Prüfung der Entscheidungstabelle auf Vollständigkeit: Es sind zu wenig oder zu viele Regeln in der Entscheidungstabelle definiert : Folge: Die Entscheidungstabelle ist formal falsch!
Fachbereich Steigerung der Qualität der Vorgaben Auswirkungen auf die Bereiche Graph eepk s automatisch Zustandstabellen Qualitäts- Sicherung
Erkennen / Beheben von Schwachstellen Die Entscheidungstabelle enthält Redundanz(en): Die überflüssigen Regeln bzw. Pfade müssen aus dem Prozess entfernt werden Die Entscheidungstabelle enthält Widersprüche: Die formal falschen Regeln bzw. Pfade müssen aus dem Prozess entfernt werden Formale Fehler führen prinzipiell zu einem Fehler in der Vollständigkeit. Nach der Beseitigung dieser formalen Fehler muss die Vollständigkeit der Entscheidungstabelle gewährleistet werden.
Automatisierte Definition aller benötigten Testfälle Zustandstabelle PLAUSI-KZ = FEHLER N N AUSGABE FEHLERTEXT N - - AUFRUF VERARBEITUNG - - N OK X X NOK X X Testfall X X Pfade / Benötigte Testfälle PLAUSI-KZ = FEHLER N AUSGABE FEHLERTEXT - AUFRUFVERARBEITUNG - OK X X NOK Testfall X
Auswirkungen auf die Bereiche Fachbereich Steigerung der Qualität der Vorgaben Definition der tatsächlich vorhandenen Prozessvarianten (Pfade) Entwicklung Reduzierung der Kommunikation zum FB Reduzierung der Reaktionszeit der Fehlerbehebung Graph eepk s automatisch Zustandstabellen Qualitäts- Sicherung autom. Benötigte Testfälle QM / PM Aufbau von formalen und Aufwands-Metriken Test Wegfall der Aufwände für die Testfalldefinition Reduzierung der Anzahl der Testfälle / Testdaten Präzise Definition der Fehlerstelle im Pfad
Beispiel: Fehlermanagement einer Bank Projekt Phoenics - Zentrales Testteam Lebenszyklus einer Abweichung im Problem Tracking erfassen weiterleiten als doppelt kennzeichnen Zuweisung korrigieren erfasst zugewiesen korrigiert zurückstellen zurückweisen zurückgestellt überarbeiten zuweisen korrigieren schließen klären klären wieder aufnehmen wieder aufnehmen zurückstellen zu entscheiden zurückweisen doppelt erfasst zurückgewiesen geschlossen Legende: zurückstellen Zu überwachender Zustand Aktion mit nachfolgendem Entscheidungsbedarf zurückweisen Finaler Zustand Aktion ohne nachfolgenden Entscheidungsbedarf
Beispiel: Zustandstabelle 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Einstellung dabweichung = N Status " erfasst" = N - Zuweisung an Bearbeiter = N - - Behebung Abweichung = N N N N N N N N N N N N N N N N N N N N N N N - - - Zurückweisung = - - - - - - - - N - - - Auslieferung = N - - - - - - - - - - - - - - - - - - - - - - - - - - Durchführung Regr.test = N - - - - - - - - - - - - - - - - - - - - - - - - - - - Regressionstest ok = N N N - - - - - - - - - - - - - - - - - - - - - - - - - - - - Freigabe = N N N - - - - - - - - - - - - - - - - - - - - - - - - - - - - Status "geschlossen" = N - - N - - - - - - - - - - - - - - - - - - - - - - - - - - - - Technische Rückstellung = - - - - - - - - N N N N N N N N N N N N N N N N N N N N - - - - Zeitliche Rückstellung = - - - - - - - - - - N N N N N N N N N N N N N N N N N N - - - - Klärungsbed.Fachseite = - - - - - - - - - - - - N N N N N N N N N N - - - - Doppelerfassung = - - - - - - - - - - - - - - - - - - - - N N N N N N - - - - Falsche Zuweisung = - - - - - - - - - - - - - - - - - - - - - - - - N - - - - Status "zurückgestellt" = - - - - - - - - N N N N N N N N N N N N N N N N - - - - - Status " zu entscheiden" = - - - - - - - - - - - - - N - N N - N N N - - - - - Status " doppelt erfasst" = - - - - - - - - - - - - - - - - - - - - - - N - - N N - - - - - Status " erfasst" = - - - - - - - - - - - - - - - - - - - - - - - - - - - N - - - - - Eskalationsentscheidung = - - - - - - - - - - - - - N - - - - - - - - - - - - - - - wieder aufnehmen = - - - - - - - - - - - - - N N N - - - - - - - - - - - - - - - - endgültig zurückweisen = - - - - - - - - - - - - - - - N - - - - - - - - - - - - - - - - Neuerliche Einstellung = - - - - - - - - - - - - - N N - - - - - - - - - - - - - - - - - OK X X X X X X X X NOK X X X X X X X X X X X X X X X X X X X X X X X X X X Testfall X X X X X X X X
Beispiel: Testfallschablone 1 2 3 4 5 6 7 8 ET1B23 Einstellung Abweichung = = = = = = = = ET1B22 Status " erfasst" = = = = = = = = ET1B21 Zuweisung an Bearbeiter = = = = = = = = ET1B20 Behebung der Abweichung = = N = N = N = N = N = N = ET1B19 Zurückweisung - = - = = = = = = = ET1B18 Auslieferung = = - = - = - = - = - = - = ET1B17 Durchführung Regressionstest = = - = - = - = - = - = - = ET1B16 Regressionstest ok = N = - = - = - = - = - = - = ET1B15 Freigabe = N = - = - = - = - = - = - = ET1B14 Status "geschlossen" = N = - = - = - = - = - = - = ET1B13 Technische Rückstellung - = - = = N = N = N = N = N = ET1B12 Zeitliche Rückstellung - = - = - = = N = N = N = N = ET1B11 Klärungsbedarf mit Fachseite - = - = - = - = = = N = N = ET1B10 Doppelerfassung - = - = - = - = - = - = = N = ET1B9 Falsche Zuweisung - = - = - = - = - = - = - = = ET1B8 Status "zurückgestellt" - = - = = = N = N = N = N = ET1B7 Status " zu entscheiden" - = - = - = - = = = N = N = ET1B6 Status " doppelt erfasst" - = - = - = - = - = - = = N = ET1B5 Status " erfasst" - = - = - = - = - = - = - = = ET1B4 Eskalationsentscheidung - = - = - = - = = = - = - = ET1B3 "wieder aufnehmen" - = - = - = - = = N = - = - = ET1B2 "endgültig zurückweisen" - = - = - = - = - = = - = - = ET1B1 Neuerliche Einstellung - = - = - = - = = N = - = - =
Fazit Die formale QS von Geschäftsprozessen bietet Steigerung der Qualität der Vorgabe Reduzierung der Aufwände für die Definition der Testfälle Einschränkung der Testdaten auf die tatsächlich benötigte Anzahl Reduzierung des Testaufwands durch diese Einschränkung Verbesserte Kommunikation Tester / Entwickler Kein Suchen der fehlerhaften Stelle durch die Entwicklung Möglichkeit des Aufbaus von Metriken
Überprüfung Metriken Projekt: HUST Statistik Testfälle (Prozess-orientiert) ET Nr. Bed. Regeln Potenz %/Potenz Testf. %/Reg %/Potenz Klausel 1 26 80 67108864 0,00012 15 19 0,00002 1 Vkondition 22 109 4194304 0,00260 48 44 0,00114 1 Risikomerkmale 23 60 8388608 0,00072 7 12 0,00008 1 Soll Soll Anzahl Differenz +/-Diff % Reaktion min ma fach Anzahl ET 102 (1,5-3) Anzahl Bed. 1450 Durchschn./ ET 14 15 20 0 10% ok 1 Anzahl Reg. 4951 Durchschn./ ET 49 43 3,0 6 10% überprüf. 2 Anz. Testfälle 1354 Durchschn./ ET 13 7 15 0 10% ok 3 Begründung 1 ok 2 notwendig 3 ok Sehr hohe Kompleität (teilw. C2) zurück
Prozess: vom ARIS-Modell zum automatisierten Test Fachl. Anforderung Graph eepk s automatisch Zustandstabellen Qualitäts- Sicherung Prüfung auf Redundanz Widerspruch Vollständigkeit (nach DIN 66241) Definition der prozessorientierten Entscheidungstabellen AUTO-PATE automatisch Benötigte Testfälle SAP Test ecatt Testdaten
... dankt für Ihre Aufmerksamkeit apz@superdata-muenchen.de