Seminararbeit. Testmanagement. im Modul Formale Methoden

Transkript

1 Fakultät für Wirtschaftswissenschaften Seminararbeit Testmanagement im Modul Formale Methoden eingereicht von: Gutachter: Julia Volkmer geboren am in Cottbus Matrikelnummer: Michael Zschintzsch geboren am in Torgau Matrikelnummer: Sebastian Ballert geboren am in Lübz Matrikelnummer: Fernstudiengang Master Wirtschaftsinformatik Profillinie IT-Management und IT-Consulting Prof. Dr. Jürgen Cleve Berlin, den 21. November 2012

2 I. Inhaltsverzeichnis I I. Inhaltsverzeichnis I. Inhaltsverzeichnis... I II. Abbildungsverzeichnis... III III. Tabellenverzeichnis... IV IV. Abkürzungsverzeichnis... V 1. Einleitung Notwendigkeit eines strukturierten Testmanagements Was versteht man unter Testmanagement? Was ist schlechtes Testmanagement? Beispiele von Softwarefehlern Die verschiedenen Aspekte des Testmanagements Testorganisation Qualifikation des Testteams Testplanung Qualitätssicherungsplan Testkonzept Priorisierung der Tests Kriterien für Teststart und Testende Kosten- und Wirtschaftlichkeitsaspekte Fehlerkosten Testkosten Schätzung des Testaufwands Wahl der Teststrategie Vorbeugender vs. reaktiver Ansatz Analytischer vs. heuristischer Ansatz Testen und Risiko Management der Testarbeiten Testzyklusplanung... 23

3 I. Inhaltsverzeichnis II Testzyklusüberwachung Testzyklussteuerung Fehlermanagement Fehlermeldung Fehlerklassifikation Fehlerstatus Konfigurationsmanagement Relevante Normen und Standards Outsourcing als Möglichkeit der Optimierung Ziele und Hintergründe des Outsourcings Aktuelle Verbreitung Auswahlkriterien und Aspekte für eine erfolgreiche Zusammenarbeit Fallbeispiele aus der Praxis Fallbeispiel: VANGUARD AG Vorstellung VANGUARD AG und Chargendokumentationssoftware SPMintegra Problembeschreibung Fazit für die Zukunft Fallbeispiel: airberlin PLC Luftverkehrs KG Vorstellung airberlin und iphone App Ausgangssituation Umsetzung der Anforderung Testen der Testversion Go-live und Folgen Fazit V. Literaturverzeichnis VI. Ehrenwörtliche Erklärung... 43

4 II. Abbildungsverzeichnis III II. Abbildungsverzeichnis Abbildung 1: Ursachen schlechter Testdurchläufe... 4 Abbildung 2: Softwarefehler im historischen Ablauf... 4 Abbildung 3: Vor- und Nachteile von unabhängigen Testern... 5 Abbildung 4: Phasen der Testplanung... 8 Abbildung 5: Beziehung zwischen Fehlerkosten und Qualitätskosten Abbildung 6: Kosten eines Fehlers in Abhängigkeit von der Phase, in der der Fehler gemacht, und der Phase, in der entdeckt wurde Abbildung 7: Typischer Aufbau einer Fehlerdatenbank Abbildung 8: Fehlerstatusmodell Abbildung 9: Vorteile im Software-Testing durch die Zusammenarbeit mit externen Spezialisten Abbildung 10: Organisation der Testaktivitäten Abbildung 11: Priorisierte Kompetenzen der Testing-Dienstleister Abbildung 12: Aspekte zur Messung der Zielerreichung des Testing-Teams... 38

5 III. Tabellenverzeichnis IV III. Tabellenverzeichnis Tabelle 1: Übersicht Aufgaben und Qualifikation von qualifizierten Mitarbeitern... 7 Tabelle 2: Testkostenbeeinflussende Faktoren Tabelle 3: Einfluss des Testmanagers auf die Faktoren Tabelle 4: Herangehensweisen - analytischer vs. heuristischer Ansatz Tabelle 5: Projektrisiken Tabelle 6: Metriken im Rahmen der Zyklusüberwachung Tabelle 7: Anforderungen an das Konfigurationsmanagement Tabelle 8: Übersicht Normen und Standards... 31

6 IV. Abkürzungsverzeichnis V IV. Abkürzungsverzeichnis IEEE - Institute of Electrical and Electronix Engineers ISTQB International Software Testing Qualification Board KPI Key Perfomance Indicator

7 1. Einleitung 1 1. Einleitung Die Nutzung von Software hat sich längst in den Alltag der Menschheit als fester Bestandteil festgesetzt. Ob die digitale Anzeige der U-Bahn oder die höchstkomplexe Software im alltäglichen Betrieb eines Flughafens, wir verlassen uns heute mehr denn je auf modernste Technologie, die schnell implementiert wird und immer zuverlässiger aus der Sicht des Endkunden arbeitet. Wirklich wahrnehmen wir jedoch die Abhängigkeit von Software erst dann, wenn diese die Menschen im Stich lässt. Schon ein einziger Applikationsfehler an einer entscheidenden Stelle eines Prozesses oder einer Transaktion kann einen Systemausfall und eine teure sowie komplexe Reparatur nach sich ziehen, welche Umsätze und Kundenkulanz kostet, oder im Extremfall sogar Menschen gefährdet, was viele Beispiele zeigen. 1 So kam es 1991 durch ein Versäumnis im Testprozess in diversen Großstädten Amerikas zu einem kompletten Ausfall der Telefonanlage. Die Software, die für die Rufweiterleitung verantwortlich war, ist komplett ausgefallen. Der Code des Programmes bestand aus mehreren Millionen von Zeilen. Bevor die Software in Betrieb gegangen ist, gab es einen 13wöchigen erfolgreichen Testlauf. Zu einem späteren Zeitpunkt wurden lediglich drei Zeilen des Codes ausgetauscht bzw. angepasst. Die Firma verzichtete aus Zeitgründen und den nur minimalen Änderungen am Code auf eine nochmalige intensive Testphase. Diese hätte der amerikanische Telefondienstleister wohl in Anspruch nehmen sollen, da diese kleine Anpassung letztlich zu dem Totalausfall führte. Verärgerte Kunden und das verspätete Durchführen der Testphase waren die Konsequenz. 2 Durch Vorfälle wie diese wächst das Bewusstsein, dass eine gute Software-Prüfung eine spezialisierte und professionelle Fähigkeit ist und nicht bloß ein nachträglicher Einfall, der gegen Ende des IT-Projektes irgendwie noch eingearbeitet wird. Doch diese Aufgabe letztlich zu meistern, kann für IT-Führungskräfte, die oftmals mit einem Mangel an ausgebildeten Softwaretestern und knappen Testressourcen konfrontiert sind, eine schwer zu meisternde Herausforderung sein. 3 Nach einer aktuellen Studie werden lediglich die Hälfte aller Softwareprojekte erfolgreich nach Plan und ohne Nacharbeiten abgeschlossen werden. Diesen Anteil gilt es im Rahmen des Testmanagements zu verbessern. Denn unsichere Software kann, wie bereits aufgezeigt, für ein Unternehmen geschäftsschädigende Konsequenzen haben. 4 1 Vgl. Capgemini, 2009, S Vgl. Wiender, S Vgl. Capgemini, 2009, S Vgl. IDC Central Europe GmbH, 2012.

8 1. Einleitung 2 Die vorliegende Hausarbeit beschäftigt sich mit dem Management des Testens bzw. Testprozesses. Ziel ist es, die verschiedenen Teile des Testmanagements vorzustellen und aufzuzeigen, warum ein gutes Testmanagement elementar wichtig ist. Einleitend wird beschrieben, was unter Testmanagement genau zu verstehen ist und welche aktuellen Trends vorherrschen. Darauf aufbauend werden die verschiedenen Aspekte des Testmanagements, wie der Aufbau von Testorganisationen oder wirtschaftliche Überlegungen, theoretisch erläutert. Grundlage ist hierfür das Buch Basiswissen Softwaretest der Autoren Spillner und Linz. Das Buch setzt sich intensiv mit der Aus- und Weiterbildung von Testern zum Certified Tester auseinander. Der ISTQB-Standard setzt dabei auf eine Normierung von internationalen Standards und Prüfkriterien von der Softwareentwicklung bis in die Managementebene. 5 Bisher wurden Zertifikate in über 70 Ländern ausgestellt. Der Standard unterteilt sich dabei in die drei Stufen Foundation, Advanced und Expert. 6 Ergänzend werden an geeigneten Stellen weitere Literatur bzw. Ergebnisse aktueller Studien einbezogen. Im Anschluss erfolgt ein Exkurs über das Outsourcing von Testmanagement-Aktivitäten. Im Rahmen dieses Kapitels werden die Ziele sowie die aktuelle Verbreitung und Erfolgsfaktoren, abgeleitet aus den Ergebnissen aktueller Studien, beschrieben. Abschließend werden 2 Fallbeispiele aus dem betrieblichen Umfeld der Studenten die praktische Relevanz der verschiedenen Aspekte des Testmanagements aufzeigen. 5 Vgl. Spillner, A.; Linz, T., 2010, S Vgl. ISTQB, 2012.

9 2. Notwendigkeit eines strukturierten Testmanagements 3 2. Notwendigkeit eines strukturierten Testmanagements In diesem Kapitel werden die Grundlagen für das weitere Verständnis des Testens in der Hausarbeit gelegt. Im Besonderen wird dabei der Fokus auf Begriffsdefinitionen sowie auf die Herausarbeitung von schlechtem Testmanagement gelegt Was versteht man unter Testmanagement? Zu Beginn soll der Begriff des Testens genauer erläutert werden. Als Testen wird der gesamte Prozess bezeichnet, ein Programm auf systematische Weise auszuführen, um die korrekte Umsetzung der Anforderungen nachzuweisen und um Fehlerwirkungen aufzudecken. 7 Ein Testprozess ist demnach nicht nur die Durchführung dessen, sondern auch diese zu planen und zu dokumentieren. 8 An diesem Punkt findet ein Übergang der Softwareentwicklung in die Managementebene statt, in das Testmanagement. Dieses definiert für die Testfälle die Anforderungen und den Umfang des Testes. Konzeptionell muss entschieden werden, ob die Durchführung des Testes eher automatisiert oder eher manuell durchführbar ist. Der Testmanager ist die Person, welche die Aufgaben genau definiert, diese weiterverteilt und die benannten Testpersonen verwaltet, den Testfortschritt dokumentiert sowie die Ergebnisse des Testes zusammenstellt, auswertet und zurück an die Softwareentwicklung spielt. 9 Dabei werden zwei verschiedene Arten von Tests unterschieden. Zum einen den statischen und zum anderen den dynamischen Test. Statische Tests kennzeichnen sich dadurch, dass sie [ ] den Prüfgegenstand [ ] nicht ausführen und somit auf alle Entwicklungsprodukte also auch z.b. Anforderungs- und Entwurfsspezifikationen anwendbar sind [ ]. 10 Dynamische Tests hingegen führen Testobjekte (Programmcode) mit dem Ziel aus, Fehlerwirkung zu finden oder die richtige Umsetzung der vorher definierten Anforderungen nachzuweisen Was ist schlechtes Testmanagement? Bevor in der Hausarbeit dargelegt wird, inwiefern das Testmanagement erfolgreich durchgeführt wird, soll erst einmal herausgestellt werden, was schlechtes Testmanagement ausmacht. Die Studie Erfolgreiche Software-Projekte durch Software Quality Assurance Software-Entwicklung und Software-Testing in Deutschland 2012 unterstreicht nochmals, dass Unternehmen heutzutage im Bereich des Testmanagements Defizite aufweisen. Das Stichwort Software Quality Assurance (SQA) umfasst dabei [ ] die Planung, Software, Dienstleis- 7 Rosner, T. u.a., 2010, S Vgl. Rosner, T. u.a., 2010,. S Vgl. Rosner, Brandes, Götz, Winter, 2010, S Rosner, T. u.a., 2010, S Rosner, T. u.a., 2010,. S. 16.

10 2. Notwendigkeit eines strukturierten Testmanagements 4 tungen und konzeptionelle Ansätze für die Testabläufe innerhalb eines Software-Projektes auf Basis der Richtlinien eines Unternehmens. 12 Gerade bei der Beherrschung dieser wichtigen Ansätze zur Durchführung von Testing liegen die defizitären Ursachen, wie folgende Grafik im Überblick zeigt: Mangelnde Abstimmung zwischen Anwendungsentwicklern und Testern unzureichende Verankerung des Testings geringer Automatisierungsgrad des Testens ungeeignete Auswahl von Testmethoden Abbildung 1: Ursachen schlechter Testdurchläufe Quelle: Eigene Darstellung in Anlehnung an IDC Central Europe GmbH, 2012 In der bereits angesprochenen Studie ist bei Softwareprojekten als großer Missstand das Nichteinhalten der Zeit- und Budgetplanung, welche im Verantwortungsbereich des Projektmanagements liegt, angegeben. Demnach ist unzureichendes Projektmanagement die größte Herausforderung beim Testen Beispiele von Softwarefehlern Die Geschichte der Softwarefehler ist lang. Folgender Zeitstrahl stellt historische Softwarefehler in der Übersicht dar: Abbildung 2: Softwarefehler im historischen Ablauf Quelle: Eigene Darstellung in Anlehnung an Certitudo GmbH, Vgl. IDC Central Europe GmbH, Vgl. IDC Central Europe GmbH, 2012.

11 3. Die verschiedenen Aspekte des Testmanagements 5 3. Die verschiedenen Aspekte des Testmanagements Nachdem im vorrangegangen Gliederungspunkt das grundsätzliche Verständnis des Testens dargelegt wurde, werden im Folgenden die verschiedene Aspekte des Testmanagements erläutert Testorganisation Die Organisation des Testens hängt nicht nur von der Aufstellung der Testteams ab, sondern richtet sich auch nach der Branche. Gerade in der Automobil- und Luftfahrtbranche wird das Testen eher in das Projekt integriert, als bspw. im Bankensektor. 14 Nichtsdestotrotz hat jede Branche gemein, dass über den kompletten Produktlebenszyklus Testaktivitäten durchzuführen sind. Das Zusammenstellen von Testteams stellt die größte Schwierigkeit in der Testorganisation dar. Sicherlich wäre es die einfachste Lösung die Entwickler ihre Arbeitsergebnisse selber testen zu lassen. Jedoch stellt die Betriebsblindheit beim Testen ein erhöhtes Gefahrenpotential dar. Fehler werden nicht erkannt, Wechselwirkungen zu anderen Systemen/Projektteilnehmern falsch eingeschätzt. Die folgende Grafik stellt die Vor- und Nachteile von unabhängigen Testern zusammenfassend dar: 15 Vorteile Objektivere Herangehenweise kritisches Hinterfragen von Annahmen im technischen Konzept Nachteile Isolation kann behindernd zwischen Tester und Entwickler wirken zu wenig Ressourcen decken nicht alle Testfälle ab Entwickler senken den Qualitätsanspruch an ihre Arbeit Abbildung 3: Vor- und Nachteile von unabhängigen Testern Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., 2010, S Um der Diskrepanz zwischen den Vor- und Nachteilen zu entgegnen, bieten sich verschiedene Modelle für das unabhängige Testen an. Diese definieren sich in der Teilung der zu erledigenden Aufgaben zwischen den Entwicklern und Testern: 1. Gegenseitiges testen: Testing der Programme der Entwicklerkollegen, kein Testing der eigenen Programme. 14 Haberl, P. u.a., 2012, S Vgl. Spillner, A.; Linz, T., 2010, S. 173.

12 3. Die verschiedenen Aspekte des Testmanagements 6 2. Aufteilung der Entwicklerteams: Einige Entwickler werden nur für das Testing abgestellt und erledigen somit alle aufkommenden Testarbeiten des Teams. 3. Aufstellung unabhängiger Tester: Diese können bspw. aus der Fachabteilung kommen. 4. Hinzunahme unabhängiger Tester: Einige Tests verlangen keine Fachkenntnisse über das Projekt und können gut von anderen Abteilungen übernommen werden (Useability, Lasttests). 5. Hinzunahme anderer Organisationseinheiten: externe Dienstleister oder Testabteilungen können herangezogen werden, was ebenso das unabhängige Testen fördert. 16 Für jedes Projekt gilt es, das passende Modell zu finden. In jedem Modell sollten Test- Consultants einbezogen werden. Diese nehmen die Funktion der Beratung ein und geben methodische Unterstützung bei verschiedenen Testarbeiten, wie beispielsweise in Form von Testautomatisierungen oder auch Trainings. Weiterhin hängt die Modellauswahl mit der jeweiligen Teststufe zusammen. 17 Der Komponententest zeichnet sich durch eine entwicklungsnahe Arbeit aus. Demnach müssen tiefergehende Fachkenntnisse des Testers für einen guten Test bereitstehen. Modell 1 macht dies möglich, Modell 2 ist bei ausreichend zur Verfügung stehenden Testern möglich. Die bereits genannten Gefahren beim Testen durch Entwickler wurden bereits erläutert. An dieser Stelle ist es jedoch möglich, dass von den Test-Consultants Testpläne vorgegeben werden und die Testarbeiten protokolliert werden. Mit Ihrem Fachwissen sollten die Consultants darüber hinaus methodisch unterstützen. 18 Die Integration von Komponenten kennzeichnet den Integrationstest. Dieser kann analog dem Komponententest durchgeführt werden Modell 1 und 2. Gilt es aber Komponenten zusammenzuführen, kann nicht so verfahren werden. Die Zusammenstellung des Teams sollte gemischt oder durch unabhängige Testteams gestaltet werden. Die Gefahr der Betriebs- Blindheit würde andernfalls sehr hoch sein. Abhängig von den zu integrierenden Komponenten und der Projektgröße bieten sich die Modelle 3-5 an Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S

13 3. Die verschiedenen Aspekte des Testmanagements 7 Abgerundet wird das Testing von dem Systemtest. Dieser steht so nah am Kunden wie keiner der beiden bisher genannten. Funktionalität, Useability, Logik im Prozessablauf prüft dieser Test ab. Es ist zwingend notwendig losgelöst von der Entwicklung zu testen, womit nur Modell 3-5 in Frage kommen. 20,21 Es ist nun bekannt wie ein Testing durchzuführen ist und an welchen Charakteristika sich eine geeignete Modellauswahl festmachen lässt. Im folgenden Teil wird nun auf die explizite Zusammenstellung des Testteams eingegangen Qualifikation des Testteams Umfassende Softwaretestings lassen sich nur durch ein breites Fachwissen der involvierten Tester durchsetzen. Folgende Tabelle zeigt im Überblick die zu besetzenden Rollen im Testprozess und die dazugehörigen Eigenschaften und Aufgaben: Wer Experte für Aufgabengebiet (u.a.) Testmanager (Testleiter) Testdesigner (Testanalyst) Testautomatisierer Testadministrator Tester Testplanung, Teststeuerung, Qualitäts-, Projektmanagement, Personalführung Testmethoden u. Testspezifikation; Erfahrung in Software-Engineering und Spezifikationsmethoden Testautomatisierung Grundlagenwissen, Programmiererfahrung Installation und Betrieb der Testumgebung Testdurchführung Bugreports Bedienung der eingesetzten Tools - Erstellung und Abstimmung des Testkonzeptes - Beschaffung der nötigen Testressourcen - Auswahl u. Einführung von Testwerkzeugen; Trainings - Anpassung, Auswertung und Kommunikation der Testpläne - Review von Requirements - Erstellung von Testdokumentationen - Ermittlung und Aufbereitung von Testdaten - Automatisierung der Test mit existierender Toolumgebung - Aufsetzen und betreuen der Testumgebung (mit angrenzenden Fachabteilungen) - Review von Testplänen und fällen - Ausführung und Protokollierung von Tests Tabelle 1: Übersicht Aufgaben und Qualifikation von qualifizierten Mitarbeitern Quelle: Eigene Darstellung in Anlehnung an: Spillner, A.; Linz, T., 2010, S Vgl. Haberl P. u.a., 2012, S Vgl. Spillner, A.; Linz, T., 2010, S. 175.

14 3. Die verschiedenen Aspekte des Testmanagements 8 Neben den hier aufgelisteten fachlichen Kenntnissen und Erfahrungen ist es für jede der aufgelisteten Gruppen wichtig, soziale Kompetenzen wie Teamfähigkeit, Exaktheit und vor allem die Fähigkeit, sich schnell in neue Themengebiete einzuarbeiten, zu besitzen. 22 Bei der Durchführung von Testphasen in Software-Projekten bieten sich internationale Standards wie der ISTQB-Standard zur optimalen Besetzung und Aufgabenverteilung in Teams an. Die Sicherstellung von definierten Aufgaben der benannten Personen lassen weltweite Unternehmensprojekte erfolgreich werden. Aus unterschiedlichsten Expertisen wird ein hohes Qualitätsniveau erzeugt und kontinuierlich durch das Sammeln von Erfahrungen in Testabläufen verbessert Testplanung Die Testplanung nimmt im Rahmen des Testens eine der größten Rollen ein. Desto besser ein Test geplant und strukturiert aufgebaut ist, desto besser und zielorientierter sind die Ergebnisse dessen. Ein grober Überblick der Phasen der Testplanung stellt folgende Grafik dar: Qualitätssicherungsplan Testkonzept Priorisierung der Tests Kriterien für Teststart und Testende Abbildung 4: Phasen der Testplanung Quelle: Eigene Darstellung in Anlehnung an Spillner, A; Linz, T.;, 2010, S Das Testen stellt lediglich einen Teil der Qualitätssicherung dar, denn es wird nie ohne begleitende Maßnahmen eingesetzt. Im Qualitätssicherungsplan werden diese Maßnahmen gebündelt. Die Norm IEEE 730 setzt sich im Rahmen der Qualitätssicherung mit Software- Qualitätssicherungs-Plänen auseinander Qualitätssicherungsplan Die Gliederung dieses Planes sieht folgende 16 Punkte vor: 1. Zweck und Anwendungsbereich 2. Referenzierte Dokumente 3. Projektorganisation und Management 4. Dokumentation 22 Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Koch, 2003, S. 423.

15 3. Die verschiedenen Aspekte des Testmanagements 9 5. Standards, Verfahren, Konventionen, Metriken 6. Software-Reviews 7. Softwaretests 8. Problemmelde- und Korrekturverfahren 9. Werkzeuge, Techniken und Methoden 10. Verwaltung der Medien und Datenträger 11. Lieferantenmanagement 12. Qualitätsaufzeichnungen 13. Trainingsmaßnahmen 14. Risikomanagement 15. Glossar 16. Änderungsverfahren und Änderungsverzeichnis Der Detailierungsgrad des Qualitätssicherungsplanes bleibt dabei recht grob. Im Rahmen der Testplanung und darauffolgenden Testkonzeptionierung erhöht sich der Detailierungsgrad Testkonzept Dass das Testen ein umfangreiches Unterfangen darstellt, wurde bereits mehrmals dargelegt. Eine der größten Herausforderungen ist somit die Erstellung des Testkonzepts. Wie bereits aufgezeigt, ist dies die Aufgabe des Testmanagers. Dieser plant so früh wie möglich im Projekt das Vorgehen beim Testen. Weiterhin müssen permanent, Testpläne angepasst, Ergebnisse ausgewertet und auf Umwelteinflüsse reagiert werden. Im Rahmen der Testplanungsarbeiten sind fünf besonders wichtige Aufgaben herauszustellen: 1. Festlegung der Teststrategie und passenden Testmethoden 2. Koordination und Integration der Testaktivitäten mit anderen Projekt(- test)teilnehmern 3. Erstellung von Vorgaben zur Auswertung, Evaluierung und Überwachung der Test ergebnisse und des Testverlaufes 4. Definition der Kriterien für das Testende, 24 Vgl. Spillner, A.; Linz, T., 2010, S

16 3. Die verschiedenen Aspekte des Testmanagements Schätzung und laufende Aktualisierungen des Testaufwandes und deren Kosten 25 Für den Testmanager ist es wichtig, auch die Nicht-Ziele eines Projektplanes zu definieren. Es gilt eine Auflistung der nicht zu testenden Qualitätsmerkmale sowie der Fakten zu erstellen, welche eher der Qualitätssicherung zuzuordnen sind. 26 Die Ergebnisse dessen werden final im vollständigen Testkonzept festgehalten. Auch dafür hat sich im Rahmen des Testmanagements eine Norm als praxisbewährt bewiesen IEE- E , welche eine Referenzgliederung bereitstellt: 1. Testkonzeptbezeichnung 2. Einführung 3. Testobjekte 4. Zu testende Leistungsmerkmale 5. Leistungsmerkmale, die nicht getestet werden 6. Teststrategie 7. Abnahme- und Testendkriterien 8. Kriterien für Testabbruch und Testfortsetzung 9. Testdokumentation 10. Testaufgaben 11. Testinfrastruktur 12. Verantwortlichkeiten/Zuständigkeiten 13. Personal, Einarbeitung, Ausbildung 14. Zeitplan/Arbeitsplan 15. Planungsrisiken und Unvorhergesehenes 16. Genehmigungen/Frage 27 Diese praxiserprobte Gliederung entwickelt sich über die dargestellte Referenzgliederung hinaus weiter. Es wurde in der weiterführenden Norm IEEE noch der Teststufenplan integriert, welcher zwischen Master Test Plan und `Level Test Plan 28 unterscheidet. Auf eine weitere Vertiefung wird im Rahmen der Hausarbeit verzichtet. 25 Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Haberl, P. u.a., 2012, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S

17 3. Die verschiedenen Aspekte des Testmanagements Priorisierung der Tests Da in den seltensten Fällen Projektpläne zu 100% eingehalten werden oder aber auch Testdaten nicht immer im vollen Umfang zur Verfügung stehen, ist es von absoluter Wichtigkeit die besonders kritischen Testfälle in der Software-Entwicklung zu evaluieren. Nachdem die Qualitätssicherungsplanung und die Testkonzeption abgeschlossen sind, ist für den Testmanager die Priorisierung der definierten Tests die nächste wichtige Aufgabe. Diese dient dazu, dass die wichtigsten Testfälle zuerst getestet werden und somit bei einem Abbruch der Testphase die am höchsten priorisierten Testfälle getestet wurden. Folgend wird mit einem Beispiel versucht, die Kriterien für die Priorisierung zu erläutern: Nutzungshäufigkeit einer Funktion Wie oft wird die Funktion in der Software genutzt bzw. wie hoch ist die Eintrittswahrscheinlichkeit eines Fehlers während der Nutzung. Je öfter die Funktion genutzt wird, desto höher ist diese zu priorisieren. Beispielsweise die Überweisungsfunktionalität bei einer Bank Fehlerrisiko Das Fehlerrisiko ergibt sich aus der Betrachtung der Fehlerschwere und der Eintrittswahrscheinlichkeit. Das Risiko ergibt sich aus dem erwarteten Schaden im Fehlerfall multipliziert mit der Wahrscheinlichkeit des Eintretens der Fehlersituation. 29 Geschäftsabläufe werden durch den Softwareausfall behindert Wahrnehmung einer Fehlerwirkung Dies zielt auf die Wahrnehmung des Fehlers bei den Endanwendern ab. Bei Fehlern in der Bedienbarkeit führen Anwender dies zum Beispiel auch auf die Korrektheit von weiteren Informationen zurück. In Abhängigkeit der Priorität der Anforderungen Meint, dass Kunden unterschiedlichen Nutzen aus der Software ziehen. Fehler an Stellen, welche sie nicht betreffen, werden nicht so gravierend wahrgenommen. Beispiele können dabei jede Art von Software mit unterschiedlichen Zielgruppen und Anwendern sein. 29 Spillner, A.; Linz, T., 2010, S. 181

18 3. Die verschiedenen Aspekte des Testmanagements 12 Qualitätsmerkmale berücksichtigen Die definierten Qualitätsmerkmale sind für den Kunden sehr wichtig und sollten im Rahmen der Testfälle mit geprüft werden. Wie unternehmenseigene Standards, Corporate Identity Betrachtung aus Sicht der Entwicklung oder Systemarchitektur Hierbei steht die Funktionalität der Software aus Entwicklungssicht im Vordergrund. Komponententests sind dabei essentiell. Kaufprozess in einer Online-Buchung Komplexität der Komponenten Die Komplexität zwischen Komponenten und Systemen soll zur Priorisierung herangezogen werden. Aber auch die vermeintlich einfache Programmierung, welche fehleranfälliger sein kann, da sie teilweise nicht mit der gewissen Sorgfalt betrachtet wurde, dient es zu testen. Grundsätzliches Testen im Softwarelebenszyklus Fehlerpriorisierung nach Projektrisiko Risiken, die das Projekt in Verzug geraten lassen, gilt es sofort zu identifizieren und zu testen. Dies können bspw. Risiken sein, welche sehr zeitintensiv und/oder Ressourcen bindend sind. Hauptfunktionalitäten in einer Software Die genannten Prioritäten werden in Prioritätsklassen und kriterien unterteilt. Diese Liste dient dann der Übersicht, wenn es um die Entscheidung geht, auf welche Tests bei Ressourcen- oder Zeitmangel verzichtet werden kann. Ohne diese ist eine angemessene Ressourcenverteilung im Sinne des Projektzieles nicht umsetzbar Kriterien für Teststart und Testende Als letzten Punkt ist nach Abbildung 4 zu definieren, wann ein Test startet und wann er endet. Dies ist vor allem wichtig, um beim Teststart zu verhindern, dass durch die Tester bereits mit unvollständigen Testdaten getestet wird und somit Ressourcen unnötig Zeit verschwenden. Anhang folgender Checkliste nach Spillner und Linz lässt sich ein Teststart festmachen: Die Testumgebung ist verfügbar und einsatzbereit. 30 Vgl. Spillner, A.; Linz, T., 2010, S

19 3. Die verschiedenen Aspekte des Testmanagements 13 Die Testwerkzeuge sind in der Testumgebung einsatzbereit. Die zu testenden Testobjekte sind in der Testumgebung verfügbar. Die notwendigen Testdaten sind verfügbar. Testendkriterien auf der anderen Seite können bewirken, dass Tests zufällig beendet/abgebrochen werden könnten. Verhindern jedoch auch einen frühzeitigen Abbruch, da das Ende aufgrund von bspw. Ressourcenmangel herbeigeführt wird. Ohne die Erfüllung der Testendkriterien ist ein Ende der Testphase nicht anzuraten. Testendkriterien können dabei sein: Erreichter Testumfang abgedeckte Anforderungen Erreichte Produktqualität Zuverlässigkeit des Testobjektes Verbleibendes Risiko unvollständige Anforderungen, nicht behobene Defekte Wirtschaftliche Rahmenbedingungen Kostenrahmen, Liefertermine Die Testendkriterien sind ebenfalls Teil des Testkonzeptes, welches der Testmanager erstellt. Wie bereits gesagt, sind diese Kriterien dem Testverlauf entsprechend anzupassen, da sie dem Test- und Projektmanagement als Entscheidungsgrundlage dienen Kosten- und Wirtschaftlichkeitsaspekte Testen hat zwei Primär-Ziele: das erste ist es, Fehler zu finden, damit die Qualität des Software-Produkts durch Korrektur der Fehler erhöht wird. Je früher wir einen Fehler finden, desto größer ist der Nutzen, den wir durch Ersparnis der Fehlerkosten haben. Das zweite Ziel ist es, die Unsicherheit bezüglich der Qualität des Software-Produkts zu minimieren. 32 Die nachfolgende Abbildung zeigt die Beziehung zwischen den Fehlerkosten und den Qualitätskosten. 31 Vgl. Spillner, A.; Linz, T., 2010, S Autor unbekannt: (S. 3)

20 3. Die verschiedenen Aspekte des Testmanagements 14 Abbildung 5: Beziehung zwischen Fehlerkosten und Qualitätskosten Quelle: S. 3. Die Aufgabe des Testmanagers ist es, den Punkt zu treffen, wo die Summe von Testkosten und geschätzten Fehlerkosten ein Minimum erreicht. 33 Da die Fehlerkosten nicht genau beziffert, sondern nur geschätzt, werden können, ist in der Abbildung ein ganzer Bereich für das Kostenminimum veranschlagt. In den beiden folgenden Kapiteln werden die Fehler- und Testkosten genauer beschrieben Fehlerkosten Aufgrund von eingeschränkten bzw. gar nicht durchgeführten Tests kommt es in der Summe zu mehr unerkannten Fehlerwirkungen und Mängeln. Diese können in der Folge zu den nachfolgend ausgewiesenen Kosten führen. Direkte Fehlerkosten Unter direkten Fehlerkosten werden Kosten verstanden, die direkt durch Fehlerwirkungen beim Einsatz der Software auftreten. Der Hersteller kann für diese Kosten belangt werden. Direkte Fehler können Berechnungsfehler der Software in Form von Datenverlust, Fehlbuchungen oder auch Personenschäden sein. Des Weiteren gehören der Ausfall von softwaregesteuerten Maschinen, Anlagen oder Geschäftsprozessen sowie das Einspielen neuer Versionen mit einer dafür notwendigen Neueinweisung von Mitarbeitern in diese Fehlerkategorie. Direkte Fehler können aufgrund des daraus resultierenden hohen Aufwands der Beseitigung in Form des Einspielens einer neuen Version bei allen bestehenden Kunden sehr hohe Kosten verursachen S. 3.

21 3. Die verschiedenen Aspekte des Testmanagements 15 Nichtsdestotrotz denken die meisten Unternehmen nicht an diese eventuell auftretenden Kosten. Indirekte Fehlerkosten Indirekte Fehlerkosten entstehen aufgrund einer Unzufriedenheit des Kunden. Für den Softwarehersteller bedeutet dies zusätzliche Kosten bzw. Umsatzverlust. In die Kategorie indirekte Fehlerkosten fallen Vertragsstrafen oder Minderungen wegen eines nicht erfüllten Vertrages, Imageschaden des Herstellers und im schlimmsten Fall der Verlust der Marktzulassung. Auch der erhöhte Aufwand einer eventuell im Einsatz befindlichen Kundenhotline und des Supports kann in diesem Zusammenhang genannt werden. Dies spiegelt sich im erhöhten Ticketaufkommen und somit in einer Mehr -Betreuung des Kunden wieder. Auch ein zusätzlicher Vor-Ort-Besuch beim Kunden kann helfen, die Wogen zwischen Kunden und Softwarehersteller zu glätten. Dabei müsste der Softwarehersteller ebenfalls die Kosten selbst tragen. Fehlerkorrekturkosten Unter Fehlerkorrekturkosten werden alle Kosten zusammengefasst, die bei der Korrektur von aufgetretenen Fehlern auf Seiten des Herstellers entstehen. Dazu zählen folgende Komponenten: Zeit für Fehleranalyse und Korrektur Zeit für Regressionstest, erneute Auslieferung und Installation, Nachschulung des Kunden Verzug bei Neuprodukten wegen Bindung der Entwicklerkapazität Sinkende Konkurrenzfähigkeit Der Testmanager kann nur sehr schwer ermitteln, in welcher Wahrscheinlichkeit und in welcher Höhe die einzelnen zuvor beschriebenen Kostenarten eintreffen. Das Fehlerkostenrisiko ist abhängig von - der Art und der Größe des Softwareproduktes, - der Art und der Branche des Kunden (Vertragsgestaltung, gesetzliche Rahmenbedingungen), - der Art und der Anzahl auftretender Ausfälle und - der Anzahl der betroffenen Produktinstallationen bzw. Endanwender.

22 3. Die verschiedenen Aspekte des Testmanagements 16 Vorteilhaft ist es, eine projektspezifische Risikoanalyse durchzuführen, um besser auf die speziellen Gegebenheiten bei einem Projekt bzw. Kunden eingehen zu können. 34 Abbildung 6: Kosten eines Fehlers in Abhängigkeit von der Phase, in der der Fehler gemacht, und der Phase, in der entdeckt wurde Quelle: S. 2. Abbildung 6 zeigt die Kosten eines Fehlers in Abhängigkeit von der Phase, in der der Fehler gemacht wurde, und der Phase, in der er entdeckt wurde. Da die Fehlerkosten über die Entwicklungsphasen ansteigen, ist es wichtig, einen Fehler frühzeitig zu erkennen. - Ein Fehler, der sehr früh entsteht, kann, solange er unentdeckt bleibt, in den anschließenden Entwicklungsphasen viele Folgefehler produzieren. - Je später ein Fehler entdeckt wird, umso mehr Korrekturen sind notwendig. Unter Umständen müssen vorangegangene Phasen zumindest teilweise wiederholt werden Testkosten Um eine Aussagekraft bezüglich der Testkosten machen zu können, muss sich der Testmanager mit den Einflussfaktoren für den Testprozess auseinandersetzen, die bei der Aufwandsabschätzung von Tests eine Rolle spielen können. Nachfolgend sind die Einflussfaktoren inklusive Beispielen näher dargestellt: 34 Vgl. Spillner, A.; Linz, T., 2010, S Spillner, A.; Linz, T., 2010, S. 185.

23 3. Die verschiedenen Aspekte des Testmanagements 17 Einflussfaktor Reifegrad des Entwicklungsprozesses Qualität und Testbarkeit der Software Testinfrastruktur Mitarbeiterqualifikation Qualitätsziele Teststrategie Beispiele - Stabilität der Organisation - Fehlerhäufigkeit der Entwickler - Rate der Softwareänderungen - Zeitdruck durch unrealistische Pläne - Gültigkeit, Bestand und Aussagekraft von Plänen - Reife des Testprozesses und Disziplin bei Konfigurations-, Änderungs- und Fehlermanagement - Anzahl, Schwere und Verteilung der Fehler - Qualität, Aussagekraft und Aktualität der Dokumentation und anderer testrelevanter Informationen - Größe und Art der Software und Systemumgebung - Komplexität der Anwendungsdomäne und der Software - Verfügbarkeit von Testwerkzeugen - Verfügbarkeit von Testumgebung und Testinfrastruktur - Verfügbarkeit und Bekanntheit von Testprozess, Standards und Verfahren - Erfahrung und Know-how der Tester bzgl. Testen - Erfahrung und Know-how der Tester bzgl. Testwerkzeugen und umgebung - Erfahrung und Know-how der Tester bzgl. Testobjekt - Zusammenarbeit Tester Entwickler Management Kunde - Angestrebte Testabdeckung - Angestrebte Testfehlerrate bzw. Zuverlässigkeit nach dem Test - Anforderungen an die Systemsicherheit - Anforderungen an die Testdokumentation - Testziele und Mittel zur Zielerreichung - Wahl der Testmethoden - Zeitliche Planung der Tests Tabelle 2: Testkostenbeeinflussende Faktoren Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., 2010, S Der Testmanager hat nur auf einzelne Faktoren direkten Einfluss. Dieser Einfluss wird in der nachfolgenden Tabelle aufgezeigt:

24 3. Die verschiedenen Aspekte des Testmanagements 18 Einflussfaktor Reifegrad des Entwicklungsprozesses Qualität und Testbarkeit der Software Testinfrastruktur Mitarbeiterqualifikation Qualitätsziele Teststrategie Einfluss des Testmanagers Langfristige Beeinflussbarkeit durch ein Prozessverbesserungsprogramm Langfristige Beeinflussbarkeit durch ein Prozessverbesserungsprogramm Mittelfristig beeinflussbar durch gezielten Ausbau der Testinfrastruktur Kurzfristig bedingt beeinflussbar durch Auswahl des Testpersonals Bedingt beeinflussbar durch Priorisierung Frei wählbar und dadurch einzige Stellgröße Tabelle 3: Einfluss des Testmanagers auf die Faktoren Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T.,2010, S Schätzung des Testaufwands Um mit der Erstellung eines Zeitplanes und mit dem Anfordern von Testressourcen beginnen zu können, muss der Testmanager den tatsächlichen Testaufwand einschätzen. Hierfür gibt es zwei grundsätzliche Herangehensweisen, die nachfolgend kurz erläutert werden. - Der Aufwand der Testaufgaben wird für jede Aufgabe separat geschätzt. Die Schätzung wird durch den Tester selbst oder durch einen Experten mit einer entsprechenden Schätzerfahrung durchgeführt werden. - Bei der zweiten Herangehensweise wird der Aufwand aus bereits bekannten Aufwandsdaten oder ähnlichen Projekte hinzugezogen. Zusätzlich spielen hierbei typische Kennzahlen (z.b. im Mittel durchgeführte Testfälle pro Stunde) eine bedeutende Rolle. Die erste Herangehensweise ist stark von den in Kapitel dargestellten Einflussfaktoren abhängig. Durch die wechselseitige Abhängigkeit der einzelnen Faktoren ist es fast unmöglich, eine vollständige Analyse aller Faktoren vorzunehmen. Der aufgabenorientierte Ansatz tendiert zumeist dazu, den Testaufwand zu unterschätzen. Deutlich realistischere Prognosen können mit der zweiten Herangehensweise Aufwand basierend auf Erfahrungswerten, ähnlichen Projekten bzw. Kennzahlen gemacht werden. 36 Sollten keinerlei Erfahrungswerte abrufbar sein, kann die nachfolgende Daumenregel heran- 36 Vgl. Spillner, A.; Linz, T., 2010, S

25 3. Die verschiedenen Aspekte des Testmanagements 19 gezogen werden: Der Testaufwand in typischen Anwendungsentwicklungsprojekten beträgt etwa 50% der Gesamtentwicklungsaufwänden Wahl der Teststrategie Eine Teststrategie definiert die Testziele und die Maßnahmen, die geeignet scheinen, diese zu erreichen. Sie bestimmt damit den Testaufwand und die Testkosten. Mit der Auswahl der Teststrategie trifft der Testmanager eine seiner wichtigsten Entscheidungen. 38 Mit Hilfe der richtigen Teststrategie soll die Relation zwischen Testkosten und den eventuell anfallenden Fehlerkosten verbessert und das allgemeine Risiko so gering wie möglich gehalten werden Vorbeugender vs. reaktiver Ansatz Einen großen Einfluss auf die Teststrategie hat der Zeitpunkt, ab dem der Testprozess in den Entwicklungsprozess integriert wird. Nachfolgend werden die beiden verschiedenen Ansätze vorbeugender und reaktiver Ansatz näher erläutert: Vorbeugender Ansatz Bei diesem Ansatz wird der Tester bereits zu Beginn eines Entwicklungsprozesses in das Projekt integriert. Somit wird sichergestellt, dass die Testplanung und das Testdesign zum frühestmöglichen Zeitpunkt beginnen können. Für den Testmanager ergibt sich die Möglichkeit, optimierend und kostenreduzierend in das Entwicklungsprojekt einzugreifen. Durch den frühzeitigen Einstieg in das Projekt können Fehler schneller erkannt und auch behoben werden. Als Grundlage dienen hierfür eine frühzeitige Testspezifikationen, Reviews und statische Analysetechniken. Der vorbeugende Ansatz kann durchaus bei der Entwicklung von sicherheitskritischen Anwendungen verpflichtend sein. Reaktiver Ansatz Beim reaktiven Ansatz werden Tester sowie die Testplanung und der Testentwurf erst nach der Fertigstellung des Softwaresystems in das Projekt integriert. Eine vorbeugende Herangehensweise ist bei der Verwendung dieses Ansatzes nicht möglich Analytischer vs. heuristischer Ansatz Der Testmanager kann bei der Auswahl und Planung von Tests auf unterschiedliche Informationsquellen zurückgreifen. Dies können zum Einen historische Daten und deren Analyse und 37 Spillner, A.; Linz, T., 2010, S Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S. 189.

26 3. Die verschiedenen Aspekte des Testmanagements 20 zum Anderen Erfahrungswissen sein. Es gibt daher die beiden nachfolgend thematisierten Herangehensweisen: Analytischer Ansatz: Beim analytischen Ansatz werden Daten und deren mathematische Analyse als Grundlage für die Testplanung genutzt. Die Einflussfaktoren (siehe Testkosten) müssen durch den Testmanager sondiert und ihr wechselseitiger Zusammenhang modelliert werden. Durch die Wahl von Testumfang und Intensität hat der Testmanager weiterhin die Aufgabe einzelne oder mehrere Parameter, wie z.b. Kosten, Zeitbedarf und Testabdeckung, zu optimieren. Heuristischer Ansatz: Aufgrund von nicht verfügbaren Daten (fehlendes Know-how bzw. aufwendige Modellbildungen) stützt sich der heuristische Ansatz im Gegensatz zum analytischen Ansatz auf Erfahrungswerte und Daumenregeln. 40 Die in der Praxis üblichen Herangehensweisen, welche in der folgenden Tabelle dargestellt werden, liegen zwischen den beiden zuvor beschriebenen Ansätzen und nutzen analytische und heuristische Elemente: 40 Vgl. Spillner, A.; Linz, T., 2010, S. 190.

27 3. Die verschiedenen Aspekte des Testmanagements 21 Herangehensweise Modellbasiertes Testen Statistisches (modellbasiertes Testen) Risikoorientiertes Testen Prozess- oder standardkonforme Ansätze Wiederverwendungsorientierter Ansatz Checklistenorientierter Ansatz Expertenorientierter Ansatz Beschreibung Nutzen von abstrakten funktionalen Modellen des Testobjekts zur Ableitung von Testfällen, zur Definition von Testendkriterien und zur Messung der Testabdeckung Heranziehen von statistischen Modellen über Verteilung von Defekten im Testobjekt, über Ausfallraten im Betrieb der Software oder über die statistische Verteilung von Anwendungsfällen sowie Festlegen einer entsprechenden Verteilung der Testaktivitäten und Auswahl der Testmethoden Nutzen von Informationen über Projekt- und Produktrisiken und Festlegen des Testschwerpunktes auf Bereiche hohen Risikos Nutzen von Handlungsanweisungen oder Empfehlungen Übernahme von vorhandenen Tests und Testumgebungen aus früheren Projekten Ziel: schnelle Tests Nutzen von Fehlerlisten aus früheren Testzyklen, Listen potenzieller Fehler oder Risiken oder priorisierter Qualitätskriterien und anderer weniger formeller Methoden Nutzen von Expertisen und des Bauchgefühls beteiligter Experten Tabelle 4: Herangehensweisen - analytischer vs. heuristischer Ansatz Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., 2010, S Testen und Risiko Risiko kennzeichnet die [ ] Eventualität, dass mit einer (ggf. niedrigen, ggf. auch unbekannten) Wahrscheinlichkeit ein (ggf. hoher, ggf. in seinem Ausmaß unbekannter) Schaden bei einer (wirtschaftlichen) Entscheidung eintreten oder ein erwarteter Vorteil ausbleiben kann. 41 Schaden beinhaltet dabei alle [ ] Konsequenzen und Kosten einer Fehlfunktion 41 Vgl. Gabler Wirtschaftslexikon

28 3. Die verschiedenen Aspekte des Testmanagements 22 des Produkts. 42 Risikofaktoren, die für die Wahl der Teststrategie herangezogen werden sollten, können aus dem Entwicklungsprojekt oder aus dem Produkt resultieren. Projektrisiken Unter Projektrisiken werden Risiken verstanden, die die Auslieferung des Produktes in Gefahr bringen. Risiko Beispiel Lieferantenseitige Risiken - Ausfall des Unterauftragsnehmers - Vertragsstreitigkeiten - Verzögerungen im Projektverlauf - Gerichtliche Auseinandersetzungen Organisationsbezogene Risiken - Ressourcenknappheit - Zwischenmenschliche Probleme - Interne machtpolitische Rangeleien Technische Probleme - Falsche, unvollständige, missverständliche, unrealisierbare Anforderungen - Einsatz neuer Technologien, Werkzeuge, Programmiersprachen oder Methoden ohne ausreichend Erfahrungen - Schlechte Qualität oder Mängel von Zwischenergebnissen - Zu späte Bereitstellung von Testumgebung oder unzureichende Testdaten Tabelle 5: Projektrisiken Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., 2010, S Produktrisiken Unter Produktrisiken werden Risiken verstanden, die direkt mit Problemen des Produktes in Zusammenhang stehen. Dazu zählen: - Unzureichende Produkteigenschaften in funktionaler und/oder nicht funktionaler Hinsicht; schlecht Qualität, der zu verarbeitenden Daten - Produkt erfüllt nicht den geforderten Einsatzzweck = unbrauchbar - Einsatz führt zu Schäden an Geräten oder zur Gefährdung von Menschenleben 42 Spillner, A.; Linz, T., 2010, S. 191.

29 3. Die verschiedenen Aspekte des Testmanagements 23 Durch permanentes Testen wird das strategische Risikomanagement unterstützt und auf vorhandene Probleme sowie Erfolg oder Misserfolg der Problembehebung hingewiesen. Durch ein gutes Testmanagement kann sich der Testmanager einen Überblick über die eventuell auftretenden Risiken machen. Auch an dieser Stelle wird zwischen zwei Herangehensweisen unterschieden. Risikobasiertes Testen Risikobasiertes Testen hilft, Produktrisiken gezielt zu mindern und zu bekämpfen, und zwar vom Beginn des Projektes an. 43 Es werden Informationen über identifizierte Risiken für die Planung, Spezifikation, Vorbereitung und Durchführung der Tests genutzt. Risikoorientierte Testpriorisierung Mit Hilfe einer risikoorientierten Testpriorisierung werden risikoreiche Produktteile in den Mittelpunkt des Testprozesses gestellt. Diese klar definierten Produktteile werden durch die Priorisierung intensiver und früher getestet. Dadurch können schwerwiegende Fehler frühzeitig entdeckt und behoben werden Management der Testarbeiten Je nach Literatur und Definition werden für den Testprozess zwischen 30-50% der Entwicklungskosten aufgewandt. Dieser hohe Anteil macht es zwingend erforderlich, dass der Test strategisch geplant und durchgeführt werden muss. 45 Da ein Testprozess während der Durchführung zyklisch abläuft, z.b. durch das wiederholte Testen von verschiedenen Softwareteilen nach der Beseitigung von Fehlern oder der Änderung von Code-Funktionalitäten, müssen auch diese Zyklen geplant und gemanagt werden. Dies ist die Aufgabe des Testmanagers. 46 Im Folgenden werden die einzelnen Phasen eines Testzyklus detailliert beschrieben Testzyklusplanung Als Ergänzung zu der initialen Grobplanung des gesamten Testprozess ist es Aufgabe des Testmanagers für den anstehenden Testzyklus eine Feinplanung durchzuführen. Diese Pla- 43 Spillner, A.; Linz, T., 2010, S Vgl. Linz; Spillner, 2010, S Vgl. Grechenig, T. u.a., 2009, S Eine detaillierte Aufgabenbeschreibung des Testmanagers erfolgte bereits in Kapitel Vgl. Spillner, A.; Linz, T., 2010, S. 193.

30 3. Die verschiedenen Aspekte des Testmanagements 24 nungen müssen im Verlauf stetig an die aktuelle Projektsituation angepasst werden. Zu berücksichtigen sind dabei folgenden Einflüsse: 48 Entwicklungsstand Weicht die verfügbare Software zu Beginn des Zyklus von der ursprünglichen Planung ab, resultiert daraus unter Umständen eine Anpassung der Testspezifikationen oder der Testfälle. Gründe hierfür können eine eingeschränkte Funktionalität der zu testenden Software, falls erst einzelne Teile ausprogrammiert wurden, oder eine veränderte Funktionalität der Software, falls es Änderungen der Anforderungen im Verlauf des Entwicklungsprozesses gab, sein. Testergebnisse Werden während eines Testzyklus Fehler in der zu testenden Software gefunden, hat dies unmittelbare Folgen für die sich anschließenden Testzyklen. Unter Umständen müssen Testfälle nach der Korrektur der Fehler erneut getestet werden oder, je nach Schwere des Fehlers, umpriorisiert werden. Zusätzlich können neue Testfälle entstehen, um die Beseitigung von Fehlern zu prüfen oder auch um die Fehler zu reproduzieren bzw. zu analysieren. All dies muss in die Feinplanungen der nächsten Zyklen eingearbeitet werden. Ressourcen Die Planung des Testzyklus muss stets mit den verfügbaren Ressourcen abgeglichen sein. Besonders bei der Anpassung der Planungen durch neue Gegebenheiten (neue bzw. zusätzliche Testfälle, Umpriorisierung von Testfällen usw.) muss darauf geachtet werden, dass die benötigten Ressourcen (Personal, Testumgebung, Testwerkzeuge) zur Verfügung stehen. Unter Berücksichtigung all dieser Aspekte schätzt der Testmanager den Aufwand und den zeitlichen Bedarf für die durchzuführenden Testarbeiten und erstellt eine detaillierte Feinplanung für den anstehenden Zyklus. Diese beschreibt, welche Testfälle in welcher Reihenfolge von wem durchzuführen sind. Das Ergebnis ist der fertige und dokumentierte Testplan Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S. 194.

31 3. Die verschiedenen Aspekte des Testmanagements Testzyklusüberwachung Während der Durchführung der einzelnen Testzyklen müssen diese überwacht werden. Hierfür werden objektive und im Vorfeld definierte Testmetriken genutzt. Diese sollen nach Möglichkeit regelmäßig, zuverlässig und einfach zu messen sein. 50 Die folgende Tabelle stellt eine Übersicht oft genutzter Metriken dar und beschreibt die zu messenden Kriterien: Metrik Fehlerbasiert Testfallbasiert Testobjektbasiert Kostenbasiert Grundlage für die Messung - Anzahl gefundener Fehlerzustände (pro Testobjekt) im jeweiligen Release bezogen auf die Fehlerklasse und des Fehlerstatus - Anzahl der Testfälle in einem bestimmten Status - Codeabdeckung, Dialogabdeckung, abgedeckte Installationsvarianten, Plattformen usw. - Aufgelaufene Testkosten, Kosten des nächsten Testzyklus bezogen auf den erwarteten Nutzen 51 Tabelle 6: Metriken im Rahmen der Zyklusüberwachung Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., S Aus den ermittelten Kennzahlen erstellt der Testmanager nach jedem Testzyklus einen Teststatusbericht. Dieser enthält u.a. Informationen über den Testfortschritt, Fehlerstatus etc., sodass sich ableiten lässt, wie weit der Test vorangeschritten ist. Zusätzlich kann eine Einschätzung gegeben werden, ob der Test rechtzeitig abgeschlossen werden kann. 52 Durch eine engmaschige Erhebung dieser Metriken, deren Auswertung und die je nach Notwendigkeit erfolgende Anpassung des Testplans entsteht final ein geschlossener Regelkreis der zu einer bestmöglichen Transparenz und Planung führt Testzyklussteuerung Falls Verzögerungen gegenüber der Projekt- oder Testplanung auftreten, muss durch entsprechende Maßnahmen gegengesteuert werden. Diese einzuleiten ist ebenso die Aufgabe des Testmanagers. Im Optimalfall werden bei einem zeitlichen Rückstand gegenüber der ursprünglichen Planung zusätzliche Ressourcen eingeteilt. Oftmals stehen diese jedoch nicht unmittelbar zur 50 Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Rossner, T. u.a., 2010, S. 26.

32 3. Die verschiedenen Aspekte des Testmanagements 26 Verfügung, sodass der Testplan angepasst werden muss. So können z.b. Testfälle mit niedriger Priorität gestrichen oder Testfälle in weniger Varianten durchgeführt werden als geplant. Hilft auch das nicht, muss die Zeitplanung angepasst werden und die Testdurchführung verlängert werden, was jedoch unter Umständen die pünktliche Auslieferung des Produktes gefährden kann. Deshalb ist es sehr wichtig, dass jede Änderung dokumentiert sowie kommuniziert wird und dadurch stets Transparenz über den aktuellen Status herrscht Fehlermanagement Fehlermeldung Unter dem Begriff Fehlermanagement werden alle Techniken und Methoden zusammengefasst, welche dazu dienen einen strukturierten Umgang mit Software-Anomalien zu gewährleisten. Darunter fallen alle Auffälligkeiten der Software, die von einzelnen oder mehreren Personen als potenzieller Fehler interpretiert werden. 55 Maßgebend hierfür ist ein erwartetes Soll-Verhalten, welches zu Beginn des Tests definiert wurde, und ein abweichendes IST- Verhalten, welches im Rahmen des Tests identifiziert wird. Da nicht jede Auffälligkeit zwingend einen Fehler darstellt, wird oftmals auch von Anomalie oder Problem gesprochen. Letztere Begriffe sind deutlich neutraler in der Formulierung und führen nicht zu einer sofortigen unterbewussten Schuldzuweisung. 56,57 Um im Rahmen des Testens die auftretenden Probleme bzw. Anomalien strukturiert zu erfassen und zu verwalten, wird im Regelfall eine Fehlerdatenbank eingerichtet. Innerhalb dieser werden alle Meldungen dokumentiert. Beteiligte Personen können auf diese Datenbank zugreifen und die gewünschten Daten erfassen oder abrufen, wie in Abbildung 7 dargestellt. 54 Vgl. Spillner, A.; Linz, T., 2010, S. 196f. 55 Vgl. Hoffmann, D. W., 2008, S Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Hoffmann, D. W., 2008, S. 477.

33 3. Die verschiedenen Aspekte des Testmanagements 27 Damit die Fehlermeldungen standardisiert abgelegt und ausgewertet werden können, muss jede Meldung nach einem einheitlichen Schema abgelegt werden, welches vom Testmanager definiert wird. Dieses Schema enthält alle relevanten Information, die zur Beschreibung, Reproduktion und Lokalisierung des Problems notwendig sind. 58 Die Angaben werden dafür zumeist in die folgenden 3 Kategorien eingeteilt: - Identifikationsmerkmale (z.b. Identifikationsnummer, Name des Testobjektes, Erfassungszeitpunkt, Ersteller usw.) - Klassifikationsmerkmale (z.b. Priorität, Status, Klasse usw.) - Beschreibungsmerkmale (z.b. Testfall, Problembeschreibung usw.) Fehlerklassifikation Um ein gemeldetes Problem richtig beurteilen zu können und darauf aufbauend die richtigen Schritte abzuleiten, ist es wichtig, die Schwere und die Priorität zu bestimmen. Die Schwere beschreibt dabei wie groß die Auswirkungen Schönheitsfehler vs. Systemabsturz - eines Problems sind. Bei der Beurteilung ist stets darauf zu achten, dass diese aus der Sicht des Anwenders bzw. des späteren Nutzers erfolgt. Im Rahmen des Testmanagements sollten im Vorfeld einheitliche Fehlerklassen definiert werden, in welche jedes Problem einsortiert werden kann. 60 Abbildung 7: Typischer Aufbau einer Fehlerdatenbank Quelle: Hoffmann, D. W., 2008, S Die Priorität eines Fehlers beschreibt wie schnell ein Mangel behoben werden muss. Hier gehen in die Bewertung Anforderungen an den Korrekturaufwand oder die weitere Testdurchführung mit ein. Wie bei der Klassifizierung der Fehlerschwere sollten auch für die Be- 58 Vgl. Spillner, A.; Linz, T., 2010, S Vgl. Hoffmann, D. W., 2008, S Vgl. Spillner, A.; Linz, T., 2010, S. 200f.

34 3. Die verschiedenen Aspekte des Testmanagements 28 schreibung der Priorität im Vorfeld einheitliche Kategorien festgelegt werden, sodass jede Fehlermeldung standardisiert bewertet werden kann. 61 Mit Hilfe der Klassifizierung der Fehlerschwere und -priorität wird es letztlich dem Testmanager ermöglicht, Aussagen über den aktuellen Stand und vor allem die Entwicklung des Testprozesses zu treffen. Er kann genau erkennen, in welchen Testobjekten, welche Fehlerkategorien auftreten, Trends ableiten und somit die weiteren Tests steuern Fehlerstatus Wurde ein Fehler erkannt und dokumentiert, durchläuft dieser ein standardisiertes Stufenmodell, welches, analog der Klassifizierungsstufen für Schwere und Priorität, im Vorfeld definiert wird. Auf diese Weise ist es jederzeit möglich zu erkennen, in welchem Status sich die Korrektur bzw. Abarbeitung des Fehlers befindet und in wessen Verantwortlichkeit der aktuelle Prozessschritt liegt. Abbildung 8 zeigt exemplarisch ein Statusmodell inklusive der jeweiligen verantwortlichen Personen: NEU (Tester) BEOB. (Entwickler) OFFEN (Testmanager) ABGEW (Testmanager) ANALYSE (Entwickler) KORREKTUR (Entwickler) FLOP (Tester) TEST (Entwickler) ERLEDIGT (Tester) Abbildung 8: Fehlerstatusmodell Quelle: In Anlehnung an Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S. 200ff. 62 Vgl. Spillner, A.; Linz, T., 2010, S. 201.

35 3. Die verschiedenen Aspekte des Testmanagements 29 Wurde eine neue Meldung vom Tester eingestellt, entscheidet zunächst der Testmanager, ob das Problem zur Analyse an den Entwickler geht, abgewiesen wird oder zur Beobachtung gekennzeichnet wird. Wird der Fehler zum Entwickler zur Analyse weitergereicht, kann dieser den Fehler entweder abweisen, falls er der Meinung ist, dass kein Defekt vorliegt, oder im Anschluss an die Fehleranalyse korrigieren. Wurde der Defekt korrigiert, ist es Aufgabe des Testers durch entsprechende Nachtests dies zu validieren und im Optimalfall den Fehler als erledigt zu kennzeichnen. Wurde der Fehler seiner Meinung nach nicht behoben, so ist es erneut Aufgabe des Entwicklers dies zu analysieren. Das dargestellte Statusmodell ist sehr generisch formuliert und auf nahezu jede Projektumgebung übertragbar. Wichtig ist, dass es stets an die im konkreten Projekt vorherrschenden Gegebenheiten angepasst wird. So werden beispielsweise Entscheidungsprozesse häufig nicht durch Einzelpersonen sondern Gremien getroffen, was unter Umständen die Komplexität erhöht und zusätzliche Prozessschritte nach sich zieht Konfigurationsmanagement Ein Softwaresystem besteht aus einer Vielzahl von Einzelbausteinen, die zueinander passen müssen, damit das System als Ganzes funktioniert. Von jedem dieser Bausteine entstehen im Laufe der Entwicklung des Systems neue, korrigierte oder verbesserte Versionen oder Varianten. 64 Um den Überblick zu behalten, welche Bausteine aktuell sind und zusammengehören, wird das Konfigurationsmanagement eingeführt. Ein unzureichendes Konfigurationsmanagement zieht eine Vielzahl möglicher Störungen nach sich, die den sowohl den Entwicklungs- als auch den Testprozess negativ beeinflussen können. Im Folgenden werden typische Symptome für schlechtes Konfigurationsmanagement aufgezeigt: - Der gleichzeitige Zugriff auf gemeinsame Quellcodedateien wird nicht verhindert. Dadurch ist ein gegenseitiges Überschreiben vom Quellcode oder anderen Veränderungen unter den Entwicklern möglich. - Die Integrationsarbeiten werden behindert. Gründe hierfür sind: Unklarheit über Versionsstand eines bestimmten Softwarebausteins Unklarheit über Zusammengehörigkeit von verschiedenen Softwarebausteinen Einsatz von Compiler und anderen Entwicklungswerkzeugen in unterschiedlichen Versionen 63 Vgl. Spillner, A.; Linz, T., 2010, S Spillner, A.; Linz, T., 2010, S. 204.

36 3. Die verschiedenen Aspekte des Testmanagements 30 - Die Fehleranalyse, die Fehlerkorrektur und der Regressionstest werden erschwert. Gründe hierfür sind: Unklarheit über Grund und Ort von Änderungen gegenüber einer Vorversion Unklarheit über Herkunft (Quellcodedateien) eines bestimmten integrierten Teilsystems - Die Tests und Testauswertungen werden behindert. Gründe hierfür sind: Unklarheit über Versionsstand eines Testobjektes Unklarheit über Testergebnisse, die ein Testlauf an einem Testobjekt einer bestimmten Version erzielt hat 65 Aus den genannten Punkten ergeben sich aus Sicht des Testmanagements für das Konfigurationsmanagement nachfolgende Anforderungen: Anforderungen Beschreibung Versionenverwaltung - Katalogisieren, Speichern und Wiederabrufen von unterschiedlichen Versionen eines Konfigurationsobjektes - Mitführen von Kommentaren, aus denen der jeweilige Änderungsgrund hervorgeht Konfigurationsverwaltung - Bestimmen und Verwalten aller Dateien in der jeweils passenden Version, die zusammen ein Teilsystem bilden Statusverfolgung von Fehlern und Änderungen Durchführen von Konfigurationsaudits - Aufzeichnen von Problemberichten und Änderungsanforderungen und die Möglichkeit, deren Umsetzung an den Konfigurationsobjekten nachzuvollziehen - Prüfen, ob alle Softwarebausteine vom Konfigurationsmanagement erfasst werden bzw. ob die Konfiguration korrekt identifiziert werden können Tabelle 7: Anforderungen an das Konfigurationsmanagement Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., S Relevante Normen und Standards Normen und Standards nehmen auch im Bereich Testmanagement eine immer größere Rolle ein, indem Rahmenbedingungen vorgegeben und der Stand der Technik definiert werden. Daraus ergibt sich für den Testmanager eine weitere Aufgabe. Diese besteht in der Feststellung von relevanten Normen, Standards und Richtlinien für das zu testende Produkt (Pro- 65 Vgl. Spillner, A.; Linz, T., 2010, S. 204f.

37 3. Die verschiedenen Aspekte des Testmanagements 31 duktnormen) oder Projekt (Prozessnormen) und deren Sicherstellung. 66 Der Testmanager bedient sich dabei an den nachfolgenden Quellen: Quelle Firmenstandards Best Practices Beispiel Firmeninterne Richtlinien und Verfahrensanweisungen Nicht standardisierte, aber fachlich bewährte Vorgehensweisen und Verfahren, die den Stand der Technik darstellen Qualitätsmanagementstandards Branchenübergreifende Standards (z.b. ISO9000) Branchenstandards Softwarestandards Branchenstandards [DIN ] für Medizinprodukte [RTC-DO 178] für Software in Flugzeugen [EN 50128] für Bahn-Signalsysteme Prozessstandards (produktunabhängig) [BS ] [IEEE 829] [IEEE 1028] Tabelle 8: Übersicht Normen und Standards Quelle: Eigene Darstellung in Anlehnung an Spillner, A.; Linz, T., 2010, S Vgl. Spillner, A.; Linz, T., 2010, S. 206.

38 4. Outsourcing als Möglichkeit der Optimierung Outsourcing als Möglichkeit der Optimierung Im folgenden Kapital wird das Outsourcing von Testmanagement-Aktivitäten als Alternative zum reinen In-House-Testen vorgestellt. Neben der Beschreibung der Hintergründe und Ziele des Outsourcings soll vor allem auf die aktuelle Verbreitung und die Kernaspekte für eine erfolgreiche Zusammenarbeit zwischen Auftraggeber und Dienstleister eingegangen werden. Grundlage für die Beschreibung dieser Themen ist u.a. die Studie Wachstumsmarkt Software-Testing - Markttrends, Dienstleister und Erfolgsfaktoren, welche im Juni 2011 durch die Pierre Audoin Consultants GmbH, im Auftrag der SQS Software Quality Systems AG, durchgeführt wurde. Im Rahmen dieser Studie wurden 309 Führungskräfte und IT- Entscheider von Unternehmen aller Branchen aus Europa und Nordamerika mit einer Mindestgröße von Mitarbeitern und einem IT-Team bestehend aus mindestens 100 Mitarbeitern befragt Ziele und Hintergründe des Outsourcings Über den gesamten Softwarelebenszyklus hinweg sind Testarbeiten durchzuführen und eng mit den Entwicklungsarbeiten abzustimmen und zu koordinieren. Es muss genau definiert werden, welche Rolle von welchen Personen umgesetzt wird. Um dies effizient und effektiv umzusetzen, haben sich unterschiedliche Modelle etabliert, welche in Kapitel 3.1 erläutert wurden. Eine Variante ist beispielsweise die Durchführung der Testarbeiten durch die Entwickler selbst, wobei jedoch die ebenso in Kapitel 3.1 angesprochene Blindheit der Entwickler gegenüber den eigenen Fehlhandlungen ein gewisses Fehlerpotential birgt. Eine weitere Variante ist der Aufbau einer separaten Testorganisation. Eigens für das Testen eingesetztes Personal führt die Tests durch und ist dabei oft objektiver und hinterfragt kritischer. 68 Sind die hierfür notwendigen Ressourcen für ein qualifiziertes Testmanagement firmenintern nicht vorhanden oder können diese nur mit sehr großem finanziellen Aufwand realisiert werden, kann dies bedeuten, dass das Testen zu wenig oder keine Priorität erhält und folglich zu spät startet, was die Fehlerfindungskosten erhöhen kann. 69 In diesem Fall bietet es sich an, Aufträge an entsprechende Testdienstleister auszulagern. Diese haben oft große Erfahrungen im Bereich des Software-Testens, schlüsselfertige Vorgehensweisen und können den für den speziellen Fall optimalen Testbetrieb sehr schnell aufsetzen. Je nach Wunsch des Auftragsgebers können theoretisch sämtliche Rollen, wie Testmanager, Testdesigner, Testautomatisierer usw., durch den externen Dienstleister besetzt werden. 70 Da das 67 Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Spillner, A.; Linz, T., 2010, S. 173f. 69 Vgl. Grechenig, T. u.a., 2009, S Vgl. Spillner, A.; Linz, T., 2010, S. 178.

39 4. Outsourcing als Möglichkeit der Optimierung 33 Testen oftmals als lästige Nebenbeschäftigung wahrgenommen wird, können sich dadurch die eigenen Mitarbeiter stärker auf wichtige Kernthemen konzentrieren. 71 Gerade in Projektspitzen wird die Entlastung des eigenen Personals als Vorteil angesehen. 72 Entscheidet sich ein Unternehmen für eine Auslagerung von Testaktivitäten ist ein breites Spektrum zwischen einer gelegentlichen Zusammenarbeit und einer dauerhaften Kooperation möglich. Die Ziele, vor allem bei einer mehrjährigen Zusammenarbeit, sind zumeist die Optimierung und Standardisierung der Testprozesse, die Erhöhung des Testautomatisierungsgrads sowie die Anwendung durchgängiger, erprobter Methoden, Best-Practices und geeigneter Test-Tools. 73 Zudem zeigt die PAC-Studie, dass 85% der Befragten, durch die Zusammenarbeit mit einem Dienstleiter ihre Kosten senken konnten. 74 Schätzungen zufolge sind Einsparungen von 25 % und mehr möglich. 75 An dieser Stelle ist es wichtig, dass die Unternehmen ihre Kosten kennen und somit einen Vergleich herstellen können. Eine Vielzahl von Unternehmen kann, bei einem reinen In-House-Testen, seine Kosten nicht exakt ermitteln und zuordnen, da kein standardisierter Testprozess etabliert ist. 76 Des Weiteren zeigt die PAC- Studie, dass bei einer Vielzahl der Befragten, welche Aktivitäten auslagern, die Testzeiten deutlich verringert und gleichzeitig die Flexibilität erhöht werden konnten Vgl. Grechenig, T. u.a., 2009, S Vgl. König, A., Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Capgemini, 2009, S Vgl. Grechenig, T. u.a., 2009, S Vgl. Pierre Audoin Consultants GmbH, 2011, S. 10.

40 4. Outsourcing als Möglichkeit der Optimierung 34 Abbildung 9 zeigt zusammenfassend die Ergebnisse der Studie bezüglich der Vorteile und Ziele des Outsourcings. Abbildung 9: Vorteile im Software-Testing durch die Zusammenarbeit mit externen Spezialisten Quelle: Pierre Audoin Consultants GmbH, 2011, S Aktuelle Verbreitung Nach dem die Ziele und Hintergründe beschrieben worden sind, stellt sich die Frage, wie sich das Outsourcing in der Praxis bereits etabliert hat. 66 % der befragten Unternehmen gaben hierbei an, dass sie bereits mit einem externen Dienstleister im Rahmen des Testmanagements zusammenarbeiten. Jedoch ist auch zu erkennen, dass lediglich ein kleiner Teil (3%) der befragten Unternehmen wirklich alle Testaktivitäten auslagert. Über die Hälfte der teilnehmenden Unternehmen arbeitet derzeit noch gar nicht bzw. nicht regelmäßig mit externen Dienstleistern zusammen, was zeigt, dass an dieser Stelle noch sehr viel Potential steckt. Abbildung 10 fasst die Aufteilung zwischen internen und externen Tätigkeiten als Ergebnis der Befragung zusammen Vgl. Pierre Audoin Consultants GmbH, 2011, S. 10.

41 4. Outsourcing als Möglichkeit der Optimierung 35 Abbildung 10: Organisation der Testaktivitäten Quelle: Pierre Audoin Consultants GmbH, 2011, S. 10. Trotzdem kommt PAC zu dem Ergebnis, dass das Interesse an der Auslagerung von Testaktivitäten sehr groß ist, vor allem für Unternehmen, die sich auf Kernkompetenzen konzentrieren wollen und die eigene IT innovativ sein lassen wollen. Die Möglichkeit, durch die Einbindung eines professionellen Dienstleisters eine hohe Qualität bei gleichzeitiger Steigerung der Effizienz und Effektivität im Testen zu erzielen, lässt das Testen zu einem der weltweit am schnellsten wachsenden Bereiche innerhalb der IT-Services werden. Bereits 30 Milliarden Euro wurden Schätzungen zufolge in 2011 für Testing-Services ausgeben. Besonders längerfristige Testing-Engagements in Form von Managed-Test-Services-Partnerschaften, basierend auf klar definierten Service Level Agreements, nehmen dabei einen immer höher werden Stellenwert mit jährlichen zweistelligen Wachstumsraten ein. 79 Andere Untersuchungen sehen in diesem Bereich sogar Wachstumsraten von 50 % und mehr. 80 Die Gründe für die steigende Nachfrage nach vor allem längerfristigen Vereinbarungen basiert laut PAC auf 3 Trends: - Die Bedeutung des qualitätsorientierten Software-Test- und Qualitätsmanagements ist mit zunehmender Komplexität in IT und Testing gestiegen. 79 Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Capgemini, 2009, S. 3.

42 4. Outsourcing als Möglichkeit der Optimierung 36 - Die langfristige Zusammenarbeit mit externen Dienstleistern ist bei Unternehmen, welche ihre Testorganisation und durchführung verbessern, sowieso hoch im Kurs. - Strategische Überlegungen gewinnen zunehmend an Bedeutung. 81 Ein weiterer Grund für die Zunahme der Zusammenarbeit mit spezialisierten Partnern im Rahmen von Software-Testing ist die Tatsache, dass die Kunden immer öfter unabhängige Tests der Anwendungslandschaft fordern. 82 Eine weitere Studie aus dem deutschsprachigen Raum von Mai 2011, welche in Kooperation der Hochschulen Bremen und Bremerhaven, der Fachhochschule Köln, der ANECON Software Design und Beratung GmbH., dem German Testing Board e.v. (GTB) und dem Swiss Testing Board (STB) durchgeführt worden ist, zeigt eine deutliche geringere Verbreitung. Als Ergebnis gaben nur 15% der befragten Unternehmen an, externe Dienstleister für die Testdurchführung einzusetzen. 83 Allerdings unterscheidet die Studie nicht zwischen den unterschiedlichen Ausprägungen teilweise Auslagerung von Testaktivitäten vs. Komplette Auslagerung. Auch kommt diese Studie dem Ergebnis, dass kein Trend für die Verlagerung von Testaktivitäten zu externen Dienstleistern erkennbar ist, da nur zu geringen Teilen Berater und Anbieter von Testdienstleistungen mit der Durchführung von Tests betraut werden. 84 Somit bleibt zusammenfassend abzuwarten, wie sich der Trend wirklich in der Praxis entwickelt Auswahlkriterien und Aspekte für eine erfolgreiche Zusammenarbeit Schon im Auswahlprozess eines externen Dienstleisters ist es wichtig, die Entscheidung auf Basis vordefinierter Kriterien zu treffen. Besondern wenn der Fokus auf eine mehrmalige und mehrjährige Zusammenarbeit gelegt wird, gilt es DEN geeignetsten Anbieter auszuwählen. Abbildung 11 zeigt die im Rahmen der PAC-Studie ermittelten Anforderungen und Auswahlkriterien. Deutlich zu erkennen ist dabei, dass Themen wie die Kernkompetenz im Testen, eine hohe Qualitätsorientierung und Branchenkenntnis des Dienstleisters sehr wichtig sind. 81 Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Pierre Audoin Consultants GmbH, 2011, S Vgl. Haberl, P. u.a., 2012, S Vgl. Haberl, P. u.a., 2012, S. 33.

43 4. Outsourcing als Möglichkeit der Optimierung 37 Abbildung 11: Priorisierte Kompetenzen der Testing-Dienstleister Quelle: Pierre Audoin Consultants GmbH, 2011, S. 21. Hat sich ein Unternehmen entschieden Bereiche seines Testmanagements auszulagern, stellt sich die Frage, was letztlich zu einem erfolgreichen Zusammenarbeiten zwischen Auftraggeber und Dienstleister führt. Die folgenden Punkte werden dabei als wichtige Kriterien angesehen: - Schnelligkeit und Flexibilität der Testing-Aktivitäten - Enge Abstimmung und sehr gute Kommunikation zwischen Auftraggeber und Dienstleister (sofortiges und direktes Feedback) - Fachliche Kompetenz des Dienstleisters - Regelmäßige Erfolgsmessung durch entsprechende KPIs und Abrechnung auf Basis von tatsächlichen Ergebnissen wichtig 85 Jedoch zeigt die Studie auch, dass besonders das Aufsetzen eines geeigneten Kennzahlensystems noch nicht flächendeckend etabliert ist. Wie Abbildung 12 verdeutlicht, hat lediglich ein Viertel der Unternehmen, welche bereits externe Dienstleistungen in Anspruch nehmen, detaillierte KPIs zur Erfolgsmessung etabliert. 85 Vgl. Pierre Audoin Consultants GmbH, 2011, S. 17ff.

44 4. Outsourcing als Möglichkeit der Optimierung 38 Abbildung 12: Aspekte zur Messung der Zielerreichung des Testing-Teams Quelle: Pierre Audoin Consultants GmbH, 2011, S. 18. Zusammenfassend kann gesagt werden, dass für ein erfolgreiches Zusammenarbeiten folgende Faktoren wichtig sind: - Auswahl des geeigneten Lieferanten-Modells - eine serviceorientierte Organisation des Kunden-Lieferanten-Verhältnisses - praktikable Service Level Agreements und - die Festlegung messbarer Ziele Vgl. König, A., 2010.