Tonleiter oder Akkord: Wie spielt die Musik im Test

Transkript

1 INFOGEM AG Iformatiker Gemeischaft für Uterehmesberatug Rütistrasse 9, Postfach 540 Bade, Switzerlad Phoe: Iteret: Toleiter oder Akkord: Wie spielt die Musik im Test Thomas Haas Seior Cosultat

2 Toleiter Akkord Eie Toleiter oder Skala ist i der Musik eie defiierte auf- oder absteigede Folge vo Töe, die i eiem musikalische Zusammehag stehe. Ei Akkord ist i der Musik das gleichzeitige Erklige mehrerer uterschiedlicher Töe, die sich harmoisch deute lasse. Quelle: Wikipedia: Toleiter oder Akkord: Wie spielt die Musik im Test

3 Systemaufbau als Baumstruktur Ei (Gesamt-) System besteht typischerweise aus eizele Kompoete. Die eizele Kompoete bilde eie Baumstruktur: System, Teilsysteme, Programme (ud Bibliotheke), Programmeiheite. System Teilsystem Programm Programmeiheit Toleiter oder Akkord: Wie spielt die Musik im Test 3

4 Strategie für de Gesamt-Test (/) Gemäss dem System-Aufbau: - Bottom-Up: Begied mit de Programmeiheite über die Programme, Teilsysteme zum Gesamtsystem beötigt Treiber. - Top-Dow: Begied mit dem System über die Teilsysteme zu de Programmeiheite -- beötigt Stubs (Stellvertreter) Etlag des (Haupt-) Ausführugsstrags I Stücke: - Vollstädig ikremetell: Stück um Stück zusammebaue ud teste. - Am Stück: Zusammebaue ud teste. - Teilweise ikremetell: eie (gute) Mischug. System Teilsysteme Programme Programmeiheite Toleiter oder Akkord: Wie spielt die Musik im Test 4

5 Strategie für de Gesamt-Test (/) Die Wahl der Strategie zu Itegratiostests wird durch verschiedee Rahmebediguge zusätzlich beeiflusst: - Veratwortug über die Kompoete bei uterschiedliche Orgaisatioe: Lieferate, Uterlieferate, Itegrator - Uterschiedliche Risike i de eizele Kompoete: Neuetwicklug, Apassug, Itegratio vo eu mit alt, eigesetzte Techologie, Reife des Lieferate - Verfügbarkeit vo Ressource ud Hilfsmittel: Testumgebug, Test- Werkzeuge, Testdate, Testfälle, Tester, Kow-How - Zeitaspekt: Aufwad ud Dauer der verschiedee Tests. Toleiter oder Akkord: Wie spielt die Musik im Test 5

6 Elemete des Gesamt-Tests Für die komplette Prüfug (der Software) werde i der Regel verschiedee Prüfmethode agewedet: Reviews, Ispektioe, Tests, etc. Die Gesamtheit aller Tests köe weiter ach Test-Stufe uterteilt werde (Bottom-Up): Programmeiheite, Programme ud Bibliotheke, Teilsysteme, System, etc. I jeder Test-Stufe werde wiederum uterschiedliche Test-Arte eigestzt: Whitebox, Blackbox, Positive, Negative, Stress-Tests, etc. Zu Jeder Test-Art schliesslich gib es eie oder mehrere Test-Fälle. Gesamt-Test Test-Stufe Test-Arte Test-Fälle Toleiter oder Akkord: Wie spielt die Musik im Test 6

7 Teststufe im Gesamt-Test Teststufe Programmeiheite Programme ud Bibliotheke Teilsysteme, System Zweck Fide vo Verarbeitugsfehler; prüfe iterer Schittstelle. Fide vo Fehler im Zusammespiel der Programmeiheite bezüglich de fuktioale ud icht fuktioale Aforderuge. Fide vo Fehler i Teilsysteme respektive im Gesamtsystem bezüglich de Aforderuge sowohl aus fachlicher als auch aus techischer Sicht. Beschreibug Test eizeler, isolierter Programmeiheite i geeigeter Umgebug. Teste des gesamte Programms i eier geeigete Umgebug. Test des Systems respektive der Teilsysteme i eier Testumgebug. Toleiter oder Akkord: Wie spielt die Musik im Test 7

8 Gesamt-Test ud Etwicklugs-Iteratioe (im Eiklag) Zeit Iteratio Iteratio Iteratio 3 Iteratio Test Test Test Test Etwicklug Etwicklug Etwicklug Etwicklug Die Software-Etwicklug erfolgt i Iteratioe. Jede Iteratio schliesst mit eier Lieferug ab. Eie Lieferug beihaltet eue Fuktioalität ud Fehlerkorrekture. Jede Lieferug eier Iteratio wird geprüft: Prüfug der eue Fuktioalität ud Verifikatio korrigierter Fehler. Damit Fehler eier Iteratio i der ächste korrigiert werde köe, müsse die Tests rechtzeitig (Grösseordug Woche) vor Ede der Etwicklug der achfolgede Iteratio abgeschlosse werde. Toleiter oder Akkord: Wie spielt die Musik im Test 8

9 Klassisch: Der Gesamt-Test als Toleiter Testlauf System Bottom-Up Programme Teilsysteme Top-Dow Programmeiheite Test eizeler Kompoete über verschiedee Stufe vo Programmeiheite zum System (Bottom-Up) oder vom System zu Programmeiheite (Top-Dow). Nach erfolgreichem Test auf eier Stufe erfolgt der Wechsel auf die ächst höhere (Bottom-Up) oder tiefere (Top-Dow) Stufe. Zeigt eie Test-Stufe zu viele Fehler auf, ka der laufede Gesamttest jederzeit abgebroche werde. Toleiter oder Akkord: Wie spielt die Musik im Test 9

10 Gesamt-Test ud Etwicklugs-Iteratioe (ausser Takt) Iteratio Iteratio Iteratio 3 Iteratio Zeit Test Test Test 3 Etwicklug Etwicklug Etwicklug 3 Etwicklug Die Iteratioe müsse i der Dauer aufeiader abgestimmt sei. Kurze Etwicklugs- ud lage Testiteratio führe zu spätem Feedback ud zu Mehraufweduge i der Etwicklug: - Die gefudee Fehler müsse i der aktuelle Etwicklugsversio achvollzoge werde. - Kritische Fehler köe icht auf de ächste Test-Lauf korrigiert werde. Massahme: Iteratio i der Etwicklug verläger oder Pause eilege. Dauer der Tests verkürze. Toleiter oder Akkord: Wie spielt die Musik im Test 0

11 Gesamt-Test als Akkord? Testlauf System Teilsysteme Programme Programmeiheite Toleiter oder Akkord: Wie spielt die Musik im Test

12 Eigeschafte der Toleiter Systemtest Test Teilsystem Programmtest Etwicklug Schrittweise Teste eizeler Stufe (Bottom-Up oder Top-Dow). Uötige Test-Aufweduge köe durch Abbruch des Gesamt-Tests i jeder Stufe vermiede werde. Mit gerigem orgaisatorischem ud plaerischem Aufwad realisierbar. Erste Wahl etsprechede Rahmebediguge vorausgesetzt. Toleiter oder Akkord: Wie spielt die Musik im Test

13 Eigeschafte des Akkords Systemtest Test Teilsystem 3 3 Programmtest 3 Etwicklug 3 Sämtliche Teststufe werde gleichzeitig getestet. Der Gesamt-Test ka i kurzer Zeit durchgeführt werde. Erketisse aus eier Teststufe köe icht i die Tests der ächste Stufe eifliesse (auslasse/forciere vo Tests bestimmter Aspekte auf Grud vo Test- Resultate). Hoher Bedarf a Test-Hilfsmittel ud -Ressource bedigt durch paralleles Arbeite. Die zu suchede Fehler i de eizele Stufe müsse gut aufeiader abgestimmt sei. Toleiter oder Akkord: Wie spielt die Musik im Test 3

14 Kao Uter Kao versteht ma i der mehrstimmige Musik kotrapuktische Kompositioe, i dee sich eie oder mehrere gleichzeitig erkligede Stimme streg imitiere. I de meiste Fälle leite sich aus eier otierte Stimme eie oder mehrere simulta erkligede Stimme ab, welche acheiader eisetze. Diese Art des Kaos ist eg mit der sich durch freiere Imitatio auszeichede Fuge verwadt ud ka auch als Soderfall der Fuge agesehe werde. Die Kostruktio seier Melodie bedarf der besodere Sorgfalt des Kompoiste. Toleiter oder Akkord: Wie spielt die Musik im Test 4

15 Eigeschafte des Kaos Systemtest Test Teilsystem Programmtest 3 3 Etwicklug 3 Der Kompromiss: Gleichzeitiges Teste verschiedeer Stufe verschiedeer Versioe, schrittweise Teste eizeler Stufe mit Übersprige. Hohe Asprüche a Orgaisatio, Plaug ud Koordiatio. Hohe Aforderuge a Äderugs- ud Kofiguratiosmaagemet. Fehlermelduge zu alte Releases (ud zu bereits reparierte Fehler!) Toleiter oder Akkord: Wie spielt die Musik im Test 5

16 Der Kao im Teste (/) Eiheitlicher Release Uterschiedliche Releases Systemtest R 4: S R T R 4: S T R Test Teilsystem R 4: S R T R 5: S R T Programmtest R 4: S T R R 5: S T R Ziel: Test-Mehraufweduge vermeide. Mittels (gestaffeltem) Smoke-Test die Testwürdigkeit ermittel.. Nach Smoke-Test i utere Test- Stufe teste, um Abbruch-Kriterie für höhere Test-Stufe zu provoziere. I obere Test-Stufe die Zeit mit Regressios-Tests utze. 3. I höhere Test-Stufe de Test-Lauf mit de primäre Tests abschliesse i de utere Test-Stufe umgekehrt. Ziel: Schelles Feedback i Etwicklug I de utere Test-Stufe wurde der alte Release (R4) für testwürdig befude. Für rasches Feedback Systemtest mit (eue) Tests begie. Die utere Test-Stufe für de eue Release (R5) werde uabhägig gestaltet. Variate: Zeit gewie ud Regressios-Tests im alte Release (R4) auslasse. S: Smoke Test; R: Regressio Test; T: Test Toleiter oder Akkord: Wie spielt die Musik im Test 6

17 Der Kao im Teste (/) Kee Deie Fehler Test-Arte ud -Fälle so ausrichte, dass erwartete ud vermutete Fehler ud Fehler-Arte erkat werde. Fehler-Arte: - Verarbeitug vo gültige Eigabe - Verarbeitug vo ugültige Eigabe ud uerwartete Situatioe - Zusammewirke vo Teile der Lösug - Verarbeitug vo gültige Eigabe i Abhägigkeit vo der Systemkofiguratio - Atwortzeitverhalte, Durchsatz - Zusammewirke mit ader kompoete oder Systeme Kee Deie Abhägigkeite Test-Fälle i höhere Test-Stufe sid teilweise redudat zu Test-Fälle i utere Test-Stufe. (Beispiel Ed-To-Ed System-Test prüft implizit Aspekte der Schittstelle.) Redudaze zwische Test-Fälle i verschiedee Test-Stufe i der Testplaug berücksichtige. Mit schelle, billige Programmtests, teure System-Tests vermeide Toleiter oder Akkord: Wie spielt die Musik im Test 7

18 Vergleich vo Toleiter, Akkord ud Kao Toleiter Akkord Kao Laufzeit des Projekts Hoch Niedrig Mittel Mehraufwad Etw. Hoch Niedrig Mittel Mehraufwad Test Niedrig Hoch Mittel Orgaisatiosgrad (Chage/Kofig Mgmt.) Niedrig Hoch Mittel Plaugs- ud Koordiatiosaufwad Niedrig Hoch Mittel Bedarf Test- Ressource Niedrig Hoch Hoch Wissestad Fortschritt Hoch Mittel Tief Toleiter oder Akkord: Wie spielt die Musik im Test 8

19 Gesamt-Test als Toleiter, Akkord oder Kao? Etscheidughilfe Kriterium Toleiter Kao Akkord Art des Projektes: Eigeetwicklug, Neu-Etwicklug, umfagreiche Weiteretwicklug (Major Release) X Wartug, (Hot-)Fix, Patch, kleie Weiteretwicklug (Mior Release) X (Grosses) Itegratiosprojekt (extere Etwicklug) X Orgaisatiosgrad, Prozesssicherheit Niedrig Hoch Mittel Koste, Dauer, Qualität: Kurze Dauer kritische Termie (Geld spielt keie Rolle) X X Stabilität, Qualität, Koste (Dauer spielt keie Rolle) X Zeitabschitt: Am Afag im Projekt X Mitte im Projekt X Am Schluss des Projektes, vor/währed des Rollouts X Toleiter oder Akkord: Wie spielt die Musik im Test 9

20 Wie spielt die Musik im Test? gaz verschiede etscheided ist der richtige Kompositio. Uterschiedliche Arte vo Fehler i Testfälle je Test-Stufe spezifiziere. Hohe Test-Abdeckug i utere Stufe erreiche (we möglich automatisiert). Augemerk auf Verarbeitugsfehler ud Fehlverhalte. Uötige Tests vermeide, frühe Abbruch-Kriterie im Test-Lauf erzwige. Mit der eifache Toleiter begie: Produkt keelere, Risiko- Bereiche idetifiziere, kostegüstige Killer -Tests idetifiziere Mit zuehmedem Test-Umfag i de Kao wechsel: Teste verschiedeer Aspekte auf alle Stufe a uterschiedliche Kofiguratioe i verschiedee Umgebuge. Mit abehmeder Äderugs- ud Fehler-Rate i de Akkord wechsel: kurze, gezielte Testläufe auf alle Ebee a eier Kofiguratio. Toleiter oder Akkord: Wie spielt die Musik im Test 0