Experimentendefinition & Planung

Transkript

1 endefinition & Planung Michio Hayashi Marek Steß

2 Übersicht endefinition & Planung

3 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design endefinition & Planung

4 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design endefinition

5 endefinition Festlegung der Grundlagen des s endefinition

6 endefinition Merkmale: und Vorbereitung sind aufwendig und sollen möglichst effektiv durchgeführt werden Definitionsphase legt Ziele des s nach einem festen Framework vor Hierfür wird das sogenannte Goal definition template sowie das Goal definition framework benutzt endefinition

7 Goal definition template endefinition

8 Goal definition template endefinition

9 Goal definition template - Context Context characterization # Objekte 1 >1 # Subjekte 1 Single object study Multi-object varaition study >1 Multi-test within object study Blocked subjectobject study endefinition

10 Goal definition framework Zum Ausfüllen des Goal definition templates kann ein Goal definition framework verwendet werden. Object of study Purpose Qualitiy focus Perspective Context Produkt Prozess Modell Metrik Theorie Charakter Beobachtung Bewertung Vorhersage Kontrolle Veränderung Effektivität Kosten Wartbarkeit Protabilität Zuverlässigkeit Entwickler Nutzer Projekt Manager Kunde Objekte Subjekte endefinition

11 typen Zu beachten: Alle typen sind entweder als oder Quasi- durchführbar Zum Beispiel: single object study ist ein Quasi- wenn das Objekte bzw. Subjekt nicht zufällig ausgewählt werden, ansonsten ein. endefinition

12 Beispiel endefinition : Einführung neuer Getränkeautomaten an der Leibniz Universität Hannover Object of study Purpose Qualitiy focus Perspective Context Getränkeautomat Bedienbarkeit Veränderung Verbesserung Effektivität Bedienbarkeit Dauer Kunde Nutzer Automat Studenten Mitarbeiter Besucher endefinition

13 Beispiel endefinition endefinition

14 Zusammenfassung Sinn der endefiniton: Vorbereitung für die enplanung zur effektiven Durchführung. endefinition

15 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

16 Context selection (1) Um möglichst allgemeingültige Ergebnisse aus dem zu gewinnen sollte es in großen, echten Softwareprojekten mit professionellen Mitarbeitern durchgeführt werden Risiken Aufwendig Teuer Deswegen Quasi- Subjekte sind keine repräsentative Untermenge der Software Entwickler Nicht optimal / Kompromiss enplanung

17 Context Selection (2) Context kann in vier Dimensionen charakterisiert werden: 1. Off-line vs. On-line 2. Student vs. Professional 3. Toy vs. Real problems 4. Specific vs. General enplanung

18 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

19 Hypothesis formulation Basis für die statistische Analyse eines es ist Entscheidungen über Gültigkeit oder Ungültigkeit von Hypothesen bezügliche des es zu treffen. Es werden Hypothesenpaare aus Nullhypothesen H0 und Alternativhypothesen H1 erstellt Die Null-Hypothesen möchten wir mit unseren en zugunsten der Alternativ-Hypothesen wiederlegen enplanung

20 Hypothesen Beispiel Nullhypothese H0: Agile Methoden haben keinen Einfluss auf den Software-Entwickelungsprozess. Alternativhypothese H1: Agile Methoden haben eine positiven Einfluss auf den Software-Entwickelungsprozess. enplanung

21 Hypothesen Fehler Beim Testen der Hypothesen können zwei Arten von Fehlern auftreten: Type-1-Fehler: Nullhypothese wiederlegt, obwohl diese richtig ist Type-2-Fehler: Nullhypothese bestätigt sich, obwohl dies nicht stimmt Die Power oder Teststärke gibt an mit welcher Wahrscheinlichkeit zugunsten der richtigen Hypothese entschieden wird enplanung

22 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

23 Variablenauswahl 2 Arten von Variablen: Unabhängige Variablen: Variablen, die wir während des es kontrollieren und verändern können. Die Wahl dieser Variablen beinhaltete die Wahl der Messskala. Abhängige Variablen: Meistens nur 1. Deshalb sollte diese Variable direkt aus der Hypothese hergeleitet werden. Auch hier wird die Messskala durch die Variable bestimmt. enplanung

24 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

25 Subjektauswahl Die Auswahl der Subjekte ist wichtig, da es den Ausgang des s beeinflusst Zufallsauswahlverfahren: Simple random sampling: Zufällige Auswahl Systematic sampling: Bedingte zufällige Auswahl Stratified random sampling: Zufällige Auswahl aus Gruppen Willkürliche Auswahlverfahren: Convenience sampling: Auswahl mit geringstmöglichem Aufwand Quota sampling: Auswahl nach vorgegebenen Quoten enplanung

26 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

27 Design Im endesign wird geplant wie Tests aufgebaut und durchgeführt werden Wichtig um analysierbare und aussagekräftige Ergebnisse zu erhalten Basierend auf den Hypothesen werden die Tests entworfen und Messskalen gewählt enplanung

28 Allgemeine Design-Prinzipien Randomization: Auswahl der Subjekte und Objekte sowie Reihenfolge der Tests sollten unabhängig und zufällig erfolgen. Blocking Blocking wird verwendet um unerwünschte Einflüsse zwischen verschieden Faktoren zu negieren. Beispiel: In Gruppen mit und ohne XP Erfahrung einteilen Balancing Möglichst ausgewogene Verteilung von z.b. Subjekten und Objekten enplanung

29 Standard Design-Typen Ein Faktor mit zwei Treatments Beispiel: Faktor: Softwareentwicklung Treatment: Agile Methoden Treatment: Konventionelle Methoden Ein Faktor mit mehr als zwei Treatments Zwei Faktoren mit zwei Treatments Mehr als zwei Faktoren mit jeweils zwei Treatments enplanung

30 Design Typen (1) Ein Faktor mit zwei Treatments Komplett zufälliges Design Subjekte Treatment 1 Treatment 2 1 X 2 X 3 X 4 X 5 X enplanung

31 Design Typen (2) Ein Faktor mit zwei Treatments Gepaartes Vergleichsdesign Alle Subjekte versuchen beide Treatments Unterschiedliche Reihenfolge Nicht immer praktikabel Subjekte Treatment 1 Treatment enplanung

32 Design Typen (3) Ein Faktor mit mehr als zwei Treatments Komplett zufälliges Design Subjekte Treatment 1 Treatment 2 Treatment 3 1 X 2 X 3 X 4 X 5 X zufälligeskomplettes Blockdesign: Analog zum gepaarten Vergleichsdesign Mehr als zwei Faktoren: Komplexere geschachtelte Designs enplanung

33 Übersicht des Planungsprozesses Defintion Context selection Validity evaluation planning Hypothesis formulation Instrumentation Variables selection design Selection of subjects design enplanung

34 Instrumentation Instrumentation ist die praktische Implementierung des entworfenen Experiementes Es gibt drei Typen von Instrumenten oder Werkzeugen für e: 1. Objekte (z.b. Spezifikationen oder Codedokumente) 2. Guidelines / Richtlinien 3. Messwerkzeuge Ziel ist es Möglichkeiten zur Durchführung und Messung des es bereitzustellen ohne das Ergebnis zu beeinflussen. enplanung

35 Beispiel Planung (1) Es soll die Bedienbarkeit eines neuen Getränkeautomaten im Vergleich zum alten Automaten an der Universität im getestet werden Kontextauswahl: In der Universität aufgestellter Testautomaten (neu und alt) On-line Test Subjekte sind zufällige Kunden Hypotese: Nullhypothese: Die Bedienung des neuen Automaten unterscheidet sich nicht von dem alten Automaten Alternativ-Hypothese: Die Bedienung ist schnell und einfach enplanung

36 Beispiel Planung (2) Variablen: Unabhängige Variablen: Bedienelemente, Aufstellungsort Abhängige Variablen: Dauer bis zum erfolgreichen Erwerb des gewünschten Getränks Subjekt Auswahl: Simple Random: Zufällige Kunden am Gerät, d.h. : Studenten Mitarbeiter Besucher enplanung

37 Beispiel Planung (3) Design: Beide Automaten werden aufgestellt, die dauer bis ein Subjekt sein gewünschtes Getränk erworben hat wird gemessen. Randomization: findet durch zufällige Kunden statt Blocking: Findet nicht statt, da keine Aufteilung der zufälligen Kunden möglich ist Balancing: Findet nicht statt, da keine Aufteilung möglich ist Subjekt Alter Automat Neuer Automat 1 1:30m 2 1:55m 3 3:01m Instrumentation. Werkzeug: Stoppuhr zur Zeitmessung Guideline: Jedes Subjekt zählt nur einmal enplanung

38 Zusammenfassung endefinition für Grundlagen und warum wir das durchführen wollen Dafür Goal Definition Template verwenden. enplanung in sieben Schritten wie das durchgeführt werden soll. 1. Context Selection 2. Hypothesis Formulation 3. Variable Selection 4. Subject Selection 5. Design 6. Instrumentation 7. Validity Evaluation -> Nächster Vortrag endefinition & Planung <Datum> 38

39 Literatur Titel: ation in Software Engineering: An Introduction ISBN: IEEE TRANSACTIONS ON SOFTWARE ENGINEERING, VOL. SE-13, NO. 12, DECEMBER 1987 Comparnng the Effectiveness of Software Testing Strategies VICTOR R. BASILI, SENIOR MEMBER, IEEE, AND RICHARD W. SELBY, MEMBER, IEEE enplanung

40 Anhang (1) Zwei Faktoren - 2*2 factorial design Zwei Faktoren mit jeweils zwei Treatments Zufällige Zuweisung von Subjekten für jede Kombination Factor A Treatment A1 Treatment A2 Factor B Treatment B1 Subject 4,6 Subject 1,7 Treatment B2 Subject 2,3 Subject 5,8 enplanung

41 Anhang (2) Zwei Faktoren Two Stage Nested Design Zwei Faktoren mit jeweils zwei Treatments Treatments unterscheiden sich aber je nach Faktorenkombination etwas Factor A Treatment A1 Factor B Treatment A2 Factor B Treatment B1 Treatment B2 Treatment B1 Treatment B2 Subject 1,3 Subject 6,2 Subject 7,8 Subject 5,4 Designs für mehr als zwei Faktoren: z.b. 2^k factorial design, enplanung

42 Anhang (3) Designs für mehr als zwei Faktoren: z.b. 2^k factorial design K Faktoren Beispiel für 2^3: Factor A Factor B Factor C Subjekte A1 B1 C1 2,3 A2 B1 C1 1,13 A1 B2 C1 5,6 A2 B2 C1 10,16 A1 B1 C2 7,15 A2 B1 C2 8,11 A1 B2 C2 4,9 A2 B2 C2 12,14 Es werden oft nur die Hälfte oder ein Viertel der Kombinationen gewählt enplanung