Faculty of Computer Science. Kontrollierte Experimente

Transkript

1 Faculty of Computer Science Kontrollierte Experimente 1

2 Qualitativ---Quantitativ Einordnung Mensch-Computer---Technisch 2 Kontrollierte Experimente mit Probanden Zeitreihen analysen 4 Perform ance 1 Fragebög en 3 Think-Aloud Protokolle Interview Fallstudien Beweise 2

3 Lernziele Gute Hypothesen aufstellen können Experiment mit hoher interner oder hoher externer Validität entwerfen können 3

4 Definition Systematische Studie Ein oder mehrere Faktoren werden variiert Alles andere konstant halten Ergebnis der systematischen Variation wird beobachtet 4

5 Experimentelle Phasen Ziel- Definition Design Ausführung Analyse Interpretation Bericht Hypothesen; Unabhängige & Abhängige Variablen Experimentelles Design; Störvariablen Daten Angenommene /Abgelehnte Hypothesen 5

6 Ziel-Definition Design Ausführung Analyse Interpretation Bericht Variablen 6

7 Unabhängige Variablen Absichtlich, systematisch variiert durch Versuchsleiter Faktor, Prädiktor (-variable) Alternativen, Level, Stufen, Treatment Beispiele: Programmierparadigma Sprache Workload 7

8 Abhängige Variable Ergebnis eines Experiments Hängen ab von Variation der unabhängigen Variablen Beobachtet Beispiele: Performance Programmverständnis Produktivität von Entwicklern 8

9 Latente Variablen Konstrukt Nicht direkt beobachtbar Beispiele Programmverständnis Intelligenz Performance 9

10 Operationalisierung Operationen definieren, mit denen man Variablen messen kann Darf gesundem Menschenverstand nicht widersprechen 10

11 Aufgabe Operationale Definitionen für folgende Variablen Performance Programmverständnis Intelligenz Wartbarkeit 11

12 Hypothesen Erwartungen über Ergebnisse Erwartungen müssen begründet sein in Theorie oder Praxis Hypothesen müssen einfach und klar formuliert sein Hypothesen müssen überprüfbar sein Falsifizierbarkeit 12

13 Wozu Hypothesen? Steuerungsfunktion Verhindert Fishing for Results Verbindung zwischen Theorie und Empirie Abgeleitet aus Theorie Überprüft mit Empirie 13

14 Aufgabe Stellen Sie je eine Hypothese zu folgenden Forschungsfragen auf: Erhöht Objektorientierung die Produktivität von Entwicklern? Ist Java besser als C++? Welchen Einfluss hat Programmiererfahrung auf Entwicklungszeit? Die Hypothese muss überprüfbar sein, begründet sein; die Variablen müssen operationalisiert sein Beispiel für Prüfungsfrage 14

15 Hypothese-Negativbeispiel Schlechte Kommentare sind schlecht für Programmverständnis Gute Kommentare sind gut für Programmverständnis 15

16 Besser Kommentare, die jedes Statement von Quelltext beschreiben, haben keinen Einfluss auf Antwortzeit beim Verstehen von Quelltext Kommentare, die falsche Informationen über Quelltext enthalten, verlangsamen Programmverständnis Kommentare, die den Zweck von Statements beschreiben, beschleunigen Programmverständnis 16

17 Ziel-Definition Design Ausführung Analyse Interpretation Bericht Design 17

18 Validität Wird das gemessen was gemessen werden soll? 18

19 Interne Validität Maß, in dem Wert der abhängigen Variablen auf Variation der unabhängigen Variablen zurückgeführt werden kann 19

20 Externe Validität Maß, in dem Ergebnisse aus einem Experiment auf andere Umstände (Probanden, Material, ) übertragen werden kann Verallgemeinerbarkeit 20

21 Gefahren/Bedrohungen Störvariablen: Beeinflussen abhängige Variable zusätzlich zu unabhängiger Variablen Lerneffekte Hawthorne-Effekt Messinstrumente Selektion 21

22 Aufgabe Messen von Programmverständnis: Welche Störvariablen gibt es? Wie könnte man diese Störvariablen kontrollieren? 22

23 Störvariablen Es gibt viele Störvariablen Sorgfältig identifizieren und kontrollieren Randomisierung Matching/Parallelisierung/Balancing Störvariable als unabhängige Variable definieren Störvariable konstant halten Nachträgliche Analyse 23

24 Randomisierung Zufallszahlengenerator Münze werfen Würfeln Probleme: Gruppen müssen groß genug sein 5 pro Gruppe zu wenig, 10 scheint akzeptabel 24

25 Matching/Parallelisierung/Balancing Proband Wert P5 65 P9 56 P3 42 P4 34 P10 24 P6 23 P7 21 P8 16 P2 12 P1 5 Gruppe A Gruppe B odd-even-even-odd/ ABBA 25

26 Matching/Parallelisierung/Balancing Nachteil gegenüber Randomisierung: Störvariable muss gemessen werden Programmiererfahrung? Intelligenz? 26

27 Parameter als unabhängige Variable definieren Wird systematisch vom Versuchsleiter variiert Störvariable wird operationalisiert Programmiererfahrung: Viel/wenig Erfahrung Viel/wenig Motivation Java/C 27

28 Rechenbeispiel 23 Störvariablen, jede mit 2 Stufen = mögliche Kombinationen Wie viele Probanden sind nötig, um jede Kombination abzudecken? min. 10 Probanden pro Gruppe (ganz Deutschland) 28

29 Konstant halten Nur ein Level einer Störvariable Programmierfahrung Nur Bachelor-Studenten Nur Programmierexperten Intelligenz Nur Studenten mit bestimmter Note 29

30 Nachträgliche Analyse Variable wird während des Experiments gemessen Einfluss einer Variablen wird nach dem Experiment analysiert Probleme: Kann zeigen, dass Ergebnisse unbrauchbar sind 30

31 Hausaufgabe Entwerfen Sie ein Experiment mit hoher interner Validität Entwerfen Sie ein Experiment mit hoher externer Validität 31

32 Verhältnis von Interner und Externer Validität Beide verlangen verschiedene Dinge Intern: alles kontrollieren Extern: allgemeines Setting Und jetzt? Erst interne Validität maximieren Dann schrittweise externe Validität erhöhen 32

33 Weitere Validitätsarten Konstruktvalidität Beschreibt, wie gut das Konstrukt gemessen wird Bsp: Programmverständnis, Intelligenz Statistical Conclusion Validity Angemessenheit der statistischen Methoden Augenscheinvalidität, konvergente/ diskriminante Validität, Kriteriumsvalidität, Inhaltsvalidität [wikipedia] 33

34 Reliabilität Genauigkeit der Messinstrumente 34

35 Objektivität Durchführung eines Experiments darf nicht von Person der Versuchsleiter abhängen Dasselbe Experiment, durchgeführt von anderen Versuchsleitern, soll dasselbe Ergebnis liefern 35

36 Lernziele Optimalen Versuchsplan auswählen Sensibilität für Ausführen von Experimenten 36

37 Ziel-Definition Design Ausführung Analyse Interpretation Bericht Experimentelle Versuchspläne 37

38 Pläne Between vs. Within Subject Mit vs. ohne Messwiederholung Einfaktoriell vs. Mehrfaktoriell Eine vs. mehrere unabhängige Variablen 38

39 Warum Pläne? Handlungsanweisung Kommunikationserleichterung Entscheidungsgrundlage für statistische Auswertung 39

40 Wahl eines Plans Abhängig von: Effektstärke Stichprobengröße Je größer beides ist, desto weniger kommen ungewollte Einflüsse zum Tragen; desto weniger ist ein geeignetes Design wichtig Da meistens kleine Stichprobe und unbekannte Effektgröße in Softwareengineering, ist richtiges Design sehr wichtig 40

41 Einfaktoriell 41

42 Between-Subjects Probanden werden in Gruppen aufgeteilt So viele Gruppen wie Stufen der unabhängigen Variablen Ergebnisse werden zwischen Gruppen verglichen 42

43 Between-Subjects Gruppe A B Stufen Textuelle Annotationen Hintergrundfarben 43

44 Probleme Varianzen zwischen Probanden (=interindividuelle Unterschiede) sind groß 10x [Ausdrucke] Ausreichend Probanden Balancierung der Gruppen 44

45 Within-Subjects Interindividuelle Differenzen sollen berücksichtigt werden Jeder Proband erfährt alle Stufen der unabhängigen Variablen Eine Gruppe Session 1 Session 2 Hintergrundfarben Textuelle Annotationen 45

46 Probleme Lerneffekte Besonders bei kreativen Aufgaben problematisch Möglichst unterschiedliche, gleichzeitig ähnliche Aufgaben notwendig Reihenfolge-Effekte Intraindividuelle Unterschiede: Müdigkeit Motivation Mortality 46

47 Crossover Jeder Proband erfährt alle Stufen Vergleich zwischen Gruppen und innerhalb von Gruppen möglich Gruppe Session 1 Session 2 A B Textuelle Annotationen Textuelle Annotationen Hintergrundfarben Hintergrundfarben 47

48 Probleme Intraindividuelle Unterschiede Interindividuelle Unterschiede Mortality 48

49 Vorteile Gruppe Session 1 Session 2 A B Textuelle Annotationen Textuelle Annotationen Hintergrundfarben Hintergrundfarben Lerneffekte überprüfen: Unterschied zwischen beiden Sessions für beide Stufen Reihenfolge-Effekte überprüfen: Unterschied zwischen beiden Sessions für eine Stufe 49

50 Vergleich Eigenschaft Between-Subjects Within-Subjects Cross-Over Probandenzahl Gruppenbalancierung Lerneffekte Reihenfolge-Effekte Mortality Motivation, Müdigkeit Experimentdauer Interne und externe Validität

51 Mehrfaktorielle Pläne 51

52 Latin Square Group Session Aufgabe 11 Session Aufgabe 22 A B Textuelle Annotationen Textuelle Annotationen Hintergrundfarben Hintergrundfarben Ähnlich zu/spezialform von Cross-Over Aber unterschiedliche Aufgaben in Sessions Aufgabe ist hier 2. Faktor 52

53 Zweifaktoriell, Between-Subjects Programmiererfahrung, Intelligenz Variablen Hintergrundfarbe/ Anfänger Hintergrundfarbe/ Experte Textuell/ Anfänger Textuell/ Experte Gruppen Group A Group B Group C Group D 53

54 Zweifaktoriell, Within-Subjects Group Session 1 Session 2 Session 3 Session 4 Hintergrundfarbe/ Anfänger Hintergrundfarbe/ Experte Textuell/ Anfänger Textuell/ Experte Group A Group D Group C Group B Group B Group A Group D Group C Group C Group B Group A Group D Group D Group C Group B Group A 54

55 Haupt- und Interaktionseffekte PC Experte PC Experte Anfänger Anfänger PC PC Experte Anfänger Experte, Anfänger 55

56 Mehrfaktorielle Versuchspläne Wenn die bisher gezeigten Pläne nicht ausreichen 4-faktorieller Plan (2x2x3x2) Interaktionen höherer Ordnung A 1 D 1 C 1 C 2 C 3 B 1 B 2 B 1 B 2 B 1 B 2 D 2 A 2 D 1 D 2 56

57 Wahl eines Plans Möglichst einfachen Plan auswählen Vor-und Nachteile sorgfältig abwägen Resourcenbeschränkung beachten 57

58 Ziel-Definition Design Ausführung Analyse Interpretation Bericht Ausführung 58

59 Was kann jetzt noch schief gehen? Alles! Pilottests: Material und Werkzeuge testen Datenspeicherung testen Instruktionen für Probanden testen Probanden genau sagen, was sie machen sollen Beobachten, dass Probanden genau das machen, was sie machen sollen Aufwärmaufgabe, in der Probanden Ablauf lernen 59

60 Ethik Aufwand der Probanden muss Erkenntnisgewinn gerecht werden Evaluierung von Lehrmethoden Evaluierung von Medikamenten Anonymität der Probanden sicherstellen Seid nett zu euren Probanden, denn sie investieren freiwillig ihre Zeit 60

61 Lernziele Optimalen Versuchsplan auswählen Sensibilität für Ausführen von Experimenten 61

62 Literatur Jutta Markgraf, Hans-Peter Musahl, Friedrich Wilkening, Karin Wilkening, and Viktor Sarris. Studieneinheit Versuchsplanung, FIM-Psychologie Modellversuch, Universität Erlangen-Nürnberg. Natalia Juristo and Ana Moreno. Basics of Software Engineering Experimentation. Kluwer, William Shadish, Thomas Cook, and Donald Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, James Goodwin. Research in Psychology: Methods and Design. Wiley Publishing, Inc., Steve Easterbrook, Janice Singer, Margaret-Anne Storey, and Daniela Damian. Selecting Empirical Methods for Software Engineering Research. In Guide to Advanced Empirical Software Engineering, pages Springer, Steve McConnell. What does 10x Mean? In Making Software, O'Reilly, Urban Wiesing. Die Ethik-Kommissionen Neuere Entwicklungen und Richtlinien. Deutscher Ärzte-Verlag,