Empirische Strategien

Transkript

1 Empirische Strategien Julian Raschke

2 Übersicht Einordnung die Strategien im Detail Vergleich Kontext Software-Engineering Empirische Strategien

3 Einordnung Situation: Software-Entwicklungsprozess soll verbessert werden hier geht es um (komplexe) Menschen, nicht Software Erinnerung: The empirical method: A model is proposed and evaluated through empirical studies [ ]. empirical? (American Heritage Dictionary) 1a. Relying on or derived from observation or experiment [ ] 1b. Verifiable or provable by means of observation or experiment [ ] Empirische Strategien

4 Qualitative und quantitative Studien (studies) qualitativ: einige mögliche Erklärungen diese stammen von den Befragten Untersuchung derer Sichtweise quantitativ: Erklärungen überprüfen: Zusammenhänge messen (quantifizieren) Vergleich von Vorgehensweisen Auswirkungen von Veränderungen prüfen ermöglicht statistische Auswertung Empirische Strategien

5 Mögliche Strategien 1. Umfrage (survey) - Interviews, Fragebögen, 2. Fallstudie (case study) - begleitet reales Projekt 3. Experiment (experiment) - begleitet steuerbares Projekt Umfrage Fallstudie Experiment quantitativ ja ja ja qualitativ ja ja Empirische Strategien

6 Umfragen (surveys) typisch: vor oder nach Einführung eines Werkzeugs zeitlicher Schnappschuss Erfragen von bestehenden Meinungen hochrechnen auf Gesamtheit drei Zielsetzungen: deskriptiv: Verteilung von Eigenschaften erläuternd: Begründungen für Verhalten der Befragten explorativ: Erklärungen für weitere Untersuchung Empirische Strategien

7 Fallstudien (case studies) Beobachten eines Phänomens über einen Zeitraum also passiv unter realen Bedingungen bspw. Pilotprojekt (mit einer neuen Methode) insbesondere: in realer Größenordnung Vergleichsmöglichkeiten: durchschnittliche Werte bisheriger Projekte als baseline paralleles Schwesternprojekt komponentenweise Variation, falls möglich Gefahr: Störfaktoren (confounding factors) Motivation der Probanden, einmaliger Lernaufwand, Empirische Strategien

8 Experimente (experiments) aber: Fallstudien möglicherweise nicht verallgemeinerbar stehen nicht unter voller Kontrolle zu riskant Experimente! kleineres Setting volle Kontrolle leicht wiederholbar durchführen mit allen, nicht nur typischen Werten Formale Unterscheidung zwischen Experiment und Fallstudie hängt von Zustandsvariablen ab Empirische Strategien

9 Vergleich der Ansätze Umfrage Fallstudie Experiment Einfluss auf Durchführung Einfluss auf Messung Kosten der Studie Wiederholung möglich? Risiko der Studie Größe der Studie nein nein ja nein ja ja gering mittel hoch einfach schwer einfach gering hoch mittel groß typisch klein Empirische Strategien

10 Beispiele Fehlerquote in C oder C++ [via Wohlin et al.] nur Quasi-Experiment Vergleichen von UML-B mit B und Event-B [Rasali et al.] Entwicklungsaufwand in Fortran oder Ada [NASA] Empirische Strategien

11 Anwendung im SE Technologietransfer von Methoden oder Werkzeugen Möglichkeiten zur Evaluation bekannt Wie in den Prozess einbinden? Hier nach V. Basili: Quality Improvement Paradigm (QIP) Experience Factory Goal-Question-Metric (GQM) Empirische Strategien

12 Quality Improvement Paradigm V. Basili, 1985: 1. Characterize 6. Package 2. Set goals 5. Analyze 3. Choose process 4. Execute Empirische Strategien

13 Experience Factory V. Basili, 1989: Empirische Strategien

14 Goal-Question-Metric V. Basili, 1994 zielt auf besseres Festlegen der Ziele und deren Messung ab siehe nächster Vortrag! Empirische Strategien

15 Zusammenfassung Einteilung: qualitativ quantitativ Methoden: Umfragen, Fallstudien, Experimente Für SE: Quality Improvement Paradigm, Experience Factory, gleich Goal-Question-Metric Quellen: Wohlin et al.: Experimentation in software engineering: an introduction Pfleeger: Experimentation in software engineering Waligora: The Impact of Ada and Object-Oriented Design in NASA Goddard's Flight Dynamics Division Razali et al.: Comprehensibility of UML-B Fragen? Empirische Strategien