Die Rolle der Empirie in der Softwaretechnik

Transkript

1 Die Rolle der Empirie in der Softwaretechnik Raffaels Schule von Athen Walter F. Tichy Universität Karlsruhe UNIVERSITÄT KARLSRUHE (TH) Fakultät für Informatik Walter F. Tichy Folie 2 Platon: Die Welt der Ideen und Formen kann nur durch die Vernunft erkannt werden. Sie existiert unabhängig von der Erscheinungswelt. (ein sichtbarer Kreis ist nur eine Approximation der Idee des Kreises.) Beobachtung ist wertlos für Erkenntnis. Platon und Aristoteles Aristoteles: Wissenschaft untersucht das Allgemeine, welches sich aber in der Existenz einzelner Individuen ausdrückt. Demnach muss Wissenschaft einen Ausgleich zwischen dem Empirismus und der Deduktion schaffen, nicht bloß dazwischen wählen. ( Auch die Beobachtung zählt ) Modernes Verständnis von Wissenschaft Wir überspringen Ptolemäus, Kopernikus, Tycho Brahe, Galileo, Kepler, Francis Bacon, John Lock, Descartes, Newton, Leibniz, Kant und viele andere. Wissenschaftliche Methode: Ausgangspunkt: ein Problem, das erklärt werden muss Suche Erklärung (neue oder verbesserte Theorie) Teste Theorie mittels Experiment ( Reine Theorie ) Walter F. Tichy Folie 3 Walter F. Tichy Folie 4

2 Was ist ein Experiment? Und was ist Falsifikation? Erfahrungswissenschaftliche Methode, um angenommenes Gesetzmäßigkeiten (Hypothesen) in der Umwelt durch Beobachtung zu überprüfen. Im Experiment wird durch planmäßiges Beobachten eines Sachverhaltes [ ] und dessen Veränderung unter kontrollierten, [ ] wiederholbaren Bedingungen eine Hypothese bestätigt bzw. widerlegt. (Quelle: Microsoft Encarta Online-Enzyklopädie) Wichtig hier: planmäßige Manipulation von Variablen (nichts auslassen), Wiederholbarkeit (zur Überprüfung), Objektive Beobachtung (jeder beobachtet das Gleiche) Kausalität (Ursache-Wirkung-Beziehung) Falsifikation ist die Widerlegung von Hypothesen oder Theorien durch empirische Aussagen (z.b. Beobachtung, Experiment) Karl Popper: Universelle Hypothesen sind empirisch widerlegbar, aber nicht verifizierbar Alle Schwäne sind weiß kann als vorläufige Hypothese akzeptiert werden, bis der erste nicht-weiße Schwan beobachtet wird. Je länger eine (falsifizierbare) Hypothese Falsifikationsversuchen widersteht, als desto belastbarer wird sie angesehen. Beispiel: Newtons Theorie wurde falsifiziert; Einsteins Relativitätstheorie noch nicht. Walter F. Tichy Folie 5 Walter F. Tichy Folie 6 Gibt es schwarze Schwäne? Cygnus atratus Hierzu gäbe es noch viel mehr zu sagen Lakatos Forschungsprogramme Theorie braucht Raum und Zeit für ihre Entwicklung Falsifikationsversuche erst später Kuhns Paradigmen Wissenschaft folgt nicht dem Falsifzierungsweg Sondern es gibt Revolutionen, bei denen eine Theorie zu gunsten einer anderen verworfen wird. Dazwischen findet Normalwissenschaft statt (Ausbau, Stärkung, Abrundung, Anwendung) Feyerabends Anarchie Historisch gesehen gibt es keine wissenschaftliche Methode anything goes um neue Theorien zu finden Der Einzelne muss aber kompetent und informiert sein; wiss. Standards. Walter F. Tichy Folie 7 Walter F. Tichy Folie 8

3 Neugierig geworden? Alan F.Chalmers, What is This Thing Called Science?, Open University Press, Bruno Latour, Science in Action: How to follow Scientists and Engineers through Society, Harvard University Press, Und was hat das alles mit Software zu tun? Ist die Methodik der Naturwissenschaften überhaupt auf Softwareforschung, ja auf Informatik anwendbar? Informatik behandelt die Verarbeitung von Information mittels technischer Mittel. Die sind alle künstlich wo ist die Natur? Liegen nicht die (natur-)wissenschaftlichen Aspekte in anderen Disziplinen (z.b. Physik, E-Technik, Mathematik)? Walter F. Tichy Folie 9 Walter F. Tichy Folie 10 Informatik ist die Wissenschaft von den Informationsprozessen Unterscheidung künstlich/natürlich ist künstlich? Künstliche Informationsprozesse ( Computer Science ) Algorithmen Übersetzer Künstliche Informationsprozesse ( Computer Science ) natürliche Informationsprozesse Datenbanken Simulation Betriebssysteme Simulation Simulation Rechner- Architekturen Simulation Programmier- Sprachen Software- Werkzeuge Programmier- Methoden Brauchbarkeit? Wie geht Programmieren? natürliche Informationsprozesse Kognition Intelligenz DNA Immunsystem Brauchbarkeit? Brauchbarkeit? Walter F. Tichy Folie 11 Walter F. Tichy Folie 12

4 Wozu Empirie in der SWT? Wozu Empirie? Empirie (d.h. Nutzung von Erfahrung, Beobachtung, Experiment) ist aus der Softwareforschung nicht mehr wegzudenken. empirische Studien stellen fest, ob Unterschiede zwischen alternativen Softwaretechniken tatsächlich zu beobachten sind, z.b. hinsichtlich der Qualität oder den Kosten der erstellten Software. dies sind zumeist explorative Studien, d.h. solche, die Phänomene erkunden, ohne sie zunächst erklären zu können. Korrelationsstudien untersuchen Zusammenhänge zwischen Variablen bei der Softwarebearbeitung, z.b. zwischen der Größe der Software und dem benötigten Aufwand zu Ihrer Erstellung. Vorhersage- und Optimierungsmodelle machen die entdeckten Zusammenhänge für Entscheidungen bei der Softwarebearbeitung nutzbar, z.b. bei der Kostenschätzung empirische Studien falsifizieren Hypothesen z.b. die Unabhängigkeitsannahme bei Multiversionsprogrammierung Walter F. Tichy Folie 13 Walter F. Tichy Folie 14 Wozu Empirie? Letztlich sucht der Wissenschaftler auch in der Softwaretechnik nach Erklärungen für beobachtete Zusammenhänge: nach Theorien über die Software-Bearbeitung, aus denen praktisch nutzbare Vorhersagen und Modelle abgeleitet werden können. Belastbare, empirisch überprüfte Theorien, die etwas über die Wirklichkeit der Softwarebearbeitung aussagen, sind das eigentliche Ziel der Forschung. Gegensatz: Math. Theorie fußt auf Annahmen und logischen Folgerungen, nicht auf Beobachtung. Walter F. Tichy Folie 15 Softwareforschung Was ist mit Software automatisierbar und wie? Was geht in der SW-Entwicklung eigentlich vor? Theorie Modelle, Gesetze, Metriken,Psychologie, Formalisierung Technik Produkt & Prozess Methoden Werkzeuge Wie entwickelt man Software schnell und gut? Stimmt die Theorie? Wie funktionieren Methoden? Was passiert wenn...? Empirie Theorietest Technikbewertung Erkundung v. Phänomenen empirische Methodik Walter F. Tichy Folie 16

5 Forschungsmethoden Fallstudie Umfrage Korrelationsstudie Feldexperiment Kontrolliertes Experiment Metastudie Ethnographische Studie Langzeitstudie Simulation Benchmark-Studien U.a. Ein mustergültiges Experiment: Multi-Versions-Programmierung (Knight & Leveson) Ein klassisches Falsifikationsexperiment MVP: N unabhängig entwickelte Implementierungen der gleichen Spezifkation laufen parallel; die Mehrheit bestimmt das Ergebnis (in der Praxis N=3). Das Experiment falsifiziert die Annahme, dass unabhängige Implementierungen der gleichen Spezifikation unabhängig voneinander versagen. Damit ist das Zuverlässigkeit bei Multi-Versions- Programmierung geringer als angenommen. Walter F. Tichy Folie 17 Walter F. Tichy Folie 18 MVP-Experiment fortgesetzt Übertragung auf Verifkation Spannende Fragestellung, heiß debattiert Sehr sauber durchgeführtes Experiment 27 unabhängige Versionen mit 99,9% Zuverlässigkeit Akzeptanztest mit 100 zufälligen Testfällen, Stichprobe mit 1 Mio zufälligen Testfällen Die beobachtete Häufung von Mehrfachversagern ist unter der Unabhängigkeitsannahme extrem unwahrscheinlich Erklärung: Programmierer machen an den gleichen Stellen Fehler! Verifikation ist 2-Versions-Programmierung: Version 1: Spezifkation, Version 2: Implementierung Anstelle ein drittes Programm als Schiedsrichter bei unterschiedlichen Ausgaben zu benutzen, wird per Verifikation sichergestellt, dass die Programme die gleichen Ergebnisse (und Fehler) liefern. Auch hier gilt: Unabhängigkeit der Versager in beiden Versionen nicht gegeben! Damit ist das Zuverlässigkeit bei weitem nicht so hoch, wie gedacht (100%), aber durch die Redundanz sicher besser als ohne. Walter F. Tichy Folie 19 Walter F. Tichy Folie 20

6 Noch ein Experiment: Inspektionen (Porter et al.) Interessanter Experimentaufbau: Durchführung als Teil einer professionellen Software-Entwicklung Wieviele Inspektionen braucht die Software? Ergebnis 1: zwei Inspektoren reichen Ergebnis 2: Mehr Inspektoren verbessern zwar die inspizierten Komponenten (Sättigung), aber reduzieren insgesamt die Anzahl der inspizierten Komponenten (keine Zeit, keine Zeit!), so dass letztlich mehr Fehler unentdeckt bleiben. Ernüchterung... wir sind erst hier... Mode... da müssen wir hin! Berater Walter F. Tichy Folie 21 Walter F. Tichy Folie 22 Was ist falsch am reinen Empirismus? Welche Rolle hat die Theorie? Empirische Ergebnisse allein bilden kein kohärentes Wissensgebäude. Angenommen, wir stellen fest, dass Methode A besser als Methode B ist. Das sagt nichts über noch zu entwickelnde Methoden C, D, E aus. Soll man alle Experimente wiederholen? Erklärt auch nicht, warum A besser ist. Allein aus Experimenten heraus ist es schwierig, den Wissensstand zu beschreiben oder die Hypothesen zu bestimmen, die getestet werden sollen. Induktivismus wissenschaftstheoret. problematisch Die Folgerung Wenn eine große Anzahl von As unter unterschiedlichen Bedingungen beobachtet wurde und alle beobachteten As ohne Ausnahme die Eigenschaft A besaßen, dann besitzen alle As die Eigenschaft B ist logisch falsch. Theorien und Modelle werden benötigt. Wissenschaft braucht beide Säulen: Empirie und Theorie, die sich gegenseitig informieren. Erklärt beobachtete Phänomene, Kann noch unbeobachtete Phänomene vorhersagen, Kann zur Formulierung testbarer Hypothesen nutzen, Bildet den Kern einer Wissenschaft, Muss verbessert oder ersetzt werden, wenn unerklärliche Beobachtungen gemacht werden Ist qualitativ oder quantitativ, Ist in der Softwareforschung selten (Warum- und Wie-Fragen nicht beantwortbar) Walter F. Tichy Folie 23 Walter F. Tichy Folie 24

7 Theorie zu Inspektionen laut Sauer et al. Erklärungen der Theorie der Sachverstand der Gruppe ist bestimmt vom Sachverstand der einzelnen Mitglieder => Erhöhen durch Auswahl, Training, Lesetechniken durch die Interaktion in der Gruppe entstehen keine neuen Lösungen das Verfahren zur Entscheidungsfindung ist ausschlaggebend dafür, ob vorhandener Sachverstand der Mitglieder genutzt wird Eingriffe am Ablauf einer Inspektion werden nur dann etwas bringen, wenn der bereits vorhandene Sachverstand nicht optimal eingesetzt wird Walter F. Tichy Folie 25 Walter F. Tichy Folie 26 Weitere Erklärungen Paarprogrammierung zum Nutzen der Gruppensitzung: Gruppensitzung trägt nicht signifikant zum Entdecken von Fehlern bei. Interaktion in der Gruppe bringt keine neuen Lösungen Notwendigkeit des Identifizierens von vermeintlichen Defekten Gruppe hat mehr Sachverstand über Defekte als ein einzelner Inspektor Fehlt: Gruppengröße beeinflusst die verfügbaren Termine und damit die Überdeckung mit Inspektionen. Walter F. Tichy Folie 27 Walter F. Tichy Folie 28

8 Paarprogrammierung Ein zentrale Technik der sog. agilen Methoden. Jede Zeile Produktionscode wird von zwei Programmierern an einem Rechner und einer Tastatur erstellt. Gegner: Anarchie! Verschwendung! Glorifziertes Hacken! Befürworter: Schluss mit Software-Bürokratie! Geschwindigkeit, Qualität, Flexibilität, Spaß am Programmieren! Hat alle Zeichen eines Religionskrieges (ist einer) Experimente geben mal dem einen, mal dem anderen den Vorzug. Zu viele Variablen Komplexität, Größe der Probleme Erfahrung der Paare, Marktdruck Gewünschte Flexibilität der Software, etc. Walter F. 29 Tichy Folie 29 Walter F. Tichy Folie 30 Überraschung: Ein einfaches Modell führt ziemlich weit! Padberg und Müller benutzen ein ökonomisches Modell, um Paarprogrammierer und Einzelprogrammierer zu vergleichen (see ESEC/FSE 2003): Kapitalwert-Betrachtung, um den Wert des frühen Markteintritts zu quantifzieren Berücksichtigt den Geschwindigkeitsvorteil der Paare Berücksichtigt den Qualitätsvorteil der Paare Berücksichtigt die höheren Kosten der Paare. Walter F. Tichy Folie 31 Kapitalwert (engl. Net Present Value) NPV = AssetValue / (1+ DiscountRate) DevTime - DevCost DevCost PP ~ DevTime PP x NumOfPairs x 2 DevCost S ~ DevTime S x NumOfDevelopers DevTime hängt ab von: Projektumfang, Produktivität der Paare bzw. Einzelprogrammierer Nacharbeitszeit von Einzelprogrammierern, um gleiche Qualität wie zu erreichen (Kompensation des Qualitätsvorteils von Paaren) Walter F. Tichy Folie 32

9 Was bringt s? Qualitative Empfehlungen Abwägung: Bei welchen Parameterwerten gewinnt Paar- oder Einzelprogrammierung? Bestimme die Break-Even-Kurve (Gewinnschwelle); Sensitivitäts-Analyse; Was macht man mit begrenzter Entwicklermannschaft? Paare oder einzeln? Bestimme Effekt von inkrementeller Lieferung; Lernkurve (S-Kurve u.a.) kann mit berücksichtigt werden; Hypothesen können mit Experiment oder Simulation überprüft werden; Liefert klare Empfehlungen; Ende des Glaubenskrieges. Paarprogrammierung liefert höheren NPV als Einzelprogrammierung bei hoher Diskont-Rate (0.75) und wenn Paare fast zweimal so schnell (1.8) arbeiten. Falls der Geschwindigkeitsvorteil nicht gross ist und genügend Parallelität im Projekt möglich ist, benutze Einzelprogrammierer. Inkrementelle Lieferung erhöht NPV bei beiden, aber bei Paarprogrammierung am meisten. Walter F. Tichy Folie 33 Walter F. Tichy Folie 34 Dringend notwendige Experimente Funktionale vs. imperative vs. OO vs. Skript- Sprachen Was hat wann Vorteile? Dynamische Typisierung vs. statische Typisierung Verifikation vs. Testen UML vs. Kommentare oder schriftl. Doku Testverfahren Testgetrieben Entwicklung vs. ad hoc Testen vs. Zusicherungen Nutzen von Qualitätsstandards? (CMM, etc.) Fremdvergabe vs. lokale Entwicklung (Offshore- Debatte) Was sollten wir in den nächsten 10 Jahren erzielen? Wissen darüber, welche Methoden und Werkzeuge besser funktionieren als andere, unter welchen Umständen und warum. Belastbare theoretische Modelle, die erklären und vorhersagen. Professionelle Entwickler, die die Vertrauenswürdigkeit von Experimenten einschätzen können. die vernünftige Fragen über Experimente und Theorien stellen und die Antworten verstehen. Zahlreiche neue Methoden und Werkzeuge, die die Softwarebearbeitung nachweislich erleichtern. Empirie ist mittendrin in der Softwaretechnik! Walter F. Tichy Folie 35 Walter F. Tichy Folie 36

10 Fragen? Weitere Beispiele für Experimente Übersicht über die in Karlsruhe durchgeführten Experimente: Simula Research Lab, Norway, Software Engineering: Walter F. Tichy Folie 37 (Goldener Schnitt) Walter F. Tichy Folie 38