Einführung in die Angewandte Informatik

Transkript

1 III: Empirische Forschungsmethoden Fakultät WIAI, Otto-Friedrich Universität Bamberg Angewandte Informatik/Kognitive Systeme WS 2005/2006

2 Warum Empirische Forschung? In Formalwissenschaften (Mathematik, Informatik): immer, wenn Vermutungen/Eigenschaften (von Algorithmen) nicht formal beweisbar sind z.b.: Eigenschaften von Lernalgorithmen z.b.: Empirische Evaluation eines Algorithmus, m n Beispielinputs mit Komplexität n, Messen von Zeit, Genauigkeit,... In Erfahrungswissenschaften (Kognitionswissenschaft, Informatik): Prüfung der externen Validität von Theorien, Hypothesenprüfung, Evaluation (von Software, UIs, Trainings,...) z.b.: Annahmen zum schlussfolgernden Denken mit Mentalen Modellen z.b.: Empirische Evaluation einer UI, m Aufgaben, n Nutzer, Messen von Bearbeitungszeiten, Fehlerraten,...

3 Arten von Empirischen Studien Explorativ oder hypothesenprüfend Wenn Theorien vorhanden, dann hypothesenprüfend Fallstudie oder Zufallsstichprobe Zufallsstichprobe sollte repräsentativ sein Ein Messzeitpunkt oder Längsschnitt Längsschnitt aufwendiger und störanfälliger Natürliche Umgebung oder Labor Frage der externen Validität Quasi-Experimentell oder Experimentell Zufällige Zuweisbarkeit von Bedingungen (nicht möglich bei fest mit den Untersuchungsteilnehmern verbundenen Merkmalen wie Alter, Geschlecht,...) siehe: Bortz, Lehrbuch der empirischen Sozialforschung

4 Explorativ vs. Hypothesenprüfend Erkundung, immer dann, wenn theoretisches Neuland betreten wird Erkundung ist weniger aussagenkräftig als Hypothesenprüfung Methodische Ansätze zur Exploration: Inhalts- oder Textanalysen Einzelfallanalysen Klassifikationsstudien: Identifikation der charakteristischen Merkmale von Untersuchungsobjekten (z.b. Kundentypen/Kaufverhalten; Autotypen/Pannen) Begründete Hypothesen werden in hypothesenprüfenden Untersuchungen überprüft!

5 Interne und Externe Validität Interne Validität: Ergebnisse eindeutig interpretierbar (keine, wenige Alternativerklärungen möglich) Externe Validität: Ergebnisse lassen sich über die besonderen Bedingungen der Untersuchungsgegebenheiten und der untersuchten Personen hinaus generalisieren (Natürlichkeit der Untersuchungssituation, Repräsentativität der Stichprobe) Experimentell Quasiexperimentell Feld hohe IV geringe IV hohe EV hohe EV Labor hohe IV geringe IV geringe EV geringe EV

6 Beispiele Experimentelle Felduntersuchung: Veränderung der politischen Einstellung durch Lesen zweier überregionaler Tageszeitungen Bedingungen: per Zufall Zeitung A oder B kostenlos über begrenzten Zeitraum Messgrößen: Veränderung der Einstellung gemessen über Differenz zwischen Fragebogen vor und am Ende des Zeitraums Experimentelle Laboruntersuchung: Einfluss eines Verbalisierungstrainings auf die Denkleistung von Kindern Experimentalgruppe erhält Instruktion zu verbalisieren, Kontrollgruppe nicht; Nachfolgender Test der Denkleistung Quasiexperimentelle Felduntersuchung: Einfluss der Zusammenlegung von Schulen mit afro-amerikanischen und weissen Schülern auf das akademische Selbstbild der Schüler Quasiexperimentelle Laboruntersuchung: Einfluss des Geschlechts auf Fertigkeiten bei der räumlichen Orientierung

7 Was ist ein Experiment? Kriterien von Wilhelm Wundt(1886): Willkürlichkeit: absichtliche, planmässige, kontrollierte Herbeiführung eines Ereignisses und kontrollierten Bedingungen Wiederholbarkeit: Reproduzierbarkeit der Ausgangsbedingungen und Ergebnisse Variierbarkeit: Einflussgrößen (unabhängige Variable, Treatment) können in verschiedenen Ausmassen/Varianten gesetzt werden Wesentliche Unterschiede zur Beobachtung Einzige Möglichkeit, Kausalbeziehungen zu prüfen Willkürlich gesetzte Einfluss-Größen heissen unabhängige Variablen/Treatment Erfasste, beeinflusste Größen heissen abhängige Variablen

8 Status Experimenteller Hypothesenprüfung Experimentieren ist eine Mischung aus deduktivem Vorgehen (Ableiten von Hypothesen aus Theorien) und induktivem Vogehen (Schliessen von empirischen Untersuchungen auf die Gültigkeit allgemeinerer Annahmen) Experimente beweisen Nichts! Theorien gelten als bewährt, wenn daraus ableitbare Hypothesen in zahlreichen Experimenten bestätigt werden können (nicht verworfen werden mussten) Experimente (vs. Beobachtungen, Quasi-Experimente, Korrelative Studien) erlauben als einzige empirische Methode die Prüfung von Kausalerklärungen Korrelative Studien können allerdings Kausalhypothesen widerlegen Korrelativer Zusammenhang ist notwendig aber nicht hinreichend zur Begründung

9 Notwendige und Hinreichende Bedingungen A B A impliziert B, aus Voraussetzung A folgt Behauptung B Bsp 1: Wenn es regnet, dann ist die Straße nass. Bsp. 2: Wenn ein Viereck ein Parallelogramm ist, dann haben gegenüberliegende Seiten die gleiche Länge. A B wahr: A ist hinreichend für B B A wahr: A ist notwendig für B Nur wenn beide Sätze wahr sind, ist A notwendig und hinreichend Bsp 1: A hinreichend aber nicht notwendig (z.b. Straße mit Giesskanne nass gespritzt) Bsp 2: A ist notwendig und hinreichend

10 Kausalmodelle und Korrelation Mögliche Kausalmodelle, die einer Korrelation zugrunde liegen können x y x y x y x z y x y x z y z w

11 Vorgehen bei Empirischen Untersuchungen Entwicklung der Fragestellung Literaturstudium, wissenschaftliche/praktische Relevanz, ethische Bedenken Formulierung einer konkreten Hypothese/Fragestellung Spezifizierung der unabhängigen und abhängigen Variablen Wahl der Untersuchungsart Operationale Definition der Hypothese Entwicklung von Messinstrumenten, Programmen zur Versuchsteuerung, Klärung messtheoretischer Fragen (Skalenniveaus) Durchführung der Untersuchung Werbung von Teilnehmern (Repräsentativitätsfragen) Aufklärung spätestens nach Abschluss der Untersuchung Datenanalyse Deskritive und Inferenzstatistik Interpretation der Ergebnisse Erstellen eines Berichts

12 Begriffsdefinitionen Realdefinition: Verweis auf geeignete Beispiel für zu bezeichnende Objekte, Eigenschaften oder Vorgänge ( Das ist ein Baum ) Nominaldefinition: Zu definierender Begriff wird mit einem bereits bekannten (real definierten) Begriff gleichgesetzt ( Eine Gruppe ist eine Menge von mehr als zwei Personen, die häufig miteinander interagieren ) Analytische Definition: Für wissenschaftliche Verwendung müssen Begriffe eindeutig und trennscharf sein Begriffsanalyse Keine Zirkularität, Konsistenz, Präzision, empirische Relevanz, theoretische Relevanz, Problemrelevanz Beispiel: physikalische Begriffe wie Geschwindigkeit Operationale Definition: Ermöglicht Erfassung der abhängigen Variable Beispiel: Länge (Metermass) Beispiel: Intelligenz

13 Analytische und Operationale Definition von Intelligenz Wechsler: Die zusammengesetzte globale Fähigkeit des Individuums, zweckvoll zu handeln, vernünftig zu denken und sich mit seiner Umgebung wirkungsvoll auseinanderzusetzten.... wie Allgemeines Wissen, rechnerisches Denken, räumliches Vorstellungsvermögen Aufzählung von zehn Einzelleistungen ergeben 10 Aufgaben, die im Intelligenztest HAWIE zusammengefasst sind Intelligenz ist das, was der HAWIE misst

14 Inhaltliche und Operationale Hypothesen Theorie semantischer Netze (mentale Repräsentation) Hypothese: semantisch zusammenhängende Begriffe können besser erinnert werden Operationale Hypothese: Experimentalgruppe erhält 20 semantisch verwandte Begriffe, Kontrollgruppe erhält 20 unzusammenhängede Begriffe (gleicher Komplexität) Hypothese H 1 : x E > x K

15 Deskriptive Statistik Beschreibung der Daten in tabellarischer oder graphischer Form Beschreibung der Stichprobe durch Maße der zentralen Tendenz und Dispersionsmaße Modalwert: Am häufigsten vorkommender Wert Median: Wert, von dem alle anderen Werte im Durchschnitt am wenigsten abweichen arithmetisches Mittel: n i=1 x = x i und Dispersionsmaße Varianz n s 2 i=1 = (x i x) 2 n Standardabweichung s = s 2 Aggregierende Verfahren/Klassifikation (Clusteranalysen, Hauptkomponentenanalysen, MDS) n

16 Skalenniveau Das Skalenniveau der abhängigen Variablen bedingt, welche deskriptiven Maße und welche inferenzstatistischen Verfahren sinnvoll anwendbar sind Nominalskala (Gleichheit/Verschiedenheit): Automarken, Textverarbeitungssysteme Ordinalskala (Größer/Kleiner): Windstärken Intervallskala (Gleichheit von Differenzen): Temperatur Verhältnisskala (Gleichheit von Verhältnissen): Länge, Gewicht

17 Inferenzstatistik Generalisierung von den Ergebnissen einer Stichprobe auf die Grundgesamtheit mit einer gewissen Irrtumswahrscheinlichkeit Grundlogik: Untersuchte Hypothese (z.b. Unterschiedshypothese): Alternativhypothese kontrastiert mit Nullhypothese (z.b. Es besteht kein Unterschied zwischen Experimental- und Kontrollgruppe) Test, ob die Nullhypothese mit einer bestimmten Wahrscheinlichkeit in der Grundgesamtheit gelten kann angesichts der in der Stichprobe aufgetretenen Ergebnisse. (z.b. Test, ob die Unterschiede bzgl. der abhängigen Variable signifikant sind) Signifikanz: Mit einer Irrtumswahrscheinlichkeit (typischerweise von 5 oder 1 Prozent) kann geschlossen werden, dass die Nullhypothese in der Grundgesamtheit nicht gilt Analyse bezüglich einer Wahrscheinlichkeitsverteilung (z.b. t-verteilung, F-Verteilung)

18 Annahme/Ablehung einer Hypothese H 1 : x 1 > x 2 H 0 : x 1 x 2 = 0 0 t

19 Zwei Arten von Fehler In Population H 0 H 1 In Stichprobe H 0 korrekt β Fehler H 1 α Fehler Korrekt Signifikanz bzgl. des α-fehlers!

20 Beispiel Bier als beliebte Nahrung von Nacktschnecken? Stichprobe: 30 Nacktschnecken UV: Wasser vs. Herrenpils AV: Geschwindigkeit von Start bis Erreichen des Bieres je 15 Schnecken werden zufällig auf Kontroll- oder Experimentalgruppe verteilt Operationale Hypothese, Nullhypothese, Deskriptive Statistik, Inferenzstatistik, Interpretation Diskussion alternativer Untersuchungsdesigns