Studiendesign/ Evaluierungsdesign

Transkript

1 Jennifer Ziegert Studiendesign/ Evaluierungsdesign Praxisprojekt: Nutzerorientierte Evaluierung von Visualisierungen in Daffodil mittels Eyetracker

2 Warum Studien /Evaluierungsdesign Das Design einer Untersuchung ist anzulegen, um einen gezielten und kontrollierten Vergleich der empirisch feststellbaren Sachverhalten mit den Hypothesen ableitbaren Behauptungen über die Realität zumachen Evaluierung = Bewertung, Analyse vom Projekt

3 Inhalt Fragestellung erarbeiten Literaturstudium Hypothesen formulieren Statistische Methoden Planen Untersuchungen durchführen Ergebnisse interpretieren Publizieren

4 Fragestellung Klare Fragestellung erarbeiten, Begriffe definieren: Unumgänglich für Planung, Durchführung und Interpretation. Schlampige (unklare) Fragestellung rächt sich, die Statistik kann Fehler bei Fragestellung, Studiendesign oder Methodenwahl nicht im nachhinein gutmachen.

5 Hypothese(n) formulieren Hypothese(n) formulieren - Hypothesen sind (begründete) Vermutungen über Sachverhalte. Sie werden auf dem Boden vorhandenen 'Wissens' aufgestellt. Es muss klar sein, was man unter welchen Umständen und warum erwartet, und wie diese Erwartungen allenfalls widerlegt werden können (Falsifizierbarkeitskriterium für naturwissenschaftliches Vorgehen: Jede Behauptung muss im Prinzip durch Beobachtung / Experimente widerlegbar sein).

6 Studienarten Es gibt beschreibende, analytische und Experimentelle Studien, die für unser Projekt zur Anwendung kommen sollten. Für die verschiednen Studiendesigns gibt es Vor und Nachteile. Dazu später mehr. Es wird zwischen beschreibenen (deskriptiven), analytische Und experimentellen Studien unterschieden

7 Studienarten Studiendesign Deskriptive Studien Analytische Studien Experimentelle Studien Querschnitt Studien Korrelationsstudien Fall- Kontroll- Studien Kohortenstudien Randomisierte Studien

8 Bias Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert des Schätzfehlers.In der Praxis kann eine Verzerrung zwei Ursachen haben:einen systematischen Fehler, also ein nicht zufälliger Messfehler in der Apparatur, oder einen zufälligen Fehler, dessen Erwartungswert ungleich 0 ist. Zufällige Fehler können aus zufälligen Messfehlern resultieren, aber auch Fehlinterpretationen des Modells als Ursache haben. Potenzielle Einflussfaktoren wie systematische Verzerrung (Bias) und Störgrößen(Confounder) müssen bei der Planung einer Studie berücksichtigt werden.

9 Bias Bias können bei der Auswahl der Probanden (Studenten) entstehen, diese nennt man dann Auswahl Bias oder Selektions Bias. Zudem gibt es noch so genannte Beobachtung Bias, die bei der Datenerhebung auftreten können.

10 Grundgesamtheit&Stichprobe Totalerhebung in der Praxis unmöglich Stichprobe: Systematisch geleitete Entnahme von Ereignissen oder Merkmalen der Grundgesamtheit Größe der Stichprobe entscheidet übe die Qualität Ergebnisse von Erhebung lassen Aussagen über die Grundgesamtheit zu Je größer die Stichprobe desto eher kann Repräsentativität erreicht werden

11 Deskriptive&analytische Studien Beobachtende Studienform Es wird nicht aktiv ins Geschehen eingegriffen beschreibende Statistik sie vermittelt Verfahren zur übersichtlichen Darstellung von Untersuchungsergebnissen (Mittelwert, Streumaße) Mittels beschreibender Statistik werden Häufigkeitsverteilungen ermittelt, Kenngrößen für die Streuung von Merkmalsausprägungen angegeben z.b. als Standardabweichung um den Mittelwert. Der Zusammenhang von Merkmalen und die Abhängigkeit eines Merkmals von einer Einflussgrösse (Regression)werden dargestellt.

12 Experimentelle Studien Es wird aktiv eingegriffen Parameter systematisch verändert und beeinflusst Schätz und Testverfahren, ermöglicht die Prüfung von Hypothesen durch statistische Tests.

13 Statistische Methoden Korrelative Verfahren Berechnung der Parameter ;Welche Skalenniveaus haben die Variablen:Norminal, Ordinal, Intervall, Ratioskala Kausalität vs Korrelation Nullhypothese Signifikanz

14 Nullhypothese Alles ist zufällig (nicht signifikant) Abweichung nur durch fehlerbehaftete Stichprobenentnahme Mittwerttest überprüft dies Als (oft zu falsifizierende) Nullhypothese definiert man im allgemeinen die Vermutung, dass zwischen zwei zu vergleichenden Stichproben =Teile der Gesamtheit, kein Unterschied besteht. Die Wahrscheinlichkeit, dass diese Vermutung zutrifft, ist umso kleiner, je eindeutiger der Unterschied ist.

15 Signifikanz Wenn diese Wahrscheinlichkeit unter 5% liegt, ist man von einem realen Effekt überzeugt und spricht von einem signifikanten Ergebnis.Die Wahl dieses 'Schwellenwerts' ist willkürlich; je niedriger der p Wert, desto überzeugender ist das Ergebnis. Wahrscheinlichkeit gering, dass Unterschiede oder Zusammenhänge durch Zufall zustande gekommen sind Wahrscheinlichkeit, dass H0 zu unrecht verworfen wird : < 5%

16 Regressionsanalyse Analyse von Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen Einfache Regressionsanalyse Y=f(x1) Multible Regressionsanalyse Y=f(x1,x2,x3,...xj...xJ) Die Variationen der Variable Y lassen sich nie vollständig durch eine Begrenzte Menge von einer unabhängigen Variablen erklären Es gibt hier auch immer Störgrößen (Bias)

17 Faktorenanalyse Reduzierung der Variablen Übersichtlichkeit Bessere Interpretationsmöglichkeiten Analyse von unabhängigen Variablen Durch untersuchen eine der Korrelation untereinander werden diese zu sinnvollen Faktoren gruppiert

18 Diskriminanzanalyse Die Diskriminanzanalyse stellt Unterschiede zwischen Gruppen fest Anhand welcher man dann für zukünftige Befragte versucht eine Vorhersage für die Gruppenzugehörigkeit zu machen

19 Untersuchung durchführen Dabei muss klar sein, welche Methoden wann, wie, warum und von wem verwendet werden, um Fehlerquellen auszuweichen; unter welchen Umständen Beobachtungen / Probanden zugelassen (Einschlußkriterien) oder ausgeklammert werden (Ausschlußkriterien); wie im Falle von Störungen zu verfahren ist (z.b.bias)

20 Planen Planung der Beobachtungen / Experimente - Ziel der Beobachtungen ist die Beantwortung der gestellten Frage(n) durch Verwerfen oder Akzeptieren der aufgestellten Hypothese(n) mittels statistischer Verfahren. So kann eine Untersuchung rein beobachtend sein, z.b. retrospektiv den Einfluß einer bestimmten Maßnahme alleine nachzuvollziehen versuchen (deskriptive Studie) oder im Vergleich zum Verlauf in einer Kontrollgruppe (retrospektive Studie, sie kann fragen, was gegenwärtig vorgeht (Querschnittstudie), oder was - im Vergleich zu einer Kontrollgruppe - unter Einwirkung einer Maßnahme geschehen wird (prospektive Studie,). Oder die Studie ist experimentell, möglichst kontrolliert. Bei der Auswahl der Studienteilnehmer (Probanden) muß sichergestellt werden, daß keine systematischen Verzerrungen (bias) unterlaufen Fragebögen (Validität) Logische Regression

21 Ergebnisse interpretieren Durch biometrische Verfahren. Die Statistik.Kontrollierte Studien sollen die Frage beantworten, ob signifikante(u-und t-tests) Effekte bestehen (=Unterschiede im entsprechenden Merkmal ausreichend wahrscheinlich).

22 Schlussfolgerungen ziehen was bedeuten die Ergebnisse für die praktische Anwendung? Sind sie relevant / repräsentativ für eine andere Teil- bzw. für die Gesamtpopulation? Wenn ja, unter welchen (z.b. zeitlichen) Bedingungen? Sind die Ergebnisse statistisch signifikant?

23 Publizieren Die Publikation wird wiederum von anderen Forschern zur Formulierung ihrer Studien mit herangezogen. Ist eine klare Fragestellung und Zielsetzung erkennbar? Wird der Aufbau der Studie den Zielsetzungen gerecht? Sind die verwendeten Methoden und Maßnahmen adäquat, eindeutig und ausreichend dargestellt? Welche statistischen Verfahren wurden angewandt? Sind die Ergebnisse klar und ausreichend dargestellt? Werden angemessene Schlussfolgerungen gezogen? Ist die zitierte Literatur adäquat und ausreichend? In welcher Zeitschrift ist die Arbeit erschienen?

24 Literatur Projektdurchführung und Studiendesign, Prof.Dr.Thomas Schäfer,2003 Empirische Sozialforschung, Helmut Kromrey,2006 Deskreptive Statistik, Skript Vorlesung Prof. Kern, 2007 Studiendesign, Helmut Hinghofer Szalkay,