Moderne Testtheorie. Manuskript zur Vorlesung. Autor: Siegfried Macho

Transkript

1 Moderne Testtheore Manuskrpt zur Vorlesung Autor: Segfred Macho Frbourg, 05

2 Inhaltsverzechns Inhaltsverzechns. Enführung: Testtheore und Testmodelle. Was st Testtheore und wozu dent se?. Vorgehenswese der modernen Testtheore 3.3 Modellerung von Messprozessen: Messmodelle 5.3. Syntax und Semantk von Messmodellen.3. Prüfung von Messmodellen Prüfung von Messmodellen mt Hlfe von nhaltlchen Überlegungen Prüfung von Messmodellen anhand von emprschen Krteren Komplextät und Fehlerhaftgket von Messmodellen.4 Übungen zu Kaptel 6. Konzepte, Prnzpen und Methoden der klassschen Testtheore 7. Messmodelle als Kausalmodelle 8. De Messmodelle der klassschen Testtheore 38.. Das grundlegende Modell der klassschen Testtheore 38.. Varatonen klassscher Testmodelle: Das kongenersche, (tau) äquvalentes und parallele Testmodell 4... Das Modell kongenerscher Tests 4... Das Modell (tau) äquvalenter Tests Das Modell paralleler Tests Illustraton der dre Testmodelle 48.3 Relabltät: Konzept und Schätzung Das Konzept der Relabltät Tradtonelle Ansätze zur Messung der Relabltät von Tests Probleme und Grenzen des tradtonellen Ansatzes Relabltät der Summe von Messungen De Berechnung der Relabltät ener Summe von Testwerten mt Hlfe lnearer Strukturglechungsmodelle Über- und Unterschätzung der wahren Relabltät durch Koeffzent Ene möglche Fehlnterpretaton: Koeffzent als Homogentätskoeffzent 74

3 Inhaltsverzechns.3.8 Fehlende Monotoneegenschaften der Relabltät der Summe von Testwerten Maxmale Relabltät und de optmale Gewchtung von Testtems 80.4 Valdtät: Konzept und Schätzung Klasssche Konzeptonen von Valdtät Klasssche Ansätze zur Erfassung der Valdtät Messung der Krterumsvaldtät Ermttlung der Konstruktvaldtät Erfassung der Valdtät von Tests m Kontext latenter Varablenmodelle Schätzung der Valdtät enes Tests n latenten Varablenmodellen Der Ladungskoeffzent als Mass der Valdtät Endeutge Valdtätsvaranz 95.5 Das Konzept der Trennschärfe enes Tests Der Abschwächungseffekt und dessen Korrektur 0.6. Messfehler und de Aggregaton von Daten De Grenzen der Abschwächungskorrektur Verwendung der optmal gewchteten Summen 06.7 Übungen zur Kaptel Lteratur 7

4 Kaptel :. Enführung: Testtheore und Testmodelle. Enführung: Testtheore und Testmodelle In desem enführenden Kaptel wrd zuerst ene kurze Charakterserung der modernen psychologschen Testtheore gegeben, ndem hre Zele und de Vorgehenswese besprochen werden. Herbe erfolgt ene Abgrenzung zur älteren Testtheore. Im zweten Tel erfolgt dann ene allgemene Charakterserung des Konzepts des Mess- bzw. Testmodells, welches nnerhalb der modernen Testtheore von zentraler Bedeutung st.. Was st Testtheore und wozu dent se? Im Folgenden wollen wr uns der Frage wdmen, worn de Testtheore besteht und was se lesten soll. Herzu begnnen wr mt der Frage nach dem Gegenstandsberech der psychologschen Testtheore. Her st ene erste sehr allgemene Spezfkaton: Konzept -: Gegenstandsberech der Psychologsche Testtheore (Grobe Spezfkaton): De psychologsche Testtheore beschäftgt sch mt Verfahren zur Messung mentaler Konstrukte. De gegebene Spezfkaton des Gegenstandsberechs der Testtheore bedarf der näheren Erläuterung:. Unter mentalen Konstrukten versteht man psychologsche Enttäten, de ncht drekt beobachtbar snd, we z.b. Intellgenz und Persönlchket. Wr nehmen an, dass sch dese Konstrukte auf real exsterende Dnge bezehen, welche für das Verhalten ener Person relevant snd. Bemerkung -: Mehr und wenger snnvolle mentale Konstrukte: In der Psychologe wurden zahlreche Konstrukte vorgeschlagen, welche snnvoll snd. En Bespel für en derartges Konstukt st de allgemene Intellgenz (oft auch mt g = general ntellgence abgekürzt). Deses Konstrukt hat sch als snnvoll erwesen, da es en wchtger Prädktor für Erfolg n den verschedensten Lebensberechen darstellt (Herrnsten & Murray, 996). Es wurden jedoch auch mentale Konstrukte postulert, deren Snn zwefelhaft st. Bespele herfür snd das Konstrukt der sozalen Intellgenz oder das Konstrukt (bzw. de Konstrukte) der multplen Intellgenzen. Für dese Konstrukte konnte bsher ncht erwesen werden, dass es sch um egenständge Konstrukte handelt (vgl. Rost, 03, Kaptel 3).. Um dese mentalen Konstrukte adäquat messen zu können, st es notwendg, de Struktur deser Konstrukte zu kennen, sowe deren Bezehung zu anderen verwandten Konstrukten. Aus desem Grun-

5 Kaptel :. Enführung: Testtheore und Testmodelle de snd Methoden zur Analyse der Struktur mentaler Konstrukte en wchtger Bestandtel der Testtheore. Ene deser Methoden zur Analyse der Struktur mentaler Konstrukte, de konfrmatve Faktorenanalyse (CFA = confrmatory factor analyss) wrd n der folgenden Darstellung ene zentrale Rolle spelen. 3. Wenn man von Verfahren zur Messung von mentalen Konstrukten we Intellgenz und Persönlchket sprcht, so denken de mesten Personen zuerst an konkrete»messgeräte«we Tests, Fragebogen oder andere Methoden zur Messung von Verhalten (z.b. Tests der Reaktonszet be Wahlaufgaben). En wchtges Zel der Testtheore besteht daher n der Bestmmung der Güte deser Messgeräte. Das Zel ener Messungen (Anwendung der Messgeräte) besteht darn zu bestmmen, welche Ausprägung en Indvduum (bzw. ene Gruppe von Indvduen) auf enem mentalen Konstrukt habt. Bespelswese dent en Intellgenztest zur Messung der Ausprägungen auf den verschedener Komponenten des mentalen Konstrukts der Intellgenz. De Beurtelung der Güte ener psychologschen Messnstruments besteht daher darn zu ermtteln, we gut das Instrument n der Lage st, das mentale Konstrukt zu messen. 4. Zur Beurtelung der Güte enes Messnstruments snd zwe Aspekte von Bedeutung: (a) We beenflusst das zu messende Konstrukt de Messung? Falls das zu messende Konstrukt de Messung ncht beenflusst, so st das Messnstrument wertlos. Würde z.b. en Intellgenztest für hoch ntellgente Personen den glechen Messwert lefern we für wenger ntellgente, so schent das Konstrukt kenen Enfluss auf das Testergebns zu haben und der Test st wertlos m Hnblck auf de Messung von Intellgenz. (b) Welche anderen Grössen haben enen Enfluss auf das Messergebns? Enersets st es möglch, dass en Test von anderen Konstrukten als dem zu erfassenden Zelkonstrukt mt beenflusst wrd. Des bedeutet, dass der Test auch deses Konstrukt zumndest telwese mt erfasst. So erfassen Tests zur Messung von emotonaler Intellgenz zu enem ncht unerheblchen Tel verbale Intellgenz (sehe z.b. Schulze et al., 007). Neben dem Enfluss anderer Konstrukte gbt es noch wetere möglche Enflussfaktoren, welche den Test beenflussen können, we z.b. Ablenkungen oder der aktuelle körperlche und gestge Zustand. En wchtger ncht zu unterschätzender Aspekt st de gegensetge Beenflussung von Testtems. Dese Ausführungen geben Anlass zu ener verbesserten Spezfkaton des Gegenstandsbereches der psychologschen Testtheore:

6 Kaptel :. Enführung: Testtheore und Testmodelle 3 Konzept -: Gegenstandsberech der Psychologsche Testtheore (Verfenerte Spezfkaton): De psychologsche Testtheore untersucht psychologsche Testverfahren. Dese Untersuchung umfasst: De Analyse der zu messenden mentalen Konstrukte und deren Bezehungen; Den Enfluss deser Konstrukte auf das Messnstrument; Den Enfluss anderer gemessener oder ungemessener Grössen auf den Messprozess. Aufgrund deser Analyse lassen sch Krteren bzw. Maße für de Güte von Tests spezfzeren. De her gegebene Spezfkaton trfft auf de moderne Testtheore zu, welche den Schwerpunkt deser Abhandlung bldet. Für de alte tradtonelle Testtheore trfft de gegebene Spezfkaton n gerngerem Maße zu. Was unterschedet nun de moderne von der alten Testtheore? Zur Beantwortung deser Frage untersuchen wr de Vorgehenswese der modernen Testtheore.. Vorgehenswese der modernen Testtheore De Vorgehenswese der modernen Testtheore lässt sch we folgt zusammenfassen: Methode -: Vorgehenswese der modernen Testtheore: Das Vorgehen der modernen Testtheore besteht n dre grundlegenden Schrtten:. Spezfkaton enes Messmodells / Testmodells: Das Testmodell enthält alle Annahmen über de relevanten Faktoren, welche enen Enfluss auf das Testergebns ausüben.. Testung der Gültgket der Annahmen des Testmodells: Es wrd getestet, ob de Annahmen des Modells durch de vorlegenden Daten ncht wderlegt werden. 3. Beurtelung von Charakterstken von Tests aufgrund des Testmodells: Falls das Testmodell de Daten ausrechend gut beschrebt, so werden Charakterstka des Tests, we de verschedenen Aspekte der Güte des Tests ermttelt. De n Methode - beschrebene Vorgehenswese stellt enen Idealfall dar. Manchmal werden nämlch ncht alle dre Schrtte durchgeführt. So st es z.b. ncht mmer möglch, de Gültgket der Modellannahmen zu testen (vgl. Bsp.- auf Sete 6, sowe Bsp.- auf Sete 9). Man beachte, dass de dargestellte Vorgehenswese prnzpell für de Analyse enes jedes dagnostschen Verfahrens angewendet werden kann. Des trfft z.b. auch auf neuropsychologsche Messverfahren

7 Kaptel :. Enführung: Testtheore und Testmodelle 4 (EEG, fmri, etc.) zu. Ene Beurtelung der Güte deser Verfahren sollte dealerwese auf enem Testmodell beruhen, welches de Annahmen über alle relevanten Enflussfaktoren, welche das Testergebns beenflussen können (we z.b. de aktuelle Gehrnaktvtät, unbeabschtgte Bewegungen, allgemene physologsche Parameter etc.) zusammenfasst. We unterschedet sch nun de ältere Testtheore von der neueren? Im Wesentlchen gbt es Abwechungen n dre Berechen:. Auch n der älteren Testtheore gbt es Modelle, welche de möglchen Enflussfaktoren modelleren. Dese Modelle snd jedoch vel enfacher als de n der modernen Testtheore betrachteten.. De Gültgket der Modelle wrd mest ncht statstsch getestet. Das Vorgehen st mest exploratv, d.h. es werden kene theoretschen Annahmen bezüglch der Struktur der mentalen Konstrukte und der Auswrkungen auf de Tests gemacht, sondern de Struktur der Konstrukte wrd aus den Daten erschlossen. De zentrale Methode bldet her de exploratve Faktorenanalyse (EFA) oder de Hauptkomponentenanalyse (PCA = prncple component analyss). Bemerkung -: EFA und PCA: Obwohl EFA und PCA n velen Fällen ähnlche Ergebnsse lefern, stellt de PCA m Gegensatz zur EFA ken snnvolles Testmodell zur Analyse von mentalen Konstrukten dar, da dese m Modell ncht adäquat repräsentert werden können. Was de Verwendung der EFA betrfft, so wrd von Benutzern m psychologschen Berech mest de so genannte Hauptfaktorenanalyse angewendet. Da es sch her um ken statstsches Verfahren handelt, exstert auch ken statstscher Test zur Prüfung der Gültgket. Es exstert jedoch ene statstsch valde Verson der EFA, de so genannte Maxmum-Lkelhood Faktorenanalyse, welche ene statstsche Prüfung ermöglcht [Wr werden de EFA n Kaptel 3 unter Verwendung enes klassschen Datensatzes mt den Ergebnsse der statstsche»sauberen«cfa (konfrmatven Faktorenanalyse) verglechen]. 3. De grösste Dfferenz zwschen älterer und moderner Testtheore ergbt sch jedoch n der aktuellen Anwendung. In der aktuellen Praxs werden m Rahmen der alten Theore Koeffzenten aus den Daten berechnet, ohne de gerngste Beachtung von Testmodellen [Das klasssche Bespel st de Berechnung von Koeffzent (vgl. Abschntt.3.4).]. Herbe wrd auch ncht geprüft, ob de Voraussetzungen für de korrekte Verwendung der Koeffzenten erfüllt snd. Wr werden m Folgenden de Analyse von mentalen Tests unter Verwendung der modernen Testtheore vornehmen. Des betet ene Rehe

8 Kaptel :. Enführung: Testtheore und Testmodelle 5 von Vortelen, was de Vermttlung der relevanten Konzepte und Methoden betrfft: Alle Annahmen snd m Testmodell zusammengefasst und daher vollständg offen und ensehbar. Vele Konstrukte, we z.b. verschedene Gütekrteren, snd enfacher zu verstehen. De Voraussetzungen für de Gültgket verschedener Koeffzenten kann statstsch geprüft werden. Zusätzlch werden wr auch de Vorgehenswese der älteren Testtheore betrachten und zwar aus der Perspektve der modernen Konzepton. Des ermöglcht uns ene Abschätzung der Unzulänglchketen und der Grenzen der Anwendbarket von ersterer. Bemerkung -3: Zur geschchtlche Entwcklung der Testtheore: De her vorgetragene Krtk der älteren Testtheore darf ncht als ene Krtk an deren Entwcklern we z.b. Lee Cronbach (96-00) oder Frederc Lord (9-000) verstanden werden. De moderne Testtheore verdankt hre Entwcklung wesentlch Karl Jöreskog (935-). Deser hatte mt der Entwcklung von lnearen Strukturglechungsmodellen und enem zugehörgen Computerprogramm grossen Antel an der Entwcklung der modernen Testtheore. In enem klassschen Aufsatz zegte Jöreskog (97), we de klassschen Testmodelle durch lneare Strukturglechungsmodelle repräsentert werden können (sehe Abschntt.). Nach deser Darstellung der Zele und Vorgehenswese der modernen Testtheore soll nun anhand konkreter Bespele das Konzept des Messmodells bzw. Testmodells (sehe Notatonskonventon -) verdeutlcht werden..3 Modellerung von Messprozessen: Messmodelle Das Zel deses Abschnttes besteht darn, verschedene Aspekte des Konzepts des Messmodells anhand enfacher Bespele zu llustreren. Notatonskonventon -: Messmodell vs. Testmodell De Begrffe Messmodell und Testmodell werden n der gegenwärtgen Darstellung synonym verwendet. Wr betrachten en Messmodell als ene Repräsentaton der Messstuaton, welche de kausalen Enflussgrössen, welche de Messung beenflussen, benhaltet. Des bedeutet, dass das Messmodell alle Annahmen über de n der Messung nvolverten Enttäten und deren Bezehungen benhaltet (Ene präzse Defnton wrd später präsentert, vgl. Konzept -, auf Sete 8). Betrachten wr herzu en enfaches Bespel.

9 Kaptel :. Enführung: Testtheore und Testmodelle 6 Bsp.-: Randomserte Response-Technk: Problemstellung: Lara, Garca, Ellertson, Camln & Suarez (006) untersuchten den Antel von mexkanschen Frauen zwschen 5 und 55 Jahren, de schon enmal enen Schwangerschaftsunterbruch durchgeführt haben. Das Problem ener derartgen Untersuchung besteht darn, de völlge Anonymtät der Befragten zu gewährlesten, da en Schwangerschaftsabbruch n Mexko strafbar st. Zu desem Zweck kann man sch der randomserten Response-Technk bedenen. Herbe wrd de krtsche Frage zusammen mt ener anderen unkrtschen Frage präsentert. Entschedend st, dass de Frage, welche zu beantworten st, mt enem Zufallsverfahren ausgewählt wrd und dass de Antele der verschedenen Antwortmöglchketen auf de unkrtsche Frage bekannt snd. Im konkreten Fall war de krtsche Frage: Haben Se schon enmal de Schwangerschaft unterbrochen? De unkrtsche Frage lautete: Wurden Se m Aprl geboren? Das Auswahlverfahren war derart, dass jede der beden Fragen de gleche Wahrschenlchket (von ½) aufwes, gewählt zu werden und nur de befragte Person wusste, welche Frage wrklch ausgewählt wurde. ½ Krtsche Frage Abtrebung? -»JaNen«N = 377 ½ Unkrtsche Frage: Geboren m Aprl? / /»JaNen«Abb. -: Messmodell zur Schätzung der Antele Schwangerschaftsabbrüche für de Daten von Lara et al. (004). Aufgrund der vorlegenden Stuaton lässt sch aus dem Antel der gegebenen»ja«-antworten der Antel der Schwangerschaftsunterbrüche schätzen. Von 377 allenstehenden Frauen antworteten 56 mt»ja«(lara et al., 006: Tabelle auf Sete 89). Heraus lässt sch mt Hlfe des Messmodells von Abb. - der Prozentsatz der Schwangerschaftsunterbrüchen schätzen.

10 Kaptel :. Enführung: Testtheore und Testmodelle 7 Notatonskonventon -: In Abb. - snd de beobachtbaren Grössen / Zustände durch Rechtecke repräsentert und de unbeachteten (oder latenten) Grössen durch Ellpsen (So kann de Untersuchern ncht beobachten, ob de krtsche oder de unkrtsche Frage gewählt wurde). Des entsprcht ener allgemenen Konventon, de auch n alle folgenden Darstellungen engehalten wrd. De grundlegenden Annahmen des Messmodells: Das Messmodell von Abb. - basert auf den folgenden Annahmen: De beden Fragen werden mt ener Wahrschenlchket von ½ ausgewählt. De Wahrschenlchket, m Monat Aprl geboren zu werden beträgt /. Falls de krtsche Frage gewählt wurde, so antwortet de Person wahrhetsgemäss. Es st wchtg zu erkennen, dass es sch her um Annahmen handelt, de mehr oder wenger gut erfüllt sen können. De Nützlchket des Modells hängt davon ab, we gut de Annahmen erfüllt snd. Im Allgemenen kann man ncht erwarten, dass en Modell alle Annahmen exakt erfüllt. Jedoch en Modell, welches de Annahmen nur annähernd erfüllt, kann durchaus nützlch sen (sehe herzu de Ausführungen n Kaptel.3.3). Der Parameter : Das Modell enthält de unbekannte Grösse. Herbe handelt es sch um enen so genannten (Populatons-) Parameter (sehe herzu Konzept -3 und Konzept -4, sowe Bsp. -3). Statstsche Parameter kennzechnen so genannte Grundgesamtheten oder Populatonen. Genauer: Parameter kennzechnen de Vertelung von Merkmalen ener Populaton (Konzept -4). Se werden daher auch Kennwerte genannt. Alle m Folgenden zu besprechenden Messmodelle enthalten Parameter. Dese Parameter snd de zentralen Grössen enes Messmodells, denn se repräsenteren m Wesentlchen de Messung. Im aktuellen Fall repräsentert den Antel der ledgen Frauen, de ene Schwangerschaftsunterbrechung durchführten. Deser Wert soll mt Hlfe des Messmodells geschätzt werden. Herbe geht man we folgt vor:. Identfzere alle Pfade durch den Baum, de zu ener»ja«-antwort führen. Im aktuellen Fall gbt es Pfade.

11 Kaptel :. Enführung: Testtheore und Testmodelle 8. Ermttle für jeden Pfad de Wahrschenlchket des Outcomes durch Multplkaton der Wahrschenlchketen auf den enzelnen Pfelen des Pfades. Im aktuellen Fall: Pfad : ; Pfad :. 3. Addere de Wahrschenlchketen aller Pfade. Des ergbt de Wahrschenlchket ener»ja«-antwort. Im aktuellen Fall: P " Ja". 4. Setze de vorhergesagte Wahrschenlchket mt der beobachteten relatven Häufgket glech: Im aktuellen Fall: Berechne aus deser Glechung de Schätzung des gewünschten Werts: Im aktuellen Fall: 56 ˆ Somt ergbt sch als Schätzung en Wert von.4%. Fassen wr nochmals de wesentlchen Aspekte des Bespels zusammen:. Um de Anonymtät der Befragten zu gewährlesten wurde ene Vorgehenswese gewählt, welches es ncht ermöglcht, de gesuchte Wahrschenlchket drekt (d.h. als relatve Häufgket) zu ermtteln.. Zur Schätzung der gewünschten Wahrschenlchket wurde en Modell entworfen, welches de Meßstuaton repräsentert. 3. Das Modell benhaltet Annahmen (z.b. dass de befragte Person tatsächlch ehrlch antwortet, wenn der Zufallsprozess de relevante Frage auswählt. 4. De Annahmen des Modells snd ncht völlg korrekt, denn de Vertelung der Geburten auf de Monate st ncht perfekt /. Dennoch snd de Annahmen genau genug um das Modell als en nützlches Modell auszuwesen. 5. De Annahmen des Modells können m aktuellen Fall ncht getestet werden. 6. Der geschätzte Wert des Parameters st nur dann korrekt, wenn de Annahmen, welche n das Modell engehen korrekt snd. Damt der Wert des Parameters engermassen korrekt geschätzt werden kann, muss das Modell annähernd korrekt sen.

12 Kaptel :. Enführung: Testtheore und Testmodelle 9 De Vorgehenswese n Bsp.- demonstrert berets de allgemene Methode. Betrachten wr nun en weteres Bespel, welches ene nähere Bezehung zum Problem der mentalen Testung aufwest. Bsp.-: En enfaches Prozessbaummodell zur Messung von Wssens- und Rateprozessen: Gegeben: En Menge von Testtems enes Lestungstests mt jewels zwe Antwortmöglchketen, ene davon se wahr, de andere falsch. Zelsetzung: Messung des Wssens der Person unter Berückschtgung der Möglchket des Ratens ener korrekten Antwort. De grundlegenden Annahmen des Messmodells: Das Messmodell n Abb. - macht folgende Annahmen:. Be Präsentaton enes Testtems st der Proband mt Wahrschenlchket n der Lage, das zur Lösung relevante Wssen abzurufen (oberer Zweg n Abb. -). In desem Fall erfolgt de korrekte Antwort mt Wahrschenlchket.. Mt Wahrschenlchket st das Wssen ncht abrufbar (entweder wel es ncht vorhanden st oder wel ncht darauf zugegrffen werden kann). In desem Fall rät de Person mt Wahrschenlchket von 0.5 de korrekte Antwort. Relevantes Wssen abrufbar.0 korrekt Testtem Relevantes Wssen ncht abrufbar korrekt falsch Abb. -: Prozessbaum-Modell zur Messung von relevantem Wssen und Raten. Der Parameter : Im aktuellen Bespel repräsentert der unbekannte Parameter de Wahrschenlchket, dass ene Zelperson be Vorlegen enes Testtems aus ener Populaton (ene Pool) von möglchen Testtems das relevante Wssen zur Lösung abrufen kann. De betrachtete Populaton besteht daher aus Testtems, welche alle (annähernd) den glechen Schwergketsgrad aufwesen (= Itempool).

13 Kaptel :. Enführung: Testtheore und Testmodelle 0 Bespelswese könnte der Itempool aus ene Menge von multple-choce Fragen mt je zwe Wahlmöglchketen zu enem Fachgebet bestehen. Aus desem Pool von Fragen, wrd zufällg ene Stchprobe gewählt und dem Probanden vorgelegt. We oben erwähnt, repräsenteren de Parameter den zentralen Aspekt ener Messung. Für das aktuelle Bespel st des lecht nachzuvollzehen, denn der Prüfer st daran nteressert, we vel der Proband wess. Der Antel korrekter Antworten st offenschtlch ken deales Maß für das Wssen, da n deser Gösse de Antele von Wssen und Raten vermengt snd. In desem Zusammenhang sprcht man auch von renen Prozessmaßen. Herbe handelt es sch um Maße welche enen Prozess oder en Konstrukt»gerengt» von anderen Enflüssen und Prozessen repräsenteren. So kann man falls das Modell korrekt st als renes Maß des Wssens betrachten. Der beobachtete Prozentsatz korrekter Antworten vermengt Wssen und Raten, und st daher ken renes Maß des Wssens ener Person. De Schätzung des Wertes von erfolgt auf de gleche Wese we n Bsp.-:. Ermttlung der Modellvorhersage der Wahrschenlchket ener korrekten Antwort: P korrekt. Glechsetzung der Vorhersage mt der aktuell beobachteten relatven Häufgket p: p 3. Auflösung der Glechung nach ergbt: p Nehmen wr an, en Prüflng habe 60% der Fragen korrekt beantwortet, so ergbt sch als Schätzung hres Wssens:. 0.. Des bedeutet (gemäss Modell): Der Prüflng beherrscht 0% des Stoffes. Auch deses Modell macht Annahmen, de sch ncht drekt prüfen lassen. De krtsche und n den mesten Fällen unzutreffende Annahme betrfft den Rateprozess m Falle ungenügenden Wssens: Es wrd angenommen, dass n desem Fall ene renes Raten erfolgt. Bemerkung -4: Hochschwellenmodelle: Das Prozessbaum-Modell n Abb. - wrd auch als Hochschwellenmodell bezechnet. Des hat folgenden Grund:

14 Kaptel :. Enführung: Testtheore und Testmodelle Das Modell nmmt an, dass be Überschreten ener Schwelle, mmer ene korrekte Antwort erfolgt, während be Nchtüberschretung en renes Raten durchgeführt werden muss. Ene Schwelle wrd überschrtten, wenn genügend Wssen abgerufen werden kann (oberer Zweg des Modells). Es st bekannt, dass Hochschwellenmodelle n der her gegebenen Form falsch snd. Es gbt nämlch kene Schwellen (auch ncht n der Wahrnehmung), sondern de Lestung nmmt m Allgemenen kontnuerlch mt sch verschlechternden Bedngungen ab. Im aktuellen Fall bedeutet des, dass trotz fehlendem vollständgen Wssens zumndest en partelles Wssen vorhanden st, auf dessen Bass ene Alternatve eher bevorzugt wrd als de andere. Es legt daher ken rener Rateprozess vor. Das Modell lässt sch lecht auf den Fall von Multple-Choce Aufgaben mt n Alternatven verallgemenern (Übung -). In deser allgemenen Form wrd es zur Ratekorrektur engesetzt De resulterende Formel fndet man n velen Lehrbüchern (sehe z.b. Lord & Novck, 968; Macmllan & Creelman, 005). Es st auch möglch, das Modell derart zu erwetern, dass ene Nchtantwort-Opton enbezogen werden kann (Übung -). De präsenterten Bespele sollten llustreren, we Messmodelle verwendet werden, um gewünschte Zelgrössen zu ermtteln. In Bsp.- bestand de gewünschte Zelgrösse m Prozentsatz jener Frauen, welche berets enmal enen Schwangerschaftsabbruch vorgenommen hatten, während n Bsp.- de Zelgrösse das»wahre«wssen der getesteten Person darstellte. In beden Fällen konnte de Zelgrösse nur mt Hlfe enes Modells ermttelt werden und de Korrekthet des geschätzten Wertes hng von der Rchtgket der Modellannahmen ab. Dese Art des Vorgehens glt ncht nur für Messmodelle sondern se st typsch für jede Art von psychologscher Modellbldung ja für Modellbldung n der Wssenschaft m Allgemenen. Wr wollen nun nochmals de zentralen Aspekte der Verwendung von (Mess- bzw. Test-) Modellen zusammenfassen:. Aufgrund von theoretschen Annahmen (über mentale Konstrukte und deren Bezehungen, etc.) wrd en Modell erstellt, welches dese Annahmen mplementert.. Das Modell enthält üblcherwese Parameter, deren Werte unbekannt snd und daher aus den Daten geschätzt werden müssen. Ene adäquate Schätzung st nur gewährlestet, falls das Modell annähernd korrekt st. 3. De Modellparameter repräsenteren de zentralen Grössen, de nhaltlch von Bedeutung und auch nhaltlch zu nterpreteren snd (vgl. Abschntt.3.). En Modell, welches de Daten gemäss stat-

15 Kaptel :. Enführung: Testtheore und Testmodelle stscher Krteren gut erklären kann, kann daran schetern, dass de Werte der geschätzten Parameter nhaltlch kenen Snn ergeben. Nach desen enführenden Bespelen soll das Konzept des Messmodells genauer unter de Lupe genommen werden. Herbe werden auch enge statstsche Konzepte und deren Notaton besprochen. Dese werden auch n späteren Abschntten benötgt..3. Syntax und Semantk von Messmodellen Be der Betrachtung von Messmodellen lassen sch zwe Aspekte unterscheden:. Syntaktscher Aspekt: Deser betrfft de formale mathematsche Struktur enes Modells. In der Regel handelt es sch herbe um en System von Glechungen. Das Zel von Messmodellen besteht darn, de Vertelung der Messungen zu modelleren. Herbe wrd davon ausgegangen, dass de (beobachteten) Messungen enem bestmmten Typ von Vertelungen folgen. De be wetem wchtgsten deser Vertelungen snd de multvarate Normalvertelung und de Multnomalvertelung. Dese Vertelungen bestzen ebenso we de Modelle Kennwerte, auch Parameter genannt. Konzept -3: Varable, Parameter und Konstante: En (Funktons-) Parameter st ene Grösse, de hnschtlch hrer Varabltät zwschen ener Varablen und ener Konstanten angesedelt st, d.h. en Parameter ändert sch wenger oft als ene Varable. Er st jedoch auch kene Konstante, deren Wert sch nemals ändert. Innerhalb der Statstk spelen Parameter ene zentrale Rolle. Konzept -4: Populatonsparameter und Stchprobenkennwert (Statstk): En Populatonsparameter st en Kennwert, der zur Charakterserung von Vertelungsegenschaften nnerhalb ener Populaton verwendet wrd. En Stchprobenkennwert (Statstk) st ene ausschlesslche Funkton der Stchprobe (d.h. de Statstk berechnet sch aus den Werten der Stchprobe). Bsp. -3: Populatonsparameter und Stchprobenkennwerte: Klasssche Bespele für Populatonsparameter snd:. Der Mttelwert der Grösse der erstsemestrgen Studentnnen von Frbourg,. De Streuung um den besagten Mttelwert,

16 Kaptel :. Enführung: Testtheore und Testmodelle 3 3. Der Regressonskoeffzent der Regresson des Gewchts auf de Grösse, nnerhalb der besagten Populaton der erstsemestrgen Studentnnen, 4. Der Korrelatonskoeffzent der Korrelaton zwschen Gewcht und Grösse, nnerhalb der besagten Populaton der erstsemestrgen Studentnnen. De mt den Populatonsparametern korresponderenden Statstken snd: n. Der Mttelwert der Stchprobe: x N. De Streuung nnerhalb der Stchprobe: x, (-) n s x x, (-) N 3. Der aus der Stchprobe ermttelte Regressonskoeffzent: b n x x y y n x x, (-3) 4. Der aus der Stchprobe ermttelte Korrelatonskoeffzent: r n n x xy y x x y y n (-4) Beachte: Populatonsparameter und Statstken snd strkt zu unterscheden. Populatonsparameter snd be gegebener Populaton fxe Grössen (zumndest nnerhalb der klassschen Statstk), während Statstken Zufallsvarablen snd: Zeht man ene neue Stchprobe, so ergeben sch (wahrschenlch) andere Stchprobenkennwerte. Notatonskonventon -3: De Unterschedung zwschen Populatonsparametern und Stchprobenkennwerte wrd durch de Verwendung ener bestmmten Notatonskonventon hervorgehoben (Bsp. -3): Populatonsparameter werden mt grechschen Buchstaben bezechnet:,,,, etc., während Stchprobenkennwerte entweder mttels latenscher Buchstaben oder mttels grechscher Buchstaben, versehen mt enem Dach, bezechnet werden (sehe herzu Notatonskonventon -4 auf Sete 6).

17 Kaptel :. Enführung: Testtheore und Testmodelle 4 De Modellglechungen denen dazu, de Parameter der Vertelung der Messungen zu modelleren. Des bedeutet, de Orgnalparameter der Vertelung werden als Funkton der (neuen) Modellparameter repräsentert. Des bedeutet, de Modellglechungen stellen de Vertelungsparameter als Funkton der Modellparameter da: n Herbe glt:, f f f n,,, m,,, m,,, m (-5),, n bezechnen de Parameter der Vertelung der Beobachtungen (der Messwerte);,,, m bezechnen de Parameter des Modells;, f, f n bezechnen de (her ncht näher spezfzerten) Mo- f, dellglechungen. Für jeden zu modellerenden Vertelungsparameter gbt es ene Glechung. De Anzahl m der Modellparameter st gewöhnlch gernger als n, der Anzahl der zu modellerenden Parameter (aber nemals grösser) [Vgl. Abschntt.3.].. Semantscher Aspekt: Deser betrfft de nhaltlche Interpretaton der Varablen und Parameter des Modells, sowe der Relatonen zwschen den Varablen (Da de Relatonen zwschen den Varablen des Modells oft durch de Parameter repräsentert werden, fällt de Interpretaton von Parametern und Relatonen zwschen Varablen zusammen). Um das Modell möglchst verständlch zu machen, st es wchtg de nhaltlche Bedeutung aller Modellkomponenten zu erklären. Bsp.-4: Syntax und Semantk des Prozessbaummodells zur Messung des Enflusses von Wssen und Raten (Fortsetzung von Bsp.-): Gegeben: Das Modell von Abb. -. Formales syntaktsches Modell: Das Modell besteht aus enem Glechungssystem mt den beden Glechungen: Pkorrekt 0.5 (-6) Pfalsch 0.5 Herbe st P korrekt de Wahrschenlchket ener korrekter und P falsch de Wahrschenlchket ener falscher Antwort.

18 Kaptel :. Enführung: Testtheore und Testmodelle 5 Das Modell repräsentert (oder modellert) also de Wahrschenlchket ener korrekten bzw. falschen Antworten als Funkton des Parameters. De Grösse Pkorrekt st aber selbst en Parameter ener Vertelung, nämlch der Wahrschenlchketsparameter der Bnomalvertelung: N x N x PAnzahl korrekter Antworten x (-7) x N N! Herbe st der Bnomalkoeffzent, x x!n x! N st de Anzahl präsenterter Testtems, x st de Anzahl korrekter Antworten x 0,,, N. De Bnomalvertelung spezfzert also für jede möglche Anzahl korrekter Antworten x deren Wahrschenlchket, wobe der Parameter (= Wahrschenlchket, dass en Item korrekt beantwortet wrd) vorgegeben st. We berets ausgeführt, wrd der Vertelungsparameter mt Hlfe der Modellparameter modellert, wobe de Glechungen n (-5) verwendet werden. Es ergbt sch, da Pkorrekt : 0.5 Ensetzen n Glechung (-6) ergbt: x N x N PAnzahl korrekt x (-8) x Man beachte, dass m aktuellen Fall ken Test des Modells möglch st, da de Anzahl der Parameter des Modells (nämlch ) dentsch st mt der Anzahl der der Vertelung, welche de Ergebnsse beschrebt. Inhaltlche (semantsche) Interpretaton des Modells: De nhaltlche Interpretaton des Modells wurde berets oben präsentert. Her nochmals ene detallerte nhaltlche Interpretaton:. Das Modell nmmt an, dass be Präsentaton enes Testtems (Abb. - durch da Rechteck auf der lnken Sete repräsentert) ener von zwe Zuständen entrtt: (a) De Person st n enem Wssenszustand, d.h. se kennt de Antwort (deser Zustand wrd n Abb. - durch de Ellpse m oberen Zweg repräsentert). (b) De Person st n kenem Wssenszustand (n Abb. - durch de Ellpse m unteren Zweg repräsentert).

19 Kaptel :. Enführung: Testtheore und Testmodelle 6 In Fall (a) gbt de Person ene korrekte Antwort, m Falle von (b) führt de Person enen Prozess des renen Ratens durch, d.h. es wrd jewels mt Wahrschenlchket / entweder de korrekt oder de falsche Antwort gewählt.. Das Modell bestzt enen Parameter. Deser repräsentert de Wahrschenlchket, dass de Person sch n enem Wssenszustand befndet. 3. Ene möglche Modellerweterung bestünde darn, enen Rateparameter enzuführen, der de Wahrschenlchket angbt, dass de korrekte Antwort geraten wrd. Dese Erweterung führt jedoch zu enem Modell, das emprsch ncht prüfbar st, da es mehr Parameter bestzt als zu modellerende Parameter. Konzept -5: Schätzer vs. Schätzung enes Parameters: Der Wert enes Parameters wrd mt Hlfe von Daten geschätzt. Herbe glt: Der Schätzer des Parameters st de Formel bzw. Glechung, aufgrund dessen sch der Parameter aus den Daten ermtteln lässt. Dese Glechung muss ncht ene explzte Formel sen. In velen Fällen st der Schätzer nur mplzt durch en System von Glechungen gegeben, welches nur mttels numerscher Methoden gelöst werden kann. De Schätzung enes Parameters entsprcht dem konkreten Wert, der sch aufgrund der aktuell vorlegenden Daten für den Parameter ergbt. Notatonskonventon -4: Der Schätzer enes Parameters wrd ebenso we der geschätzte Wert mt dem selben Symbol bezechnet, jedoch mt enem»dach«versehen: ˆ, ˆ, ˆ, ˆ, etc. Der grechsche Buchstabe (theta) wrd mest verwendet, um enen ncht näher bestmmten Parameter zu symbolseren (In Bsp.-4 wurde er allerdngs nur deshalb verwendet, wel das natürlchere Symbol berets»besetzt«war). Bemerkung -5: Entwarnung: Wr werden uns m Folgenden ncht mt dem Problem der Schätzung von Parametern befassen. Herzu verwenden wr Programme, welche dese Schätzungen für uns durchführen. Im Zentrum stehen für uns verschedene Testmodelle, hre Bedeutung, Vorannahmen und Anwendungen.

20 Kaptel :. Enführung: Testtheore und Testmodelle 7.3. Prüfung von Messmodellen Messmodelle benhalten theoretschen Annahmen über den Messbzw. Testprozess. Klarerwese möchte man prüfen, ob de theoretschen Annahmen, welche n das Modell engngen, korrekt snd. Dese offenschtlche Forderung wrft de folgende Frage auf: Frage -: Was bedeutet de Forderung»de n en Modell engegangenen (theoretschen) Annahmen müssen korrekt sen«konkret? De Antwort auf dese Frage lautet we folgt: De vom Modell postulerten Konstrukte und de Relatonen zwschen desen und den Messungen müssen nnerhalb der Populaton, welche durch das Modell beschreben wrd, vorhanden sen, und zwar n der vom Modell spezfzerten Wese. Zur Verdeutlchung betrachten wr nochmals unsere beden Bespele: Bsp.-5: Korrekthet von Modellen: (Fortsetzung von Bsp.- und Bsp.-): Das Modell von Abb. - (Sete 6) hat als Zelpopulaton de allenstehenden Mexkanschen Frauen. Es wrd angenommen, dass de Annahmen des Modells nnerhalb deser Populaton zutreffen (De Frauen antworten wahrhetsgemäss, wenn se mt der krtschen Frage konfrontert werden, etc. [Vgl. de Beschrebung n Bsp.-]). De Zelpopulaton von des Modells von Abb. - (Sete 9) snd potentell alle Menschen. Es wrd angenommen, dass m Grunde be allen Menschen, de mt enem multple-choce Test konfrontert werden, de m Modell beschrebenen Prozesse ablaufen (Vgl. de Beschrebung n Bsp.-). Für de Prüfung enes Modells gbt es prnzpelle zwe Arten von Krteren: () Inhaltlche Überlegungen und () Emprsche Krteren. Betrachten wr dese Krteren etwas genauer..3.. PRÜFUNG VON MESSMODELLEN MIT HILFE VON INHALTLICHEN ÜBERLEGUNGEN Inhaltlche Überlegungen betreffen enersets de Kompatbltät der Modellannahmen mt dem verfügbaren Wssen über den Gegenstandsberech. Klarerwese sollten de Annahmen, welche n das Modell engehen, ncht dem gänggen Wssen über dem Objektberech wdersprechen. Bsp.-6: Unabhänggket der multplen Intellgenzen Howard Gardner behauptete ursprünglch, dass es sch be senen multplen Intellgenzen um unabhängge Facetten der Intellgenz handelt.

21 Kaptel :. Enführung: Testtheore und Testmodelle 8 Des wdersprcht den gänggen Intellgenzmodellen, gemäss derer es enen Faktor der allgemenen Intellgenz gbt, der dazu führt, dass de verschedenen Komponenten der Intellgenz korrelert snd (sehe z.b. Rost, 03). Es muss betont werden, dass das Krterum nur von bedngter Gültgket st, da»gängges Wssen«manchmal selbst der Revson bedarf. Allerdngs müssen Annahmen, de gegen aktuell anerkanntes Wssen verstossen, gut begründet sen. Des st vor allem dann der Fall, wenn en Gebet (we z.b. jenes der Intellgenz) gut beforscht st und daher ene gut gescherte Menge an Erkenntnssen vorlegt. Inhaltlche Überlegungen betreffen noch enen zweten Aspekt, nämlch de Plausbltät von geschätzten Parameterwerten. Falls de Werte der Parameter völlg unplausble Werte aufwesen, so muss des als en Hnwes auf en fehlerhaftes Modell gedeutet werden. Bsp.-7: Zwefelhafte Parameterwerte (Fortsetzung von Bsp.-, Sete 6) Nehmen an, n Bsp.- hätte sch als Wert für den geschätzten Antel von Schwangerschaftsabbrüchen en Wert von ˆ 0 ergeben. Da aus anderen Quellen hervorgeht, dass deser Wert ncht realstsch sen kann, muss geschlossen werden, dass das Modell falsch st. Z.B. könnten de Frauen trotz der anonymserten Antwortmethode falsche Angaben gemacht haben. Falls en Modell kene emprsch testbaren Vorhersagen macht (we des für de Modelle n Bsp.- und Bsp.- der Fall st), so st de nhaltlche Prüfung de enzge Möglchket der Beurtelung. Ene nhaltlche Prüfung sollte jedoch auch dann erfolgen, wenn en Modell emprsch prüfbar st und de beobachteten Daten gut erklären kann..3.. PRÜFUNG VON MESSMODELLEN ANHAND VON EMPIRISCHEN KRITERIEN Sowohl be der Konstrukton enes Messmodells als auch be der Planung emprsche Untersuchungen sollte darauf geachtet werden, dass das Modell anhand der erhobenen Daten emprsche evaluert werden kann. Da es sch be Testmodellen um statstsche Modelle handelt, glt für se das folgende Prnzp. Prnzp -: Emprsche Testbarket von statstschen Modellen: Ene notwendge Bedngung für de emprsche Testung enes statstschen Modells besteht darn, dass de Anzahl der freen Modellparameter gernger st als de Anzahl freer Datenpunkte. In Prnzp - werden zwe Begrffe verwendet, de ener Defnton bedürfen.

22 Kaptel :. Enführung: Testtheore und Testmodelle 9 Konzept -6: Free und beschränkte Modellparameter, Frehetsgrade des Modells: En Modellparameter glt als fre, falls er nnerhalb des zulässgen Berechs jeden Wert annehmen kann. De Werte von freen Parametern werden aus den Daten geschätzt. Im Gegensatz zu freen Parametern können beschränkte Parameter ncht fre vareren. Parameter werden beschränkt, ndem se entweder auf fxe Werte gesetzt werden oder Funktonen anderer Parameter darstellen. Im letzten Fall snd se durch de Werte der anderen Parameter völlg bestmmt. Der häufgste Fall der zweten Kategore von Beschränkung betrfft de Glechsetzung zweer Parameter. De Anzahl der freen Modellparameter wrd auch als de Anzahl Frehetsgrade des Modells (df Modell ) bezechnet. Konzept -7: Free Datenpunkte, Frehetsgrade der Daten: En Datenpunkt st fre, falls er nnerhalb des zulässgen Berechs fre vareren kann. D.h. sen Wert st ncht durch de anderen Datenpunkte determnert. De Anzahl freer Datenpunkte wrd auch als de Anzahl Frehetsgrade der Daten (df Daten ) bezechnet Konzept -8: Frehetsgrade des Modelltests, saturerte Modelle: Im Allgemenen glt: De Anzahl Frehetsgrade (df Test kurz df) enes (unbedngten) Modelltests entsprcht der Anzahl Frehetsgrade der Daten mnus der Anzahl Frehetsgrade des Modells: df Test df Daten df Modell En Modell st daher nur dann statstsch prüfbar, falls glt: df 0. Test Falls df 0, so nennt man das Modell saturert. Test De Konzepte lassen sch enfach anhand unserer Bespele verdeutlchen. Bsp.-8: Saturerte Modelle und Testbarket (Fortsetzung von Bsp.-) Das Modell n Bsp.- enthält enen freen Parameter (der das Wssen der Person repräsentert.

23 Kaptel :. Enführung: Testtheore und Testmodelle 0 De Daten h korrekt und falsch h [Antel korrekter und falscher Antworten] bestehen aus enem freen Datenpunkt, da glt: h falsch hkorrekt denn der Antel falscher Antworten st vollständg durch den Antel korrekter Antworten bestmmt, bzw. umgekehrt. Das Modell st somt saturert: df Test 0. Wrd der free Parameter m Modell fxert z.b so ergbt sch en testbares Modell mt df. Test Bemerkung -6: Bedngte und unbedngte Tests: In Konzept -8 wurde von unbedngten Tests gesprochen. Herbe handelt es sch um Test, n welchen Modelle anhand von Daten getestet wrd. Im Falle von bedngten Tests wrd hngegen en Modell mt enem spezelleren verglchen, wobe letzteres aus ersterem hervorgeht, ndem Parameter fxert oder glechgesetzt werden (man sprcht dann von enem engebetteten Modell). Deser zwete Typ von Test nennt sch bedngt, da er das engebettete Modell testet unter der Bedngung, dass das übergeordnete Modell de Daten erklären kann. Nähere Erklärungen und en Bespel zu bedngten Tests fndet man n Abschntt...4. En weterer zuvor erwähnter Begrff bedarf ener näheren Erklärung. Konzept -9: Statstsches Modell: En statstsches Modell dent zur Modellerung von Vertelungsparameter. In Bsp.-4 (Sete 4) wurde berets erwähnt, dass das Modell von Bsp.- (ebenso we jenes von Bsp.-) dazu dent, den Vertelungsparameter Pkorrekt der Bnomalvertelung zu modelleren. Des bedeutet, dass für statstsche Modelle de freen Parameter der Vertelungen, de vom Modell modellert werden, de Datenpunkte snd. Damt entsprcht de Anzahl der freen Datenpunkte der Anzahl der freen Parameter der Vertelungen und de Anzahl Frehetsgrade der Daten entsprcht der Anzahl freer Parameter der zu modellerenden Vertelungen. Nach desen langen (und etwas gewundenen) Ausführungen zur emprschen Prüfung von Messmodellen, st ene Zusammenfassung hlfrech:. Messmodelle snd (fast mmer) statstsche Modelle, welche dazu denen de freen Parameter von Vertelungen zu modelleren. De modellerten Vertelungen selbst repräsenteren de Vertelungen von Werten nnerhalb der Populatonen.

24 Kaptel :. Enführung: Testtheore und Testmodelle. En Modell st nur dann statstsche testbar, falls de Anzahl der freen Modellparameter de Anzahl der zu modellerenden Vertelungsparameter unterschretet. Entsprcht de Anzahl der freen Modellparameter der Anzahl der zu modellerenden Werte, so sprcht man von enem saturerten Modell (Überschretet de Anzahl der freen Modellparameter de Anzahl der zu modellerender Werte, so st das Modell weng snnvoll). 3. De Anzahl Frehetsgrade für enen Test (mest verbunden mt ener Teststatstk) entsprcht der Dfferenz aus fre zu modellerenden Werten und der Anzahl freer Modellparameter. Zum Schluss se noch angemerkt, dass ene Interpretaton der Modellparameter nur dann Snn macht, wenn das Modell de Daten adäquat erklären kann bzw. falls das Modell den Modelltest besteht..3.3 Komplextät und Fehlerhaftgket von Messmodellen Für alle wssenschaftlchen Modelle und nsbesondere für jene n der Psychologe glt das folgende Prnzp: Prnzp -: Fehlerhaftgket von (Mess-) Modellen: Jedes (Mess-) Modell st (mehr oder wenger) falsch! We berets oben erwähnt wurde, st das Modell von Abb. - mt grosser Wahrschenlchket falsch st. Als Grund wurde genannt, dass de enfache Dchotome zwschen Wssen und (renem) Raten n deser enfachen Form nur seltenen korrekt st. Velmehr muss das Wssen n den mesten Fällen als graduell betrachtet werden. Es handelt sch n desem Falle um ken renes Raten mehr, sondern eher um en wssensgestütztes Raten. Trotz der Fehlerhaftgket von Modellen können se für bestmmte Zwecke mehr oder wenger nützlch sen. So st das Modell der Ratekorrektur scher nützlch, falls de Fragen schwerg und kene»fangoptonen«vorhanden snd. Denn n desem Falle spegelt das Modell de Messstuaton relatv gut wder. Des hat folgenden Grund: Wenn de Fragen sehr schwerg snd, so muss das Wssen ene bestmmte Schwelle überschreten, damt de Frage korrekt beantwortet werden kann, andernfalls st de Antwort tatsächlch ungefähr auf Zufallsnveau, solange kene»fangoptonen«vorlegen, welche de Antworten der ratenden Personen n ene falsche Rchtung lenken. Um de Problematk fehlerbehafteter Modelle und deren Nützlchket noch etwas näher zu beleuchten, betrachten wr en anderes Modell, welches nnerhalb der Sozalwssenschaften ene brete Anwendung bestzt.

25 Kaptel :. Enführung: Testtheore und Testmodelle Bsp.-9: Fehlspezfkaton des lnearen Regressonsmodells mt normal vertelten Fehlern Gegeben: Multples lneares Regressonsmodell: 0 X X k X k (-9) wobe glt: X, X,, st de abhängge Varable; X k snd de unabhänggen Varablen, von denen, angenommen wrd, dass se ohne Fehler gemessen werden;,, k snd de Regressonskoeffzenten; st der Resdualterm, von dem angenommen wrd, dass er unabhängg normal vertelt st, mt Mttelwert 0 und Streuung. Bemerkung -7: Enge Erläuterungen zum lnearen Regressonsmodell. Das Modell von Glechung (-9) repräsentert en System von n lnearen Glechungen (n = Anzahl der Untersuchungsenheten), wobe für jede Enhet glt: y wobe glt: 0 x x k xk,,n y st der Wert der abhängge Varable für de Untersuchungsenhet. x, x,, x snd de Werte von Enhet auf den unabhänggen Varablen X, X,, k X repräsentert den Wert des Resduums für Enhet.. Das Wort»unabhängg«n der Wendung»unabhängg normal vertelt«bedeutet, dass de Fehlerterme der enzelnen Enheten unabhängg vonenander und auch unabhängg von den unabhänggen Varablen vertelt snd. k X, X,, X Konkret: De Ausprägung von für Enhet st unabhängg von den Werten der anderen Enheten und j auch unabhängg davon, welche Werte Enhet (und alle anderen Enheten) auf den Varablen X, X,, X k bestzt. k

26 Kaptel :. Enführung: Testtheore und Testmodelle 3 Das lneare Regressonsmodell st n den mesten sozalwssenschaftlchen Anwendungen fehlerhaft, d.h. es spegelt de Stuaton ncht korrekt wder. Des hat zwe Gründe:. De Annahme der fehlerfreen Messung der unabhänggen Varablen st mest ncht korrekt (ausgenommen es handelt sch um expermentelle Varablen, de vom Versuchsleter vollständg kontrollert werden).. De Annahme, dass de Resduen unabhängg von den unabhänggen Varablen snd, st ncht realstsch (ausgenommen es handelt sch um expermentell kontrollerte Varablen). Des würde nämlch bedeuten, dass alle Varablen, de mt den unabhänggen Varablen korrelert snd und enen Enfluss auf de abhängge Varable ausüben, als unabhängge Varablen n das Modell enbezogen wurden. Trotz der Tatsache, dass das lneare Regressonsmodell de Stuaton ncht völlg korrekt abbldet, st es n velen Anwendungen von Nutzen, wenn folgende Bedngungen erfüllt snd:. De Messfehler der unabhänggen Varablen snd m Verhältns zu deren systematschen Varaton gerng.. De n das Modell enbezogenen unabhänggen Varablen erklären den Grosstel der Varanz von, sodass man davon ausgehen kann, dass alle relevanten (unabhänggen) Varablen n das Modell enbezogen wurden. Im Spezellen, sollte es ncht der Fall sen, dass de Enbezehung weterer Varablen de Werte der Regressonskoeffzenten drastsch verändert. De Dskusson zum Problem fehlerbehafteter Modelle lässt sch we folgt zusammenfassen: Obwohl alle (Mess-) Modelle fehlerbehaftet snd d.h. se spegeln de Stuaton ncht exakt wder können se dennoch nützlch sen. Des st der Fall wenn de Abwechung von der Realtät ncht derart drastsch st, dass sch fehlerhafte nhaltlche Schlussfolgerungen ergeben. Letzteres wäre der Fall, falls de Enbezehung weterer unabhängger Varablen n das lneare Regressonsmodell de Vorzechen enes oder mehrerer Regressonskoeffzenten umdrehen würde. Bemerkung -8: Zur Bedeutung von Approxmatonen und Idealserungen n der Wssenschaft: Aufgrund der vorangegangenen Dskusson könnte lecht der Endruck entstehen, dass fehlerbehaftete Modelle vor allem n den Sozalwssenschaften vorkommen, während des n den»exakten«wssenschaften ncht der Fall st.

27 Kaptel :. Enführung: Testtheore und Testmodelle 4 Deser Endruck st falsch, denn gerade de Physk st durchsetzt mt Idealserungen und Approxmatonen. So st z.b. de Bahn der Kanonenkugel nur m Idealfall (be Ignoreren des Luftwderstandes) ene Parabel und be den Planetenbahnen handelt es sch nur dann um Ellpsen wenn man de zwschen den Planeten wrkenden Gravtatonskräfte gnorert. Dennoch haben sch dese verenfachten und daher fehlerhaften Modelle der Physk als extrem wertvoll erwesen. Um zu errechen, dass en Modell de Realtät besser wedergbt, muss man oft dessen Komplextät erhöhen. Zum Bespel kann man m lnearen Regressonsmodell (sehe Bsp.-9) wetere unabhängge Varablen enbezeht, um ene bessere Erklärung der Varanz von zu errechen. Mt der Erhöhung der Komplextät bzw. mt der Bldung komplexer Modelle snd zwe möglche Gefahren verbunden:. De Spezfkaton unnötg komplexer Modelle: En typscher Anfängerfehler besteht n der Konstrukton von zu komplexen Modellen. Enfache Modelle haben ene Rehe von Vorzügen gegenüber komplexeren: Se snd enfacher zu verstehen, enfacher zu schätzen und mest robuster (d.h. klene Änderungen n den Daten führen ncht zu grossen Veränderungen n den Modellparametern). Zusätzlch entsprechen se eher dem Occamschen Rasermesser (vgl. Prnzp -3). Es st daher snnvoll, mt enfachen Modellen zu begnnen.»komplzerter kann man mmer werden«. Weter st es wchtg, Maße der Modellgüte zu verwenden, welche de Modellkomplextät stärker berückschtgen (vgl. Kaptel xxxx). Smulatonsstuden belegen, dass Maße der Modellgüte, welche de Modellkomplextät ncht ausrechend berückschtgen (und des st für de mesten verwendeten Maße der Fall), zu komplexe Modell n ungerechtfertgter Wese bevorzugen (sehe z.b. Camstra, & Boomsma, 99). Prnzp -3: Ockhams Rasermesser (Occam s Razor):»Enta non sunt multplcanda praeter (sne) necesstatem. (Enttäten dürfen ncht über das Notwendge hnaus vermehrt werden)«. [Wllam von Ockham (vermutlch )] Das Prnzp besagt, dass de Ontologe von Theoren ncht mt Enttäten belastet werden sollte, welche kenen Betrag zur Erklärung lefern. Wenn zwe glech gute Erklärungen vorlegen, von denen aber ene mt wenger Vorannahmen auskommt, so st dese zu bevorzugen.

28 Kaptel :. Enführung: Testtheore und Testmodelle 5 Deses Prnzp kann als en zentrales Grundprnzp der Ratonaltät verstanden werden und st von emnenter Bedeutung für de Wssenschaften m Allgemenen und für de Statstk m Spezellen. Es verhndert de Entstehung von unnötg komplexen Modellen. Das Ockhamsche Rasermesser verbetet jedoch ncht de Verwendung theoretscher Konstrukte an sch. Es wendet sch nur gegen den ungerechtfertgten Gebrauch derartger Annahmen (Vgl. Bemerkung -, auf Sete ).. Das Problem der Modellerung des Zufalls: In velen Fällen wrd en vorgegebenes Messmodell durch de Daten der Stchprobe ncht bestätgt. Das üblche Vorgehen besteht nun darn, das Modell zu verändern (mest n Rchtung höherer Komplextät). Gegen deses Verfahren st grundsätzlch nchts enzuwenden. Es sollte dabe jedoch mmer m Auge behalten werden, dass de Daten durch den Zufall mtbestmmt snd. Des hat zur Folge, dass vor allem be komplexen Daten manche sgnfkanten Effekte zufallsbedngt snd. Modfzert man nun das Modell derart, dass es gut zu den vorlegenden Daten passt, so besteht de Gefahr, dass man Zufallsenflüsse mt modellert und so den Zufall ausnützt (m Englschen sprcht man n desem Zusammenhang bezechnenderwese von»captalzaton on chance«). Da man den Zufall ncht modelleren kann (da er kene systematschen Komponenten enthält), kann des dazu führen, dass das Modell zwar de Daten der aktuellen Stchprobe gut erklärt aber be ener neuen Stchproben kläglch versagt. Es st daher notwendg, das modfzerte Modell an neuen Daten zu testen, bzw. ene so genannte Kreuzvalderung durchzuführen (vgl. Kaptel 3.4.3). Bemerkung -9: Generalserbarket von Resultaten: Statstsche Modelle wollen etwas über de Populaton aussagen und ncht über de Stchprobe. Daher st es wchtg, dass de Schlussfolgerungen, welche aufgrund der Stchprobe gezogen werden, generalserbar snd. Unnötg komplexe Modelle, welche ncht generalserbare Egenheten n der Stchprobe erklären (»ftten«), snd daher von gerngem Wert. Bemerkung -0:»Schummeleen» n der Psychologe: Wenn man en Modell aufgrund ener vorgegebenen Stchprobe modfzert ohne das Modell an neuen Daten zu testen, so muss des n ener wssenschaftlchen Publkaton explzt vermerkt werden.