Konstruktion eines Fragebogens zum Thema IT-Sicherheit

Transkript

1 Konstruktion eines Fragebogens m Thema IT-Sicherheit Studienarbeit im Studiengang Wirtschaftsinformatik angefertigt von: Patrick Sieber Betreuer: Dipl. Informatiker Martin Mink Lehrstuhl Praktische Informatik I Laboratory for Dependable Distributed Systems

2 Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis IV V 1. Projektbeschreibung Ziele des Fragebogens Zielgruppe Struktureller Fragebogenaufbau Gliederung der Studienarbeit Fragebogenkonstruktion Klassische Testtheorie Qualitätsanforderungen an einen Fragebogen Objektivität Reliabilität Validität Schritte der Fragebogenkonstruktion Layout des Fragebogens Instruktionen Deckblatt Demographische Fragen Einstellungs- und Verhaltenstest Merkmale der Itemformulierung Antwortformat Aufgaben mit gebundenem Antwortformat Ratingskala Antworttendenzen Themen Quellen Wissenstest Formulierung der Fragen Reihenfolge und Schwierigkeitsgrad der Fragen II

3 Inhaltsverzeichnis Kontrollfragen Antwortformat Auswahlaufgaben Distraktoren Disjunktheit der Antwortalternativen Themen Quellen Erster Pretest Zweiter Pretest Itemanalyse Objektivität Reliabilität Folgen der Schwierigkeits- und Trennschärfeanalyse Validität Vergleich von Version 2a und 2b Literaturverzeichnis VI A. Fragebogen IT-Sicherheit VII A.1. Die nale Version des Fragebogens VII A.2. Die erste Version des Fragebogens XIX A.3. Die zweite Version des Fragebogens XXXI III

4 Abbildungsverzeichnis 2.1. Klassikation der Messfehler [1] Bipolare Skala Unipolare Skala Ergebnisse des Wissenstest von Version 2a und 2b IV

5 Tabellenverzeichnis 6.1. Schwierigkeitsindex und Trennschärfe des Wissenstest V

6 Kapitel 1. Projektbeschreibung Auf Grund der rasanten Entwicklung der Informations- und Kommunikationstechnologien gewinnt IT-Sicherheit stetig an Bedeutung und rückt immer mehr in den Vordergrund. IT-Sicherheitsrisiken gefährden sowohl bestehende als auch neue Anwendungen. Deshalb kommt der Vertiefung von bestehendem und der Erlangung von neuem IT- Sicherheitswissen eine wichtige Rolle. Das Wissen ist nötig, um Sachverhalte richtig einstufen und die richtigen Entscheidungen treen. Unter IT-Sicherheit versteht man alle technischen Maÿnahmen r Verringerung des Gefährdungspotenzials für IT-Anwendungen und -Systeme, wie die Entwicklung von Sicherheitskonzepten, die Vergabe von Zugrisberechtigungen und die Implementierung von Sicherheitsstandards. Das Ziel von IT-Sicherheit ist es, die drei Schutzziele Vertraulichkeit, Integrität und Verfügbarkeit sicherstellen. Aufgabe dieser Studienarbeit ist die Konstruktion eines Fragebogens m Thema IT- Sicherheit Ziele des Fragebogens Im ersten Teil des Fragebogens soll das Grundverständnis von IT-Sicherheit, sowie die Einstellung und das Verhalten gegenüber IT-Sicherheit gemessen werden. Im zweiten Teil des Fragebogens wird der Wissensstand im Bereich IT-Sicherheit ermittelt. Zu diesem Zweck werden Daten aus verschiedenen Themengebieten der IT-Sicheheit erhoben. Der Fragebogen wird unter Verwendung von methodischen Erkenntnissen r Test- und Fragebogenkonstruktion entwickelt, damit das IT-Sicherheitsverständnis möglichst genau bewertet werden kann. Um dies erreichen, liegt ein besonderes Augenmerk auf der Auswahl der Fragen und der Antwortmöglichkeiten. 1

7 Kapitel 1. Projektbeschreibung 1.2. Zielgruppe Die Zielgruppe sind Universitätsstudenten, die Vorkenntnisse im Bereich Informatik haben. Dementsprechend kann davon ausgegangen werden, dass sie über wenig bis hin viel Vorwissen im Bereich IT-Sicherheit verfügen. Um zwischen ihrem Wissensstand dierenzieren und eine Abstufung vornehmen können, haben die Fragen im Wissensbereich einen unterschiedlichen Schwierigkeitsgrad Struktureller Fragebogenaufbau Der Fragebogen besteht aus zwei Teilen. Im ersten Teil werden Fragen r allgemeinen Einstellung und dem Verhalten im Bereich IT-Sicherheit gestellt. Im zweiten Teil wird nach IT-Sicherheitswissen gefragt. Zum Schluss werden noch allgemeine demographische Daten erhoben Gliederung der Studienarbeit In Kapitel zwei werden die theoretischen Grundlagen der Fragebogenkonstruktion erläutert. Dies beinhaltet einen Einblick in die Klassische Testtheorie und die Veranschaulichung der Qualitätsanforderungen an einen Fragebogen. Zusätzlich wird in Kapitel zwei auf das Layout des Fragebogens und die demographischen Fragen eingegangen. Kapitel drei hat die Entwicklung des Einstellungs- und Verhaltenstest m Thema. Es werden die Merkmale der Itemformulierung beschrieben und das verwendete Antwortformat wird erläutert. Im vierten Kapitel wird die Konstruktion des Wissenstest dargestellt. Dabei wird auf die Formulierung der Fragen und das Entwickeln der Antwortalternativen eingegangen. Im fünften Kapitel wird die Durchführung des ersten Pretests erläutert. Auÿerdem werden die Änderungen aufgrund der Ergebnisse des Pretests dargestellt. Im sechsten Kapitel werden die Ergebnisse aus dem zweiten Pretest verarbeitet. Da werden in verschiedenen Schritten die Qualitätsanforderungen, die an einen Fragebogen gestellt sind, untersucht. 2

8 Kapitel 2. Fragebogenkonstruktion Zunächst folgt die Denition eines psychologischen Tests, damit der Fragebogen als Mittel der empirischen Sozialforschung genauer eingeordnet werden kann. Ein Test ist ein wissenschaftliches Routineverfahren r Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsausprägung 1. Beispiele für einen psychologischen Test sind Fragebögen, Interviews, Gruppendiskussionen oder auch praktische Prüfungen. Sie haben alle das Ziel anhand der Reaktion der Teilnehmer auf Persönlichkeitsmerkmale wie Wissen, Verhalten, Einstellungen oder Fähigkeiten schlieÿen. Ein Fragebogen ist demnach ein Instrument der empirischen Sozialforschung, mit dem Informationen über die Einstellung, das Verhalten, den persönlichen und sozialen Hintergrund des Befragten ermittelt werden kann. Die Fragen, die den Befragten einer verwendbaren Reaktion veranlassen, werden in der Fragebogenkonstruktion als Items bezeichnet. Der von mir entwickelte Fragebogen baut auf den Annahmen und Konstruktionsprinzipien der klassischen Testtheorie auf, die bis heute am weitesten verbreitet ist. Eine Alternative ist die Item-Response-Theorie (Probabilistische Testtheorie), die im Gegensatz r klassischen Testtheorie zwischen latenten und manifesten Variablen unterscheidet Klassische Testtheorie Die klassiche Testtheorie stellt einen theoretischen Ansatz r Konstruktion und Interpretation von Testverfahren dar, der als Basis für psychologische Tests dient. Die klassische Testtheorie ist im Wesentlichen eine Messfehlertheorie. Die Kernüberlegung besteht 1 Testtheorie und Fragebogenkonstruktion S.2 [4] 2 Testtheorie und Fragebogenkonstruktion S.216f [4] 3

9 Kapitel 2. Fragebogenkonstruktion darin, dass der Messwert einer Person in einem Testitem immer aus zwei Komponenten besteht, nämlich der tatsächlichen, wahren Ausprägung des untersuchten Merkmals (true score) und einem fälligem Messfehler (error score). Um den Messfehler in Beziehung m wahren Wert setzen können, gelten in der klassischen Testtheorie folgende Axiome 3 : 1. Existenzaxiom: Das Existenzaxiom besagt, dass der true score τ als Erwartungswert der Messungen X vi eines Probanden v in Item i existiert: τ = µ(x vi ) 2. Verknüpfungsaxiom: Der Messwert X vi jeder Messung ist aus einem wahren Wert τ vi und einem fälligen Fehlerwert ɛ vi sammengesetzt: X vi = truescore + errorscore = τ vi + ɛ vi Der Zufallsfehler ɛ vi hat den Erwartungswert Null. Bei einer unendlichen Anzahl von Messungen ndet also keine systematische Abweichung statt. In Verbindung mit dem Existenzaxiom gilt somit für den Zufallsfehler: µ(ɛ) = 0 3. Unabhängigkeitsaxiom: Die Korrelation zwischen den Zufallsfehlern ɛ und den wahren Werten τ bei beliebigen Personen v und beliebigen Items i ist Null. Corr(τ vi, ɛ vi ) = 0 4. Zusatzannahmen: Die Fehlerwerte zweier Messungen sind für dieselbe Person mit beliebigen Items unkorreliert. Die Fehlerwerte zweier Messungen für verschiedene Personen mit demselben Item sind unkorreliert. Die beiden Zusatzannahmen werden r Schätng der Reliabilität (siehe Abschnitt 2.2.2) benötigt. 3 Testtheorie und Fragebogenkonstruktion S.100 [4] 4

10 Kapitel 2. Fragebogenkonstruktion 2.2. Qualitätsanforderungen an einen Fragebogen Damit der Fragebogen als wissenschaftliches Werkzeug der Datenerhebung eingesetzt werden kann, muss er den Qualitätsansprüchen genügen, die durch die Testgütekriterien gefordert sind. Testgütekriterien sind ein Qualitätsmerkmal, die einen wissenschaftlich fundierten Test von einem unwissenschaftlichen Test unterscheiden. Die drei zentralen Testgütekriterien für ein psychologisches Testverfahren sind Objektivität, Reliabilität und Validität Objektivität Ein Test ist dann objektiv, wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter, Testauswerter und von der Ergebnisinterpretation misst 4. Der Begri Objektivität bedeutet, dass eine Beobachtung unabhängig vom Beobachter sein soll, d.h. die Tatsache der Beobachtung darf das Ergebnis nicht beeinussen. Völlige Objektivität liegt nur dann vor, wenn jeder beliebige Testleiter und jeder beliebige Testauswerter das Testergebnis einer Testperson genau gleich auswertet und interpretiert. Ist die Objektivität nicht gegeben, kann eine verlässliche Aussage, aufbauend auf dem Testergebnis, nicht getroen werden. Grundsätzlich wird das Gütekriterum der Objektivität in drei Teile unterteilt, die Durchführungs-, Auswertungs- und Interpretationsobjektivität Durchführungsobjektivität Durchführungsobjektivität ist gegeben, wenn das Testergebnis nicht davon abhängt, welcher Testleiter den Test durchführt. Die Durchführungsobjektivität wird erhöht, wenn der Test standardisiert wird. Da sollen die Durchführungsbedigungen bei jeder Befragung gleich bleiben. Dies wird erreicht, indem es genaue Instruktionen gibt und auf eine Interaktion zwischen Testleiter und Testpersonen verzichtet wird. Das Ziel ist es, dass die Testleistung nur von der Merkmalsausprägung der Testperson abhängt Auswertungsobjektivität Auswertungsobjektivität ist dann gewährleistet, wenn bei vorliegenden Antworten der Testpersonen, das Testergebnis nicht vom Testauswerter abhängt. Bei Multiple-Choice- Tests ist die Auswertungsobjektivität im Allgemeinen leicht erreichen, bei einem 4 Testtheorie und Fragebogenkonstruktion S.8 [4] 5

11 Kapitel 2. Fragebogenkonstruktion oenen Antwortformat müssen detaillierte Auswertungsregeln vorhanden sein, um eine einheitliche Auswertung sicherstellen Interpretationsobjektivität Interpretationsobjektivität liegt dann vor, wenn bei Testpersonen mit demselben Testwert die gleiche Schlussfolgerung gezogen wird und die Testinterpretation nicht abhängig von einer Person ist Reliabilität Ein Test ist dann reliabel (verlässig), wenn er das Merkmal, das er misst, exakt, d.h. ohne Messfehler, misst 5. Unter dem Gütekriterium der Reliabilität versteht man demnach die Messgenauigkeit des Tests. Eine hohe Reliabilität bedeutet, dass bei einer Wiederholung des Tests unter gleichen Bedingungen, die gleichen Ergebnisse erreicht werden. Das Ausmaÿ der Reliabilität eines Tests wird über einen Reliabilitätkoezienten erfasst. Dieser kann Werte zwischen Null und Eins annehmen. Ein guter Test sollte einen Reliabilitätskoezienten von mindestens 0,70 haben. Ein Reliabilitätskoezient R von z. B. R = 0,80 gibt an, dass die beobachtete Varianz der Testwerte 80 % auf wahre Unterschiede zwischen den Probanden rückführen ist und 20 % auf Fehlervarianz beruht. Im Rahmen der klassischen Testtheorie existieren vier Verfahren, um das Ausmaÿ der Reliabilität messen Retest-Reliabilität Zu zwei verschiedenen Zeitpunkten wird der Test denselben Testpersonen vorgelegt. Die Reliabilität wird dann als Korrelation zwischen beiden Testergebnissen ermittelt. Diese Methode ist sehr aufwändig, da der Test mit denselben Teilnehmern ein zweites Mal durchgeführt werden muss. Auÿerdem kann es Veränderungen der gemessenen Testwerte kommen, da viele Einüsse, wie Erinnerungseekte oder veränderte Persönlichkeitsmerkmale, auf die Testergebnisse einwirken. 5 Testtheorie und Fragebogenkonstruktion S.11[4] 6

12 Kapitel 2. Fragebogenkonstruktion Paralleltest-Reliabilität In diesem Verfahren werden zwei Tests entwickelt, die inhaltlich aus möglichst identischen Items bestehen. Die Testpersonen müssen beide Tests bearbeiten und aus den Testergebnissen wird dann die Korrelation ermittelt. Dieses Verfahren ist ebenfalls sehr aufwendig, da zwei Tests entwickelt und durchgeführt werden müssen Splithalf-(Testhalbierungs-)Reliabilität Der Test wird in zwei vergleichbare Testhälften geteilt, und dadurch werden für jeden Probanden zwei Testwerte berechnet. Die Testhalbierungs-Reliabiltät wird aus der Korrelation der beiden Testhälften berechnet. Dieses Verfahren benötigt keinen sätzlichen Mehraufwand und ist leicht anwenden Interne Konsistenz Die Konsistenzanalyse ist eine Verallgemeinerung des Testhalbierungsverfahrens, da jedes Item des Tests als eigenständiger Testteil angesehen wird. Ein hoher Grad an interner Konsistenz weist auf eine groÿe Homogenität des Tests und somit tendenziell auf eine erhöhte Messgenauigkeit hin. Um den in dieser Arbeit konstruierten Fragebogen testen, wurde die Testhalbierungs- Reliabilität und das Verfahren der interne Konsistenz verwendet (siehe Abschnitt 6.1.2) Validität Ein Test gilt als valide (gültig), wenn er das Merkmal, das er messen soll, auch wirklich misst und nicht irgendein anderes 6. Es handelt sich also um die Übereinstimmung zwischen dem Merkmal, das man messen will, und dem tatsächlich gemessenen Merkmal. Die Validität ist in der Testpraxis das wichtigste Gütekriterium, da eine hohe Validität die Generalisierung des beobachteten Verhaltens auf Situationen auÿerhalb der Testsituation möglich macht. Um die Validität eines Tests erhalten, ist es angebracht folgende Aspekte prüfen: 6 Testtheorie und Fragebogenkonstruktion S.13 [4] 7

13 Kapitel 2. Fragebogenkonstruktion Inhaltsvalidität Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das messende Merkmal repräsentativ erfasst 7. Die Inhaltsvalidität wird allerdings nicht durch eine numerische Kennzahl bestimmt, sondern auf Grund logischer und fachlicher Überlegungen. Eine gebräuchliche Methode ist die Überprüfung der Items durch Experten. Diese bewerten in welchem Umfang die Items das untersuchende Konstrukt abdecken Augenscheinvalidität Augenscheinvalidität gibt an, inwieweit der Validitätsanspruch eines Tests, vom bloÿen Augenschein her einem Laien gerechtfertigt erscheint 8. Die Befragten sollen erkennen, dass der Test oensichtlich das Zielmerkmal erfasst. Durch eine hohe Augenscheinvalidität wird die Akzeptanz eines Tests bei den Befragten erhöht Konstruktvalidität Ein Test weist Konstruktvalidität auf, wenn der Schluss vom Verhalten der Testpersonen innerhalb der Testsituation auf grunde liegende psychologische Persönlichkeitsmerkmale aufgezeigt wurde 9. Beispielsweise ist das Kriterium der Konstruktvalidität erfüllt, wenn von dem Ergebnis im Wissenstest über IT-Sicherheit auf das Merkmal IT-Sicherheitswissen geschlossen werden kann. Das Kriterium ist nicht erfüllt, wenn eigentlich ein anderes Merkmal gemessen wird. Die Konstruktvalidität kann erhöht werden durch die Auswahl besonders valider Messinstrumente und durch die Erhöhung der Repräsentativität der untersuchten Situationen. 7 Testtheorie und Fragebogenkonstruktion S.14 [4] 8 Testtheorie und Fragebogenkonstruktion S.14 [4] 9 Testtheorie und Fragebogenkonstruktion S.16 [4] 8

14 Kapitel 2. Fragebogenkonstruktion Kriteriumsvalidität Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Verhalten auÿerhalb der Testsituation geschlossen werden kann 10. Ein Beispiel für Kriteriumsvalidität wäre, ob von dem Ergebnis des Wissenstest über IT-Sicherheit auf die Note in der Vorlesung IT-Sicherheit geschlossen werden kann Klassikation der Messfehler In der Abbildung 2.1 sind verschiedene Ergebisse von Messungen und deren Abweichung von der wahren Ausprägung des Merkmals dargestellt. Die Abbildung 2.1 zeigt, dass bei einer hohen Reliabilität die Streuung der einzelnen Messungen gering ist. Auÿerdem veranschaulicht die Abbildung 2.1, dass der systematische Fehler die Reliabilität nicht beeinträchtigt. Beispiele für systematische Fehler sind Antworttendenzen (siehe Abschnitt 3.2.3), wie etwa die Tendenz r sozialen Erwünschtheit. Darüber hinaus lässt sich aus der Abbildung 2.1 ableiten, dass ein valides Messinstrument auch reliabel sein muss. Die Umkehrung gilt aber nicht zwingend Schritte der Fragebogenkonstruktion Zunächst folgt eine grobe Darstellung der Vorgehensweise bei der Erstellung des Fragebogens Formulierung des untersuchenden Konstrukts Im ersten Schritt wird das Ziel des Fragebogens (siehe Abschnitt 1.1) festgelegt und die Zielgruppe (siehe Abschnitt 1.2) deniert. 2. Literaturrecherche und Anforderungsanalyse Die Literaturrecherche besteht aus der Suche nach bereits bestehenden Tests oder Fragebögen, sowie nach der Suche nach Lehrbüchern m Thema IT- Sicherheit (siehe Abschnitt 3.4 und Abschnitt 4.4). In der Anforderungsanalyse wird ein Überblick über das Thema IT-Sicherheit gewonnen, damit alle Aspekte im erstellten Fragebogen abgedeckt sind. Dabei wird nächst eine Sammlung mit relevant erscheinenden Themen erstellt (Itempool) (siehe Abschnitt 3.3 und Abschnitt 4.3). 10 Testtheorie und Fragebogenkonstruktion S.18 [4] 11 Fragebogen- und Testkonstruktion in der Online-Forschung [7] 9

15 Kapitel 2. Fragebogenkonstruktion Abbildung 2.1.: Klassikation der Messfehler [1] 3. Testentwurf Im nächsten Schritt werden die Fragen konstruiert. Zum einen werden neue Fragen formuliert, m anderen bereits vorhandene Fragen überarbeitet und an die Ziele des Fragebogens angepasst (siehe Abschnitt 3.1 und Abschnitt 4.1). Auÿerdem wird das Layout des Fragebogens festgelegt (siehe Abschnitt 2.4). 4. Pretest des Fragebogens Die Items, die in der endgültigen Testform aufgenommen werden, müssen bestimmte Eigenschaften aufweisen. Es erfolgt eine Itemanalyse bei der ihr Schwierigkeitsgrad und ihre Trennschärfe überprüft werden. Auÿerdem erfolgt eine Kontrolle der Fragen auf Mängel in der Formulierung und eine Bestimmung der Gütekriterien (siehe Abschnitt 5 und Abschnitt 6). 5. Fertigstellung des Fragebogens Die Erkenntnisse aus den Pretests werden verarbeitet und die endgültige Version des Fragebogens wird verfasst (siehe Abschnitt 6.1.3). 10

16 Kapitel 2. Fragebogenkonstruktion 2.4. Layout des Fragebogens Ein Schlüsselfaktor für einen erfolgreichen Fragebogen ist sein Erscheinungsbild. Deshalb hat das Layout eine groÿe Auswirkung auf den Erfolg des Fragebogens als ein Instrument der Datenerhebung. Wenn das Layout nicht klar verständlich für jeden Teilnehmer ist, entstehen Missverständnisse und die Auswertung wird verzerrt. Eine übersichtliche und einfache Gestaltung soll die Probanden r Teilnahme anregen und die Bearbeitung erleichtern. Ein nicht schön gestalteter Fragebogen vermittelt den Eindruck, dass man sich für das Thema nicht wirklich interessiert und verringert somit die Antwortquote. Deshalb ist der ganze Fragebogen einheitlich gestaltet, um optisch ansprechend wirken. Das beinhaltet, dass Ausrichtung, Nummerierung und Schriftart konstant sind. Das Aufteilen des Fragebogens in verschiedene Teile, die jeweils eine eigene Überschrift haben, hilft den Probenden den Aufbau des Fragebogens besser verstehen und erhöht die Konzentration auf ein Thema. Auÿerdem haben die Probanden nach der Bearbeitung eines Teiles ein Erfolgserlebnis, welches auch die Bereitschaft erhöht weiterhin den Fragebogen konzentriert bearbeiten. Erfahrungsgemäÿ 12 ist die Aufmerksamkeit der Probanden im zweiten Drittel des Fragebogens am gröÿten. Deshalb sind die Wissensfragen, die am anspruchsvollsten sind, in diesem Teil angesiedelt. Eine Frage sollte nie über mehrere Seiten gestellt werden, da unter Umständen nicht alle Antwortalternativen wahrgenommen werden oder das Herumblättern beim Antworten nötig wird Instruktionen Instruktionen sind auf ein Minimum beschränkt worden, trotzdem ist ihre Formulierung eindeutig und klar gehalten. Die Handlungsanweisungen beinhalten eine Erläuterung des Antwortformats, und falls es nötig ist, ein Beispielitem mit Beispielantwort. Auÿerdem haben die Instruktionen auch die Aufgabe, die Probanden r Teilnahme animieren. Üblicherweise enthält die Testanweisung auch eine Auorderung spontan und wahrheitsgetreu antworten Deckblatt Das Deckblatt beinhaltet eine Überschrift, die klar lesen ist. Auÿerdem ist die Organisation bzw. die verantwortliche Person, die den Fragebogen durchführt, vermerkt. Eine 12 Wie erstelle ich einen Fragebogen S.18[6] 11

17 Kapitel 2. Fragebogenkonstruktion Einleitung verdeutlicht das Thema und die Ziele, die mit der Bearbeitung des Fragebogens verbunden sind. Da die erhobenen Daten wissenschaftlich verwendet werden, wurde ein Hinweis auf die Anonymität bei der Testauswertung explizit formuliert. Dies ermöglicht dem Befragten ehrlich antworten, da er weiÿ, dass die erhobenen Daten nicht persönlich mit ihm in Verbindung gebracht werden. Zuletzt enthält das Deckblatt noch einen Dank dafür, dass die Probanden sich Zeit für die Bearbeitung des Fragebogens genommen haben Demographische Fragen Demographische Fragen werden meistens am Ende des Fragebogens gestellt. Dies hat den Vorteil, dass die Probanden sich bereits ein Bild von dem Inhalt des Fragebogens gemacht haben und eher bereit sind persönliche Details angeben. Das Stellen von demographischen Fragen am Anfang des Fragebogens könnte abschreckend wirken, vor allem, wenn sensible Daten abgefragt werden. Die demographischen Fragen wurden auf das notwendigste beschränkt, damit die Probanden ihre Anonymität nicht als gefährdet ansehen könnten. Auÿerdem wurden nur Fragen gestellt, die für die untersuchte Fragestellung relevant sind. In diesem Fragebogen wird nach folgenden Variablen gefragt: Alter Geschlecht Studienfach Semester Computernutng Internetnutng genutzte Betriebssyteme Die Reihenfolge, in der die demographischen Fragen gestellt werden, hat keinen Einuÿ auf das Antwortverhalten der Befragten. 12

18 Kapitel 3. Einstellungs- und Verhaltenstest Dieses Kapitel stellt die Konstruktion des Einstellungs- und Verhaltenstests dar. Im Vergleich Wissensfragen sind Fragen über das Verhalten oder über die Einstellung einer Person nicht richtig oder falsch. Sie sind nur eine subjektive Wahrnehmung von einem Sachverhalt und deshalb schwer messen Merkmale der Itemformulierung Um trotzdem eine genaue Messung gewährleisten, wurden folgende Punkte beachtet 1;2 : 1. Genaue Beschreibung des Iteminhalts Ein Item enthält nur eine Aussage und zielt nicht gleichzeitig auf mehrere Inhalte ab. Universalausdrücke wie immer, nie oder alle werden vermieden. Es wird keine doppelte Verneinung verwendet. Der Iteminhalt soll nicht in unterschiedlicher Weise interpretierbar sein. Falls auf eine Zeitspanne oder einen Zeitpunkt Beg genommen wird, ist dieser eindeutig deniert. Diese Grundsätze stellen sicher, dass alle Teilnehmer den Iteminhalt in gleicher Weise verstehen. 2. Sprachliche Verständlichkeit Positive Formulierung der Items. 1 Testtherie und Fragebogenkonstruktion[4] 2 Asking Questions[5] 13

19 Kapitel 3. Einstellungs- und Verhaltenstest Vermeidung von komplizierten Satzkonstruktionen. Anpassung der Formulierung der Fragen an die Zielgruppen. 3. Sachverhalte sollen von Personen getrennt werden, wenn es möglich ist. Die Befragten können sich bei heiklen Themen angegrien fühlen und diese nicht wahrheitsgemäÿ beantworten. Deshalb wurden die Fragen 15 bis 18 des Einstellungstest in der nalen Version des Fragebogens (siehe Anhang A.1) neutral formuliert, um Verzerrungen im Antwortverhalten vermeiden. 4. Vermeidung von Mehrdeutigkeit Mehrdeutigkeit muss bei der Erstellung der Fragen vermieden werden. Falls eine Frage mehrdeutig ist, weiÿ der Proband nicht, welche der Fragen er beantworten soll. Falls er die Frage doch beantwortet, treten bei der Auswertung Probleme auf, da nicht nachvollziebar ist, welche der Fragen, er beantwortet hat. 5. Reihenfolge der Fragen Folgende Grundsätze wurden bei der Anordnung der Fragen beachtet: Die allgemeine Frage wird vor der spezischen Frage gestellt, falls sich beide Fragen auf das gleiche Thema beziehen. Fragen m Verhalten werden vor Fragen der Einstellung gestellt, falls beide das gleiche Thema betreen. Fragen m unbeliebtesten Thema werden m Schluss gestellt. Falls die Befragten sich durch eine Frage angegrien fühlen und den Fragebogen oder einen Bereich des Fragebogens nicht weiter bearbeiten, wird durch diese Methode ein Maximum an Daten r Analyse gewonnen Antwortformat Zur Beantwortung der Fragen können verschiedene Antwortformate verwendet werden. In einer groben Dierenzierung können Fragen mit einem freien, einem gebundenem und einem atypischen Antwortformat unterschieden werden. Im Einstellungs- und Verhaltenstest wird ein gebundenes Antwortformat verwendet, bei dem die Befragten unter Verwendung einer Ratingskala, Stellung verschiedenen Sachverhalten nehmen. 14

20 Kapitel 3. Einstellungs- und Verhaltenstest Aufgaben mit gebundenem Antwortformat Aufgaben mit gebundenem Antwortformat sind dadurch gekennzeichnet, dass mehrere Alternativen für mögliche Antworten vorgegeben sind. Der Proband ist also in seiner Auswahl nicht frei, sondern an die Antwortalternativen gebunden. Der Vorteil von Aufgaben mit gebundenem Antwortformat ist eine sehr ökonomische Auswertung und eine höhere Auswertungsobjektivität als bei Aufgaben mit freiem Antwortformat Ratingskala Ratingskalen dienen da, einen Gegenstand hinsichtlich eines bestimmten Merkmals beurteilen. Da geben sie verschiedene Merkmalsausprägungen vor, aus denen der Befragte auswählen kann. Streng genommen handelt es sich bei den meisten Ratingskalen um ordinale Skalen. Ordinale Skalen sind dadurch gekennzeichnet, dass die Abstände zwischen den Merkmalsausprägungen nicht als exakt gleich groÿ erachtet werden können. Wie in der Statistik nicht unüblich, wird für die Ratingskala angenommen, dass sie eine Intervallskala ist. Intervallskalen haben die Eigenschaft, dass die Abstände zwischen den verschiedenen Merkmalsausprägungen gleich groÿ sind. Durch das Annehmen gleich groÿer Abstände zwischen den Bewertungsschritten, kann die Reliabilität und Validität überprüft werden, da sich z.b. Mittelwert und Varianz berechnen lässt. Im Fragebogen wurden nur verbale Ratingskalen verwendet. Bei einer verbalen Ratingskala werden die verschiedenen Merkmalsausprägungen durch Textaussagen beschrieben. Das hat den Vorteil, dass die Interpretation der Skalenstufen intersubjektiv einheitlich erfolgt und die Abstände der Bewertungsschritte als gleich groÿ empfunden werden. Bei einer numerischen Skala mit den Bewertungsschritten 1 bis 5 könnten die Befragten an eine Notenskala erinnert werden und beispielsweise den Abstand zwischen 4 und 5, also bestehen oder durchfallen, als subjektiv gröÿer wahrnehmen. Die im Fragebogen verwendete Intervallskala besteht aus fünf Skalenstufen. Im Allgemeinen kann davon ausgegangen werden, dass für Fragen mit mehr als sieben Skalenstufen kein Informationsgewinn in der individuellen Urteilsdierenzierung erreicht wird. Durch die Verwendung von fünf Skalenstufen ist eine Dierenzierung der Befragten möglich, aber Antworttendenzen, wie die Tendenz m extremen Urteil, sind weniger ausgeprägt als bei einer höheren Anzahl von Skalenstufen Bipolare und unipolare Skalen Man unterscheidet zwischen einer bipolaren und unipolaren Antwortskala 3. Eine bipolare Skala (siehe Abbildung 3.1) hat einen Zustimmungs- bzw. Ablehungsbereich von einem 3 Testtheorie und Fragebogenkonstruktion S.51 [4] 15

21 Kapitel 3. Einstellungs- und Verhaltenstest positiven Pol, der eine starke Zustimmung ausdrückt, über einen Indierenzbereich bis einem negativen Pol, der eine starke Ablehnung ausdrückt. Eine unipolare Skala (siehe Abbildung 3.2) hat einen Nullpunkt, der das geringste Ausmaÿ an Zustimmung (bzw. Ablehnung) ausdrückt, sowie einen positiven (bzw. negativen) Pol, der die stärkste Zustimmung (bzw. Ablehung) kennzeichnet. Dadurch steigt die Intensität der Zustimmung (bzw. Ablehnung) nur in eine Richtung. Abbildung 3.1.: Bipolare Skala Abbildung 3.2.: Unipolare Skala Die Entscheidung gunsten der bipolaren oder der unipolaren Skala ist von dem Iteminhalt bzw. dem erfassenden Gegenstand abhängig. Deshalb werden in diesem Fra- 16

22 Kapitel 3. Einstellungs- und Verhaltenstest gebogen beide Antwortskalen bei der Itemkonstruktion verwendet. Die unipolare Skala wurde in den Fragen 3, 7, 10 und 13 der nalen Version des Fragebogens (siehe Anhang A.1) benutzt. Diese Fragen haben als Merkmalsausprägungen Häugkeitsangaben. In den restlichen Fragen des Einstellungs- und Verhaltenstest wurde die bipolare Skala eingesetzt Neutrale Mittelkategorie Obwohl die meisten Befragten nicht neutral in ihrer Einstellung gegenüber einem Gegenstand sind, sondern in eine Richtung des Antwortspektrums tendieren, wurde in diesem Fragebogen eine ungerade Anzahl an Antwortkategorien benutzt. Dadurch können auch neutrale Antworten abgegeben werden und die Antworten lassen sich trotzdem in Kategorien einteilen (z.b. Zustimmung - Ablehnung). Verschiedene empirische Untersuchungen haben gezeigt, dass die mittlere Antwortkategorie gerne von den Befragten gewählt wird, wenn eine Antwort verlangt wird. Ein weiterer Nachteil von Fragen mit einer ungeraden Anzahl an Antwortkategorien ist, dass diese auch gewählt wird, wenn der Befragte die Frage nicht verstanden hat. Um diese Probleme lösen, wird eine `Weiÿ nicht-kategorie angeboten Weiÿ nicht -Kategorie Diese Antwortalternative wird angeboten für Teilnehmer, die einem Gegenstand der Befragung keine Meinung haben, die Frage nicht verstanden haben oder die Antwort nicht wissen. Die Weiÿ nicht-kategorie vermindert das Problem der neutralen Mittelkategorie, da den Befragten explizit eine Ausweichoption angeboten wird. In dieser Befragung wird die Weiÿ nicht-kategorie verwendet, da die Annahme besteht, dass einige Teilnehmer eine Frage nicht beantworten wollen oder nicht das Fachwissen r Beantwortung einer Frage haben. Folglich kann zwischen Befragten mit einer neutralen Meinung und Befragten, die die Frage nicht beantworten wollen oder können, unterschieden werden Antworttendenzen Unter dem Begri Antworttendenz versteht man eine individuelle Tendenz, auf Fragen unabhängig vom Frageinhalt, systematisch reagieren 4. 4 Leitfaden r Fragebogenkonstruktion S.19[2] 17

23 Kapitel 3. Einstellungs- und Verhaltenstest Tendenz r Mitte Als Tendenz r Mitte 5 wird das bewusste oder unbewusste Bevorgen der mittleren Antwortkategorie verstanden. Ein Grund dafür, ist die subjektive Wahrnehmung, dass man mit der Mitte am wenigsten falsch machen kann. Um diese Tendenz verringern, und somit Verzerrungen vorbeugen, wird eine Weiÿ nicht-kategorie angeboten. Auÿerdem wird versucht durch eine präzise und genaue Formulierung der Items dieser Tendenz entgegenwirken Tendenz m extremen Urteil Auf der anderen Seite wird die Mitte von sehr motivierten Teilnehmern gemieden, und es entsteht eine Tendenz m Extremen. Um dies verhindern, wurden extreme sprachliche Bezeichnungen vermieden. Diese beiden Tendenzen können Validitätsproblemen und somit Verzerrungen in der Interpretation der Ergebnisse führen. Es bleibt aber festhalten, dass die Tendenz m Extremen seltener beobachtet wird Akquieszenz Unter Akquieszenz versteht man eine Zustimmungstendenz den vorgegebenen Fragen, ohne deren Inhalt kritisch hinterfragen. Eine Möglichkeit, dies erkennen, ist die Invertierung von Items, d.h. es werden Items erst positiv formuliert und später in negierter Form nochmals abgefragt. Teilnehmer, die die erste Frage positiv beantwortet haben, sollten in der zweiten Frage eine negative Tendenz zeigen. Untersuchungen haben gezeigt, dass einem positiv formulierten Statement lieber gestimmt wird, als ein negativ formuliertes Statement ablehnen. Um die Tendenz m Ja-Sagen verringern, wurden auch negativ formulierte Fragen eingesetzt. In der nalen Version des Fragebogens (siehe Anhang A.1) sind die Fragen 8 und 12 negativ formuliert. Dabei ist darauf achten, keine doppelte Verneinung benutzen, da diese Verwirrungen führt Soziale Erwünschtheit Teilnehmer neigen da, sich besonders gut darstellen wollen. Dies äuÿert sich in Meinungen und Antworten, von denen sie annehmen, dass sie mit sozialen Normen übereinstimmen und sie somit in einem besonders günstigen Licht dastehen. Dieser Eekt wird gemindert, indem den Befragten die Anonymität gesichert wird und eine Aufklärung über den Untersuchungsgegenstand erfolgt. 5 Testtheorie und Fragebogenkonstruktion S.60[4] 18

24 Kapitel 3. Einstellungs- und Verhaltenstest Antwortmuster Antwortmuster treten auf, wenn die Befragten in eine Routine verfallen. Sie kreuzen beispielsweise nur gerade runter oder diagonal die Antworten an. Dies tritt häug bei Langeweile oder Müdigkeit auf. Der beste Weg dies verhindern, ist den Fragebogen interessant für die Teilnehmer gestalten. Auÿerdem umfasst der Fragebogen positive und negative Fragen, da die Fragen dadurch genau und aufmerksam vom Befragten gelesen werden müssen, um eine korrekte Antwort geben bzw. die Polarität verstehen. In der nalen Version des Fragebogens (siehe Anhang A.1) sind die Fragen 8 und 12 negativ formuliert Themen Im Einstellungs- und Verhaltenstest werden die Probanden nach sicherheitsrelevanten Themen wie Passwortsicherheit, Datenschutz oder Verhalten im Internet befragt. Es folgt eine Liste der Themen (Itempool) mit einer Zuordnung der einzelnen Fragen. Die Fragenummern beziehen sich auf die nale Version des Fragebogens (siehe Anhang A.1): 1. Relevanz von IT-Sicherheit Fragen 1 bis 3 2. Beeinträchtigung durch IT-Sicherheit Fragen 4 und 5 3. Gefahrenpotenziale verschiedener Anwendungen und Technologien Frage 6 4. Maÿnahmen für eine erhöhte IT-Sicherheit Fragen 7 bis Datenschutz und Datensicherheit Fragen 12 bis Nutng von IT-Sicherheitskenntnissen Fragen 15 bis 18 19

25 Kapitel 3. Einstellungs- und Verhaltenstest 3.4. Quellen Für die Erstellung des Einstellungs- und Verhaltenstests wurden folgende Quellen genutzt: Wie lernt man IT-Sicherheit am Besten? Eine empirische Studie von Frank van der Beek. lepool/theses/diplomarbeit-2007-vanderbeek.pdf Fragebogen m Thema IT-Sicherheit in IT-Umgebungen von Wiederhold IT- Services. <kes> Microsoft Sicherheitsstudie - Checkliste r Informationssicherheit von 2006 und Umfrage IT-Sicherheit der Hochschule Darmstadt. hochschulprojekte/studie-it-sicherheit/r-befragung/index.htm Die Fragebögen haben Anhaltspunkte verschiedenen Themengebieten der IT-Sicherheit gegeben. Bevor eine Frage übernommen werden kann, muss sie auf ihre Kompatibilität bezüglich der Zielsetng des Fragebogens überprüft werden. 20

26 Kapitel 4. Wissenstest Dieses Kapitel hat die Entwicklung des Wissenstest m Gegenstand. Wissensfragen haben das Ziel, das Bildungsniveau oder das Bewusstsein über ein bestimmtes Thema, abschätzen Formulierung der Fragen Bei der Formulierung der Wissensfragen wurde auf die Eindeutigkeit, die Verständlichkeit und den Schwierigkeitsgrad der Fragen geachtet. Die Schwierigkeit der Fragen wurde an die Zielgruppe angepasst, damit eine Dierenzierung zwischen den Befragten möglich ist. Wenn Verständnisprobleme bei den Befragten auftreten, besteht häug nicht die Möglichkeit nachfragen oder der Testleiter kann ebenfalls nicht weiterhelfen. Um die Reliabilität erhöhen, werden mehrere Fragen einem Thema gestellt. Testteilnehmer wollen nicht unklug oder schlecht informiert wirken, wenn sie oensichtlich eine falsche Antwort geben. Diese Gefahr wurde verringert, indem eine Weiÿ nicht- Antwort angeboten wird (siehe Abschnitt ) Reihenfolge und Schwierigkeitsgrad der Fragen Wissensfragen unterscheiden sich in ihrem Schwierigkeitsgrad. Im Allgemeinen werden leichtere Fragen einem Thema erst gestellt. Fragen, die leicht oder schwer sind, lassen keine Dierenzierung des Teilnehmerfeldes und der Schwierigkeitsgrad muss angepasst werden. Es ist darauf achten, dass vorher gestellte Fragen einen Einuss auf das Antwortverhalten der Testteilnehmer haben. Dies ist bei der Erstellung und Interpretation des Fragebogens beachten. Wenn Teilnehmer Wissensfragen nicht beantworten können, dann sind Einstellungsfragen m selben Thema mit Vorsicht betrachten. 21

27 Kapitel 4. Wissenstest Kontrollfragen Kontrollfragen haben die Aufgabe erkennen, ob ein Befragter bei der Beantwortung der Fragen rät bzw. den Fragebogen unmotiviert bearbeitet. Falls dies auftritt, ist bei der Auswertung der Daten Vorsicht geboten, da eine Verzerrung des Messergebnisses auftreten kann. Der Fragebogen enthält zwei Paare von Fragen, die das Gleiche überprüfen. Die Fragen 5 und 7 haben den Schwerpunkt Integrität, die Fragen 4 und 6 beschäftigen sich mit Authentikation. Falls eine Frage richtig beantwortet wurde und die andere falsch oder beide falsch, kann daraus geschlossen werden, dass der Befragte bei der Beantwortung der Fragen rät. Falls dies bei beiden Kontrollfragenpaaren auftritt, sollte der Fragebogen auf Antwortmuster (siehe Abschnitt ) überprüft werden Antwortformat Der Wissenstest verwendet, wie auch der Einstellungs- und Verhaltenstest, ein gebundenes Antwortformat (siehe Abschnitt 3.2.1) Auswahlaufgaben Das Kennzeichen von Auswahlaufgaben ist, dass Probanden aus mehreren vorgegebenen Antwortalternativen die richtige bzw. treende Antwort bestimmen müssen. Solche Aufgaben werden als Multiple-Choice-Aufgabe oder Mehrfachwahl-Aufgabe bezeichnet. In diesem Fragebogen werden neben den klassischen Mehrfachwahl-Aufgaben, die nur eine korrekte Lösung haben, auch Antwortformate verwendet, bei denen mehrere Antwortalternativen korrekt sind. Wenn Probanden mehrere richtige Antworten identizieren müssen, sinkt die Ratewahrscheinlichkeit erheblich. Es wurde darauf geachtet, dass die Aufgaben selbst keine Hinweise auf die richtige Lösung beinhalten, da Verzerrungen auftreten können. In der nalen Version des Fragebogens ist der Wissensteil in zwei Abschnitte unterteilt (siehe Abschnitt 6.1.5). Der erste Abschnitt besteht aus Multiple-Choice-Aufgaben, bei denen der Proband die richtige Antwortalternative aus vier vorgegebenen Antwortalternativen auswählen muss. Falls die richtige Antwort ausgewählt wird, bekommt der Proband einen Punkt, bei einer falschen Antwort wird ihm ein Punkt abgezogen. Im zweiten Abschnitt muss der Befragte auswählen, ob eine Antwort richtig oder falsch ist. In diesem Teil können pro Aufgabe mehrere Antwortalternativen richtig sein. Für jede richtige Beurteilung einer Antwortalternative wird ihm ein halber Punkt gutgeschrieben, für jede falsche Beurteilung wird ihm ein halber Punkt abgezogen. 22

28 Kapitel 4. Wissenstest Im folgenden wird auf die zwei wichtigsten Aspekte bei der Konstruktion von Auswahlaufgaben für Wissenstests eingegangen. Es sind die Auswahl geeigneter Distraktoren und die Disjunktheit der Anwortalternativen Distraktoren Im Gegensatz einem freien Antwortformat ist das Ermitteln der richtigen Lösung alleine durch das Wiedererkennen möglich. Um die Identikation der richtigen Antwort erschweren, müssen die falschen Antworten derart konstruiert sein, dass sie wie richtige Antworten aussehen, aber inhaltlich falsche Antworten sind. Solche Antworten nennt man Distraktoren. Je mehr Distraktoren vorhanden sind, umso mehr wird das Antwortverhalten auseinander gezogen und die Wahrscheinlichkeit die richtige Antwort erraten, nimmt ab. Bei der Konstruktion von Distraktoren wurden folgende Merkmale beachtet: Ähnlichkeit mit der richtigen Antwort Attraktivität der Antwort Plausibilität der Antwort Nur wenn die falschen Antworten der richtigen Antwort stark ähneln, weist der Auswahlprozess die notwendige Schwierigkeit auf Disjunktheit der Antwortalternativen Bei Auswahlaufgaben mit nur einer richtigen Antwort ist darauf achten, dass die Antwortalternativen disjunkt sind, d.h. dass sie sich gegenseitig ausschlieÿen und die Schnittmenge ihrer Aussage leer ist. Es ist auÿerdem darauf achten, dass nur eine richtige Antwortalternative existiert und nicht mehrere Themen Im Wissenstest nimmt die Auswahl der Themen r Prüfung des IT-Sicherheitsverständnisses eine bedeutende Rolle ein. Da die Bandbreite der Themen im Bereich IT-Sicherheit groÿ ist und in diesem Fragebogen nicht abgedeckt werden kann, wurde die Vorlesung IT- Sicherheit der als Ausgangspunkt benutzt. Daraus ergeben sich folgende Themenkomplexe, die im Wissensteil überprüft werden. Die Fragenummern beziehen sich auf die nale Version des Fragebogens (siehe Anhang A.1): 23

29 Kapitel 4. Wissenstest 1. Passwortsicherheit Fragen 1 und 2 im ersten Abschnitt des Wissenstest. Fragen 1 und 2 im zweiten Abschnitt des Wissenstest. 2. Schutzziele (Condentiality, Integrity, Availability) Fragen 4 bis 7 im ersten Abschnitt des Wissenstest. Frage 3 im zweiten Abschnitt des Wissenstest. 3. Angrie und Bedrohungen Fragen 9 bis 14 im ersten Abschnitt des Wissenstest. Frage 9 im zweiten Abschnitt des Wissenstest. 4. Abwehrmaÿnahmen Frage 8 im ersten Abschnitt des Wissenstest. Fragen 7 und 8 im zweiten Abschnitt des Wissenstest (Frage 7 kann auch unter Angrie und Bedrohung eingestuft werden). 5. Krytographie Fragen 16 und 17 im ersten Abschnitt des Wissenstest. Fragen 4 bis 6 im zweiten Abschnitt des Wissenstest (Frage 5 kann auch unter Netzwerke und Protokolle eingestuft werden). 6. Netzwerke und Protokolle Fragen 15 im ersten Abschnitt des Wissenstest. Frage 5 im zweiten Abschnitt des Wissenstest Quellen Als Quelle für den Wissensstest fungierten die Fragenkataloge der folgenden Zertikate: System Security Certied Practitioner (SSCP) Sun Certied Security Administrator CIW Security Professional Certied Network Security Administrator 24

30 Kapitel 4. Wissenstest TruSecure ICSA Certied Security Associate Die Zertikate decken verschiedene der oben genannten Themen ab. Die Fragen wurden an das Frage- und Antwortformat des Fragebogens angepasst. 25

31 Kapitel 5. Erster Pretest Die Erprobung der ersten Version des Fragebogens (siehe Anhang A.2) hatte m Ziel die Fragen, die nicht den Konstruktionsansprüchen genügen, erkennen. Schwierigkeiten, die auftreten können, sind z.b. Verständnisprobleme bei Probanden oder ein ungeeignetes Antwortformat. Bei dem ersten Test des Fragebogens wurde die Methode der retrospektiven Befragung angewendet. Dabei wurde die vorläuge Testversion erst von den Probanden bearbeitet und danach wurden diese befragt, bei welchen Items Probleme aufgetreten sind. Der Fragebogen wurde den Probanden per gesandt. Es haben zehn Probanden den Test ausgefüllt rückgeschickt und mir eine Rückmeldung möglichen Unklarheiten und Schwierigkeiten gegeben. Die Rückmeldung erfolgte sowohl per , als auch in persönlichen Gesprächen. Die folgenden Erkenntnisse und Fehlerquellen wurden mit dem ersten Pretest erkannt und behoben (die Nummerierung basiert auf Fragebogen Version 1, siehe Anhang A.2): 1. Dauer und Schwierigkeitsgrad - Im Allgemeinen wurde der Fragebogen als schwierig empfunden und die durchschnittliche Bearbeitungszeit betrug 20 bis 25 Minuten. Um den Schwierigkeitsgrad senken, wurden schwierige Fragen, die keine Dierenzierung ermöglichen oder bereits durch andere Fragen abgedeckt sind, gelöscht. Auÿerdem wurde mit dieser Maÿnahme eine Bearbeitungszeit von 15 Minuten angestrebt. Frage A4 wurde gelöscht, da sie durch Frage A8 bereits abgedeckt ist. Frage A9 wurde in Frage A8 integriert. Die Fragen B3 und B10 wurden kombiniert und die Antwortalternativen angepasst. Die Fragen B4 und B17 wurden gelöscht, da das Thema hinreichend abgedeckt ist. 26

32 Kapitel 5. Erster Pretest Frage B9 wurde gelöscht, da keine Dierenzierung der Befragten möglich war. 2. Verständnisprobleme - Um Verständnisprobleme vermeiden, wurden einige Fragen umformuliert. Dies hatte m Ziel die Fragen eindeutig und spezisch formulieren, und sie an die Zielgruppe anpassen. Im Folgenden sind die durchgeführten Änderungen aufgelistet: In Frage A5 wurde manche durch bedrohliche ersetzt. In Frage A8 wurde Maÿnahmen durch Schutzmaÿnahmen ersetzt. In Frage A12 wurde Firewall durch Personal-Firewall ersetzt. In Frage A15 wurde die Antwortalternative Anderer Zeitraum hingefügt, damit das gesamte Antwortspektrum abgedeckt ist. In Frage A17 wurde illegale Zwecke durch Sicherheitslücken ersetzt. Durch die Änderung soll die Frage weniger bedrohlich wirken, und die Antwortbereitschaft erhöht werden. In den Fragen B2 und B23 wurden die Antwortalternativen angepasst. Frage B26 wurde speziziert. In Frage B30 wurde Technologien durch WLAN-Technologien ersetzt. 3. Instruktionen - Die Einleitung des Fragebogens wurde sprachlich verbessert. Auÿerdem wurde in der Einleitung von Teil A ausdrücklich auf die Weiÿ-nicht Antwortalternative hingewiesen. 4. Aquieszenz - Die Einstellungsfragen A10 und A14 wurden negativ formuliert. Damit soll die Akquieszenz verringert werden, da die Probanden die Frage kritischer betrachten und nicht unabhängig von ihrem Inhalt antworten. 5. Richtig-/ Falsch-Befragung - Die Wissensfragen in Teil B wurden dahingehend überarbeitet, damit eine Richtig-/ Falsch-Befragung möglich ist. Da haben alle Fragen nur noch vier Antwortalternativen und nur jeweils eine Antwortalternative ist richtig. Diese Befragungsmethode hat den Vorteil, dass die Probanden auch Teilpunkte für eine Aufgabe bekommen können, falls sie m Beispiel eine Antwortalternative ausschlieÿen können. 6. Demographische Fragen - Die demographischen Fragen in Teil C des Fragebogens wurden ergänzt. Es wird sätzlich auch nach dem Geschlecht und den bereits besuchten Veranstaltungen im Bereich IT-Sicherheit gefragt. Auÿerdem wurde ein Feedback-Kasten für den zweiten Pretest eingefügt. 27

33 Kapitel 6. Zweiter Pretest Der zweite Pretest wurde in der Übung angewandte IT-Sicherheit durchgeführt. Es haben 49 Teilnehmer den Fragebogen bearbeitet und abgegeben. Der Wissenstest wurde in zwei verschiedenen Versionen den Probanden vorgelegt. Die eine Hälfte der Teilnehmer musste in Version 2a des Wissenstest nur die richtige Antwort ankreuzen (siehe Anhang A.3), die andere Hälfte der Teilnehmer musste in Version 2b jede Antwortalternative als richtig oder falsch bewerten (siehe Anhang A.3) Itemanalyse Das Ziel des zweiten Pretest war es, die Aufgaben und Antwortalternativen des Fragebogens auf ihre Güte überprüfen. Da wurden die drei Gütekriterien Objektivität, Reliabilität und Validität untersucht Objektivität Die Durchführungsobjektivität (siehe Abschnitt ) ist gegeben, da das Ergebnis des Fragebogens unabhängig von einem Testleiter ist. Ein Grund dafür ist die Standardisierung des Fragebogens. Auÿerdem enthält der Fragebogen genaue Instruktionen, wodurch keine Interaktion zwischen Proband und Testleiter nötig ist, um den Fragebogen ausfüllen. Die Auswertungsobjektivität (siehe Abschnitt ) ist durch die Anwendung von Multiple-Choice-Fragen gegeben, da klare Auswertungsregeln vorhanden sind. Die Interpretationsobjektivität (siehe Abschnitt ) ist ebenso gewährleistet, da die Einstufung der Probanden nur von dem Testwert abhängt, und nicht von sätzlichen Einüssen. Damit ist das Gütekriterium der Objektivität erfüllt, und der Fragebogen wird als objektiv angesehen. 28

34 Kapitel 6. Zweiter Pretest Reliabilität Zur Überprüfung der Reliabilität wurde der Schwierigkeitsindex, die Trennschärfe der einzelnen Items und Cronbachs α betrachtet. Die folgenden Berechnungen wurden im Einstellungsteil auf der Basis von 49 ausgefüllten Fragebögen gemacht. Im Wissensteil wurden nur die 25 Fragebögen von Version 2a (siehe Anhang A.3) genutzt, bei denen man die richtige Antwort ankreuzen sollte. Damit sollte eine Verzerrung der Ergebnisse vermieden werden. Die Berechnungen selbst wurden mit der Statistiksoftware SPSS durchgeführt Schwierigkeitsindex des Wissenstest Damit eine Merkmalsdierenz zwischen den Probanden erfasst werden kann, sind die Items so konstruiert, dass die Probanden nicht alle die gleiche Antwort geben. Daraus folgt, dass die Items leicht und schwer sein dürfen. Um dies gewährleisten, wird der Schwierigkeitsgrad jedes Items kontrolliert. Als Maÿ der Schwierigkeit wird der Schwierigkeitsindex benutzt. Da es sich um einen Leistungstest ohne Zeitbegrenng handelt, kann davon ausgegangen werden, dass alle Aufgaben bearbeitet wurden. Demfolge gibt es nur Richtig- oder Falschantworten, sowie Aufgaben, die mit Weiÿ nicht beantwortet wurden. Der Schwierigkeitsindex P i für ein Item i ist der Quotient aus der Anzahl der richtigen Antworten n R und der Stichprobe von der Gröÿe n multipliziert mit 100. P i = n R n 100 Der Wertebereich von P i ist zwischen 0 und 100 und wird umso gröÿer, je mehr Probanden ein Item lösen konnten. Also haben schwierige Aufgaben einen niedrigen Schwierigkeitsindex und leichte Augaben einen hohen Schwierigkeitsindex. Der Schwierigkeitsindex sollte 20 nicht unterschreiten und 80 nicht überschreiten. Der Schwierigkeitsindex der Fragen ist in der Tabelle 6.1 abgebildet Trennschärfe des Wissenstest Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Korrelation des Items mit dem Gesamtergebnis eines Tests. Die Trennschärfe kann Werte zwischen -1 und 1 annehmen. Als gute Trennschärfe gilt der Bereich von 0,40 bis 0,70. Items mit einer Trennschärfe unter 0,32 sollten in der Regel eliminiert werden. Wenn Items eine Trennschärfe nahe 1 haben, dann wurde das Item von Befragten mit hohem 29