InstEvaL Informationen zur Auswertung

Transkript

1 1. Der InstEvaL InstEvaL Informationen zur Auswertung Der InstEvaL ist ein testtheoretisch optimierter, mehrdimensionaler Fragebogen zur studentischen Evaluation von Lehrveranstaltungen, der sich zügig beantwortet lässt. Er besteht aus insgesamt 48 Fragen. 34 Fragen erfassen dabei die folgenden 11 Dimensionen: Gesamtbewertung des Dozierenden und der Lehrveranstaltung Angemessene Schwierigkeit der Lehrveranstaltung Angemessener Arbeitsaufwand der Studierenden Beispiele und Praxisbezug Fragen und Diskussion Motivierung der Studierenden Relevanz und Nutzen der Lehrveranstaltung Spektrum der Lehrveranstaltung Struktur und Aufbau der Lehrveranstaltung Sympathie für den Dozierenden Verständlichkeit der Lehrveranstaltung Über elf Fragen werden Randbedingungen der Lehrveranstaltung erfasst. Drei offene Fragen bietet Raum für weitere Kommentare. Neben der Vollversion steht eine Kurzversion zur Verfügung, die bis auf die Gesamtbewertung jede der 11 Dimensionen mit einem Item erfasst und insgesamt aus 24 Items besteht. Items, die auch in der Kurzversion enthalten sind, sind mit (K) markiert (s.u.). Zusätzlich werden sechs Fragen zum Bereich Referate bereitgestellt, die bei Bedarf hinzugefügt werden können. 2. Auswertung Die Items der 11 Skalen werden auf einer sechsstufigen Skala beantwortet, die beschriftet ist mit trifft vollkommen zu trifft nicht zu. Die Antworten werden mit den Zahlen 1-6 codiert und zu Skalenwerten gemittelt. Negativ gepolte Items werden natürlich in umgekehrter Richtung wie positiv gepolte Items gewertet. Die Skalenwerte variieren demnach zwischen 1,0 (bestmögliche Bewertung) und 6,0 (schlechtestmögliche Bewertung). Für die vier Items zur Gesamtbewertung des Dozierenden und der Lehrveranstaltung wird das Antwortformat der Schulnoten verwendet. Die sechsstufige Skala ist hier beschriftet mit Sehr Gut (Note 1) Ungenügend (Note 6) und zusätzlich mit den Ziffern 1 bis 6. Der Wert der Skala Gesamtbewertung entspricht einer Gesamtnote für den Dozierenden und die Lehrveranstaltung. Zusätzlich werden die Werte der einzelnen Items der Skala dargestellt. Die Items der Bereiche Rahmenbedingungen, Referate und Sonstige sind nicht Teil einer Skala. Hier wird der Mittelwert jedes einzelnen Items bzw. der Wortlaut der Antworten auf die offenen Fragen berichtet. Bei der Interpretation der Mittelwerte sind die unterschiedlichen Antwortformate der Items zu berücksichtigen: Die Werte der Items 35-41, R1-R6, sowie von Item 46 variieren zwischen 1 ( trifft vollkommen zu ) und 6 ( trifft nicht zu ). Items 42 und 43 beziehen sich auf die Anzahl von Terminen (0, 1, 2, 3, 4, >4). Die Angaben zu Item 44 variieren zwischen 1 ( sehr groß ) und 6 ( sehr gering ). Die Angaben zu Item 45 entsprechen Stundenangaben (0, 0-1, 1-2, 2-3, 3-4, >4).

2 3. Skalen des InstEvaL Die Tabelle zeigt Nummer und Wortlaut der Items an, die in die Berechnung der jeweiligen Skala eingehen. Ein (-) zeigt an, dass das Item zur Berechnung des Skalenmittels umgepolt wird. 3.1 Gesamtbewertung der Lehrveranstaltung und des Dozierenden 1 Die didaktischen Fähigkeiten des/der Dozierenden waren... (K) 2 Welche Note würden Sie dem/der Dozierenden geben? (K) 3 Welche Note würden Sie der Lehrveranstaltung insgesamt geben? (K) 4 Wie schneidet diese Lehrveranstaltung ab im Vergleich zu anderen Lehrveranstaltungen? (K) 3.2 Angemessene Schwierigkeit der Lehrveranstaltung 29 Ich habe den Stoff verstanden. 32 Meine Vorkenntnisse waren ausreichend. 33 Man konnte dem Stoff leicht folgen. (K) 3.3 Angemessener Arbeitsaufwand der Studierenden 7 (-) Es wurde zuviel Stoff behandelt. 9 (-) Der Arbeitsaufwand für die Lehrveranstaltung war sehr groß. 20 (-) Um der Lehrveranstaltung zu folgen, war viel zusätzliche Arbeit nötig. (K) 3.4 Beispiele und Praxisbezug 24 Es wurden genügend Beispiele und Veranschaulichungen eingesetzt. 16 Der Stoff wurde anhand von Beispielen veranschaulicht. (K) 14 Ein Bezug zwischen Theorie und Praxis wurde hergestellt. 3.5 Fragen und Diskussion 8 Die Studierenden wurden ermutigt, Fragen zu stellen und an der Diskussion teilzunehmen. 17 Der/Die Dozierende förderte die offene und freie Beteiligung der Studierenden. (K) 21 Die Studierenden wurden zu aktiver Teilnahme angeregt. 3.6 Motivierung der Studierenden 12 (-) Der/Die Dozierende scheint Lehre als reine Pflichtübung und Routine zu betrachten. 23 (-) Die Darstellungen waren langweilig und trocken. 25 Der/Die Dozierende wirkte motivierend. (K)

3 3.7 Relevanz und Nutzen der Lehrveranstaltung 30 Der Besuch der Lehrveranstaltung lohnt sich meiner Meinung nach. 31 Ich habe Sinnvolles und Wichtiges gelernt. (K) 34 Ich habe in dieser Lehrveranstaltung viel gelernt. 3.8 Spektrum der Lehrveranstaltung 5 Der/Die Dozierende stellte unterschiedliche Meinungen zum Thema dar. 13 Der/Die Dozierende stellte verschiedene Theorien gegenüber. (K) 18 Der/Die Dozierende stellte Bezüge zu anderen Fachgebieten her. 3.9 Struktur und Aufbau der Lehrveranstaltung 11 Der Inhalt der Lehrveranstaltung war gut strukturiert. (K) 15 Struktur und Aufbau der Lehrveranstaltung waren nachvollziehbar 19 Die Veranstaltung war gut organisiert Sympathie für den Dozierenden 26 Der/Die Dozierende wirkte freundlich. 27 (-) Der/Die Dozierende wirkte arrogant. 28 (-) Der/Die Dozierende wirkte herablassend. (K) 3.11 Verständlichkeit der Lehrveranstaltung 6 Die Lehrveranstaltungsinhalte waren gut vorbereitet. 10 Der/Die Dozierende vermittelte den Stoff anschaulich. (K) 22 Der/Die Dozierende konnte Kompliziertes verständlich machen. Ist am Ende der Zeile ein (K) angegeben, so handelt es sich um ein Item, das in allen Versionen des InstEvaL auftaucht. Items ohne (K) gibt es nur in der Vollversion des InstEvaL, nicht aber in der Kurzform.

4 4. Rahmenbedingungen, Referate und Sonstige Für den Bereich Rahmenbedingungen, ebenso wie für den optionalen Bereich Referate, werden gemittelte Itemwerte berichtet. Antworten auf die offene Frage zur Lehrveranstaltung werden nicht quantitativ ausgewertet, sondern im Wortlaut wiedergegeben. Nummer und Wortlaut der Items zeigt folgende Tabelle: 4.1 Rahmenbedingungen 35 Die Temperatur und Belüftung des Raumes waren gut. 36 Die Akustik im Raum war gut. 37 Die verwendeten Medien waren gut. (K) 38 Der/Die Dozierende setzte Medien in angemessenem Umfang ein. (K) 39 Die angegebene Literatur war verfügbar. (K) 40 Die Lehrveranstaltung wurde rechtzeitig und zutreffend angekündigt. 41 Der/Die Dozierende hielt sich an die Lehrveranstaltungszeiten. 42 Wie viele Lehrveranstaltungstermine fanden nicht statt und wurden nicht nachgeholt? 43 An wie vielen Lehrveranstaltungsterminen haben Sie nicht teilgenommen? 44 Einmal abgesehen von Ihrer Bewertung dieser speziellen Lehrveranstaltung, wie groß ist Ihr Interesse am Stoff der Lehrveranstaltung? (K) 45 Einmal abgesehen von Ihrem Zeitaufwand für ein Referat oder eine Hausarbeit, wie viele Stunden pro Woche haben Sie durchschnittlich für die Vor- und Nachbereitung der Lehrveranstaltung aufgewendet? (K) 4.2 Referate [optional] R1 Die Referate waren gut strukturiert und verständlich. (K) R2 R3 R4 R5 R6 Die Referenten waren gut vorbereitet. (K) Die referierten Themen waren nützlich und wertvoll. (K) Die Referate wurden durch den/die Dozierenden adäquat ergänzt. (K) Es blieb genügend Zeit für Fragen und Diskussion. (K) Die Referate waren insgesamt (K) 4.3 Sonstige 46 Mit diesem Bogen konnte ich meine Meinung zur Lehrveranstaltung gut wiedergeben. (K) 47 Offene Frage mit von Dozierende vorgegebenem Wortlaut. [optional] (K) 48 Sonstige Bemerkungen zu dieser Lehrveranstaltung: (K)

5 5. Normen Zu den 11 Skalen des InstEvaL und der Gesamtbewertung existieren Prozentrangnormen, die jedes Semester aktualisiert werden. Zu jedem Skalenwert einer Lehrveranstaltung wird angegeben, wie viel Prozent der in der Datenbank vorhandenen Lehrveranstaltungen eines bestimmten Typs auf der betreffenden Skala schlechter bewertet wurden. Hat ein Dozent für eine Lehrveranstaltung also z.b. auf der Skala Motivierung eine Bewertung von 1.7 erhalten (= Mittelwert der Skala über alle Evaluatoren), als Referenzgruppe Lehrveranstaltungen im Fach Psychologie, Grundstudium angewählt und einen Prozentrangwert von 81 zu dieser Skala erhalten, so bedeutet das, dass 81% aller Grundstudiumslehrveranstaltungen im Fach Psychologie, die in der Datenbank enthalten sind, auf der Skala Motivierung schlechtere Skalenwerte (d.h. > 1.7) erzielt haben. Anders ausgedrückt: 19% der Lehrveranstaltungen des angewählten Bereichs hatten mindestens so gute Bewertungen (<= 1.7) wie die betreffende Lehrveranstaltung. Umgekehrt würde ein Prozentrangswert von z.b. 24 bedeuten, dass nur 24% aller Lehrveranstaltungen des betreffenden Bereichs auf der Skala schlechter abgeschnitten haben und folglich 76% besser. 6. Parallelform Eine zum InstEvaL struktur- und inhaltsgleiche Paper-und-Pencil-Parallelform (StEvaL) kann als PDF-Datei bezogen werden. Der StEvaL kann prinzipiell ebenso wie der InstEvaL ausgewertet werden. Die Auswertung und Prozentrangnormierung wird allerdings von den Autoren nicht unterstützt, muss also von Anwendern selbst organisiert werden.

6 InstEvaL Information about the evaluation 1. InstEvaL InstEvaL is a multidimensional questionnaire for the student s evaluation of courses, easy to complete and optimized with regard to test theories.. It consists of 48 questions, 34 of which cover the following 11 issues: - Overall evaluation of lecturer and course - Appropriate difficulty of the course - Adequate work load for the students - Examples and job practice - Questions and discussions - Motivation of the students - Relevance and use of the course - Spectrum of the course - Structure of the course - Sympathy for the lecturer - Comprehensibility of the course Context conditions are treated in 11 questions and three open questions leave space for further comments. Besides the full version a short version of the InstEvaL evaluation is available, covering the same 11 issues but shortened to 24 items. Items also appearing in the short version are marked with an (S), as you can see below. If required, InstEval also provides six questions concerning the section presentations. 2. Evaluation Answers to the 11 issues are given on a six-point scale, ranging from applies completely to doesn t apply at all. The answers will be coded with the numbers 1-6 and afterwards averaged to a scale data. Negative poled items will be rated in the opposite direction to positive poled items. Thus, the scale data will vary between 1.0 (best possible rating) and 6.0 (poorest possible rating). The overall evaluation of the lecturer and the course takes four corresponding items as a basis and uses the German school grade system. The scale ranges from excellent (grade 1) to unsatisfactory (grade 6) and 1-6, respectively. The scale overall evaluation results in a final grade for the lecturer and the course. The sections general conditions, presentations, and other are not part of this scale. Here, the average of each item, and the wording of the open questions will be reported. Please mind the different answer formats of the items when interpreting the mean values: - The value of the items 35 41, R1 R6, and 46 vary between 1 ( applies completely ) and 6 ( doesn t apply at all ). - The items 42 and 43 refer to the amount of dates taken place (0,1,2,3,4, <4) - The scale of item 44 varies between 1 ( major ) and 6 ( minor ) - The scale of item 45 corresponds to time indications (0,0-1,1-2,2-3,3-4,<4) InstEvaL Web-based appliance for the student s evaluation of courses Erdfelder, Pesch, Stahl

7 3. Scales of InstEvaL The table shows the number and wording of the items, used for the calculation of the respective scale. A (-) indicates that the item was commutated to make a scale calculation possible. 3.1 Overall evaluation of lecturer and course 1 The lecturer s didactic skills were (S) 2 How would you rate the lecturer? (S) 3 All in all, how would you rate the course? (S) 4 How does this course come off compared to the other courses you are attending? (S) 3.2 Appropriate difficulty of the course 29 I have understood the course s content. 32 My previous knowledge was sufficient to follow the course. 33 I was able to follow the subject matter easily. (S) 3.3 Adequate work load for the students 7 (-) The course covered too many topics. 9 (-) The course required a lot of work. 20 (-) A lot of additional effort was necessary to follow the course. (S) 3.4 Examples and job practice 24 The lecturer used an adequate number of examples and illustrations during the course. 16 The subject matter was illustrated with examples. (S) 14 The lecturer created a link between theory and job practice 3.5 Questions and discussions 8 Students were encouraged to ask questions and to participate in discussions. 17 The lecturer encouraged students to discuss in an open-minded way. 21 The students were encouraged to play an active part in the course. 3.6 Motivation of the students 12 (-) The lecturer seems to consider teaching as a pure obligation and routine. 23 (-) The illustrations were boring and dry. 25 The lecturer had a motivating effect. (S) 3.7 Relevance and use of the course 30 In my opinion it is worthwhile attending the course. 31 I have learned a lot of important and meaningful things. (S) 34 I have learned a lot in this course. 3.8 Scope of the course 5 The lecturer outlined different opinions and perspectives. 13 The lecturer contrasted different theories. (S) 18 The lecturer made references to other subjects. InstEvaL Web-based appliance for the student s evaluation of courses Erdfelder, Pesch, Stahl

8 3.9 Structure of the course 11 The course content was well-structured. 15 The course structure was comprehensible. 19 The course was well-organized Sympathy for the lecturer 26 The lecturer was friendly. 27 (-) The lecturer appeared to be arrogant. 28 (-) The lecturer appeared to be condescending. (S) 3.11 Comprehensibility of the course 6 The lecturer was well-prepared with regard to the content of teaching. 10 The lecturer explained the subject matter vividly. (S) 22 The lecturer was able to make complex problems understandable. The (S) at the end of the line indicates that this item appears both in the full and in the short version, whereas the missing (S) shows that this item only appears in the full version. 4. General conditions, presentations and other For the section of General conditions, as well as for the optional section of presentations, averaged item values will be reported. Answers to the open questions on the course won t be evaluated but reproduced in the original wording. The following table shows number and wording of the items: 4.1 General conditions 35 The temperature and ventilation of the room were good. 36 The room has good acoustics. 37 The media used in the course were good. (S) 38 The lecturer s media use was appropriate. (S) 39 The literature listed by the lecturer was available. (S) 40 The course was announced correctly and in time. 41 The lecturer adhered to the course time. 42 How many course appointments didn t taken place and were not caught up later on? 43 How many course appointments couldn t you attend? 44 Apart from your personal evaluation of this course, how strongly interested are you in the subject matter? (S) 45 Besides the time and work you spent for a presentation or homework, how many hours per week did it take you to prepare and rework the course? (S) 4.2 Presentations R1 The student s presentations were well-structured and comprehensible. (S) R2 The speakers were well-prepared. (S) R3 The presentations were useful and valuable. (S) R4 The lecturer supplemented the presentations in an adequate way. (S) R5 There was always enough time to ask questions or have discussions. (S) R6 All in all, the presentations were InstEvaL Web-based appliance for the student s evaluation of courses Erdfelder, Pesch, Stahl

9 4.3 Other 46 I was able to convey my opinion on the course with this evaluation sheet. (S) 47 An open question with prefixed wording given by the lecturer. [optional] (S) 48 Other comments concerning this course: (S) 5. Norms In addition to the 11 scales of InstEvaL and the overall evaluation there exist percentile rank norms which are updated every semester. You will not only receive a scale value of the course but also a percentage indicating how many courses of a special type on the same scale have been evaluated inferior. As an example: A lecturer has chosen courses of psychology, basic studies as a reference group and receives an evaluation result of 1.7 (= average of the scale over all evaluators) with the percentile rank norm 81 on the scale of motivation. That means that 81% of the psychology basic study courses have been evaluated inferior (> 1.7) on the scale of motivation than his course. To rephrase it: Only 19% of the courses in this special reference group have been evaluated superior (<= 1.7) than his course. Vice versa a percentile rank norm value of 24 means that only 24% of all courses got poorer and 76% got better results that the concerning course. 6. Parallel forms Besides the web-based evaluation form of InstEvaL, a paper-and-pencil-form (StEvaL) is available, showing the same structure and content as the InstEvaL full version and can be obtained as a PDF-file. Basically, StEvaL can be evaluated just as InstEvaL, except for the percentile rank norms which have to be organized individually by the user. InstEvaL Web-based appliance for the student s evaluation of courses Erdfelder, Pesch, Stahl