Online-Evaluationen von Vorlesungen im Fachbereich Wirtschaftswissenschaften Wintersemester 02/03

Transkript

1 Justus-Liebig-Universität Gießen PROFESSUR BWL WIRTSCHAFTSINFORMATIK UNIV.-PROF. DR. AXEL C. SCHWICKERT Fachbereichsweite Auswertung Online-Evaluationen von Vorlesungen im Fachbereich Wirtschaftswissenschaften Wintersemester 02/03 1. Richtlinien zur Online-Evaluation im Wintersemester 02/ Formale Kennzahlen zu den Online-Evaluationen Der zu den Online-Evaluationen Fachbereichweite Evaluationsergebnisse März 2003 Univ.-Prof. Dr. Axel C. Schwickert Licher Straße 70 / Gießen Axel.Schwickert@wirtschaft.uni-giessen.de

2 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 Fachbereichsweite Auswertung der Online-Evaluationen im Fachbereich Wirtschaftswissenschaften Wintersemester 02/03 Prof. Dr. Axel C. Schwickert 07. März Richtlinien zur Online-Evaluation im Wintersemester 02/03 Gemäß der Entscheidungsvorlage der Kommission zur Evaluation von Lehrveranstaltungen und dem Beschluß im Professorium am 11. Dezember 2002 galten die nachfolgenden Richtlinen für die Evaluation von Vorlesungen im WS 02/03: Die Evaluation wird online im Web mit einer WPS-Anwendung durchgeführt. Die Online-Evaluation im WS 02/03 auf der gemeinsamen WPS-Basis dient als Experiment zur Gewinnung von Erkenntnissen für die zukünftige Ausgestaltung der Evaluation von Lehrveranstaltungen. Die Online-Evaluation erfolgt im WS 02/03 nur für Vorlesungen. Die Anpassung der Online-Evaluation für Übungen, Seminare und andere Lehrveranstaltungen erfolgt zum SS Der zur Online-Evaluation von Vorlesungen im WS 02/03 ist fachbereichsweit einheitlich. Die WPS-Anwendung gibt dazu jedem Lehrstuhl einen fest vor. Dieser kann im WS 02/03 durch individuelle Fragen verändert werden. Zu jeder Vorlesung im WS 02/03 soll ein freigeschaltet werden. Jeder Dozent (jeder Lehrstuhl) ist selbst verantwortlich für die Freischaltung seines s (seiner Fragebögen) über die entsprechende Funktion in seinem WPS-Intranet. Jeder Lehrstuhl findet ab Anfang Januar 2003 in seinem WPS-Intranet die Funktionen zur Online-Evaluation vor. Der Zeitraum für die öffentliche der Fragebögen beginnt am Montag, 13. Januar Die Fragebögen sollen vor der letzten Veranstaltung einer Vorlesung geschlossen werden. Die WPS-Funktionen in den Intranets der Lehrstühle erlauben die automatische und Schließung der Fragebögen per jeweiliger Datumsangabe. Die Beantwortung eines s durch Studierende wird durch die vorherige Eingabe einer vorlesungsindividuellen Kennungs-/Paßwort-Kombination geschützt (das WPS bietet diese Option zu jedem an). Die Dozenten geben die Kennungs-/Paßwort-Kombination in ihren Vorlesungen den Hörern bekannt. Die Fragebögen und Ergebnisse der einzelnen Lehrstühle sind strikt voneinander getrennt. Jeder Lehrstuhl sieht nur seine eigenen Evaluationen. Jeder Dozent kann nach der Schließung seiner Fragebögen in seinem WPS-Intranet (nur) seine Ergebnisse auswerten. Die Dozenten können die Ergebnisse ihrer Online-Befragungen in der letzten Veranstaltung der betreffenden Vorlesung nach eigenem Ermessen öffentlich machen. Personenbezogene Auswertungen, Rankings etc. werden veröffentlicht. 2. Formale Kennzahlen zu den im WS 02/03 durchgeführte Online-Evaluationen Bis auf wenige begründete Ausnahmen wurden alle Vorlesungen des Wintersemesters 02/03 im Fachbereich Wirtschaftswissenschaften nach den vorgenannten Richtlinien online evaluiert. Insgesamt (im Grund- und ) wurden den Studierenden Online- für 35 Lehrveranstaltungen angeboten. Der erste war bereits am 13. Januar 2003 online; der letzte

3 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 wurde am 02. März 2003 offline genommen. Die nachfolgende Abbildung 1 zeigt, wie sich die Evaluationen auf BWL-, VWL-Lehrveranstaltungen (LVA) und Lehrveranstaltungen der Quantitativen Methoden sowie auf das Grund- und das verteilen. Grundstudium Grund + Haupt Evaluationen 2 Quant. Methoden Summe der adressierten Hörer 600 ausgefüllte Online- 228 Durchschnittliche 38,0% Evaluationen BWL Summe der adressierten Hörer ausgefüllte Online Durchschnittliche 22,3% 29,7% 26,5% Evaluationen VWL Summe der adressierten Hörer ausgefüllte Online Durchschnittliche 17,7% 17,5% 17,7% BWL + VWL + Quant. Methoden Evaluationen Summe der adressierten Hörer ausgefüllte Online Durchschnittliche 24,2% 24,4% 24,3% Abb. 1: Verteilung der Evaluationen auf BWL-, VWL-, Quant.-Meth.-LVA, Grund-, Evaluationen Adressierte Hörer (X) : der Lehrveranstaltungen, für die den Studierende ein Online- bereitgestellt wurde. : Vom Evaluator geschätzte durchschnittliche Hörer- einer Lehrveranstaltung im Verlauf des WS 02/03 Ausgefüllte Online- (Y) : Da keine Authentifizierung der ausfüller stattfand, ist sichergestellt, daß der zu einer Lehrveranstaltung auch nur von den Hörern dieser Lehrveranstaltung ausgefüllt wurde. Des weiteren kann ausgeschlossen werden, daß pro Person mehrere zu ein- und derselben Lehrveranstaltung ausgefüllt wurden. Durchschnittliche : : Y durch X Insgesamt wurden 18 Dozenten in 35 Lehrveranstaltungen (32 Vorlesungen, 2 Seminare, 1 Kolloquium) mit 1096 ausgefüllten evaluiert. Die nachfolgenden Abbildungen zeigen, welche Lehrveranstaltungen online evaluiert wurden und die jeweils zugehörigen formalen Kennzahlen.

4 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 Nr. Professur Lehrveranstaltung (LVA) LVA-Form Dozent (alphabet. sortiert) Startzeitpunkt Endzeitpunkt Dauer der in Tagen Geschätzte durchschnittliche Hörer der LVA ausgefüllte Online- WiWi Grundstudium 1 Alexander Makroökonomische Theorie Vorlesung Prof. Alexander ,2% 2 Bausch Einführung in die Allgemeine BWL Vorlesung PD Bausch ,5% 3 Hemmer Einführung in die VWL Vorlesung Prof. Hemmer ,0% 4 Morlock Rationales Entscheiden Vorlesung Prof. Morlock ,3% 5 Müller Makroök. Theorie für Nebenfachstudierende Vorlesung Prof. Müller ,7% 6 Rinne Mathematik I (V) Vorlesung Dr. Reimer ,0% 7 Schwickert Grundzüge der Wirtschaftsinformatik Vorlesung Prof. Schwickert ,0% Wirtschaftswissenschaften Grundstudium Adressierte Ausgefüllte 7 Hörer Evaluationen ,2% Abb. 2: Online evaluierte Lehrveranstaltungen des Grundstudiums im Wintersemester 02/03 Nr. Professur Lehrveranstaltung (LVA) LVA-Form Dozent (alphabet. sortiert) Startzeitpunkt Endzeitpunkt Dauer der in Tagen Geschätzte durchschnittliche Hörer der LVA ausgefüllte Online- VWL 1 Aberle Transportmanagement I Vorlesung Prof. Aberle ,3% 2 Aberle Transportmanagement II Vorlesung Prof. Aberle ,0% 3 Aberle Preis und Wettbewerb Vorlesung Prof. Aberle ,7% 4 Alexander Geld, Kredit, Währung I Vorlesung Prof. Alexander ,7% 5 Alexander Geld, Kredit, Währung III Vorlesung Prof. Alexander ,7% 6 Luckenbach Int. Wirtschaftsbez. IIIA Vorlesung Prof. Luckenbach ,7% 7 Luckenbach Int. Wirtschaftsbez. I Vorlesung Prof. Luckenbach ,0% 8 Luckenbach Int. Wirtschaftsbez. IIB Vorlesung Dr. Reitz ,3% 9 Scherf Öffentliche Finanzen I Vorlesung Prof. Scherf ,9% 10 Scherf Öffentliche Finanzen III Vorlesung Prof. Scherf ,0% 11 Scherf Ordnungs- und Institutionenökonomik I Vorlesung Dr. Bischoff ,0% VWL Adressierte Ausgefüllte 11 Hörer Evaluationen ,5% Abb. 3: Online evaluierte VWL-Lehrveranstaltungen des s im Wintersemester 02/03

5 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 Nr. Professur Lehrveranstaltung (LVA) LVA-Form Dozent (alphabet. sortiert) Startzeitpunkt Endzeitpunkt Dauer der in Tagen Geschätzte durchschnittliche Hörer der LVA ausgefüllte Online- BWL 1 Bessler Finanzmanagement II Vorlesung Prof. Bessler ,7% 2 Bessler Kapitalmarkttheorie und Portfoliomanagement II Vorlesung Prof. Bessler ,0% 3 Bessler Seminar zu Finanzierung und Banken Seminar Prof. Bessler ,0% 4 Bessler/Schwickert Kolloquium Geld-Banken-Versicherungen Kolloquium Prof. Bessler, Schwickert ,0% 5 Esch Verhaltenswissenschaftliche Marketingforschung Vorlesung Prof. Esch ,5% 6 Esch Strategisches Marketing Vorlesung Prof. Esch ,5% 7 Glaum Internationales Management II Vorlesung Prof. Glaum ,0% 8 Glaum Internationales Finanzmanagement Vorlesung Prof. Glaum ,0% 9 Krüger Organisation und Führung (OFP I) Vorlesung Prof. Krüger ,7% 10 Krüger Strategisches Management (OFP IV) Vorlesung Prof. Krüger ,0% 11 Morlock Risikomanagement und Versicherungstechnik Vorlesung Prof. Morlock ,3% 12 Morlock Grundzüge der Sozial- und Individualversicherung Vorlesung Prof. Morlock ,3% 13 Morlock Versicherungswirtschaftliches Seminar Seminar Prof. Morlock ,0% 14 Morlock Einführung in die Versicherungsbetriebslehre Vorlesung Dipl.- Wi.-Math. Riedel ,0% 15 Schwickert Modellierung von IuK-Systemen Vorlesung Prof. Schwickert ,0% 16 Weißenberger Unternehmungsplanung/Controlling Vorlesung PD Weißenberger ,3% 17 Weißenberger Controlling und Koordinationsrechnungen Vorlesung PD Weißenberger ,7% BWL Adressierte Ausgefüllte 17 Hörer Evaluationen ,7% Abb. 4: Online evaluierte BWL-Lehrveranstaltungen des s im Wintersemester 02/03

6 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / Adressierte Hörer Rü kl f Abgeg Adressierte Hörer Abgeg. 24,2% 605 Alle Eval. im Grundstudium 24,4% 491 Alle Eval. im 29,7% 337 BWL-Eval. 17,5% ,2% 24,4% 29,7% 17,5% 154 VWL-Eval. Abb. 5: Verteilung der Evaluationen auf Lehrveranstaltungen des Grund- und s sowie BWL- und VWL-Lehrveranstaltungen des s 3. Der der im WS 02/03 durchgeführten Online-Evaluationen In allen Online-Evaluationen des WS 02/03 wurde der in der nachfolgenden Abbildung 6 dargestellte verwendet. Die WPS-Anwendung zur Online-Evaluation gab jedem Evaluator diesen absprachegemäß fest vor. Die Fragen konnten verändert und der durch individuelle Fragen erweitert werden. Der entspricht dem durch Prof. Diehl (FB Psychologie an der JLU) erarbeiteten Muster zur Evaluation von Vorlesungen. Prof. Diehl schlägt in seinen Anwendungshinweisen vor, die Fragen unsortiert und ohne Angabe einer Kategorienzuordnung im aufzuführen. Die Kategorisierung der Fragen wird in Abbildung 7 gezeigt. Diese Kategorisierung liegt den in 4. Abschnitt dieses Dokumentes aufgeführten Kennzahlen zur inhaltlichen Bewertung der im WS 02/03 online-evaluierten Lehrveranstaltungen zugrunde.

7 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 Nr. Frage Man konnte dem Stoff der Veranstaltung 1 leicht folgen. Das in der Veranstaltung erworbene Wissen 2 habe ich gut im übrigen Studium anwenden können. Der Dozent war am Lernerfolg der Teilnehmer und Teilnehmerinnen sonderlich 3 interessiert. Die Veranstaltung war häufig verwirrend, weil keine Gliederung mehr zu erkennen 4 war und einem so der Überblick verloren ging. Der Dozent vermittelte den Stoff anschaulich und verständlich. 5 Das Thema dieser Veranstaltung halte ich 6 im Rahmen meines Studiums für sehr sinnvoll. Das Verhalten des Dozenten gegenüber den 7 Teilnehmern und Teilnehmerinnen wirkte kühl und unpersönlich. In der Veranstaltung wurde zu viel Stoff behandelt. 8 Der Dozent hat die Veranstaltung didaktisch 9 gut aufgebaut und durchgeführt. 10 Es wurde zu schnell vorgegangen Der Dozent schien Lehre als reine Pflichtübung und Routinetätigkeit zu betrachten. Die in der Veranstaltung erworbenen Kenntnisse kann man sicher gut in der späteren Berufspraxis gebrauchen. Um der Veranstaltung folgen zu können, war zu viel zusätzliche Arbeit notwendig. Die Veranstaltung verlief nach einer klaren Gliederung. Der dargebotene Stoff kam einem oft ziemlich unwichtig vor. Dem Dozenten ging es offensichtlich nur um das Durchziehen des Stoffes. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. überwieg. Antworten überwiegend k. A. überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend überwiegend k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. k. A. 17 Geschlecht weiblich männlich k. A. 18 Was studieren Sie im Hauptfach? BWL VWL Ökonomie NF Sonst. k.a In welchem Semester sind Sie im Hauptfach? An wievielen Sitzungen der Veranstaltung haben Sie teilgenommen? Wieviel Zeit haben Sie im Durchschnitt pro Woche (außerh. d. Veranst.) für die Erarbeitung des Stoffes aufgewendet? Haben Sie die Veranstaltung besucht, um im Anschluß Credit Points zu erwerben? Welche Note würden Sie der "Vortragsleistung" des Dozenten geben? Welche Note würden Sie der Veranstaltung insgesamt geben? Nutzen Sie bitte dieses Feld zu Anmerkungen über positive u./o. negative Aspekte der Veranstaltung, die im Rahmen der anderen Fragen beantwortet werden konnten. < > 12 k.a. < > 4 k. A. < > 60 k. A. ja nein k. A k.a k.a. Freitext Abb. 6: Der für alle Online-Evaluationen verwendete

8 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 Frage Die Veranstaltung war häufig verwirrend, weil keine Gliederung mehr zu erkennen war und einem so der Überblick verloren ging. Der Dozent hat die Veranstaltung didaktisch gut aufgebaut und durchgeführt. Die Veranstaltung verlief nach einer klaren Gliederung. Kategorien Methodik & Aufbau Der Dozent vermittelte den Stoff anschaulich und verständlich. Das in der Veranstaltung erworbene Wissen habe ich gut im übrigen Studium anwenden können. Das Thema dieser Veranstaltung halte ich im Rahmen meines Studiums für sehr sinnvoll. Die in der Veranstaltung erworbenen Kenntnisse kann man sicher gut in der späteren Berufspraxis gebrauchen. Der dargebotene Stoff kam einem oft ziemlich unwichtig vor. Relevanz & Nützlichkeit Man konnte dem Stoff der Veranstaltung leicht folgen. In der Veranstaltung wurde zu viel Stoff behandelt. Es wurde zu schnell vorgegangen. Um der Veranstaltung folgen zu können, war zu viel zusätzliche Arbeit notwendig. Der Dozent war am Lernerfolg der Teilnehmer und Teilnehmerinnen sonderlich interessiert. Das Verhalten des Dozenten gegenüber den Teilnehmern und Teilnehmerinnen wirkte kühl und unpersönlich. Der Dozent schien Lehre als reine Pflichtübung und Routinetätigkeit zu betrachten. Dem Dozenten ging es offensichtlich nur um das Durchziehen des Stoffes. Schwierigkeit & Umfang Dozentenverhalten Geschlecht Was studieren Sie im Hauptfach? In welchem Semester sind Sie im Hauptfach? An wievielen Sitzungen der Veranstaltung haben Sie teilgenommen? Wieviel Zeit haben Sie im Durchschnitt pro Woche (außerh. d. Veranst.) für die Erarbeitung des Stoffes aufgewendet? Haben Sie die Veranstaltung besucht, um im Anschluß Credit Points zu erwerben? Welche Note würden Sie der "Vortragsleistung" des Dozenten geben? Demographische Daten Welche Note würden Sie der Veranstaltung insgesamt geben? Nutzen Sie bitte dieses Feld zu Anmerkungen über positive u./o. negative Aspekte der Veranstaltung, die im Rahmen der anderen Fragen beantwortet werden konnten. Freitext Abb. 7: Kategorienzuordnung der Fragen

9 Fachbereichsweite Auswertung der Online-Evaluationen im FB 02 WS 02/ März / 9 4. Fachbereichsweite Evaluationsergebnisse Die nachfolgende Abbildung 8 aggregiert die Ergebnisse zu den Fragen der vier Kategorien Methodik & Aufbau, Relevanz & Nützlichkeit, Schwierigkeit & Umfang und Dozentenverhalten. Evaluationen Adressierte Hörer Abgeg. Kategorien-Mittelwerte der Bewertung mit Skala: 0-20 (beste) Methodik & Aufbau Relevanz & Nützlichkeit Schwierigkeit & Umfang Dozenten- Verhalten Mittelwert 4 Kategorien gesamt Alle Eval. im Grundstudium Alle Eval. im ,2% 14,9 12,7 11,7 16,7 14, ,4% 15,0 15,1 12,9 17,1 15,0 BWL-Eval ,7% 14,1 14,9 12,7 17,1 14,7 VWL-Eval ,5% 16,8 15,5 13,4 17,2 15,7 Alle Eval. in Grund- und ,3% 15,0 14,2 12,5 17,0 14,7 Abb. 8: Aggregierte Auswertungen zu den vier inhaltlichen Fragenkategorien Die Ergebnisse aus den vier Antwortoptionen, überwiegend, überwiegend, wurden in Notenpunkte des Kreditpunkte- Systems übersetzt. Die nur vereinzelten Antworten mit keine Angabe (k. A.) wurden bei der Ergebnisermittlung berücksichtigt. Zu jeder einzelnen Lehrveranstaltungsevaluation wurde zunächst ein eigener Mittelwert für jede Kategorie ermittelt. Diese einzelnen Mittelwerte flossen in die fachbereichsweiten Kategorien-Mittelwerte der Abbildung 8 ein. Alle Evaluationen (Lehrveranstaltungen) sind somit gleichgewichtig in die Ermittlung der fachbereichsweiten Kategorien-Mittelwerte eingegangen.