BLK-Projekt: Leistungspunktesystem in den Ingenieurwissenschaften Seite 1

Transkript

1 BLK-Projekt: Leistungspunktesystem in den Ingenieurwissenschaften Seite 1 BLK-Modellversuch: Entwicklung und Erprobung eines integrie r- ten Leistungspunktesystems in der Weiterentwicklung modularisie r- ter Studiengänge am Beispiel der Ingenieurwissenschaften Zusammenfassung des Abschlussberichtes der FSU Jena zum Projektverlauf und zum Arbeitspaket 7 Sozialwissenschaftliche Begleitung des Projektes 1. Ziel der sozialwissenschaftlichen Begleitung Ziel der sozialwissenschaftlichen Begleitung des Projekts war nicht nur die Erfassung motivationaler und emotionaler Komponenten im Umgang und der Evaluation der Einführung eines LPS, sondern diente vielmehr auch der Unterstützung der Projektpartner mit psychologischmethodischem Know-how über alle Projektphasen hinweg. So kristallisierten sich konkrete Teilvorhaben für die Projektbearbeitung heraus: 1. Entwicklung eines Fragebogens zur Evaluation eines LPS; 2. die Auswertung der Workload-Analyse als zentraler Baustein des Gesamtprojektes und 3. die Durchführung eines Workshops für die Projektpartner, der die Kompetenzen zur Auswertung der Workload bei den Projektpartnern verankern sollte. 2. Befragung zur Evaluation von Leistungspunktsystemen 2.1. Ziel Betrachtet man bisherige Veröffentlichungen zum Thema LPS, fällt auf, dass vor lauter diskutierten Formalia ein wesentlicher Problemfaktor bei der Umsetzung dieser Systeme selten bis gar keine Berücksichtigung findet: der Anwender. Da die verwaltungstechnischen und rechtlichen Rahmenbedingungen unabhängig von den Einstellungen der Menschen hinter einem LPS sind, kann selbst bei optimalen formalen Ausgangsbedingungen der konkrete Einsatz des LPS's scheitern oder im besseren Fall die Umsetzung nur schleppend vorangehen. Psychologische Untersuchungen zeigen, dass man Verhalten von Personen mithilfe der Einstellungen der Person zu diesem Verhalten zu einem gewissen Grade vorhersagen kann. So sind positive Einstellungen zum LPS Voraussetzungen für die konsequente und effiziente Umsetzung und Integration von LPS in den Arbeitsalltag. Diese Einstellungen in Form von motivationalen und emotionalen Komponenten des Umgangs mit LPS zu erfassen, bereits gemachte Erfahrungen mit LPS auszuwerten und potenzielle Probleme bei der Einführung eines LPS schon im Vorfeld zu identifizieren, waren die Ziele von Befragungen Vorgehen Um mit den Ergebnissen der Befragungen einen hohen Nutzwert für die Projektpartner sicherzustellen, wurde zum Beginn des Projekts eine -Befragung bei den Partnern durchgeführt, in der nach den Ihrer Meinung wichtigen Aspekten bei der sozialwissenschaftlichen Evaluation des Projekts gefragt wurde. Zusätzlich wurden mögliche Datenquellen (wie Fachschaften, Ansprechpartner in der Verwaltung) in jeder Hochschule erfasst, um später auf diesen Quellenpool zurückgreifen zu können. Anhand der Daten dieser Befragung wurde ein Leitfaden erstellt, der die Basis für die im nächsten Schritt durchgeführten Interviews darstellt. Diese Interviews wurden mit von den Projektpartnern benannten Leitungspersonen der jeweiligen Hochschule durchgeführt, dabei waren Zusammenfassung der Ergebnisse der 8 Projektpartner

2 Seite 2 Abschlussbericht diese auf unterschiedlichen hierarchischen Ebenen angesiedelt (Dekan, Prorektor, Rektor). Sie wurden unter anderem befragt nach der Haltung der Hochschule gegenüber LPS, der rechtlichen und verwaltungstechnischen Verankerung, der allgemeinen Stimmung unter den Hochschullehrern, möglichen oder aufgetretenen Hindernissen bei Einführung LPS und zukünftigen Entwicklungen bezüglich LPS aus ihrer Sicht. Die Auswertung der Interviews führte zu einem Kategoriensystem, aus dem Items für einen Fragebogen entwickelt wurden. Die Items umfassten unter anderem soziodemografische Daten, Fragen zur Zufriedenheit, zum Nutzen für die eigene Karriere, zu emotionalen und konativen Aspekten des Umgangs mit LP und zu früher gemachten Erfahrungen mit LPS. Die früher gemachten Erfahrungen wurden vor dem Hintergrund des im Projekt einzuführenden LPS's gestellt und sollten einen Referenzpunkt darstellen. Der Entwurf für den Fragebogen wurde in mehreren Feedback-Schleifen mit den Projektpartnern abgestimmt. Da die Länge der ersten Fragebogenversion als unzumutbar für die Lehrenden und in direkter Konkurrenz zur Workload-Erfassung bei den Studierenden gesehen wurde, mussten die Itemkategorien von 8 auf 6 gekürzt werden. Um eine Belastbarkeit der Daten zu gewährleisten, erschien eine weitere Kürzung des Fragebogenumfangs als nicht vertretbar. Trotz der Darbietung des Fragebogens in einer Online-Versoin und einer Papierversion konnte leider nur eine schleppende Teilnahme verzeichnet werden, sodass bis zum Juni 2004 von studentischer Seite 66 Teilnehmer, und von der Seite der Lehrenden 31 Teilnehmer verzeichnet werden konnten. Die Mehrzahl der Studenten stammte aus der Kontrollgruppe der Psychologiestudenten Jenas (n=44), 37 davon hatten bereits Erfahrungen mit LPS und zeigte somit eine sehr geringe Beteiligung der Studenten aus den relevanten Studiengängen. Da die Beteiligung ein Methodenartefakt darstellen kann, also die Studenten durch die Internet-Befragung abgeschreckt sein könnten, wurde in einer zweiten Erhebungswelle derselbe Fragebogen in Papierform während Seminaren und Vorlesungen ausgeteilt, um so die Rücklaufquote zu erhöhen. Dabei gelang es, auch durch die Unterstützung der Projektpartner sowohl Studierende als auch Lehrende an allen 8 Projekthochschulen zu motivieren Ergebnisse Die Zuarbeiten der Projektpartner für die erste -Umfrage waren sehr umfangreich. Es zeigten sich Unterschiede in den Konzepten der Partner die Spannbreite reichte dabei von keinen konkreten Vorgaben bis zu exakten Fragen, die durch die Evaluation beantwortet werden sollten und unterschiedliche Blickwinkel auf das Thema LPS (von Stundenumfang über Akzeptanz von LPS bis zu gemachten Erfahrungen). Die Ergebnisse der Interviews führten zur Spezifizierung der Erhebungskategorien des Fragebogens. In der Auswertung der studentischen Erhebung wurden die Daten der Papierbefragung gemeinsam mit der Kontrollgruppe der Psychologiestudierenden mit Erfahrungen mit LPS (n=37) aus der Internetbefragung ausgewertet. Nichtpsychologische Teilnehmer der Internetbefragung mussten aus methodischen Gründen ausgeschlossen werden, da die anknüpfende obligatorische Verteilung in Vorlesungen und Seminaren Gefahr barg, dass Studierende sowohl die Online- als auch die Papierversion des Fragebogens ausgefüllt haben. Durch den Ausschluss nichtpsychologischer Internetteilnehmer wurde verhindert, dass Personen im Datensatz doppelt auftauchen. Ergebnisse der Studierenden In die Auswertung wurden insgesamt 223 Studierende aus allen 8 Projekthochschulen einbezogen. In der folgenden Aufzählung werden in deskriptiver Form einige ausgewählte Ergebnisse dargestellt. Eine ausführliche Darstellung der Ergebnisse der Erhebung findet sich im Teilabschlussbericht des Arbeitspaketes 7 der Friedrich-Schiller-Universität Jena. 4. Quartal 2004

3 BLK-Projekt: Leistungspunktesystem in den Ingenieurwissenschaften Seite 3 Dabei beruhen die angegebenen Werte auf einer siebenstufigen Skala mit den Endpunkten 1 (stimme gar nicht zu) und 7 (stimme ganz zu) bei einem Mittelwert von 4 (weder noch), aus der sich die Mittelwerte errechnen. Generell ist festzustellen, dass die Werte der einzelnen Fragen nicht normal verteilt, sondern ihre Verteilung breitgipflig ist. Das heißt, alle Werte wurden mit annähernd gleicher Häufigkeit genannt. Vor diesem Hintergrund ist eine belastbare Interpretation im Sinne psychologischer Methodenkriterien fraglich. Bei Aussagen zur Allgemeinen Zufriedenheit mit dem Studium zeigt sich eine höhere Zufriedenheit bei den Studenten ohne LPS (MW=6,07) bei einhelliger Meinung (SD= 1,12) gegenüber den Studenten mit LPS (MW=4,55; SD=1,89), die ein uneinheitlicheres Meinungsbild zeigen. Auch bei der Frage der familiären Beschäftigung mit dem Studium sind Unterschiede zwischen den beiden Gruppen erkennbar. Im Bereich der Organisation ist besonders auffällig, dass die Studenten mit LPS übereinstimmend angeben (SD=1,07), dass ihnen das LPS Kurse aufzwingt, sie also Kurse belegen, die sie ohne LPS nicht belegt hätten. Auch wird der Umgang mit den Kriterien für die Vergabe von Leistungsnachweisen als schwierig angesehen (MW=4,64; SD=1,79). Die wahrgenommene Unterstützung der Studenten bei Fragen und Probleme mit den Leistungspunkten ist sehr niedrig (MW=1,89; SD= 1,73). Auch wird der Kontakt zu den Dozenten sehr unterschiedlich wahrgenommen, wird jedoch von der Gruppe der Studenten mit LPS als schwerer herzustellen berichtet, als für die Gruppe ohne LPS (MW=3,77; SD=1,97 vs. MW=5,64; SD=1,41) Bei Studenten, die bereits Erfahrungen mit einem LPS gemacht haben, zeigt sich eine leichte Unzufriedenheit mit dem LPS. Insbesondere werden die Möglichkeiten der Individualisierung des Studiums als schlecht erachtet (MW=2,81; SD= 1,35). Auch die Strukturierung des Studiums schneidet schlecht ab, ist aber aufgrund der großen Antwortstreuung nicht uneingeschränkt zu interpretieren (MW=2,88; SD=1,81). Ergebnisse der Lehrenden Zur Auswertung der Erhebung bei Professoren und Lehrenden wurden die Internet- und Papierbefragungen zusammengenommen. Da hier von einer freiwilligen Teilnahme ausgegangen werden kann, ist nicht damit zu rechnen, dass Personen mehrfach in der Stichprobe auftauchen. Folgende allgemeine Aussagen lassen sich aus den Daten ableiten: Die Lehrenden sind überwiegend mit ihrer Arbeit allgemein zufrieden (MW= 5,3; SD=1,55). Dabei sind nur sehr geringe Unterschiede zwischen den Lehrenden mit und ohne LPS festzustellen. Die Lehrenden beurteilen die Kontaktmöglichkeiten mit den Studenten übereinstimmend sehr positiv (MW= 6,7; SD= 0,82). Dabei schätzen die Lehrenden mit LPS die Kontaktmöglichkeiten positiver ein als die Lehrenden ohne LPS (MW= 6,22 vs. MW= 5,61). Die Studenten, insbesondere die mit LPS, beurteilen diese Kontaktmöglichkeit etwas schlechter (MW=5,64 und MW=3,77). Beide Gruppen der Lehrenden stehen mehr Vorgaben und Hilfen bei der Strukturierung der Lehrveranstaltungen eher ablehnend gegenüber (MW= 2,12; SD= 1,47). Die Lehrenden, die bereits Erfahrungen mit dem LPS gemacht haben, beurteilen die Einführung und den Nutzen von Leistungspunktsystemen als eher positiv. Auch sehen sie keine Nachteile für die Studierenden. Zusammenfassung der Ergebnisse der 8 Projektpartner

4 Seite 4 Abschlussbericht Bei Fragen zum konkreten Umgang mit dem LPS sind die Aussagen jedoch uneinheitlicher und um den Mittelwert streuend, d.h. Teile der Lehrenden beeinträchtigt die konkrete Arbeit mit dem LPS in ihrer Tätigkeit Kritische Würdigung der Befragung Die ursprüngliche Planung der Untersuchung, eine Erhebung zu zwei Messzeitpunkten, vor und nach der Einführung eines LPS durchzuführen, konnte nicht geleistet werden. Das lag zum einen in der Tatsache begründet, dass sich der Projektfokus auf die Erhebung der Workload der Studenten verschob. Diese Erhebung geht auf die Forderung des ECTS zurück, LP nach der tatsächlich geleisteten Arbeit und nicht nach besuchten Veranstaltungen zu vergeben. Um also eine korrekte Darstellung eines Studienganges in LP zu erreichen, muss die Workload der Studenten erhoben werden. Um dieses Ziel zu erreichen, werden zur Zeit zwei Wege beschritten. Der Berliner Weg nach dem BLK-Verbundprojekt 1 besteht in einer personenunabhängigen Betrachtung der anfallenden Arbeit. Dabei werden in jeder Veranstaltung alles Studenten befragt, ohne dass man mit Hilfe eines personenspezifischen Codes Aussagen über die Arbeitsleistung einer spezifischen Person treffen kann. Der Aachener Weg nach diesem BLK- Modellprojekt betrachtet eher die individuell tatsächlich erbrachte Arbeitsleistung. Dabei wurde ein Tagebuchverfahren entwickelt, das einerseits auf einem Erfassungsschema basiert, das an der FH Aachen entwickelt wurde, auf der anderen Seite wurde dieses Schema an der FH Ingolstadt in ein internetbasiertes Erfassungsinstrument überführt, das IWIS. Der Vorteil dieser individuellen, längsschnittlichen Erfassung besteht aus psychologischer Sicht in der zeitnahen und regelmäßigen Eingabe von Arbeitszeit, die somit realistischere Werte sicherstellt. Ein weiterer Vorteil liegt in der Betrachtung der Person über alle von ihr besuchten Veranstaltungen hinweg. Schätzfehler, die bei einer einmaligen Erhebung im Semester durchaus vorkommen können und zu Wochenarbeitszeiten von 80 und mehr Stunden führen, werden somit vermieden. Nichtsdestotrotz ist mit der Workload-Erhebung als zentralem Bestandteil des Projekts die ursprüngliche Evaluationsplanung nicht mehr haltbar gewesen. Zum einen bedeutete dies, dass kein Vergleich zwischen Vor und Nach der Einführung eines LPS stattfinden konnte, zum anderen basieren die erfassten Daten auf einer nicht optimal auf das Erfassen aller relevanten psychischen Komponenten im Umgang mit dem LPS ausgerichteten (Kürzung der Dimensionen, wenig aggressives Werben um Teilnahme) Erhebung. Es wird empfohlen, das zum Einsatz gekommene Instrument in weiteren Befragungen zu validieren, und gegebenenfalls in einen Prä- Post-Vergleich bei LPS-Einführung einzusetzen, oder bei bereits bestehenden Systemen, die dort erfassten Daten mit den aktuell erfassten zu vergleichen. 3. Auswertung der Workload Die anfänglich favorisierte Lösung der Auswertung mit SPSS musste verworfen werden. Die komplexe Datenstruktur der Workload-Erfassung konnte mit SPSS nicht abgebildet werden. Daher wurde ein Datenbankprogramm gesucht, das die Daten in hinreichender Form darstellen und verarbeiten konnte. Um den Projektpartnern eigene Auswertungen zu ermöglichen, wurde das Programme Access ausgewählt, da dieses in dem Programmpaket Office von Microsoft enthalten ist und eine sehr hohe Verbreitung hat. Im Vorfeld wurde über den -Verteiler das Vorgehen bei der Auswertung diskutiert. Dabei wurde sich für die Auswertung von zentralen Fragestellungen durch das Teilprojekt in Jena und die Auswertung von hochschulspezifische Fragestellungen durch die Projektpartner entschieden. Die Trennung von zentralen und hochschulspezifischen Fragestellungen und die Komplexität der erhobenen Daten machten die Erstellung eines Pflichtenheftes notwendig. Das Pflichtenheft 4. Quartal 2004

5 BLK-Projekt: Leistungspunktesystem in den Ingenieurwissenschaften Seite 5 für die Auswertung der Workload-Erhebung umfasste schließlich 13 Fragen mit sowohl deskriptiven als auch inferenz-statistischen Fragestellungen. Nachdem die datenschutzrechtlichen Probleme der Auswertung gelöst wurden, konnten die Projektpartner zwischen verschiedenen Übergabemodalitäten bezüglich der Daten wählen. Durch die unterschiedlichen Datenstrukturen von den Hochschulpartnern, die auf die unterschiedlichen Veranstaltungen und Semesterzeiten zurückzuführen waren, konnten die Daten nicht automatisiert aus IWIS in Access übernommen werden. In langwieriger Handarbeit mussten die einzelnen Datensätze in die jeweiligen Datenmasken überführt werden. Da es verschiedene Exportzeitpunkte gab, musste die Umwandlung aller Datensätze mehrmals durchgeführt werden. Zum Schluss lag für jede relevante Hochschule eine eigene Datenbank mit den Daten von Ende September 2003 vor. Um das Vorgehen der Datenauswertung weitestgehend zu automatisieren und gleichzeitig auch dokumentieren zu können, wurden Makros in der MS Access-eigenen Programmiersprache Visual Basic for Applications erstellt. Aufgetretene Inkonsistenzen in der Administration und Eingabe der Daten behinderten eine erste sinnhafte Datenauswertung. Durch häufige Rückfragen bei den Projektpartnern wurde versucht, dennoch einen Großteil der Daten in die Auswertung zu überführen. 4. Workshop zur Auswertung der Workload Um die Projektpartner in die Lage zu versetzen, die hochschulspezifischen Fragestellungen durchzuführen, wurde vom Psychologenteam ein Workshop im Oktober 2003 durchgeführt. Dafür wurden die bei der Auswertung eingesetzten Abläufe methodisch und didaktisch aufbereitet, Hand-outs und Beispielaufgaben erstellt. Anhand dessen wurde den Teilnehmern die Auswertung der Workload-Daten en détail vorgestellt und im Learning by doing -Verfahren beigebracht. 5. Prozessbegleitung Während der Interviews zur Konkretisierung der Fragebogendimensionen wurden sehr unterschiedliche Herangehensweisen an das Thema LPS festgestellt. Bei den Interviews mit Ansprechpartnern der Hochschulen, die alle Führungsverantwortung in unterschiedlichen Hierarchieebenen innehatten, wurden große Unterschiede in der Priorität der Einführung von LP festgestellt. Auf den Aussagen der Interviewpartner der einzelnen Hochschulen aufbauend, ließen sich im Herbst 2002 drei Stufen der Umsetzung von LPS identifizieren: 1. Umsetzung von LPS als Marktvorteil auf dem immer härter umkämpften Bildungsmarkt, gesteuert und gefördert von den zentralen Leitungsgremien der Hochschulen; 2. Einführung von LPS auf Anweisung der Leitungsgremien der Hochschulen, einhergehend mit einer schleppenden Umsetzung, begründet in fehlendem Commitment, auf allen anderen Hierarchieebenen der Hochschule und 3. Umsetzung als fakultatives Angebot an die Hochschullehrer, die Leistungspunkte zu vergeben oder nicht (es fehlten somit auch offizielle organisatorische Rahmenbedingungen wie die Verankerung von Leistungspunkten in Studien- und Prüfungsordnungen). Mit der immer öffentlicheren Diskussion über den europäischen Bildungsraum und die Umsetzung der Bologna-Erklärung in den letzten Monaten kann angenommen werden, dass inzwischen alle Partnerhochschulen die erste Umsetzungsstufe erreicht haben werden. Weiterhin zeigten sich Unterschiede zwischen internen und kooperativen Umsetzungen von LPS über verschiedene Hochschulen. Während im ersten Fall nur eine Abstimmung zwischen den Lehrkräften eines Instituts oder einer Fakultät stattfinden musste, war bei interuniversitären Kooperationen auch immer eine hochschulpolitische Komponente zu beobachten. Dies führte Zusammenfassung der Ergebnisse der 8 Projektpartner

6 Seite 6 Abschlussbericht zu komplexen und zeitintensiven Abstimmungsprozessen, die bei einer Planung von zukünftigen Einführungen von LPS zu berücksichtigen sind. Auf der methodischen Ebene war die Zeitaufwendigkeit der Workload-Erhebung ein Problemfaktor. Aus psychologischer Sicht konnten nur begrenzte Hilfestellung zur Steigerung der Motivation der ausfüllenden Studenten gegeben werden. Es wurde empfohlen, die Motivation der Studenten durch häufiges Erinnern an die Workload-Erfassung in regelmäßigen Veranstaltungen zu steigern. Das stellte sich in der Praxis als schwer durchsetzbar heraus. Eine andere Strategie verfolgten die Projektpartner aus Aachen mit ihren sehr kreativ und gut gestalteten Plakaten zum Workload-Marketing. 6. Fachkommission Werkstoffwissenschaft Im Verbund entstanden drei Expertengruppen, die die Entwicklung an den einzelnen Hochschulen unterstützten. Die FSU Jena übernahm den Vorsitz für den Studiengang Werkstoffwissenschaft (WW). Die Fachkommission bestand aus Vertretern der TU Ilmenau, BU Weimar und FSU Jena. Die Aufgabe dieser Fachkommission bestand darin, die Module hinsichtlich ihrer Inhalte, Qualität und Niveau zu untersuchen und eine exemplarische Bewertung der Module mit Leistungspunkten für den Thüringer Verbundstudiengang WW durchzuführen. Die Ergebnisse der Befragung unter den Hochschullehrer zeigten, dass trotz einer gemeinsamen Studien- und Diplomprüfungsordnung bereits bei den Modulen im Grundstudium Differenzen in den zu erwerbenden Kompetenzen und Lernzielen existierten. Die Fachkommissionsvertreter der drei Thüringer Hochschulen sahen den Einfluss der Lernzieltiefe und Kompetenzen bereits bei der Vergabe der SWS für Vorlesungen, Übungen oder Praktika berücksichtigt. Bei der Entwicklung eines LPS flossen neben den qualitativen auch die quantitativen Aspekte ein. Die FSU Jena hat neben der Erfassung des Workload der Studierenden auch die Hochschullehrer zum Arbeitsaufwand befragt. Die Auswertung der Workloaddaten der Studierenden im Vergleich mit den Angaben der Hochschullehrer ergab für einige Module fast identische Arbeitsbelastung. Von der Fachkommission WW wurden im Rahmen der Sitzung der Arbeitsgruppe Werkstoffwissenschaft in Thüringen Veränderungen im Grundstudium diskutiert. Dabei ging es um die Schaffung eines gemeinsamen Ingenieurstudiums und gleichzeitig um die Veränderung der Arbeitsbelastung der Studenten. Die Wochenbelastung für Vorlesungen, Übungen und Praktika wurden deutlich erhöht. Gleichzeitig wurde berücksichtigt, dass es für jedes angebotene Modul eine Prüfung den Abschluss bilden muss, um eine genaue Einschätzung des jeweiligen Studenten vornehmen und daraufhin Leistungspunkte geben zu können. Der Vorschlag zu den Änderungen im Grundstudium des Verbundstudienganges Werkstoffwissenschaft sowie eine neu ausgearbeitete Diplomprüfungsordnung sollen zur Modularisierung und zur Einführung eines LPS im Studiengang Werkstoffwissenschaft führen. Das Hauptstudium wird z. Z. ebenfalls verändert, um die Bedingungen für einen modularisierten und leistungspunktebewerteten Verbundstudiengang zu schaffen. Dabei sollen die Ergebnisse der Fachkommission zu den Lernzielen und zu erwerbenden Kompetenzen sowie der Workload- Erfassung bei der Erarbeitung eines veränderten Studienplanes berücksichtigt werden. Die Arbeit der Fachkommission hat dazu beigetragen, dass momentan der Aufbau eines modularisierten und leistungspunktebewerteten Studiengangs WW in Thüringen vorangetrieben wird. Die Studien- und Diplomprüfungsordnung wurden überarbeitet und sollen im Oktober 2004 verabschiedet werden, um anschließend den entsprechenden Gremien zur Diskussion und Entscheidung vorgelegt zu werden. 4. Quartal 2004