Thema: Leistung 1. Können Noten Lügen? 2. Wie finde ich geeignete Studierende? 1. 1 Zum Leistungsbegriff Mündliche Leistungsüberprüfungen

Transkript

1 Handout zum Referat am Päd. Basis I Dozent: Niklas Ahn Referenten: Daniela Kaiser, Phil Wieland und Anne Aufenberg Thema: Leistung 1. Können Noten Lügen? 2. Wie finde ich geeignete Studierende? 1. 1 Zum Leistungsbegriff Nach FURCK gibt es eine vierfache Bedeutung des Begriffs Leistung in der Schule: 1.) schulische Anforderung für den Schüler 2.) Tätigkeit des Schülers 3.) Ergebnis der Tätigkeit des Schülers innerhalb der verschiedenen Leistungsbereiche 4.) Beitrag der Schule für Gesellschaft, Staat, Wirtschaft und Wissenschaft Kritik am schulischen Leistungsbegriff in den 70ern: - starke Prägung durch den wirtschaftlichen Leistungsbegriff - Außerachtlassung von emotionalen und sozialen Aspekten Arten von Leistungen: 1.) Konvergente Leistungen: richtige oder die eindeutig besten Leistungen 2.) Divergente Leistungen: viele gleichwertige Leistungen 1. 2 Mündliche Leistungsüberprüfungen Kritikpunkte: - Asymmetrie zwischen Prüfer und Prüfling - Beeinflussung der Beurteilung durch Sprache und sonstiges Verhalten - geringe Objektivität, Reliabilität und Validität Fehlerquellen bei der Beurteilung: - Kontrasteffekt - Vorinformation über Prüfling - Sprechtempo - Reihenfolgeeffekt Positive Aspekte: - Übung von sprachlichen Fertigkeiten - face-to-face Kommunikation

2 1. 3 Schriftlich Leistungsüberprüfungen Gütekriterien: - Durchführungsobjektivität - Auswertungsobjektivität - Interpretationsobjektivität - Reliabilität und Validität 1.4 Studie: Lassen sich Lehrer bei der Leistungsbeurteilung von sachfremden Gesichtspunkten leiten? Oft wurde und wird die Fähigkeit der Lehrer objektive und valide Noten zu verteilen angezweifelt. Lehrer werden mit dem Vorwurf konfrontiert, dass neben der realen Leistung andere Schülermerkmale ihre Urteile beeinflussen. Diese Behauptung soll nun in der folgenden Studie getestet werden. Methode: 32 Mathelehrer und ihre 6. Klassen an der Hauptschule Mathefähigkeiten mit Mathetest erhoben Intelligenztest mit Schülern durchgeführt Affektive Merkmale, wie Selbsteinschätzung der eigenen Fähigkeit, Spaß an Mathe und Schule mit erhoben Soziodemographische Merkmale: Alter, Geschlecht, Nationalität Lehrerurteile auf zwei Arten erfasst: Noten der Schüler und direkte Leistungseinschätzung für den kommenden Test Mehrebenenmodell verwendet, da man Klassenmittelwert aus den einzelnen Schülerdaten herausgerechnet haben wollte Ergebnisse: Da Lehrereinschätzung für den Test und Noten sehr hoch miteinander korrelieren (.84) und beide auch signifikant mit der wirklichen Testleistung korrelieren ( ) werden alle folgenden Ergebnisse nur noch für die Lehrerurteile bzgl. der Testleistung dargestellt Aus Regressionsrechnungen folgt, dass sich das Lehrerurteil aus folgenden Prädiktoren recht gut vorhersagen lässt. Ergebnis ist in Regressionsgleichung dargestellt:.46 Leistung +.21 Intelligenz +.26 Fähigkeitsselbstbild + Residuen = Lehrerurteil Diskussion: Schüler mit hoher Intelligenz und hohem Selbstkonzept werden eher überschätzt Vorliegende Studie gibt nur Ausmaß der genutzten Quellen für das Urteil an, aber nicht wie sie intern verarbeitet werden Intelligenz mit in Urteil einfließen zu lassen, nicht überraschend, da Intelligenz und Leistung zusammenhängen

3 Selbstkonzept eher erstaunlich, dies evtl. durch Selbstdarstellung der Schüler erklärbar Positiv zu vermerken: Geschlecht und Nationalität der Schüler spielt keine Rolle bei der Urteilsbildung der Lehrer 2. Was sagt das Gesetz zur Studierendenauswahl? 2.1. Bundesebene: Hochschulrahmengesetz (HRG, letzte Änderung: ) 32, Auswahlverfahren - bis zu drei Zehntel der Studienplätze werden an Sonderfälle vergeben - z.b. Zweitstudienbewerber, Sanitätsoffiziere der Bundeswehr - die verbleibenden Studienplätze werden nach einem 20:20:60 Quotenmodell vergeben - 20 % werden an die Abiturbesten vergeben, die sich die Hochschule frei auswählen können (vorher: 51%) - 20 % werden nach Wartezeit vergeben (vorher: 25%) - 60 % werden durch die Hochschulen selbst vergeben (vorher: 24%) - vorgeschlagene Kriterien bei der Studienplatzvergabe durch die Hochschulen - Abiturnote - gewichtete Einzelnoten - Ergebnis eines fachspezifischen Studierfähigkeitstests - Art einer Berufsausbildung oder Berufstätigkeit - Ergebnis eines Interviews - Kombination dieser Kriterien - HRG kann durch das Landesrecht ausgestaltet werden - einzig die Abiturnote muss bei der Entscheidung einen maßgeblichen Einfluss haben 2.2. Beispiel: Uni Münster Information zur Bewerbung Vergabe durch die ZVS unter dem Studiengang Psychologie: Die Universität Münster vergibt die restlichen 60% der Plätze selbst. Allerdings werden auch diese 60% aus organisatorischen Gründen in der Übergangsphase, in der wir uns befinden, von der ZVS ermittelt. Wer nutzt das Recht in Deutschland überhaupt? - einzige Universität, die im Studiengang Psychologie im WS 2004/2005 von dem Auswahlrecht Gebrauch gemacht hat, war die Universität München - alle anderen Universitäten haben auf das Recht verzichtet und die ZVS mit der Vergabe beauftragt 2.3. Warum ein Auswahlrecht für Universitäten? Studierendenauswahl durch die Hochschulen soll - die Profilbildung fördern - d.h., die Konkurrenz zwischen den Hochschulen beleben - die Passung zwischen Bewerberprofil und Studiengang erhöhen und damit - die Abbruchquote senken,

4 - die Studiendauer verringern, und - die Qualität von Studium und Lehre verbessern - die Hochschule stärker mit ihren Studenten identifizieren und damit - die Verantwortung der Hochschule für den individuellen Studienerfolg erhöhen 3. Was für Auswahlverfahren gibt es? Vier gängige Auswahlverfahren sind 1) Zeugnis (Abiturnote) 2) Studierfähigkeitstests - messen kognitive Fähigkeiten, die für ein erfolgreiches Studium bedeutsam sind (z.b. Verarbeitung von Texten, Interpretation von Informationen aus Grafiken) - kein fachliches Vorwissen notwendig (d.h. sämtliche Informationen zur Lösung der Aufgaben sind im Aufgabenmaterial erhalten) - zwei Formen - allgemeine Studierfähigkeitstests (kognitive Fähigkeiten, die für jedes Studium wichtig sind) - Beispiel: Reasoning Test des SAT (Scholastic Aptitude Test) Tabelle 1: Aufbau des SAT Reasoning Test Inhalt Aufgabentypen Dauer Schreiben 60 Min Grammatik, Sprachgebrauch und Wortwahl Aufsatz Multiple-Choice-Aufgaben: Satzfehler identifizieren, Sätze und Textabschnitte verbessern 25 Min 35 Min Kritisches Lesen Kritisches Lesen und Satzergänzung Mathematik Zahlen und Operationen, Algebra und Funktionen, Geometrie, Statistik, Wahrscheinlichkeitsrechnung, Datenanalyse [Aufgabenbeispiele siehe: Leseverständnis Satzergänzung Kritisches Lesen Multiple-Choice-Aufgaben Rechenaufgaben 70 Min 25 Min 25 Min 20 Min 70 Min 2 x 25 Min 20 Min - spezifische Studierfähigkeitstests (kognitive Fähigkeiten, die für einen bestimmten Studiengang wichtig sind) - Beispiel: Der Medizinertest (Test für medizinische Studiengänge, TMS) - Bearbeitungszeit beträgt fünf Stunden - besteht aus neun Aufgabengruppen: Muster zuordnen, Medizinischnaturwissenschaftliches Grundverständnis, Schlauchfiguren, Quantitative und formale Probleme, Konzentriertes und sorgfältiges Arbeiten, Figuren lernen, Fakten lernen, Textverständnis sowie Diagramme und Tabellen Aufgabenbeispiel 1: Schlauchfiguren

5 - prüft das räumliche Vorstellungsvermögen (wichtig z.b. für das Verständnis von Röntgenbildnern) - jede Aufgabe besteht aus zwei Abbildungen eines durchsichtigen Würfels, in dem sich ein, zwei oder drei Kabel befinden - die erste Abbildung zeigt die Vorderansicht des Würfels - auf der zweiten Abbildung soll der Teilnehmer herausfinden, ob die Abbildung die Ansicht von rechts (r), links (l), unten (u), oben (o) oder von hinten (h) zeigt 3) Aufsätze - zwei Formen - Aufsatz zu einem bestimmten Thema (z.b. auch im Reasoning Test) - Motivations- und Begründungsschreiben - werden häufig als Grundlage für nachfolgende Interviews verwendet, indem die enthaltenen Informationen Anknüpfungspunkte für das Gespräch liefern 4) Interviews - zwei Formen - strukturiert (gleichartige Form der Befragungsdurchführung, präzise formulierte Fragen) - unstrukturiert oder offen (freie Gestaltung durch den Interviewer ) - soll Aufschluss geben über Motivation des Bewerbers und seine Identifikation mit dem Studiengang - soll Fehlvorstellungen des Bewerbers über den Studiengang vermeiden helfen 3.1. Welchen Anforderungen müssen die Auswahlverfahren genügen? Objektivität Reliabilität Validität Fairness Akzeptanz Verfälschbarkeit Transparenz Praxistauglichkeit Spezifität Trainierbarkeit Wichtig ist vor allem die prognostische Validität, d.h. das Ausmaß, in dem aus dem Ergebnis der spätere Studienerfolg vorhergesagt werden kann. Angehörige der Bewerbergruppe dürfen nicht systematisch benachteiligt oder bevorzugt werden (etwa Männer im Vergleich zu Frauen). Die inhaltliche Ausgestaltung muss Zustimmung erfahren und der Bezug zu Studieninhalten muss erkennbar sein. Das Messprinzip darf nur wenig durchschaubar sein. Informationen über das Ziel der Auswahl, die Auswahlkriterien, die Inhalte, die Vorgehensweise und die Auswertung müssen verfügbar sein. Die Kosten sollten niedrig und der Aufwand gering sein. Die Auswahlverfahren müssen Spezifika der Hochschule berücksichtigen, da sonst an vielen Hochschulen die gleichen Personen angenommen werden und es wiederholt zu Nachrückverfahren kommt. Eine gewisse Trainierbarkeit könnte die Lernmotivation erhöhen, die Entstehung einer Vorbereitungsindustrie sollte jedoch vermieden werden, da dies zu sozialen Benachteiligungen führt. Differenzierbarkeit Die Auswahlverfahren sollen Auskunft über eine besondere Eignung für den Studiengang X im Unterschied zum Studiengang Y geben Welche Vor- und Nachteile haben die Auswahlverfahren?

6 Abiturnote Tests Aufsätze Interview Objektivität Reliabilität Validität Akzeptanz Praxistauglichkeit Erläuterungen: Abiturnote ++ bei allen Bewerbern verfügbar, leicht zugänglich und kostenlos -- Notenvergabe stark subjektiv [siehe erster Teil] Tests ++ einheitliche Bedingungen bei Testabnahme, vorgegebene Antwortoptionen und elektronische Auswertung -- teuer in der Entwicklung, erfordern regelmäßige Pflege Aufsätze + Reliabilität bei erfahrenen Beurteilern bis zu.90 (SAT) -- hoher Auswertungsaufwand, Beurteilerschulungen, mehrere Beurteiler erforderlich Interview ++ Möglichkeit, sich abgesehen von den schriftlichen Unterlagen zu präsentieren -- hoher Zeitaufwand (Richtwert bei 30 Min) 3.3. Wie valide sind die Verfahren? Ergebnisse einer Metaanalyse von Beiträgen zwischen 1980 und 2005: Tabelle 2: Prognostische Validität für Studiennoten Auswahlkriterium Validität Anzahl Einzelstudien Stichprobengröße Abiturnote fachspez. Test allg. Test Aufsätze Interviews Kombination von Abiturnote und Test.52 Wodurch ist die hohe Validität der Abiturnote zu erklären? - Noten spiegeln Fähigkeiten wieder, die auch für den Erfolg an der Hochschule bedeutsam sind (z.b. Ausdrucksfähigkeit, Fleiß und Lernbereitschaft) - die Abiturnote ist die Zusammenfassung (das Aggregat) - zahlreicher einzelner Messungen (keine einmalige, Tagesform abhängige), - die von unterschiedlichen Beurteilern - in unterschiedlichen Prüfungsmodalitäten (schriftlich, mündlich) vorgenommen wurden -> Parallelen zum Bewertungsverfahren an der Hochschule Lohnt sich der Einsatz von Studierfähigkeitstests zusätzlich zur Abiturnote? - Trefferquote verbessert sich nur bei niedrigen Selektionsquoten (d.h. wenn der Prozentsatz der angenommenen Bewerber gering ist)

7 4. Wie findet die Auswahl in anderen Ländern statt? Zwei Beispiele: 1) Auswahl der Besten Generelle Zulassungsvoraussetzung Bestandteile der Bewerbung Regelung der Zulassung Auswahlverfahren Auswahlkriterium Beispiel: England Kombination von A-Level-Abschlüssen, Fächerwahl bedingt frühe Spezialisierung Bewerbungsformular Begründungsschreiben Empfehlungsschreiben Hochschule einige Hochschulen bieten Interviews oder Studierfähigkeitstests an herausragende schulische Leistungen Persönlichkeit des Bewerbers 2) Offener Hochschulzugang Beispiel: Schweden Generelle - Schulisches Abschlusszeugnis der höheren Sekundarstufe, oder Zulassungsvoraussetzung - Als gleichwertig anerkannte Qualifikationsnachweise der Erwachsenenbildung oder Volkshochschule, oder - Vollendung des 25. Lebensjahres, Nachweis einer mindestens vierjährigen Berufstätigkeit und Nachweis von Kenntnissen in Schwedisch und Englisch auf Gymnasialniveau Regelung der Zulassung - mindestens ein Drittel und höchstens zwei Drittel werden über spezifische Auswahlkriterien vergeben, die von der Hochschule festgelegt werden können - Quotenregelung für die unterschiedlichen Bewerbergruppen Auswahlverfahren Zeugnis oder SweSAT Auswahlkriterium z.b. Notendurchschnitt, Testergebnis, Nachweis einer beruflichen Tätigkeit,... -> Prinzip der Chancengleichheit -> Öffnung der Hochschulen für Studienbewerber mit unterschiedlichen Bildungswegen 5. Welche Alternative gibt es zur klassischen Auswahl? Zwei Ansätze: 1) Konzept des informierten Bewerbers - detaillierte Studiengangsinformationen und Rückmeldungen über die persönlichen Voraussetzungen des Bewerbers VOR der Studienwahl - z.b. mit Hilfe von Self-Assessments und soliden Beratungstests - erhofftes Ergebnis - höhere Wahrscheinlichkeit, dass sich der richtige Studieninteressierte für den richtigen Studiengang einschreibt

8 - restriktive Regulation durch die Hochschulen wäre erst nötig, wenn es unvermeidlich ist, den Zugang zu beschränken - Beispiel: Uni Aachen - web-basiertes Studienberatungstool der Fachbereiche Informatik, Elektrotechnik und Technische Informatik - Das [...] anonyme Testverfahren soll Schülerinnen und Schülern anhand eines umfangreichen Feedbacks eine erweiterte Entscheidungsgrundlage für die Studienfachwahl geben. ( 2) Konzept der nachgestellten Auswahl - computer-gestützte Beratung, die detailliert über die Anforderungen informiert - Probezulassung für einen beschränkten Zeitraum - eigentliche Auswahl auf Grundlage der Studienleistungen NACH der Probezeit - Beispiel: Universität Wien - keine Zulassungsbeschränkung im Fach Psychologie - das Bestehen einer Prüfung zu der 14-tägigen Vorlesung Psychologie als Wissenschaft ermöglicht den Zugang zu Übungen und Seminaren im 1. Studienabschnitt