Early detection of students at risk Predicting student dropouts using administrative data and machine learning methods

Transkript

1 Early detection of students at risk Predicting student dropouts using administrative data and machine learning methods Johannes Berens, Simon Oster, Kerstin Schneider, Julian Burghoff DeGEval 2018 Dresden Fakultät für Wirtschaftswissenschaft Schumpeter School of Business and Economics Institut für Bildungsforschung in der School of Education

2 Early detection of students at risk 1. Motivation 2. Frühwarnsystem 2.1 Studierendendaten 2.2 Methodenwahl 2.3 Ergebnisse 3. Experiment WIB. Early detection of students at risk. Folie 2

3 1. Motivation Paradigmenwechsel Studienabbruch (Gaebel et al., 2012) Intensivieren der Bemühungen zur Prävention von Studienabbrüche (Bowen et al., 2009; Bound et al., 2010) fachliche Beratung psychologische Beratung persönliche Beratung Angebot an alle Studierende WIB. Early detection of students at risk. Folie 3

4 1. Motivation WIB. Early detection of students at risk. Folie 4

5 1. Motivation Forschungsfragen: 1. Können abbruchgefährdete Studierende automatisiert identifiziert werden? Entwicklung eines hochschulübergreifenden Frühwarnsystems. (abgeschlossen) 2. Wie können abbruchgefährdete Studierende erfolgreich angesprochen werden? (in Arbeit) Wie wirksam sind bestehende Hilfsangebote gegen Studienabbrüche? 3. Wie hoch ist der Erklärungsgehalt vorliegender Studierendendaten? (in Arbeit) 4. Wer partizipiert an bestehenden Hilfsprogrammen? (Evaluation in Vorbereitung) 5. Senkt die Teilnahme die Abbruchneigung? (Evaluation in Vorbereitung) WIB. Early detection of students at risk. Folie 5

6 Early detection of student dropout Konzeption eines Frühwarnsystems Student Data Regression Trees Nets Combine methods Predict dropout WIB. Early detection of students at risk. Folie 6

7 2. Frühwarnsystem: Anspruch Datenschutzkonform Übertragbarkeit auf andere Hochschulen Geringe Einführungsund Unterhaltskosten Automatisiertes Fernrechnen Selbstjustierend auf Hochschule & Kohorte Nutzen administrativer Studierendendaten Maschinelles Lernen Studierendendaten isd 3 HStatG WIB. Early detection of students at risk. Folie 7

8 2. Frühwarnsystem FragSte Administrative Studierendendaten zweier Hochschulen ( ) Öffentliche Universität: Studierende 90 BA Studiengänge Seit 2011 Studiengebührenfrei Private Fachhochschule Studierende 26 BA Studiengänge Überwiegend kostenpflichtig (etwa 400 pro Monat) Studierendendaten: demographische und Leistungsdaten WIB. Early detection of students at risk. Folie 8

9 2.1 Studierendendaten Demografie State University (Private University of Applied Science) n mean Geschlecht* (6.717) 0,43 (0,64) Alter bei Immatrikulation (6.717) 21,98 (24,03) Ohne Migrationshintergrund (4.523) 0,73 (0,68) Migrant 2. Generation (1.167) 0,18 (0,17) Migrant 1. Generation (1.011) 0,09 (0,15) Krankenversicherung (n/a) 0,06 (n/a) * 0 = weiblich; 1 = männlich WIB. Early detection of students at risk. Folie 9

10 2.1 Studierendendaten Schule Studium State University (Private University of Applied Science) n mean Ort der HZB*** (6.717) 0,81 (0,69) Allgemeine HZB (3.374) 0,95 (0,50) Fachhochschulreife 107 (2.999) 0,01 (0,45) Fachgebundene Hochschulreife 125 (132) 0,01 (0,02) Ausländische HZB 486 (209) 0,03 (0,03) Note der HZB (n/a) 2,74 (n/a) Anzahl der Studiengänge (6.717) 2,59 (1,00) Quereinsteiger (6.717) 0,33 (0,30) Vorsemester (6.717) 2,58 (3,86) *** 0 = Heimatort; 1 = anderer Ort WIB. Early detection of students at risk. Folie 10

11 2.1 Studierendendaten Akad. Leistung AV State University (Private University of Applied Science) n mean Ø Note des Semesters (5.913) 2,49 (2,27) Ø CP des Semesters (6.717) 16,23 (19,11) Anzahl der RT (NT) im Semester (6.717) 0,38 (0,28) Anzahl der NB im Semester (6.717) 0,60 (0,49) Ohne Prüfungen (805) 0,23 (0,12) Studienabbruch (6.717) 0,52 (0,34) WIB. Early detection of students at risk. Folie 11

12 2.2 Methodenwahl Student Data Regression Decision trees AdaBoost: Combine methods Predict dropout Neural nets WIB. Early detection of students at risk. Folie 12

13 2.2 Methodenwahl Student Data Regression Decision trees AdaBoost: Combine methods Predict dropout Neural nets WIB. Early detection of students at risk. Folie 13

14 2.3 Ergebnis: Prognosequalität Wahrheitsmatrix Prediction is dropout Prediction is graduate Student is dropout True positive ( ) False negative ( ) Student is graduate False positive ( ) True negative ( ) Genauigkeit (Accuracy): Sensitivität (Recall): WIB. Early detection of students at risk. Folie 14

15 2.3 Ergebnis: Prognosequalität ACCURACY Öffentliche Universität 0. Sem 1. Sem 2. Sem 3. Sem 4.Sem Neural Net 62,53 72,75 81,54 85,27 86,35 Logit 63,47 76,15 81,80 86,55 89,56 BRF 65,02 78,41 82,43 86,95 88,96 AdaBoost 67,65 78,53 82,43 87,62 89,63 RECALL 0. Sem 1. Sem 2. Sem 3. Sem 4. Sem Neural Net 60,69 47,80 70,09 73,28 72,78 Logit 61,67 70,80 74,05 78,71 79,94 BRF 63,55 73,83 75,14 79,96 79,08 AdaBoost 65,81 73,83 74,95 80,58 79,94 WIB. Early detection of students at risk. Folie 15

16 2.3 Ergebnis: Prognosequalität ACCURACY Private Fachhochschule 0. Sem 1. Sem 2. Sem 3. Sem 4.Sem Neural Net 66,67 82,49 88,70 80,00 94,76 Logit 66,87 80,53 86,96 91,11 93,05 BRF 63,36 81,52 88,79 91,36 93,58 AdaBoost 67,17 84,49 89,70 81,95 95,51 RECALL 0. Sem 1. Sem 2. Sem 3. Sem 4. Sem Neural Net 49,13 68,51 74,44 92,79 80,42 Logit 48,95 72,37 78,17 79,37 81,37 BRF 44,54 68,95 75,35 77,13 78,26 AdaBoost 49,78 72,10 76,69 93,50 83,22 WIB. Early detection of students at risk. Folie 16

17 WIB. Early detection of students at risk. Folie 17

18 3. Experiment Sind proaktive, zielgerichtete Hilfsangeboten wirksam gegen Studienabbrüche? H1: Angesprochene abbruchgefährdete Studierende werden Hilfsangebote häufiger annehmen als ihre Kommilitonen. H2: Die Ansprache selbst senkt die Abbruchneigung. H3: In der Studienberatung erfolgt eine wirksame Maßnahmenvermittlung. H4: Wenn angesprochene, abbruchgefährdete Studierende die Studienberatung konsultieren, senkt das die Abbruchneigung WIB. Early detection of students at risk. Folie 18

19 3. Experiment: Status quo Fertig Experimentalgruppe a Benachrichtigung und Einladung zur Beratung FWS Studienzweifler Experimentalgruppe b nur Benachrichtigung Kontrollgruppe keine Benachrichtigung warten auf Reaktion. WIB. Early detection of students at risk. Folie 19

20 Thank you for your attention! WIB. Early detection of students at risk. Folie 20