AuDoscore Automatic Grading of Java or Scala Homework

Transkript

1 AuDoscore Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Friedrich-Alexander University Erlangen-Nürnberg

2 Agenda Hintergrund und Motivation Ablauf der Bewertung mit AuDoscore Testfall-Erstellung aus Sicht des Dozenten Technische Umsetzung Erfahrungen mit AuDoscore AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 2

3 Hintergrund und Motivation Modul Algorithmen und Datenstrukturen (AuD) 300h (10 ECTS) ca. 25% davon Java-Hausaufgaben WS14/15 SS15 WS15/16 SS16 WS16/17 # Studierende # Prog.-Aufg # Java-Abgaben # Java-Dateien # LOC Modul Parallele und Funktionale Programmierung (PFP) 150h (5 ECTS) ca. 15% bzw. 10% Java-/Scala-Aufgaben bis zu 390 Abgaben (600 Scala-Dateien) pro Semester und viele weitere, ähnliche Veranstaltungen. AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 3

4 Bewertung von Programmieraufgaben vor AuDoscore (1) EST: Exercise Submission Tool Studierende laden ihre Lösungen hoch AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 4

5 Bewertung von Programmieraufgaben vor AuDoscore (2) EST: Exercise Submission Tool PDF-Dateien können mit Korrekturanmerkungen zurückgegeben werden Tutoren bewerten Lösungen manuell AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 5

6 Bewertung von Programmieraufgaben vor AuDoscore (1) EST: Exercise Submission Tool Studierende können Feedback und Punktestand einsehen Vorteile: Nachteile: + intuitiv - Feedback erst deutlich nach Abgabefrist - manuelle Bewertung von Java-Dateien schwierig und aufwändig - Bewertungen ggf. inkonsistent ( unfair ) AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 6

7 Hintergrund und Motivation möglichst leichtgewichtige Erweiterung von JUnit üblicher/gewohnter Testablauf für Dozenten und Studierende (Syntax, IDE, Ausführung, ) frühes Feedback an Studierende (während Bearbeitungsfrist!) leicht in EST integrierbar, aber auch unabhängig nutzbar AuDoscore: automatische Bewertung von Java-Hausaufgaben (öffentlich) ScExFuSS: Scala Exercise Functional Scoring System Fusion beider Projekte in Planung. nahezu identisch mit AuDoscore mit Scala-Unterstützung (noch nicht öffentlich) AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 7

8 Agenda Hintergrund und Motivation Ablauf der Bewertung mit AuDoscore Testfall-Erstellung aus Sicht des Dozenten Technische Umsetzung Erfahrungen mit AuDoscore AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 8

9 Ablauf der Bewertung mit AuDoscore Dozent erstellt PubTest SecTest überarbeitet Student erstellt, prüft überarbeitet PubTest Feedback testet lokal Lösung wird eingereicht testet online EST (stage 0-2) testet online EST (stage 3) Dozent! Vorab-Feedback:! Dozent erteilt prüft ergibt finales Ergebnis finales Ergebnis-Feedback Freigabe AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 9

10 Agenda Hintergrund und Motivation Ablauf der Bewertung mit AuDoscore Testfall-Erstellung aus Sicht des Dozenten Technische Umsetzung Erfahrungen mit AuDoscore AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 10

11 AuDoscore aktivieren Dozent erstellt Musterlösung und zwei Testfallklassen (Pub/Sec-Test) AuDoscore erweitert JUnit um zusätzliche Annotationen Beide Testfallklassen müssen beide JUnit-Rules enthalten: public class ZeichengeometriePublicTest Sammelt Informationen zu allen Testfällen und deren Ausführung public final PointsLogger pl = new public final static PointsSummary ps = new PointsSummary(); Erzeugt Zusammenfassung der finalen Bewertung AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 11

12 Öffentliche und Geheime Testfallklasse (PubTest / SecTest) Öffentlicher Test deklariert Teilaufgaben = "erzeugezeichenflaeche", points = = "zeichnepunkt", points = = "zeichnelinie", points = = "zeichnepolygon", points = = "zeichnerechteck", points = = "zeichnekreis", points = 4) }) public class ZeichengeometriePublicTest { Absolute Punktzahl (reale Bewertung) Geheimer Test erhält nur eine public class ZeichengeometrieSecretTest { AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 12

13 Einzelner Testfall (Bonus / Malus) = = "zeichnelinie", bonus = 42) public void testzeichnelinie Diagonale check() { : Punkte : keine Auswirkung typischer Einsatz: reguläre Funktionalität = 666) Relative Punktzahl = "zeichnelinie", malus = 666) public void test_check_if_invariant gives_student_cheating() { : keine Auswirkung : Punkte typischer Einsatz: Rekursion, Schnittstellen, Betrugsversuch AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 13

14 Finale Bewertung bonus- / malus- Angaben sind relative Gewichte Vorteil: Ergänzen/Löschen von Testfällen einfach Finale Bewertung für einzelne Teilaufgabe ττ gemäß: ggggggggee ττ = max 0, pppppppppppp TTCCττ bbbbbbbbbb TTCCττ ffffffffffff TTCCττ bbbbbbbbbb mmmmmmmmmm EExx ττ. pppppppppppp (0.5) Beispiel: ττ EExx = "zeichnelinie", points = 11), = "zeichnelinie", bonus = = "zeichnelinie", bonus = = "zeichnelinie", bonus = = "zeichnelinie", bonus = = "zeichnelinie", malus = 6) ( ) (6) max 0, ( ) PPPPPPPPPPPP (0.5) AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 14

15 Finale Bewertung Ansicht für Studierende Name der Testmethode oder wahlweise expliziter Kommentar AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 15

16 Beschränkungen der API Szenario: Algorithmen oder Datenstrukturen selbst implementieren auch wenn schon in der API ähnlich vorhanden Beispiel: eigene Streutabelle Verhindert, dass Studierende java.util.hashmap "java.util.", "java.lang.math" "java.lang.math.pow" }) public class StreutabellePublicTest { Prüfung als Teil der gesamten Ausführungssteuerung über Linux-Shell-Skript: Suche im Output des javap-disassemblers AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 16

17 Folgefehler verhindern Szenario: aufeinander aufbauende Methoden mit getrennten Testfällen Beispiel: QuickSort: Aufrufe: sort rruuuuuu partition rruuuuuu choosepivot rruuuuuu swap Code: Folgefehler! "QuickSort.swap", "QuickSort.choosePivot" }) public void test_partition { test_swap: test_ test_partition:? AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 17

18 Agenda Hintergrund und Motivation Ablauf der Bewertung mit AuDoscore Testfall-Erstellung aus Sicht des Dozenten Technische Umsetzung Erfahrungen mit AuDoscore AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 18

19 Technische Umsetzung: PointsLogger & PointsSummary AuDoscore ist Open Source: Intuitive Erweiterungen für JUnit: class PointsLogger extends TestWatcher { JUnit liefert Infos zu jedem Testfall: starting, failed, skipped, succeeded class PointsSummary extends ExternalResource { installiert SecurityManager ersetzt stdout/stderr erzeugt Ergebnisbericht JUnit informiert über gesamte Testsuite: before, apply, after AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 19

20 nutzt com.sun.source.util aus JDK: ANNOT Operationen auf Abstrakten Syntax-Bäumen (AST) J_SRC class Stud. Lsg. (Original) ANNOT J_SRC class Musterlsg. (Dozent) MOD HelloWorld BODY MOD HelloWorld BODY public VAR_D METH_D METH_D public VAR_D METH_D METH_D a b swap partition _clean_x swap "QuickSort.swap", "QuickSort.choosePivot" }) public void test_partition { ANNOT MOD J_SRC class HelloWorld BODY SUT für Testfall (ohne Folgefehler) public VAR_D METH_D METH_D a _clean_x b swap partition AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 20

21 AuDoscore für Scala-Code exakt wie für Java: import tester.annotations._ import Ex(exID = "Dijkstra.reachable", points = 2), new Ex(exID = "Dijkstra.shortest", points = "scala\\$app\\$\\$initcode")) class DijkstraTestEST extends JUnitWithPoints { Vererbt die Points-Rules (erspart explizite = = "Dijkstra.shortest", bonus = 1, comment = "Test shortest() with example from exercise def testshortestexample: Unit = { assertequals("shortest(reachable(g))(0) returns wrong result", Set((0,0),(1,3),(2,5),(3,3),(4,2)), shortest(reachable(g))(0).toset) } AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 21

22 Agenda Hintergrund und Motivation Ablauf der Bewertung mit AuDoscore Testfall-Erstellung aus Sicht des Dozenten Technische Umsetzung Erfahrungen mit AuDoscore AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 22

23 Erfahrungen mit AuDoscore - AuD in 5 Semestern automatisch bewertet: Java-LOC in Dateien ( Abgaben) WS14/15 SS15 WS15/16 SS16 WS16/17 # Studierende # Prog.-Aufg # Java-Abgaben # Java-Dateien # LOC # Pub/Sec-Tests 160/ / / / /804 # Test-Korrektur # manuelle Bew Manuelle Überprüfung auf Rekursion AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 23

24 Erfahrungen mit AuDoscore Tipps & Tricks Überprüfung auf Rekursion: Vorgabe einer Call-Back -Methode, die von den Studierenden im Basisfall der Rekursion aufgerufen werden muss => Rekursionstiefe über Stacktrace im AuDoscore-Test prüfen Betrugsversuche: Studierende versuchen, die Erwartungen der Testfälle (PubTest) ohne echte Funktionalität zu erfüllen ( Mock!) => Anti-Cheat-Malus-Test notwendig z.b. Diversität der Rückgaben für verschiedene Eingaben zählen AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 24

25 AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 25

26 Zukunftspläne Berücksichtigung nicht-funktionaler Aspekte z.b. Codierrichtlinien Unterstützung weiterer (JVM-)Programmiersprachen Gezielte Unterstützung beim Test paralleler Programme Integration externer Bibliotheken Verfeinerung z.b. auf einzelne Klassen/Methoden AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 26

27 Erfahrungen mit AuDoscore - PFP in 3 Semestern automatisch bewertet: Scala-LOC in 721 Dateien/Abgaben WS15/16 SS16 WS16/17 # Studierende # Prog.-Aufg # Scala-Abgaben # Scala-Dateien # LOC # Pub/Sec-Tests 24/21 15/54 15/54 # Test-Korrektur # manuelle Bew AuDoscore: Automatic Grading of Java or Scala Homework Norbert Oster, Marius Kamp, Michael Philippsen Folie 27