Wiki von "An XML exchange format for (programming) tasks" Seite: EntwicklerDokumentationSchnittstelleAntwortformate

Transkript

1 JACK Eine studentische Einreichung erhält eine Punktzahl (0-100, ganzzahlig), die sich entsprechend einer für die Aufgaben konfigurierten Gewichtung aus den Ergebnissen mehrerer Checker ergibt. Jedes Checker-Ergebnis enthält: 1. Punktzahl (0-100, ganzzahlig) 2. Error-Records Tupelüberschrift + Fehlermeldung, z.b.: Fehler in Testfall XY: Erwartete AUsgabe ist X, deine Ausgabe ist Y Fehlerhafte Codestruktur: Methode XY enthält keine Schleife Compiler Error: Missing ) in line X 3. Freies Textfeld inkl. freier Überschrift Kann genutzt werden um weitere Informationen auszugeben, die insbesondere keine Fehlermeldungen sind (z.b. Konsolen-Log durch System.Out.println vom Studenten) Zusätzlich können Checker optional weitere Daten zurückmelden, die nicht direkt mit dem Checker-Ergebnis verknüpft werden, sondern lediglich mit der studentischen Einreichung: VIPS 1. Zusätzliche Dateien (Ressourcen), z.b.: Visualisierung von Datenstrukturen (Grafiken oder XML für client-seitiges Rendering) Die oben Programm-Traces genannten Error-Records können auf diese Ressourcen verlinken. 2. Beliebige Key-Value-Paare, die nur für Lehrende/Admins sichtbar sind und nicht für Studierende Werden derzeit für Infos über Laufzeit, verwendete Backend-Instanz u.ä. verwendet 1. zwei Werte zwischen 0-1 Score: wie richtig die Aufgabe ist Validity: wie sicher die Bewertung ist 1 automatische Bewertung is sicher: Score * Punktzahl Musterlösung der Aufgabe der die Angegebene Lösung am ähnlisten ist <1 keine Sicherheit dann muss der Lehrende drauf schauen für verschiedene Musterlösungen es gibt eine optimale Lösung oder Problem nur teilweise gelöst 2. Freitext 1 / 6

2 Programm-Meldung und Test gemischt Meldung von Test und Programm derzeit noch keine gute Unterscheidung, soll in Zukunft besser unterschieden werden 3. Hash-Code der Aufgabe Grappa Eingabe Schnittstelle (Beschreibung einer Aufgabe) ist baumartig aufgebaut: übergeordnete Knoten mit Teilaspekten bzw. Unteraufgaben einer Aufgabe. Je Teilaspekte wird eine maximale Punktzahl eingegeben. Rückgabe Schnittstelle ist strukturgleich zur EIngabeschnittstelle aufgebaut. Zu jedem Teilaspekt wird ein Feedback (Result) geliefert. 1. Feedback auf dem Rückweg - Namen - erreichte Punktzahl - Comments (ResultDocument) entspricht etwa den ErrorRecords und Freitextfeld von JACK 2 / 6

3 Fehler die der Student gemacht hat in Verantwortung des Graders (Html) ein oder mehrere Comments. Grappa liefert hier in der Regel präsentationsfertige Formate (HTML, PDF, plaintext). Angedacht ist auch XML zu liefern, wenn das LMS selbst die Aufbereitung zur Präsentation übernehmen will. Das Format ist im obigen Diagramm nicht dargestellt, versteckt sich aber auch noch irgendwo im ResultDocument. Interessant vielleicht: Das LMS kann sich ein Format wünschen. Der Grader und Grappa liefert nach den bestehenden Möglichkeiten dann das gewünschte Format. 2. Unterscheidung der Empfänger: - nur für Student oder Dozent _> audience - verschiedene Stufen (log-level) nur Fehlermeldung... inkl. Debug-Meldungen 3. zusätzliche Dateien (Attachment) statistische Daten oder andere Hintergrund: können vom LMS aufgehoben werden, in der Regel für die Zielgruppe Dozent. 4. Attribut messagepreformattedplain wenn kein Grader da ist, kann Grappa hier Fehlermeldungen liefern. Gate JUNIT wird ausgeführt kleiner Wrapper der die Ausgaben an die Studenten weitergibt zwei Werte Test erfolgreich ja/nein Text für die Ausgabe (i.d.r. compiler-output oder JUnit output) 3 / 6

4 Praktomat - LON-CAPA LON-CAPA hat bereits ein Antwortformat: -> Beispiel LON-CAPA der Teil der Message soll aber aus Sicherheitsgründen erweitert werden soll nur noch ein bestimmtes Schema zugelassen werden kein HTML bzw. nur eine Untermenge von HTML erlaubt <taskresult grade="passed"> <tasktitle>arithmetisches Mittel</tasktitle> <testresult grade="failed"> <testname>java - Compiler :</testname> <testlog>log:...<pre>k</pre></testlog> </testresult> <testresult grade="passed"> <testname>anonymity :</testname> <testlog>log:..text<br />.<p>text</p>text<br/><p></p></testlog> </testresult> <filename>dateiname</filename> </taskresult> Übersicht gemeinsame Elemente für das Antwortformat -Abgabe (submission) -Erreichte Punkte (points) -Abgebender (submitter) -Korrektheit (validity) -Aufgabe (task) -Maximale Punkte (maxpoints) -Test (test) -Testergebnis (testresult) -Testtyp (testtype) -Feedback Test (testfeedback) -Feedback Tutor (tutorfeedback/comments) -Attachements/files (file) -> Empfänger/Adressat Fragen Wann/Wo/Wie werden evtl. Grading-Hints (siehe Austauschformat) zurückgegeben? 4 / 6

5 Reihenfolge und evtl. Zusammenhang verschiedener Feedbacks? Aufteilung der Darstellung. Nur im Frontend, oder ggf. Teile im Backend? Wie wird die studentische Lösung übergeben (hatten wir schon andiskutiert) Kann / soll xml Struktur für ganze Aufgabenblätter erweitert werden? (hatten wir schon andiskutiert) Querymodus / Gradermodus: (Betrifft insbesondere VIPS) Gibt es einen großen Unterschied zwischen Gradermodus und der Funktion von Vips als Programmierung Umgebung? Hilfsdateien für Evaluation werden als 'internal' im 'files' Teil übergeben. Wie wird die Funktion der Dateien repräsentiert? (nur als Konvention für die Dateinahmen?) Grader Schittstelle Rolle der Middleware 5 / 6

6 Powered by TCPDF ( Wiki von "An XML exchange format for (programming) tasks" Erlauben / Verbieten von Konstruktionen Wie wird das bei den Systemen gehandhabt? 6 / 6