Entwicklung einer Anwendung zur Erkennung von Täuschungsversuchen

Transkript

1 Entwicklung einer Anwendung zur Erkennung von Täuschungsversuchen Theoretische Ausarbeitung Miriam Friedrich Matr.-Nr.: Prüfer: Prof. Dr. rer. nat. Alexander Voß 2. Prüfer: Bastian Küppers, M. Sc. Aachen, 25. Januar 2018

2 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

3 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

4 Motivation Gefahr durch Täuschungsversuche in (elektronischen) Klausuren Anwendung, die Täuschungen in Klausurabgaben erkennt Verwendung früherer Abgaben, um persönliche Arbeitsstile zu erkennen für jeden Studierenden für jeden Aufgabentypen Täuschungsvermutung, falls der Arbeitsstil der Klausur vom früheren Stil abweicht zu bestätigen durch Prüfer nur kritische Abgaben müssen vom Prüfer untersucht werden Motivation 4

5 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

6 Einsatzgebiet IT-Center der RWTH-Aachen Vergleichsmaterial durch Hausaufgabenabgaben Aufgabentypen: Programmieraufgaben Freitextaufgaben Multiple Choice Aufgaben Rechenaufgaben Einsatzgebiet 6

7 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

8 Voraussetzungen ausreichende Menge Vergleichsmaterial Vergleichsmaterial ist thematisch passend Aufgabenstellung Art der Bearbeitung Schwierigkeitsgrad Vergleichsmaterial ist jeweils einem einzelnen Studierenden zuzuordnen Vergleichsmaterial ist frei von Täuschungen Einsatzgebiet 8

9 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

10 Erkennung von Täuschungsversuchen Täuschung liegt vor? Anwendung erkennt Täuschung? Prüfer erkennt Täuschung? Zusatzinformation Ja Ja Ja Optimalprozess Ja Ja Nein Fehler des Prüfers Ja Nein Ja Bedingt Überprüfung durch den Prüfer unabhängig von der Einschätzung der Anwendung Ja Nein Nein Zu erwarten, falls die Anwendung scheitert Einsatzgebiet 10

11 Erkennung von Täuschungsversuchen Täuschung liegt vor? Anwendung erkennt Täuschung? Prüfer erkennt Täuschung? Zusatzinformation Nein Ja Ja Fehlentscheidung, darf nicht passieren Nein Ja Nein wünschenswerte Korrektur der Anwendung Nein Nein Ja Fehlentscheidung, darf nicht passieren Nein Nein Nein Optimalprozess Einsatzgebiet 11

12 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

13 Anforderungsanalyse Aufgaben der Anwendung 1) Vergleichsdaten in maschinenlesbare Form umwandeln Vergleichsdaten unterteilt in verschiedene Dateien Feature (z.b. Anzahl Leerzeichen): Zahl aus Vergleichsdatei ermitteln Kombination mehrerer Features mehrere Zahlen / Vergleichsdatei Kombination mehrerer Vergleichsdateien CSV-Datei 2) anhand der Vergleichsdaten trainieren 3) Klausurabgaben bewerten Anforderungsanalyse 13

14 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

15 Klassifizierung n Klassen: eine Klasse für jeden möglichen Autor jede Abgabe einer Klasse zuordnen Vorteil: im Täuschungsfall ist der tatsächliche Autor bekannt Nachteil: unendlich viele Klassen (open world problem) 2 Klassen (binäre Klassifizierung): 2 Klassen für jeden Studierenden: Selbst und Andere Vorteil: erhöhte Genauigkeit, klar definierte Klassen Nachteil: im Täuschungsfall ist der tatsächliche Autor unbekannt Stand der Technik 15

16 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

17 Verwendung der Vergleichsdaten Trainings- & Testdaten Aufteilung der verfügbaren Vergleichsdaten in disjunkte Teilmengen: Trainingsdaten: Testdaten: Erlernen des Arbeitsstils Prüfung der Qualität des Erlernten Stand der Technik 17

18 Verwendung der Vergleichsdaten Grund für die Aufteilung zu gute Anpassung an Trainingsdaten schlechte Ergebnisse bei Testdaten Vermeidung u.a. durch möglichst viele Trainingsdaten Stand der Technik 18

19 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

20 Modelle der künstlichen Intelligenz Deep Neural Network (DNN) gut für unlabeled input (keine Vorgabe der Klassen) braucht große Mengen Vergleichsmaterial Random Forest geringere Menge Vergleichsmaterial möglich Stand der Technik 20

21 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

22 Neural Network Abbildung 1: Neural Network [1] Stand der Technik 22

23 Deep Neural Network Abbildung 2: Deep Neural Network [1] Stand der Technik 23

24 Prozess Abbildung 3: Prozess [2] Stand der Technik 24

25 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

26 Entscheidungsbaum im Kopf eines Hundes Abbildung 4: Entscheidungsbaum Stand der Technik 26

27 Random Forest Kombination mehrerer Entscheidungsbäume Abbildung 5: Random Forest [3] Stand der Technik 27

28 Erzeugung zufällig erzeugte Entscheidungsbäume Abbildung 6: Erzeugung [4] Stand der Technik 28

29 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

30 Syntaktische Features Aussage über die Syntax von Programmcode Ermittlung auf Basis des Quellcodes Unabhängig von Compiler- oder Laufzeitfehlern Beispiele: Anzahl Leerzeilen Häufung von Leerzeichen (Einrückung) Anzahl Code-Kommentare Stand der Technik 30

31 Semantische Features Aussage über die Semantik/Funktionsweise des Programms Programmcode muss frei von Compiler-Fehlern sein Beispiele: Anzahl Methoden pro Klasse Anzahl Verzweigungen pro Methode Anzahl Instanzvariablen pro Klasse Stand der Technik 31

32 Semantische Features Java-Code while(x < 5) { x = x + 1; } Keywords erkennen: while Ausdrücke erkennen: x < 5, x + 1,... Klammerung erkennen... Stand der Technik 32

33 Semantische Features Abstract Syntax Tree (AST) Abbildung 7: Abstract Syntax Tree (AST) Stand der Technik 33

34 Agenda 1. Motivation 2. Einsatzgebiet 2.1 Voraussetzungen 2.2 Erkennung von Täuschungsversuchen 3. Anforderungsanalyse 4. Stand der Technik 4.1 Klassifizierung 4.2 Verwendung der Vergleichsdaten 4.3 Modelle der künstlichen Intelligenz 4.4 Deep Neural Network (DNN) 4.5 Random Forest 4.6 Features von Programmcode 5. Ausblick

35 Ausblick Entwicklung eines Prototypen in der Bachelorarbeit Ziel: Prototyp zur Überprüfung von Programmierklausuren Bewertung des Prototypen durch stochastische Tests (z.b. Chi-Quadrat-Test) Entscheidung: neuronale Netzwerke oder Random Forest Ausblick 35

36 Quellen [1] Stanford University. CS231n Convolutional Neural Networks for Visual Recognition. URL: [2] DL4J. Introduction to Deep Neural Networks URL: [3] Venkata Jagannath. Random Forest Template for TIBCO Spotfire R - Wiki page. TIBCO Community, URL: random-forest-template-tibco-spotfirer-wiki-page, [4] Sara del Río, Victoria López, José Manuel Benítez, and Francisco Herrera. On the use of MapReduce for imbalanced big data using Random Forest. ScienceDirect, URL: Anhang 36

37 Vielen Dank für Ihre Aufmerksamkeit. Fragen?