Quelltextähnlichkeit

Transkript

1 Quelltextähnlichkeit String autor = Tobias Jamin ; String projekt = Arte-Fakt ; String seminar = Transformationen ; Date termin = new Date(3, // Tag 2, // Monat 2006); Presentation praesentation = new Presentation(autor, projekt, seminar, termin);

2 Übersicht 1. Sind Syntax und Semantik alles? Die dokumentarische Struktur von Quelltext 2. Kommentar-Problematik 3. Quelltext -Zwischendarstellung 4. Quellcodeähnlichkeit-Typen nach R. Falke 5. Ideen für Lösungen der Kommentar-Problematik 6. Kurze Zusammenfassung Quelltextähnlichkeit Tobias Jamin 2

3 1. Sind Syntax und Semantik alles? (1) Syntax & Semantik Begriffe aus der Linguistik formale Semantik als Teilgebiet der theoretischen Informatik werden vom Compiler benötigt definiert durch formale Grammatik Sind Syntax und Semantik (in Bezug auf die Quelltextähnlichkeit) alles? NEIN!!! Quelltextähnlichkeit Tobias Jamin 3

4 1. Sind Syntax und Semantik alles? (2) Die dokumentarische Struktur von Quelltext white space Leerzeichen Tabs Zeilenumbrüche Kommentare // Zeilenkommentar /* Blockkommentar über mehrere Zeilen */ alle Arten von Bezeichnern (Variablennamen, Klassennamen, Methodennamen usw.), unproblematisch Quelltextähnlichkeit Tobias Jamin 4

5 1. Sind Syntax und Semantik alles? (3) Die dokumentarische Struktur von Quelltext Leerzeichen und Tabs int a = 5; int bcd = 6; if (condition) ; Zeilenumbrüche Beispiel 1 Objekt.Methode(ParameterWithLongIdentifier1, ParameterWithLongIdentifier2, ParameterWithLongIdentifier3); Beispiel 2 int a = 2 int b = 3 int temp=a; a=b; b=temp; if (a int a = 2 int b = 3 int temp=a; a=b; b=temp; if (a Quelltextähnlichkeit Tobias Jamin 5

6 1. Sind Syntax und Semantik alles? (4) Die dokumentarische Struktur von Quelltext Verwendung optionaler Elemente (der Grammatik!) if (condition1) { { if (condition2) { if (condition3) { ohne optionale Elemente (komplett) ohne optionale ohne Elemente optionale Elemente + sinnfreie Zeilenumbrüche if (condition1) if (condition1) if (condition1) if (condition2) if if (condition2) (condition2) if (condition3) if (condition3) if (condition3) Dokumentarische Struktur nicht durch Grammatik definiert!! Quelltextähnlichkeit Tobias Jamin 6

7 2. Kommentar-Problematik (1) Referenten finden ist selten eindeutig möglich! Beispiel 1 (zeilenweise oder syntaktisch zu interpretieren?) Method(parameter1, /* K1 */ parameter2, /* K2 */ parameter3); /* K3 */ Beispiel 2 (ohne Zeilenumbrüche) Method(parameter1, /* K1 */ parameter2, /* K2 */ parameter3); /* K3 */ Quelltextähnlichkeit Tobias Jamin 7

8 2. Kommentar-Problematik (2) Kommentar-Blöcke aus Zeilenkommentaren Beispiel 1 if (condition) über { // mehrere // Zeilen Beispiel 2 // Beispiel 3 Beispiel 4 ; ; Beispiel 5 ; ; Quelltextähnlichkeit Tobias Jamin 8

9 2. Kommentar-Problematik (3) Umfangreicheres Beispiel /* Beschreibung für folgendes if-statement über mehrere Zeilen als Blockkommentar */ /* Beschreibung für folgendes if-statement (delend < start) über mehrere Zeilen als Blockkommentar { */ if (delend < start) { // overlap start // overlap start if (pos <= start && delend < end) if (pos <= start && delend { < end) { // completely overlaps // completely overlaps if (pos <= start && delend >= if end) (pos{ <= start && delend >= end) {... // completely after { // do nothing... // completely after { // do nothing Quelltextähnlichkeit Tobias Jamin 9

10 3. Quelltext-Zwischendarstellung (1) Zwischendarstellung in Form von Parse-Bäumen und ASTs Beispiele: Bauhaus und IDE Eclipse Erzeugung eines AST Macros white spaces, Kommentare Quelltext Quelltext (mit Makros) Präprozessor Lexer Tokenstrom AST semantische Analyse Parse-Baum Parser Quelltextähnlichkeit Tobias Jamin 10

11 3. Quelltext-Zwischendarstellung (2) Beispiele aus der IML (Bauhaus) Kommentare gehen zur Zeit komplett verloren Semikola ; Block-Klammern Reihenfolge von Modifier static public void method() { Variablendeklaration in einer Zeile int a, b, c; if (condition) { ; Quelltextähnlichkeit Tobias Jamin 11

12 3. Quelltext-Zwischendarstellung (3) Beispiele aus der IML (Bauhaus) optionale Leerzeichen public void Method(int a, int b) Fließkommazahlen (Exponentenproblem) == 1e02 == 10e01 == 0.1e03 redundante Klammern int a = b + (c * d); ASCII vs. Unicode Java kann Unicode, IML nur ASCII verschiedene Zahlensysteme 66 == 0x42 == 0102 Quelltextähnlichkeit Tobias Jamin 12

13 4. Quellcodeähnlichkeit-Typen nach R. Falke Definition nach R. Falke: Vorraussetzung: Null-Transformation Typ 0 binäre Gleichheit Typ 1 Typ 0 + Änderungen am Typ des Leerraumes (Tab -> Leerzeichen, Leerzeichen -> Tab) Typ 2 Typ 1 + Änderung der Position der Elemente Typ 3 beliebige Unterschiede im Quelltext, Semantik muss erhalten bleiben Quelltextähnlichkeit Tobias Jamin 13

14 5. Ideen zur Problemlösung (1) Parse-Baum als konventionelle Datenstrukturen nicht ausreichend Lösungsansätze 1) Grammatik der Programmiersprachen erweitern Kommentare in Grammatik einbetten JavaDoc (weitere Transformationen nötig!) 2) Style Guides mit Unterstützung durch Editoren 3) Kommentare unnötig machen Quelltextähnlichkeit Tobias Jamin 14

15 5. Ideen zur Problemlösung (2) Problem der IML ausgelegt für Auswertungen und nicht für quellcodenahes unparse Ideen von Unparse für Arte-Fakt erweiterter Tokenstrom für verlorene Informationen (dadurch Typ 2 oder sogar Typ 1 erreichbar) SLoc in Token, dadurch Rekonstruktion von Zeilenumbrüchen Rekonstruktion der Einrückung Kommentare (+ Macros) in separater Liste mitführen (Mapping über SLoc) Quelltextähnlichkeit Tobias Jamin 15

16 6. Zusammenfassung Was wollte ich vermitteln? Bedeutsamkeit dokumentarischer Struktur von Quelltext Zuordnungsprobleme von Kommentaren zu Referenten Quelltextähnlichkeit-Typen Konventionelle Zwischendarstellung und die Probleme mit ihr Probleme mit der IML (Bauhaus-Zwischendarstellung) Lösungsansätze von unparse für Arte-Fakt Quelltextähnlichkeit Tobias Jamin 16