Praktikum Softwareanalyse und -transformation

Transkript

1 Praktikum Softwareanalyse und -transformation Thilo Mende Universität Bremen Fachbereich 3 Mathematik und Informatik Arbeitsgruppe Softwaretechnik Sommersemester 2009

2 Syntaktische Analyse und Generierung des ASTs 1 Einführung 2 Analyse I 3 Refactoring I 4 Analyse II 5 Refactoring II T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 3 / 23

3 Syntaktische Analyse und Generierung des ASTs 2 Analyse I Syntaktische Analyse und Überführung in AST ANTLR Ein Beispiel: Addition+Multiplikation Unsere Programmiersprache Namensbindung Unparse T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 4 / 23

4 Einordnung Programmtext Programmtext mit Makros Präprozessor Tokenstrom Lexer Parser abstrakter Syntaxbaum semantische Analyse annotierter abstrakter Syntaxbaum Front-End Middle- Zwischensprachengenerator Zwischendarstellung Analysen Transformationen annotierte Zwischendarstellung End Unparse Code Back-End Wissensbasis T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 5 / 23

5 Einordnung Programmtext Programmtext mit Makros Präprozessor Tokenstrom Lexer Parser abstrakter Syntaxbaum semantische Analyse annotierter abstrakter Syntaxbaum Front-End Middle- Zwischensprachengenerator Zwischendarstellung Analysen Transformationen annotierte Zwischendarstellung End Unparse Code Back-End Wissensbasis T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 5 / 23

6 ANTLR Im Allgemeinen: ANother Tool for Language Recognition aka Parser Generator Top-Down-Parser LL(*): L Von Links lesen L Das linkeste nicht-terminal wird zuerst ersetzt * Beliebiger Lookahead Unterstützt Java, C, Python... ANTLRWorks als Grammatik-IDE T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 6 / 23

7 ANTLR Im Allgemeinen: ANother Tool for Language Recognition aka Parser Generator Top-Down-Parser LL(*): L Von Links lesen L Das linkeste nicht-terminal wird zuerst ersetzt * Beliebiger Lookahead Unterstützt Java, C, Python... ANTLRWorks als Grammatik-IDE Und wie wir es nutzen: Lexer und Parser in einer Grammatik Java/Ant Beispiel-Projekt unter ~tmende/sat/satparser-v.0.1.tar.gz T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 6 / 23

8 Eingabe: Addition+Multiplikation Eingabe: (1+2) 5 T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 7 / 23

9 Eingabe: Addition+Multiplikation Eingabe: (1+2) 5 Aufgabe: Transformation in einen Abstrakten Syntaxbaum T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 7 / 23

10 Gerüst grammar SAT ; // Name g l e i c h Dateiname o p t i o n s { l a n g u a g e = Java ; // Ausgabesprache output = AST ; // Ausgabe : Tree ASTLabelType=CommonTree ; // K l a s s e d e r Knoten b a c k t r a c k = t r u e ; // A u t o m a t i s c h e s B a c k t r a c k i n g an // macht i f / e l s e s p ä t e r e i n f a c h e r } t o k e n s { // D e f i n i t i o n d e r Token, kann man auch i n l i n e machen PLUS = + ; TIMES = ; PAR L = ( ; PAR R = ) ; { package a g s t. s a t ; } // Wird i n d i e g e n e r i e r t e l e x e r : : h e a d e r { package a g s t. s a t ; } // K l a s s e n g e s c h r i e b e n T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 8 / 23

11 Lexer prog : ; // Dummy, e r s t m a l i g n o r i e r e n // Fragment : w i r d n i c h t a l s Token b e n u t z t fragment SPACE : \ t ; fragment DIGIT : ; // Token werden groß g e s c h r i e b e n NEWLINE : ( \ r? \n )+ { $ c h a n n e l = HIDDEN ; } ; // HIDDEN : P a r s e r s i e h t d i e n i c h t WHITESPACE : SPACE+ { $ c h a n n e l = HIDDEN ; } ; INTEGER : DIGIT+; // Zahlen : Ein oder mehr d i g i t s T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 9 / 23

12 Test des Lexers... Reader r e a d e r = new F i l e R e a d e r ( a r g s [ 0 ] ) ; SATLexer l e x e r = new SATLexer ( new ANTLRReaderStream ( r e a d e r ) ) ; r e a d e r. c l o s e ( ) ; CommonTokenStream tokenstream = new CommonTokenStream ( l e x e r ) ; f o r ( Object o b j : tokenstream. gettokens ( ) ) { CommonToken token = ( CommonToken ) o b j ; i f ( token. g e t C h a n n e l ( )!= CommonToken. HIDDEN CHANNEL){ System. out. p r i n t f ( %s :% s \n, token. gettext ( ), SATParser. tokennames [ token. gettype ( ) ] ) ; }... } T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 10 / 23

13 Test des Lexers (2) cd Project-Dir && ant T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 11 / 23

14 Test des Lexers (2) cd Project-Dir && ant java -cp build/sat.jar agst.sat.lexertest example.math T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 11 / 23

15 Test des Lexers (2) cd Project-Dir && ant java -cp build/sat.jar agst.sat.lexertest example.math 2 : INTEGER +:PLUS 3 : INTEGER : TIMES 4 : INTEGER ( : PAR L 1 : INTEGER +:PLUS 2 : INTEGER ) : PAR R : TIMES 5 : INTEGER (1+2) 5 T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 11 / 23

16 Parser // Ein Programm : n u l l oder mehr e x p r prog : ( e x p r ) ; e x p r : // M i t t e l s Mexpr w i r d d i e Operator R e i h e n f o l g e g e s t e u e r t mexpr ( PLUS mexpr ) ; // PR oder V e r k e t t u n g von mexpr : pr (TIMES pr ) ; pr : INTEGER PAR L e x p r PAR R ;... T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 12 / 23

17 Parse-Tree mit ANTLRWorks T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 13 / 23

18 Transformation in AST... // ˆ : n e u e r Knoten im AST e x p r : mexpr ( PLUSˆ mexpr ) ; mexpr : / Das h i e r i s t d e r k o m p l i z i e r t e Weg Operatoren mit Rewrite R u l e s zu b e s c h r e i b e n. D e u t l i c h k ü r z e r geht e s mit pr (TIMESˆ pr ) ; Dafür s i e h t man auch nochmal w i r man l a b e l s b e n u t z t um Tokens g l e i c h e n Typs u n t e r s c h i e d l i c h zu behandeln : i d e n t i f i e r =r e g e l und dann mit $ i d e n t i f i e r r e f e r e n z i e r e n. / ( pr > pr ) (TIMES r=pr > ˆ(TIMES $mexpr $r ) ) ; //! : N i c h t f ü r den AST bestimmt pr : INTEGER PAR L! e x p r PAR R! ; T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 14 / 23

19 AST mit ANTLRWorks T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 15 / 23

20 Test des Parsers... SATParser p a r s e r = new SATParser ( tokenstream ) ; SATParser. p r o g r e t u r n r = p a r s e r. prog ( ) ; CommonTree c t = ( CommonTree ) r. g e t T r e e ( ) ; System. out. p r i n t l n ( c t. t o S t r i n g T r e e ( ) ) ;... T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 16 / 23

21 Test des Parsers... SATParser p a r s e r = new SATParser ( tokenstream ) ; SATParser. p r o g r e t u r n r = p a r s e r. prog ( ) ; CommonTree c t = ( CommonTree ) r. g e t T r e e ( ) ; System. out. p r i n t l n ( c t. t o S t r i n g T r e e ( ) ) ;... ant java -cp build/sat.jar agst.sat.processor example.math T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 16 / 23

22 Test des Parsers... SATParser p a r s e r = new SATParser ( tokenstream ) ; SATParser. p r o g r e t u r n r = p a r s e r. prog ( ) ; CommonTree c t = ( CommonTree ) r. g e t T r e e ( ) ; System. out. p r i n t l n ( c t. t o S t r i n g T r e e ( ) ) ;... ant java -cp build/sat.jar agst.sat.processor example.math Ausgabe: (+ 2 (* 3 4)) (* (+ 1 2) 5) T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 16 / 23

23 Programmiersprache Allgemeine Anforderungen: so einfach wie möglich so ausdrucksstark wie nötig für die Refactorings Teilmenge von C++ Erleichtert Überprüfung von Transformationen T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 17 / 23

24 Programmiersprache Allgemeine Anforderungen: so einfach wie möglich so ausdrucksstark wie nötig für die Refactorings Teilmenge von C++ Erleichtert Überprüfung von Transformationen Konkrete Teilmenge: Klassen mit Methoden und Attributen einfachste Anweisungen, z.b. + einfache weitere Datentypen, z.b. int einfachste Kontrollstrukturen, z.b. if und while einfache Ausgabeanweisungen (für den Test) Parametermodi: Wert und Referenz kein Overloading, einfache Namensbindung T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 17 / 23

25 BNF-Syntax ::= t r e n n t l i n k e und r e c h t e R e g e l s e i t e. beendet Regel t r e n n t A l t e r n a t i v e n {X} b e s c h r e i b t b e l i e b i g v i e l e Wiederholung von X ( auch 0) [X] b e s c h r e i b t o p t i o n a l e s X t s t e h t f ü r Token t ( { i s t a l s o e i n Token d e r Sprache ) A l l e Symbole, d i e n i c h t a u f d e r l i n k e n S e i t e a u f t r e t e n, s i n d T e r minale <e p s i l o n > i s t d i e l e e r e r e c h t e S e i t e T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 18 / 23

26 Unsere Grammatik (1) P ::= { C D }. // Prog. b e s t e h t aus K l a s s e n+d e k l a r a t i o n e n C ::= c l a s s i d [ : i d ] { p u b l i c : {D} } ; // Klassen D e k l a r a t i o n // ( p u b l i c nur wg. K o m p a t i b i l t ä t ) D ::= T i d ; M. // D e k l a r a t i o n ( V a r i a b l e oder Methode ) T ::= v o i d i n t i d. // Typen : B u i l t i n und s e l b e r d e f i n i e r t e M ::= T i d ( PL ) B. // Methoden D e f i n i t i o n PL ::= <e p s i l o n > Pa {, Pa }. // Parameter L i s t e Pa ::= T [&] i d. // Parameter Argument B ::= { { D } { S } }. // Block N ::= i d i d. i d. // Name T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 19 / 23

27 Unsere Grammatik (2) E ::= E < Te // E x p r e s s i o n E = Te Te. Te ::= Te + Pr // Terminal E x p r e s s i o n (wg. Operator Präzedenz ) Te Pr Pr. Pr ::= N number ( E ) t h i s > i d N (AL). // P r i m i t i v e AL ::= <e p s i l o n > E {, E }. // Argument L i s t e S ::= N = E ; // Statement N ( AL ) ; r e t u r n E ; i f ( E ) S [ e l s e S ] B p r i n t f ( %d\n, E ) ; w h i l e ( E ) S. T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 20 / 23

28 Beispiel-Programm i n t g l o b a l ; c l a s s C { p u b l i c : i n t a ; i n t b ; v o i d f o o ( i n t& x ) { a = x ; x = (1 + 2 ) ; } } ;... c l a s s B : C { p u b l i c : i n t c ; C d ; i n t bar ( i n t x, i n t y ) { w h i l e ( x<y ) { x = x + 2 ; i f ( y > 5) { i n t x ; x = y + 5 ; f o o ( x ) ; r e t u r n x ; } } c = x ; r e t u r n 0 ; } } ; T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 21 / 23

29 Und so geht es weiter Zum nächsten Termin: Grammatik in ANTLR umsetzen T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 22 / 23

30 Und so geht es weiter Zum nächsten Termin: Grammatik in ANTLR umsetzen Beim nächsten Termin: Zwischenergebnis besprechen Die Woche danach: Semantische Analyse T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 22 / 23

31 Und so geht es weiter Zum nächsten Termin: Grammatik in ANTLR umsetzen Beim nächsten Termin: Zwischenergebnis besprechen Die Woche danach: Semantische Analyse Fragen? T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 22 / 23

32 T.Mende (Uni Bremen) Softwareanalyse und -transformation SS09 23 / 23