2.0. Jens Weller Joel de Guzman Hartmut Kaiser

Transkript

1 2.0 Jens Weller Joel de Guzman Hartmut Kaiser

2 2.0 - Agenda Was ist Spirit? Aufbau & Überblick Lex, Qi & Karma

3 2.0 Was ist das? Spirit 2.0 ist ein objektorientiertes Framework für Parser (Lex, Qi) Ausgabe (Karma) stellt EBNF Grammatiken mit Hilfe von template Meta-Programmierung in C++ da.

4 2.0 Aufbau 2 Hauptkomponenten Parsing (spirit::lex, spirit::qi) Ausgabeformatierung (spirit::karma) Beide Teile sind unabhängig von einander

5 2.0 Details Spirit V2 Lex (token handling) Qi (parser) Karma (generator) Support Lexer Action Action Algorithms Lexertl Auxiliary Auxiliary Character classes Other lexer(s) Char Char Iterator Directive Directive Nonterminal support Binary Binary Nonterminal Nonterminal Numeric Numeric Operator Operator String String Utility Utility

6 2.0 operators EBNF operator Spirit a b (a folgt b) Qi: a >> b Karma: a << b a / b (a oder b) a b a* (a 0 oder n mal) *a a+ (a 1 oder n mal) +a a >> *(b >> a)

7 2.0 spirit::lex Dient der Tokendefinition template <typename Lexer> struct example1_tokens : lexer_def<lexer> { template <typename Self> void def (Self& self) { // define tokens and associate them with the lexer identifier = "[a-za-z_][a-za-z0-9_]*"; self = token_def<>(',') '{' '}' identifier; }; // any token definition to be used as the skip parser during parsing // has to be associated with a separate lexer state (here 'WS') white_space = "[ \\t\\n]+"; self("ws") = white_space; } token_def<> identifier, white_space;

8 2.0 spirit::qi Qi ist der eigentliche Parserbereich der Library Einige Beispiele CSV römische Zahlen Mini XML Parser

9 2.0 CSV Comma Seperated Values Sonderfall: nur Zahlen double_ >> *(',' >> double_) double_[ref(n) = _1] >> *(',' >> double_[ref(n) += _1]) Semantic Actions Platzhalter (Ergebnis des Parsers)

10 2.0 Liste einlesen vector<double> als Ergebnis? double_[push_back(ref(v), _1)] >> *(',' >> double_[push_back(ref(v), _1)]) double_[push_back(ref(v), _1)] % ',' double_ % ','

11 2.0 römische Zahlen Beispiel für Symboltable Regeldefinition Grammatiken

12 Symboltable 2.0 römische Zahlen struct hundreds_ : symbols<char, unsigned> {// bildet die römischen Zahlen im Hunderter Bereich ab hundreds_() { add("c", 100) ("CC", 200) ("CCC", 300) ("CD", 400) ("D", 500) ("DC", 600) ("DCC", 700) ("DCCC", 800) ("CM", 900) ; } } hundreds;

13 2.0 römische Zahlen Grammtik & Regeldefinition template <typename Iterator> struct roman : grammar_def<iterator, unsigned()> { roman() {// Regeldefinition start = +char_('m') [_val += 1000] hundreds [_val += _1] tens [_val += _1] ones [_val += _1]; } rule<iterator, unsigned()> start; }; Signatur _val: Synthesized Attribute (Return value)

14 2.0 Mini XML Grundlegende Strukturen für Mini XML struct mini_xml; typedef boost::variant<, std::string > mini_xml_node; struct mini_xml { std::string name; }; // We need to tell fusion about our mini_xml struct boost::recursive_wrapper<mini_xml> // to make it a first-class fusion citizen BOOST_FUSION_ADAPT_STRUCT( mini_xml, (std::string, name) (std::vector<mini_xml_node>, children) ) // tag name std::vector<mini_xml_node> children; // children

15 2.0 spirit::qi Grammatik für Mini XML template mini_xml_def() <typename Iterator> struct { { mini_xml_def : grammar_def<iterator, mini_xml(), space_type> { text text = = lexeme[+(char_ - - '<')[_val += += _1]]; mini_xml_def() node = = (xml text)[_val = = _1]; = _1]; _1]; {??? start_tag = '<' >> lexeme[+(char_ - '>')[_val += _1]] } >> >> '>'; '>'; rule<iterator, end_tag = = mini_xml(), "</" "</" >> >> lit(_r1) space_type> >> >> '>'; '>'; xml; rule<iterator, mini_xml_node(), space_type> node; rule<iterator, xml xml = = start_tag[at_c<0>(_val) std::string(), space_type> = = _1] = _1] text; _1] rule<iterator, >> >> *node[push_back(at_c<1>(_val), std::string(), space_type> start_tag; _1)] _1)] _1)] rule<iterator, >> >> end_tag(at_c<0>(_val)); void(std::string), space_type> end_tag; }; } } Text ohne Whitespaces Zugriff auf übergebenes Element

16 Mini XML Ausgabe 2.0 Karma struct mini_xml_generator() : boost::spirit::karma::grammar_def<outputiterator, { void(mini_xml), space_type> { text = verbatim[lit(text._1)]; // typedef karma::grammar_def<outputiterator, node = (xml text)[_1 = node._1]; void(mini_xml), space_type> base_type; // boost::mpl::print<typename base_type::start_type::param_types> x; start_tag = '<' << verbatim[lit(start_tag._1)] mini_xml_generator() << '>'; {? end_tag = "</" << verbatim[lit(end_tag._1)] } << '>'; karma::rule<outputiterator, void(mini_xml), space_type> xml; xml; karma::rule<outputiterator, xml = start_tag(at_c<0>(xml._1)) void(mini_xml_node), space_type> node; node; karma::rule<outputiterator, << (*node)[ref(at_c<1>(xml._1))] void(std::string), space_type> text; text; karma::rule<outputiterator, << end_tag(at_c<0>(xml._1)) void(std::string), space_type> start_tag; start_tag; karma::rule<outputiterator, } void(std::string), space_type> end_tag; end_tag; };

17 2.0 Errorhandling expression.name("expression"); Was ist fehlgeschlagen? expression.template on_error<fail> (( std::cout << val("error! Expecting ") << _4 << val(" here: \"") << construct<std::string>(_3, _2) << val("\"") << std::endl )); Iteratoren zur Fehlerposition und Input Ende.

18 2.0 Errorhandling expression = term[_val = _1] >> *( ('+' > term[_val += _1]) ('-' expression > term[_val = -= _1]) ); term[_val = _1] >> *( ('+' > term[_val += _1]) ('-' > term[_val -= _1]) ); 123 * ( ] / 20 Error! Expecting ')' here: "] / 20" > ist eine Sonderform von >> Nach + muss ein term kommen blah Error! Expecting term here: " blah"

19 2.0 Aktueller Stand Momentan online im SVN erhältlich Es gibt einen Snapshot für die BoostCon Abhängigkeit zum aktuellen Boost cvs::head (Fusion/Proto) Momentan keine Online Dokumentation

20 2.0 Fragen