public static void AddMathTokens(RegexLexer lex)
{
lex.Ignore(" ");
lex.Add(PascalTerms.LParinth, @"\(");
lex.Add(PascalTerms.RParinth, @"\)");
lex.Add(PascalTerms.IntegerConst, @"\d+");
lex.Add(PascalTerms.Add, @"\+");
lex.Add(PascalTerms.Sub, @"-");
lex.Add(PascalTerms.Multi, @"\*");
lex.Add(PascalTerms.FloatDiv, @"/");
}
public void Tokenize_App()
{
_regexLexer.Ignore(" ");
_regexLexer.Add("Name", "[a-zA-Z]+");
_regexLexer.Add("Equal", "=");
_regexLexer.Add("Number", @"\d+");
var tokens = _regexLexer.Tokenize("var test = 10");
tokens.Should().HaveCount(4);
}
