public static List <Token> Lex(string text)
{
Init();
var lexer = new LexerMachine();
foreach (char c in text)
{
if ((c == '_') || (Char.IsLetter(c)))
{
lexer.Letter(c);
}
else
{
if (Char.IsDigit(c))
{
lexer.Digit(c);
}
else
{
if (IsOperator(c))
{
lexer.Operator(c);
}
else
{
lexer.Whitespace(' ');
}
}
}
}
lexer.Whitespace(' ');
return(lexer.Tokens);
}
public static List <Token> Lex(string text)
{
// item 310
Init();
var lexer = new LexerMachine();
foreach (char c in text)
{
// item 315
if ((c == '_') || (Char.IsLetter(c)))
{
// item 323
lexer.Letter(c);
}
else
{
// item 320
if (Char.IsDigit(c))
{
// item 324
lexer.Digit(c);
}
else
{
// item 325
if (IsOperator(c))
{
// item 328
lexer.Operator(c);
}
else
{
// item 329
lexer.Whitespace(' ');
}
}
}
}
// item 314
lexer.Whitespace(' ');
// item 313
return(lexer.Tokens);
}
public static List<Token> Lex(string text) {
IEnumerator<char> _it311 = null;
char c = default(char);
// item 310
Init();
var lexer = new LexerMachine();
// item 3110001
_it311 = ((IEnumerable<char>)text).GetEnumerator();
while (true) {
// item 3110002
if (_it311.MoveNext()) {
} else {
break;
}
// item 3110004
c = _it311.Current;
// item 315
if (c == '_') {
// item 323
lexer.Letter(c);
} else {
// item 318
if (Char.IsLetter(c)) {
// item 323
lexer.Letter(c);
} else {
// item 320
if (Char.IsDigit(c)) {
// item 324
lexer.Digit(c);
} else {
// item 325
if (IsOperator(c)) {
// item 328
lexer.Operator(c);
} else {
// item 329
lexer.Whitespace(' ');
}
}
}
}
}
// item 314
lexer.Whitespace(' ');
// item 313
return lexer.Tokens;
}
public static List <Token> Lex(string text)
{
IEnumerator <char> _it311 = null;
char c = default(char);
// item 310
Init();
var lexer = new LexerMachine();
// item 3110001
_it311 = ((IEnumerable <char>)text).GetEnumerator();
while (true)
{
// item 3110002
if (_it311.MoveNext())
{
}
else
{
break;
}
// item 3110004
c = _it311.Current;
// item 315
if (c == '_')
{
// item 323
lexer.Letter(c);
}
else
{
// item 318
if (Char.IsLetter(c))
{
// item 323
lexer.Letter(c);
}
else
{
// item 320
if (Char.IsDigit(c))
{
// item 324
lexer.Digit(c);
}
else
{
// item 325
if (IsOperator(c))
{
// item 328
lexer.Operator(c);
}
else
{
// item 329
lexer.Whitespace(' ');
}
}
}
}
}
// item 314
lexer.Whitespace(' ');
// item 313
return(lexer.Tokens);
}
