public static List <Token> Lex(string text) { Init(); var lexer = new LexerMachine(); foreach (char c in text) { if ((c == '_') || (Char.IsLetter(c))) { lexer.Letter(c); } else { if (Char.IsDigit(c)) { lexer.Digit(c); } else { if (IsOperator(c)) { lexer.Operator(c); } else { lexer.Whitespace(' '); } } } } lexer.Whitespace(' '); return(lexer.Tokens); }
public static List <Token> Lex(string text) { // item 310 Init(); var lexer = new LexerMachine(); foreach (char c in text) { // item 315 if ((c == '_') || (Char.IsLetter(c))) { // item 323 lexer.Letter(c); } else { // item 320 if (Char.IsDigit(c)) { // item 324 lexer.Digit(c); } else { // item 325 if (IsOperator(c)) { // item 328 lexer.Operator(c); } else { // item 329 lexer.Whitespace(' '); } } } } // item 314 lexer.Whitespace(' '); // item 313 return(lexer.Tokens); }
public static List<Token> Lex(string text) { IEnumerator<char> _it311 = null; char c = default(char); // item 310 Init(); var lexer = new LexerMachine(); // item 3110001 _it311 = ((IEnumerable<char>)text).GetEnumerator(); while (true) { // item 3110002 if (_it311.MoveNext()) { } else { break; } // item 3110004 c = _it311.Current; // item 315 if (c == '_') { // item 323 lexer.Letter(c); } else { // item 318 if (Char.IsLetter(c)) { // item 323 lexer.Letter(c); } else { // item 320 if (Char.IsDigit(c)) { // item 324 lexer.Digit(c); } else { // item 325 if (IsOperator(c)) { // item 328 lexer.Operator(c); } else { // item 329 lexer.Whitespace(' '); } } } } } // item 314 lexer.Whitespace(' '); // item 313 return lexer.Tokens; }
public static List <Token> Lex(string text) { IEnumerator <char> _it311 = null; char c = default(char); // item 310 Init(); var lexer = new LexerMachine(); // item 3110001 _it311 = ((IEnumerable <char>)text).GetEnumerator(); while (true) { // item 3110002 if (_it311.MoveNext()) { } else { break; } // item 3110004 c = _it311.Current; // item 315 if (c == '_') { // item 323 lexer.Letter(c); } else { // item 318 if (Char.IsLetter(c)) { // item 323 lexer.Letter(c); } else { // item 320 if (Char.IsDigit(c)) { // item 324 lexer.Digit(c); } else { // item 325 if (IsOperator(c)) { // item 328 lexer.Operator(c); } else { // item 329 lexer.Whitespace(' '); } } } } } // item 314 lexer.Whitespace(' '); // item 313 return(lexer.Tokens); }