public static List <Token> LexWeak(string text) { // item 475 Init(); var lexer = new LexerMachine(); foreach (char c in text) { // item 480 if ((c == '_') || (Char.IsLetter(c))) { // item 488 lexer.OnMessage( LexerMachine.LetterMessage, c ); } else { // item 485 if (Char.IsDigit(c)) { // item 495 lexer.OnMessage( LexerMachine.DigitMessage, c ); } else { // item 490 if (IsOperator(c)) { // item 496 lexer.OnMessage( LexerMachine.OperatorMessage, c ); } else { // item 497 lexer.OnMessage( LexerMachine.WhitespaceMessage, ' ' ); } } } } // item 498 lexer.OnMessage( LexerMachine.WhitespaceMessage, ' ' ); // item 478 return(lexer.Tokens); }
public static List <Token> LexWeak(string text) { Init(); var lexer = new LexerMachine(); foreach (char c in text) { if ((c == '_') || (Char.IsLetter(c))) { lexer.OnMessage( LexerMachine.LetterMessage, c ); } else { if (Char.IsDigit(c)) { lexer.OnMessage( LexerMachine.DigitMessage, c ); } else { if (IsOperator(c)) { lexer.OnMessage( LexerMachine.OperatorMessage, c ); } else { lexer.OnMessage( LexerMachine.WhitespaceMessage, ' ' ); } } } } lexer.OnMessage( LexerMachine.WhitespaceMessage, ' ' ); return(lexer.Tokens); }