public static IEnumerable <SyntaxToken> ParseTokens(string text) { var lexer = new Lexer(text); SyntaxToken token = null; while (token?.Kind != SyntaxTokenKind.EndOfFileToken) { token = lexer.Lex(); yield return(token); } }
private IEnumerable <SyntaxToken> PreLex() { SyntaxToken token = null; while (true) { token = _lexer.Lex(); yield return(token); if (token.Kind == SyntaxTokenKind.EndOfFileToken) { break; } } }