C# (CSharp) SciAdvNet.NSScript Lexer.Lex Exemples

Exemple #1

        public static IEnumerable <SyntaxToken> ParseTokens(string text)
        {
            var         lexer = new Lexer(text);
            SyntaxToken token = null;

            while (token?.Kind != SyntaxTokenKind.EndOfFileToken)
            {
                token = lexer.Lex();
                yield return(token);
            }
        }

Exemple #2

        private IEnumerable <SyntaxToken> PreLex()
        {
            SyntaxToken token = null;

            while (true)
            {
                token = _lexer.Lex();
                yield return(token);

                if (token.Kind == SyntaxTokenKind.EndOfFileToken)
                {
                    break;
                }
            }
        }