C# (CSharp) Loyc.Syntax.Lexing TokensToTreeの例

コード例 #1

ファイル: TokensToTreeTests.cs プロジェクト: bel-uwa/Loyc

        List <Token> Lex(string input, bool skipWS = true)
        {
            var   lexer  = new LesLexer(input, MessageSink.Trace);
            var   lexer2 = new TokensToTree(lexer, skipWS);
            var   list   = new List <Token>();
            Token?token;

            while ((token = lexer2.NextToken()) != null)
            {
                list.Add(token.Value);
            }
            return(list);
        }

コード例 #2

        List <Token> Lex(string input, bool skipWS = true)
        {
            var           lexer  = new Les2Lexer(input, TraceMessageSink.Value);
            var           lexer2 = new TokensToTree(lexer, skipWS);
            var           list   = new List <Token>();
            Maybe <Token> token;

            while ((token = lexer2.NextToken()).HasValue)
            {
                list.Add(token.Value);
            }
            return(list);
        }