C# (CSharp) Migraine.Core TokenStreamの例

コード例 #1

ファイル: MigraineLexer.cs プロジェクト: marco-fiset/migraine

        public TokenStream Tokenize(String input)
        {
            input = PreProcessInput(input);

            var stream = new TokenStream();

            var tokens = lexer.Tokenize(input) as List<Token>;
            //Ignore all whitespace
            tokens.Where(t => t.Type != TokenType.Whitespace).ToList()
                .ForEach(t => stream.Add(t));

            return stream;
        }

コード例 #2

ファイル: Parser.cs プロジェクト: marco-fiset/migraine

 public Parser(TokenStream tokens)
 {
     tokenStream = tokens;
 }