Esempi in C# (CSharp) per Migraine.Core TokenStream

Esempio n. 1

File: MigraineLexer.cs Progetto: marco-fiset/migraine

        public TokenStream Tokenize(String input)
        {
            input = PreProcessInput(input);

            var stream = new TokenStream();

            var tokens = lexer.Tokenize(input) as List<Token>;
            //Ignore all whitespace
            tokens.Where(t => t.Type != TokenType.Whitespace).ToList()
                .ForEach(t => stream.Add(t));

            return stream;
        }

Esempio n. 2

File: Parser.cs Progetto: marco-fiset/migraine

 public Parser(TokenStream tokens)
 {
     tokenStream = tokens;
 }