Ejemplo n.º 1
0
        public Tokenizer(SimpleStringReader reader, ImmutableArray <TokenType> delimiters)
        {
            Assumes.NotNull(reader);

            _reader     = reader;
            _delimiters = delimiters;
        }
Ejemplo n.º 2
0
        private Token?GetTokenFrom(SimpleStringReader reader)
        {
            if (reader.CanRead)
            {
                return(GetToken(reader.Read()));
            }

            return(null);
        }
Ejemplo n.º 3
0
        private Token?PeekToken()
        {
            SimpleStringReader reader = _reader.Clone();

            return(GetTokenFrom(reader));
        }