Exemplos de ComLib.Lang.Parsing Lexer.GetTokenBatch em C# (CSharp)

Exemplo n.º 1

        /// <summary>
        /// Convert the script into a series of tokens.
        /// </summary>
        protected void Tokenize()
        {
            _lexer.IntepolatedStartChar = _settings.InterpolatedStartChar;

            // Initialize the plugins.
            _context.Plugins.ForEach <ILexPlugin>(plugin => plugin.Init(_lexer));
            _tokenIt = new TokenIterator();
            _tokenIt.Init((llk) => _lexer.GetTokenBatch(llk), 6, null);
        }

Exemplo n.º 2

Arquivo: ParserBase.cs Projeto: gitter-badger/FluentScript

 /// <summary>
 /// Convert the script into a series of tokens.
 /// </summary>
 protected void Tokenize()
 {
     _lexer.IntepolatedStartChar = _settings.InterpolatedStartChar;
     _tokenIt.Init((llk) => _lexer.GetTokenBatch(llk), 12, null);
 }