Tokenizer inputs a stream of Unicode characters and outputs tokens for the Fantom serialization grammar.
Tokenizer Class Documentation
示例#1
0
文件： Tokenizer.cs 项目： nomit007/f4 
 internal void reset(Tokenizer t)
 {
     t.reset(type, val, line);
 }
示例#2
0
文件： ObjDecoder.cs 项目： nomit007/f4 
 //////////////////////////////////////////////////////////////////////////
 // Constructor
 //////////////////////////////////////////////////////////////////////////
 /// <summary>
 /// Construct for input stream.
 /// </summary>
 public ObjDecoder(InStream @in, Map options)
 {
     tokenizer = new Tokenizer(@in);
       this.options = options;
       consume();
 }