Tokenizer inputs a stream of Unicode characters and outputs tokens for the Fantom serialization grammar.
Tokenizer Class Documentation
コード例 #1
0
ファイル: Tokenizer.cs プロジェクト: nomit007/f4 
 internal void reset(Tokenizer t)
 {
     t.reset(type, val, line);
 }
コード例 #2
0
ファイル: ObjDecoder.cs プロジェクト: nomit007/f4 
 //////////////////////////////////////////////////////////////////////////
 // Constructor
 //////////////////////////////////////////////////////////////////////////
 /// <summary>
 /// Construct for input stream.
 /// </summary>
 public ObjDecoder(InStream @in, Map options)
 {
     tokenizer = new Tokenizer(@in);
       this.options = options;
       consume();
 }