/// <summary> /// Представить исходный код, содержащийся в файле, в виде набора токенов /// </summary> /// <param name="args"></param> /// <returns></returns> public override CCodeUnitsCollection Tokenize(CTokenizerParms args) { CCodeUnitsCollection result_collection = new CCodeUnitsCollection(); Scanner lex = new Scanner(args.GetPath()); CTokensIterator iter = new CTokensIterator(lex); foreach (Token token in iter) { result_collection.Add(ExtCodeUnitCreator.FromToken(token, args)); } return(result_collection); }
public SyntUnitCreator(CTokenizerParms args) { m_args = args; iter = new CTokensIterator(new Scanner(args.GetPath())); }