/// <summary>
/// Представить исходный код, содержащийся в файле, в виде набора токенов
/// </summary>
/// <param name="args"></param>
/// <returns></returns>
public override CCodeUnitsCollection Tokenize(CTokenizerParms args)
{
CCodeUnitsCollection result_collection = new CCodeUnitsCollection();
Scanner lex = new Scanner(args.GetPath());
CTokensIterator iter = new CTokensIterator(lex);
foreach (Token token in iter)
{
result_collection.Add(ExtCodeUnitCreator.FromToken(token, args));
}
return(result_collection);
}
public SyntUnitCreator(CTokenizerParms args)
{
m_args = args;
iter = new CTokensIterator(new Scanner(args.GetPath()));
}
