protected Tokenizer(ITokenizable tokenizable)
{
this.Tokens = new List <string>();
this.Iniciales = new List <char>();
foreach (PalabraPosicionada current in tokenizable.Palabras)
{
this.Tokens.Add(current.Palabra.Normalizada);
this.Iniciales.Add(current.Palabra.Literal[0]);
}
}
public static Tokenizer Create(ITokenizable tokenizable)
{
return(new Tokenizer(tokenizable));
}
