Exemplos de Lucene.Net.Analysis.Standard.StandardTokenizer.Close em C# (CSharp)

Exemplo n.º 1

Arquivo: StringUtils.cs Projeto: KommuSoft/MLTag

 public static string[] GetTokens(string sentence)
 {
     List<string> tokens = new List<string>();
     TextReader tr = new StringReader(sentence);
     Lucene.Net.Analysis.Standard.StandardTokenizer t = new Lucene.Net.Analysis.Standard.StandardTokenizer(tr);
     Token T = t.Next();
     while (T != null) {
         tokens.Add(T.TermText());
         T = t.Next();
     }
     t.Close();
     tr.Close();
     return tokens.ToArray();
 }