Ejemplos de LuceneCustomization TestTokenizer en C# (CSharp)

Ejemplo n.º 1

Archivo: Program.cs Proyecto: williamalveslp/Entropy

        static void TestTokenization(string s)
        {
            TokenStream tokenStream = new TestTokenizer(new StringReader(s));

            ITermAttribute termAttribute = tokenStream.AddAttribute <ITermAttribute>();

            while (tokenStream.IncrementToken())
            {
                Console.WriteLine(termAttribute.Term);
            }
        }

Ejemplo n.º 2

Archivo: Program.cs Proyecto: NuGet/Entropy

        static void TestTokenization(string s)
        {
            TokenStream tokenStream = new TestTokenizer(new StringReader(s));

            ITermAttribute termAttribute = tokenStream.AddAttribute<ITermAttribute>();

            while (tokenStream.IncrementToken())
            {
                Console.WriteLine(termAttribute.Term);
            }
        }