Exemplos de Mono.Lucene.Net.Analysis WhitespaceTokenizer em C# (CSharp)

Exemplo n.º 1

Arquivo: WhitespaceAnalyzer.cs Projeto: carrie901/mono

		public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
		{
			Tokenizer tokenizer = (Tokenizer) GetPreviousTokenStream();
			if (tokenizer == null)
			{
				tokenizer = new WhitespaceTokenizer(reader);
				SetPreviousTokenStream(tokenizer);
			}
			else
				tokenizer.Reset(reader);
			return tokenizer;
		}

Exemplo n.º 2

        public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
        {
            Tokenizer tokenizer = (Tokenizer)GetPreviousTokenStream();

            if (tokenizer == null)
            {
                tokenizer = new WhitespaceTokenizer(reader);
                SetPreviousTokenStream(tokenizer);
            }
            else
            {
                tokenizer.Reset(reader);
            }
            return(tokenizer);
        }