Ejemplos de TokenizerChain en C# (CSharp)

Ejemplo n.º 1

        public void StopDemo()
        {
            Analyzer analyzer = new TokenizerChain(_tokenizerFactory,
                                                   new[] { _synonymFactory, _stopFactory });

            DisplayTokens(analyzer, Text1);
        }

Ejemplo n.º 2

        public void LowerCaseDemo()
        {
            Analyzer analyzer = new TokenizerChain(_tokenizerFactory,
                                                   new[] { _synonymFactory, _stopFactory, _wordDelimiterFactory, _lowerCaseFactory });

            DisplayTokens(analyzer, Text1);
        }

Ejemplo n.º 3

        public void TokenizerDemo()
        {
            Analyzer analyzer = new TokenizerChain(_tokenizerFactory, new TokenFilterFactory[0]);

            DisplayTokens(analyzer, Text1);
        }