Exemplos de JiebaNet.Segmenter JiebaSegmenter.Tokenize em C# (CSharp)

Tokenize() public method

public Tokenize ( string text, TokenizerMode mode = TokenizerMode.Default, bool hmm = true ) : IEnumerable
text	string
mode	TokenizerMode
hmm	bool
return	IEnumerable

Exemplo n.º 1

Arquivo: JiebaTokenizer.cs Projeto: applenele/SmallCode

        public JiebaTokenizer(JiebaSegmenter seg, string input)
        {
            segmenter = seg;
            termAtt = AddAttribute<ITermAttribute>();
            offsetAtt = AddAttribute<IOffsetAttribute>();
            typeAtt = AddAttribute<ITypeAttribute>();

            var text = input;
            tokens = segmenter.Tokenize(text, TokenizerMode.Search).ToList();
        }