C# (CSharp) JiebaNet.Segmenter JiebaSegmenter.Tokenize 예제들

Tokenize() 공개 메소드

public Tokenize ( string text, TokenizerMode mode = TokenizerMode.Default, bool hmm = true ) : IEnumerable
text	string
mode	TokenizerMode
hmm	bool
리턴	IEnumerable

예제 #1

파일: JiebaTokenizer.cs 프로젝트: applenele/SmallCode

        public JiebaTokenizer(JiebaSegmenter seg, string input)
        {
            segmenter = seg;
            termAtt = AddAttribute<ITermAttribute>();
            offsetAtt = AddAttribute<IOffsetAttribute>();
            typeAtt = AddAttribute<ITypeAttribute>();

            var text = input;
            tokens = segmenter.Tokenize(text, TokenizerMode.Search).ToList();
        }