예제 #1
0
파일: AnalyzerUtils.cs 프로젝트: dhtweb/dht 
 public static IEnumerable <Token> TokenizeAll(this JiebaSegmenter segmenter, string text)
 {
     return(new SortedSet <Token>(segmenter.CutToToken(text).Union(segmenter.CutToToken(text, false)), TokenComparer));
 }