public void TinyTestMethod() { TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter(); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); ts.AddWordDic("[任務完了]"); ts.AddWordDic("[任務"); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); }
public void NgramTextMethod() { TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter(); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").Ngram(2,string.Empty).JoinText("_")); ts.AddWordDic("[任務完了]"); ts.AddWordDic("[任務"); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); }
public void NgramTextMethod() { TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter(); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").Ngram(2, string.Empty).JoinText("_")); ts.AddWordDic("[任務完了]"); ts.AddWordDic("[任務"); Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_")); }
public override void Run(bool runChildren) { if (init == false) { if (PreSegment != null) { seg.PreSegmentFunc = (n) => PreSegment.Run(new TinySegmenterDotNet.PreSegment(n).PreprocessingForJapanese()); } else { seg.PreSegmentFunc = (n) => new TinySegmenterDotNet.PreSegment(n).PreprocessingForJapanese(); } var dicfile = DicFile.Convert(this); if (string.IsNullOrEmpty(dicfile) == false && System.IO.File.Exists(dicfile)) { seg.AddRangeWordDic(System.IO.File.ReadLines(DicFile)); } init = true; } var t = seg.SegmentExted(GetText()); base.RunChildrenForArray(runChildren, t); }