コード例 #1
0
ファイル: UnitTest1.cs プロジェクト: kiichi54321/Rawler
 public void TinyTestMethod()
 {
     TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter();
     Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
     ts.AddWordDic("[任務完了]");
     ts.AddWordDic("[任務");
     Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
 }
コード例 #2
0
ファイル: UnitTest1.cs プロジェクト: kiichi54321/Rawler
 public void TinyTestMethod()
 {
     TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter();
     Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
     ts.AddWordDic("[任務完了]");
     ts.AddWordDic("[任務");
     Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
 }
コード例 #3
0
ファイル: UnitTest1.cs プロジェクト: kiichi54321/Rawler
        public void NgramTextMethod()
        {
            TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter();
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").Ngram(2,string.Empty).JoinText("_"));

            ts.AddWordDic("[任務完了]");
            ts.AddWordDic("[任務");
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
        }
コード例 #4
0
ファイル: UnitTest1.cs プロジェクト: kiichi54321/Rawler
        public void NgramTextMethod()
        {
            TinySegmenterDotNet.TinySegmenter ts = new TinySegmenterDotNet.TinySegmenter();
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").Ngram(2, string.Empty).JoinText("_"));

            ts.AddWordDic("[任務完了]");
            ts.AddWordDic("[任務");
            Console.WriteLine(ts.SegmentExted("私は[任務完了]です").JoinText("_"));
        }
コード例 #5
0
        public override void Run(bool runChildren)
        {
            if (init == false)
            {
                if (PreSegment != null)
                {
                    seg.PreSegmentFunc = (n) => PreSegment.Run(new TinySegmenterDotNet.PreSegment(n).PreprocessingForJapanese());
                }
                else
                {
                    seg.PreSegmentFunc = (n) => new TinySegmenterDotNet.PreSegment(n).PreprocessingForJapanese();
                }
                var dicfile = DicFile.Convert(this);
                if (string.IsNullOrEmpty(dicfile) == false && System.IO.File.Exists(dicfile))
                {
                    seg.AddRangeWordDic(System.IO.File.ReadLines(DicFile));
                }
                init = true;
            }

            var t = seg.SegmentExted(GetText());

            base.RunChildrenForArray(runChildren, t);
        }