/// <summary>
/// コンストラクタ
/// </summary>
/// <param name="text">テキスト</param>
public ParagraphData(string text)
{
Text = text;
TokenList = WordLogic.GetTokenList(text);
TokenTbl = WordLogic.GetBasicTokenTbl(text);
TokenTypeTbl = WordLogic.GetTokenTypeTbl(TokenList);
InfoRate = AnalyzeLogic.CalcInfoRate(TokenList);
}
public void トークンリストの品詞分類ができること()
{
var text = "形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別する作業である。";
var tokenList = WordLogic.GetTokenList(text);
var tokenTypeTbl = WordLogic.GetTokenTypeTbl(tokenList);
Assert.AreEqual(7, tokenTypeTbl.Keys.Count);
Assert.IsTrue(tokenTypeTbl.ContainsKey("名詞"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("動詞"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("助動詞"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("助詞"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("形容詞"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("記号"));
Assert.IsTrue(tokenTypeTbl.ContainsKey("BOS/EOS"));
}
/// <summary>
/// 解析処理
/// </summary>
/// <param name="text">テキスト</param>
public void Analyze(string text)
{
ParagraphList.Clear();
var strParagraphList = ParagraphLogic.SplitParagraph(text);
foreach (var strParagraph in strParagraphList)
{
ParagraphList.Add(new ParagraphData(strParagraph));
}
TokenList = WordLogic.GetTokenList(text);
TokenTbl = WordLogic.GetBasicTokenTbl(text);
TokenTypeTbl = WordLogic.GetTokenTypeTbl(TokenList);
InfoRate = AnalyzeLogic.CalcInfoRate(TokenList);
}