/// <summary>
/// Парсит страницу по словам и сохраняет в базу данных
/// </summary>
/// <param name="doc"></param>
/// <returns></returns>
public Dictionary <string, int> ParsePage(HtmlDocument doc)
{
var dict = new Dictionary <string, int>();
var htmlNodes = doc.DocumentNode.SelectNodes("//body");
foreach (var e in htmlNodes)
{
var splittedText = e.InnerText.Split(new char[] { ' ', ',', '.', '!', '?', '"', ';', ':', '[', ']', '(', ')', '\n', '\r', '\t' }, StringSplitOptions.RemoveEmptyEntries);
foreach (var word in splittedText)
{
if (!dict.ContainsKey(word))
{
dict[word] = 0;
}
dict[word]++;
}
}
db.AddToDb(dict);
System.IO.File.WriteAllText("web.html", doc.ParsedText);
return(dict);
}
