public static string GetSolvedPage(string url, int workTimeMs) { PageSolverIE ps = new PageSolverIE(); Task <string> t1 = Task.Run(async() => await ps.GetSolvedPageAsync(url, workTimeMs)); return(t1.Result); }
/// <summary> /// Выполняет парсинг статей /// </summary> /// <param name="_articles">Список в который записываются новые спаршенные статьи</param> /// <returns></returns> public async Task ParseAsync(List <Article> _articles) { SetSettings(); HtmlParser htmlParser = new HtmlParser(); sources = new string[startUrls.Length]; documents = new IHtmlDocument[startUrls.Length]; //Получение страниц в виде строк for (int i = 0; i < startUrls.Length; i++) { switch (pageSolverType) { case PageSolverType.Not: sources[i] = await HtmlLoader.LoadAsync(startUrls[i]); break; case PageSolverType.IE: sources[i] = PageSolverIE.GetSolvedPage(startUrls[i], pageSolverTime); break; case PageSolverType.CEF: sources[i] = await PageSolverCEF.GetInstance().GetSolvedPage(startUrls[i]); break; } documents[i] = await htmlParser.ParseDocumentAsync(sources[i]); } IEnumerable <IElement> items; try { items = GetItems(); int succesArt = 0; int totalArt = items.Count(); foreach (var item in items) { Article article = new Article(); try { GetUrl(article, item); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetUrl. Источник: " + article.Url); } } //Загрузка страницы статьи try { switch (pageSolverType) { case PageSolverType.Not: source = await HtmlLoader.LoadAsync(article.Url); break; case PageSolverType.IE: source = PageSolverIE.GetSolvedPage(article.Url, pageSolverTime); break; case PageSolverType.CEF: source = await PageSolverCEF.GetInstance().GetSolvedPage(article.Url); break; } document = await htmlParser.ParseDocumentAsync(source); } catch { if (Settings.isDebag) { Console.ForegroundColor = ConsoleColor.Red; Console.WriteLine("Ошибка при при загрузке страницы. Источник: " + article.Url); } } try { //Загрузка полной статьи GetBody(article, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetBody. Источник: " + article.Url); } } try { GetTitle(article, item, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetTitle. Источник: " + article.Url); } } try { GetSummary(article, item, document); //Обрезка символов string sum = article.Summary; article.Summary = new string(sum.Take(Settings.SummaryLength).ToArray()) + "..."; } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetSummary. Источник: " + article.Url); } } try { GetSourceName(article); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetSourceName. Источник: " + article.Url); } } try { GetSourceUrl(article); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetSourceUrl. Источник: " + article.Url); } } try { GetDateTime(article, item, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetDateTime. Источник: " + article.Url); } } try { GetUrlMainImg(article, item, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetUrlMainImg. Источник: " + article.Url); } } try { GetViews(article, item, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetViews. Источник: " + article.Url); } } try { GetTags(article, item, document); } catch { if (Settings.isDebag) { Console.WriteLine("Ошибка при парсинге GetTags. Источник: " + article.Url); } } if (ArticleIsFull(article)) { _articles.Add(article); succesArt++; } } Console.WriteLine(DateTime.Now.ToString() + ": Получено статей: " + succesArt + "/" + totalArt + " из " + startUrls[0]); } catch { if (Settings.isDebag) { Console.ForegroundColor = ConsoleColor.Red; Console.WriteLine("Ошибка при загрузке статей с главной страницы. Источник: " + startUrls[0]); } else { Console.WriteLine("Ошибка при загрузке статей с главной страницы. Источник: " + startUrls[0]); } } //Проверка на дубликаты и их удаление _articles = _articles.GroupBy(a => a.Url).Select(g => g.First()).ToList(); }