public static async Task MainAsync(string[] args) { var crawler = new DotnetCrawler <ClarteysApartment>() .AddRequest(new DotnetCrawlerRequest { Url = ApartmentUrl, Regex = RegExp, TimeOut = 5000 }) .AddDownloader(new DotnetCrawlerDownloader(new WebClientService()) { }) .AddProcessor(new DotnetCrawlerProcessor <ClarteysApartment> { }) .AddPipeline(new DotnetCrawlerPipeline <ClarteysApartment> { }); await crawler.Crawle(); }
static async Task MainAsync(string[] args) { var crawler = new DotnetCrawler <Catalog>() .AddRequest(new DotnetCrawlerRequest { Url = "https://www.ebay.com/b/Apple-iPhone/9355/bn_319682", Regex = @".*itm/.+", TimeOut = 5000 }) .AddDownloader(new DotnetCrawlerDownloader { DownloderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"/home/thinker/DotnetCrawlercrawler" }) .AddProcessor(new DotnetCrawlerProcessor <Catalog> { }) .AddPipeline(new DotnetCrawlerPipeline <Catalog> { }); await crawler.Crawle(); }
private async Task <Processo> ConsultarProcessoTJAL(string numeroProcesso, string urlTribunalPrimeiroGrau, string urlTribunalSegundoGrau) { List <ProcessoTJAL> dadosProcesso = null; List <ParteProcesso> partesProcesso = null; List <Movimentacao> movimentacoes = null; var crawlerDadosProcesso = new DotnetCrawler <ProcessoTJAL>() .AddRequest(new DotnetCrawlerRequest { Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000 }) .AddDownloader(new DotnetCrawlerDownloader { DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler" }) .AddProcessor(new TJCrawlerProcessor <ProcessoTJAL> { }); dadosProcesso = await crawlerDadosProcesso.CrawleProcessoAL(String.Format(urlTribunalPrimeiroGrau, numeroProcesso)); if (dadosProcesso != null) { var crawlePartesProcesso = new DotnetCrawler <ParteProcesso>() .AddRequest(new DotnetCrawlerRequest { Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000 }) .AddDownloader(new DotnetCrawlerDownloader { DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler" }) .AddProcessor(new TJCrawlerProcessor <ParteProcesso> { }); partesProcesso = await crawlePartesProcesso.CrawlePartesProcessoAL(String.Format(urlTribunalPrimeiroGrau, numeroProcesso)); if (partesProcesso != null) { dadosProcesso.FirstOrDefault().PartesProcesso = partesProcesso; } var crawlerMovimentacoesProcesso = new DotnetCrawler <Movimentacao>() .AddRequest(new DotnetCrawlerRequest { Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000 }) .AddDownloader(new DotnetCrawlerDownloader { DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler" }) .AddProcessor(new TJCrawlerProcessor <Movimentacao> { }); movimentacoes = await crawlerMovimentacoesProcesso.CrawleMovimentacoes(String.Format(urlTribunalPrimeiroGrau, numeroProcesso)); if (movimentacoes != null) { dadosProcesso.FirstOrDefault().Movimentacoes = movimentacoes; } } var resultado = dadosProcesso.FirstOrDefault(); Processo processoResult = null; if (resultado != null) { processoResult = new Processo { Area = resultado.Area, Assunto = resultado.Assunto, Classe = resultado.Classe, DataDistribuicao = resultado.DataDistribuicao, FlagGrauRecurso = resultado.FlagGrauRecurso.GetValueOrDefault(), Juiz = resultado.Juiz, ValorAcao = resultado.ValorAcao, NumeroProcessoCompleto = resultado.NumeroProcessoCompleto, PartesProcesso = new List <ParteProcesso>(), Movimentacoes = resultado.Movimentacoes }; foreach (var parte in resultado.PartesProcesso.ToList()) { processoResult.PartesProcesso.Add(new ParteProcesso { TipoParte = parte.TipoParte, NomeParte = parte.NomeParte, Advogados = parte.Advogados }); } foreach (var movimentacao in resultado.Movimentacoes.ToList()) { processoResult.Movimentacoes.Add(new Movimentacao { Data = movimentacao.Data, TituloMovimento = movimentacao.TituloMovimento, LinkMovimento = movimentacao.LinkMovimento, TextoMovimento = movimentacao.TextoMovimento }); } //_mapper.Map(resultado, processoResult, typeof(ProcessoTJAL), typeof(Processo)); } return(processoResult); }
public static async Task MainAsync(string[] args) { DotnetCrawler <EIzsolesThing> crawler = SetupCrawler(); await crawler.Crawle(); }