Ejemplo n.º 1
0
        public static async Task MainAsync(string[] args)
        {
            var crawler = new DotnetCrawler <ClarteysApartment>()
                          .AddRequest(new DotnetCrawlerRequest {
                Url = ApartmentUrl, Regex = RegExp, TimeOut = 5000
            })
                          .AddDownloader(new DotnetCrawlerDownloader(new WebClientService())
            {
            })
                          .AddProcessor(new DotnetCrawlerProcessor <ClarteysApartment> {
            })
                          .AddPipeline(new DotnetCrawlerPipeline <ClarteysApartment> {
            });

            await crawler.Crawle();
        }
Ejemplo n.º 2
0
        static async Task MainAsync(string[] args)
        {
            var crawler = new DotnetCrawler <Catalog>()
                          .AddRequest(new DotnetCrawlerRequest {
                Url = "https://www.ebay.com/b/Apple-iPhone/9355/bn_319682", Regex = @".*itm/.+", TimeOut = 5000
            })
                          .AddDownloader(new DotnetCrawlerDownloader {
                DownloderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"/home/thinker/DotnetCrawlercrawler"
            })
                          .AddProcessor(new DotnetCrawlerProcessor <Catalog> {
            })
                          .AddPipeline(new DotnetCrawlerPipeline <Catalog> {
            });

            await crawler.Crawle();
        }
Ejemplo n.º 3
0
        private async Task <Processo> ConsultarProcessoTJAL(string numeroProcesso, string urlTribunalPrimeiroGrau, string urlTribunalSegundoGrau)
        {
            List <ProcessoTJAL>  dadosProcesso  = null;
            List <ParteProcesso> partesProcesso = null;
            List <Movimentacao>  movimentacoes  = null;

            var crawlerDadosProcesso = new DotnetCrawler <ProcessoTJAL>()
                                       .AddRequest(new DotnetCrawlerRequest {
                Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000
            })
                                       .AddDownloader(new DotnetCrawlerDownloader {
                DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler"
            })
                                       .AddProcessor(new TJCrawlerProcessor <ProcessoTJAL> {
            });

            dadosProcesso = await crawlerDadosProcesso.CrawleProcessoAL(String.Format(urlTribunalPrimeiroGrau, numeroProcesso));

            if (dadosProcesso != null)
            {
                var crawlePartesProcesso = new DotnetCrawler <ParteProcesso>()
                                           .AddRequest(new DotnetCrawlerRequest {
                    Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000
                })
                                           .AddDownloader(new DotnetCrawlerDownloader {
                    DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler"
                })
                                           .AddProcessor(new TJCrawlerProcessor <ParteProcesso> {
                });

                partesProcesso = await crawlePartesProcesso.CrawlePartesProcessoAL(String.Format(urlTribunalPrimeiroGrau, numeroProcesso));

                if (partesProcesso != null)
                {
                    dadosProcesso.FirstOrDefault().PartesProcesso = partesProcesso;
                }

                var crawlerMovimentacoesProcesso = new DotnetCrawler <Movimentacao>()
                                                   .AddRequest(new DotnetCrawlerRequest {
                    Url = String.Format(urlTribunalPrimeiroGrau, numeroProcesso), TimeOut = 5000
                })
                                                   .AddDownloader(new DotnetCrawlerDownloader {
                    DownloaderType = DotnetCrawlerDownloaderType.FromMemory, DownloadPath = @"C:\DotnetCrawler"
                })
                                                   .AddProcessor(new TJCrawlerProcessor <Movimentacao> {
                });

                movimentacoes = await crawlerMovimentacoesProcesso.CrawleMovimentacoes(String.Format(urlTribunalPrimeiroGrau, numeroProcesso));

                if (movimentacoes != null)
                {
                    dadosProcesso.FirstOrDefault().Movimentacoes = movimentacoes;
                }
            }

            var resultado = dadosProcesso.FirstOrDefault();

            Processo processoResult = null;

            if (resultado != null)
            {
                processoResult = new Processo
                {
                    Area                   = resultado.Area,
                    Assunto                = resultado.Assunto,
                    Classe                 = resultado.Classe,
                    DataDistribuicao       = resultado.DataDistribuicao,
                    FlagGrauRecurso        = resultado.FlagGrauRecurso.GetValueOrDefault(),
                    Juiz                   = resultado.Juiz,
                    ValorAcao              = resultado.ValorAcao,
                    NumeroProcessoCompleto = resultado.NumeroProcessoCompleto,
                    PartesProcesso         = new List <ParteProcesso>(),
                    Movimentacoes          = resultado.Movimentacoes
                };

                foreach (var parte in resultado.PartesProcesso.ToList())
                {
                    processoResult.PartesProcesso.Add(new ParteProcesso
                    {
                        TipoParte = parte.TipoParte,
                        NomeParte = parte.NomeParte,
                        Advogados = parte.Advogados
                    });
                }

                foreach (var movimentacao in resultado.Movimentacoes.ToList())
                {
                    processoResult.Movimentacoes.Add(new Movimentacao
                    {
                        Data            = movimentacao.Data,
                        TituloMovimento = movimentacao.TituloMovimento,
                        LinkMovimento   = movimentacao.LinkMovimento,
                        TextoMovimento  = movimentacao.TextoMovimento
                    });
                }

                //_mapper.Map(resultado, processoResult, typeof(ProcessoTJAL), typeof(Processo));
            }

            return(processoResult);
        }
Ejemplo n.º 4
0
        public static async Task MainAsync(string[] args)
        {
            DotnetCrawler <EIzsolesThing> crawler = SetupCrawler();

            await crawler.Crawle();
        }