public void Iniciar() { int tamanhoRajada = 10; var sitesCollection = new bsn.dal.RepositorioMongoDB().obterTodosRegistros<Site>("sites"); var anunciosCollection = new bsn.dal.RepositorioMongoDB().obterTodosRegistros<Anuncio>("anuncios"); foreach (var site in sitesCollection.FindAll()) { Buscador buscador = new Buscador(site); for (int i = 0; i < tamanhoRajada; i++) { var pagina = buscador.ProximaPagina(); if (pagina != null) { Url.urls.Add(pagina); } } } //para cada anuncio com mais de 5 dias //visite novamente e verifique se está expirado }
/// <summary> /// Pede que o buscador se conecte ao Site de Origem e retorna uma /// versão atualizada do Conteúdo do Alvo /// </summary> /// <param name="alvo"></param> /// <returns></returns> public Alvo Buscar(Alvo alvo) { Buscador buscador = new Buscador(); if (!string.IsNullOrEmpty(UrlProxy)) { buscador.UrlProxy = UrlProxy; } return buscador.Buscar(alvo); }
public void CriarBuscador() { buscador = new Buscador(); //Comentar a linha abaixo qd não houver Proxy //buscador.UrlProxy = "http://inet-se.petrobras.com.br"; }