//zoek zonder input van user beginpunt public async Task <bool> crawlBeginpunt() { bool gelukt = false; //beginpunt try { //crawl beginpunt Debug.WriteLine("crawlBeginpunt gets results"); httpClientRequest = new MaakHttpClientAan(); string httpResponseBody = ""; string url = "https://www.youtube.com/"; httpResponseBody = await httpClientRequest.doeHttpRequestYoutubeVoorScrawlerEnGeefResults(url); //haal de body uit de response httpResponseBody = CrawlerRegex.regexContent(httpResponseBody); lock (this.locker) { lijstResponses.Add(httpResponseBody); gelukt = true; } } catch (NullReferenceException e) { Debug.WriteLine("crawlBeginpunt() geeft NullReferenceException: " + e.Message); } return(gelukt); }
public async Task <string> getResponseBody(string url) //public async void getResponseBody(string url) { string antwoord = ""; Debug.WriteLine("getResponseBody starts"); //getResponseBody url httpClientRequest = new MaakHttpClientAan(); //welke url crawlen Debug.WriteLine("url in getResponseBody() = " + url); try { antwoord = await httpClientRequest.doeHttpRequestYoutubeVoorScrawlerEnGeefResults(url); //await = wacht totdat antwoord is //Debug.WriteLine(antwoord); } catch (Exception ex) { //als httprequest bijv door foute url een error terug geeft Debug.WriteLine("httpError: " + ex.StackTrace); } return(antwoord); }
//zoek op userinput static public async Task <string> crawlZoekterm(string zoekterm) { MaakHttpClientAan httpClientRequest = new MaakHttpClientAan(); string httpResponseBody = await httpClientRequest.doeHttpRequestYoutubeMetZoektermEnGeefResults(zoekterm); //haal de results uit de response httpResponseBody = CrawlerRegex.regexResults(httpResponseBody); await Task.Factory.StartNew(async() => { //haal uit results urls List <string> urls = CrawlerRegex.regexUrls(httpResponseBody); //ga over de gevonden urls foreach (String url in urls) { //haal uit urls bodys string body = ""; string antwoord = ""; //getResponseBody url httpClientRequest = new MaakHttpClientAan(); await Task.Delay(1000); //welke url crawlen //Debug.WriteLine("url in getResponseBody() = " + url); antwoord = await httpClientRequest.doeHttpRequestYoutubeVoorScrawlerEnGeefResults(url); //haal content uit string body = CrawlerRegex.regexContent(antwoord); //haal keywords uit body CrawlerRegex.regexKeywords(body); } //gevonden urls gedaan }); //return string van httpResponseBody return(httpResponseBody); }