/// <summary> /// /// </summary> /// <param name="seeds"> /// 通常爬虫是从一系列种子(Seed)网页开始,然后使用这些网页中的链接去获取其他页面. /// </param> public void InitSeeds(string[] seeds) { UrlsQueueFrontier.Clear(); // 使用种子URL进行队列初始化 foreach (string s in seeds) { UrlsQueueFrontier.Enqueue(s); } }
public void Dump(string fileName) { if (File.Exists(fileName)) { File.Delete(fileName); } using (StreamWriter writer = new StreamWriter(new FileStream(fileName, FileMode.CreateNew))) { while (UrlsQueueFrontier.Count > 0) { string url = UrlsQueueFrontier.Dequeue(); writer.WriteLine(url); } } }