/// <summary>
///
/// </summary>
/// <param name="seeds">
/// 通常爬虫是从一系列种子(Seed)网页开始,然后使用这些网页中的链接去获取其他页面.
/// </param>
public void InitSeeds(string[] seeds)
{
UrlsQueueFrontier.Clear();
// 使用种子URL进行队列初始化
foreach (string s in seeds)
{
UrlsQueueFrontier.Enqueue(s);
}
}
public void Dump(string fileName)
{
if (File.Exists(fileName))
{
File.Delete(fileName);
}
using (StreamWriter writer = new StreamWriter(new FileStream(fileName, FileMode.CreateNew)))
{
while (UrlsQueueFrontier.Count > 0)
{
string url = UrlsQueueFrontier.Dequeue();
writer.WriteLine(url);
}
}
}
