C#开源爬虫NCrawler源代码解读以及将其移植到python3.2（2）

在上一篇中,我们提到了管道这个概念(pipeline),其实所有的管道都实现了同一接口叫

public interface IPipelineStep
{
void Process(Crawler crawler, PropertyBag propertyBag);
}

所有爬到的网址都将被 构造 Crawler 时通过构造函数注入的管道 处理。

一般来说第一个处理的管道是 HtmlDocumentProcessor，它负责解析网页。那么其实现接口的具体函数就很值得一看。

在函数的开始处NCrawler使用了AOP技术做了一次参数的非空检查，使用的AOP框架是轻量级的，叫 AspectF。

AspectF.Define.
NotNull(crawler, "crawler").
NotNull(propertyBag, "propertyBag");

紧接着函数进行了一系列操作,把HTML的文本,包括 title , meta 提取出来,找出其中 links ,然后开启循环针对里面每个 link 整形重新添加到 爬虫的 等待爬行的URL的序列,代码如下:

foreach (string link in links.Links.Union(links.References))
{
if (link.IsNullOrEmpty())
{
continue;
}

string decodedLink = ExtendedHtmlUtility.HtmlEntityDecode(link);
string normalizedLink = NormalizeLink(baseUrl, decodedLink);
if (normalizedLink.IsNullOrEmpty())
{
continue;
}

crawler.AddStep(new Uri(normalizedLink), propertyBag.Step.Depth + 1,
propertyBag.Step, new Dictionary<string, object>
{
{Resources.PropertyBagKeyOriginalUrl, link},
{Resources.PropertyBagKeyOriginalReferrerUrl, propertyBag.ResponseUri}
});
}