爬虫/蜘蛛程序的制作(C#语言) 一

最近写了一个网络爬虫的程序，供大家参考

程序的思路如下：

一:需要过滤器过滤出所需的内容，得到一个内容集合；

二：从过滤出的内容集合里过滤出所需要(比如：可以是新闻标题和地址)的列表；

三：得到下一页的地址；

四：根据得到的标题的链接去得到该页的详细内容；

五：更加下一页的地址继续循环，ok！

注意：在执行上，最好加线程进行执行，否则会影响效率。这个可以自己根据需求去加。