抓取网页中的内容、如何解决乱码问题、如何解决登录问题以及对所采集的数据进行处理显示的过程

　本文主要介绍如何抓取网页中的内容、如何解决乱码问题、如何解决登录问题以及对所采集的数据进行处理显示的过程。效果如下所示：

1、下载网页并加载至HtmlAgilityPack

　　这里主要用WebClient类的DownloadString方法和HtmlAgilityPack中HtmlDocument类LoadHtml方法来实现。主要代码如下。

var url = page == 1 ? "http://www.cnblogs.com/" : "http://www.cnblogs.com/sitehome/p/" + page;
var wc = new WebClient
{
BaseAddress = url,
Encoding = Encoding.UTF8
};
var doc = new HtmlDocument();
var html = wc.DownloadString(url);
doc.LoadHtml(html);

2、解决乱码问题

　　在抓取cnbeta的时候，我发现用上述方法抓取的html是乱码，开始我以为是网页编码问题，结果发现html网页是UTF-8格式，编码一致。最后发现原因是网页被压缩过，WebClient类不能处理被压缩过了网页，不过可以从WebClient类扩展出新的类，来支持网页压缩问题。核心代码如下，使用时用XWebClient替换WebClient即可。

public class XWebClient : WebClient
{protected override WebRequest GetWebRequest(Uri address)
{
var request = base.GetWebRequest(address) as HttpWebRequest;
request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;return request;
}
}

3、解决登录问题

　　某些网站的一些网页，需要登录才能查看，仅靠网址是没办法抓到的，这需要从html协议相关的知识了，不过这里不需要那么深的知识，先来一个具体的例子，先用chrome打开博客园、用F12或右键点击“审查元素”打开“开发者工具/Developer Tools”，选择“网路/Network”选项卡，刷新网页，点击开发者工具中的第一个请求，如下图所示：



　　此时就可以看到刚才那次请求的请求头（Request Header）了，有兴趣的童鞋可以对照着http协议来查看每一个部分代表什么含义，而这里只关注其中的Cookie部分，这里包括了自动登录需要的信息，而回到问题，我不仅需要url，还需要携带cookie，而WebClient对象是没有Cookie相关的属性的，这时候又要扩展WebClient对象了。核心代码如下：

public class XWebClient : WebClient
{
public XWebClient()
{
Cookies = new CookieContainer();
}
public CookieContainer Cookies { get; private set; }
protected override WebRequest GetWebRequest(Uri address)
{
var request = base.GetWebRequest(address) as HttpWebRequest;
request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
if (request.CookieContainer == null)
{
request.CookieContainer = Cookies;
}
return request;
}
}

　　这里GetWebRequest函数中获得WebRequest中的CookieContainer是null，所以我暴露了一个CookieContainer，用来添加Cookie，使用时调用其Add(new Cookie(string name, string value, string path, string domain))方法即可，这里path一般为“/”，domain为url，上图中的Cookie按分号分割，等号左边的就是name，右边的就是value。把所有的Cookie添加进去后，就可以抓取登录后的网页了。

4、Html解析

　　这里使用HtmlAgilityPack的HtmlDocument对象的DocumentNode.SelectSingleNode方法来选择元素，得到的HtmlNode对象取.Attributes["href"].Value即得到属性值，取InnerText即得到InnerText。

　　这里的SelectSingleNode方法是可以接收XPath作为参数的，而这可以大大简化解析难度。

　　在网页上的一个元素上悬停，右键点击“审查元素”，然后在被选中的那一块，右键点击“Copy XPath”，然后粘贴在SelectSingleNode方法的参数位置即可。对XPath感兴趣的童鞋，可以随便看看其它元素的XPath，观察XPath的语法规则。如果找不到某个元素对应的html节点，可以点击开发者工具左上角的放大镜，并在网页上点击该元素，其html节点就自动被选中了。

5、对采集的数据进行过滤和排序

　　这里用Linq to Objects就可以，这里是最有个性化的步骤，以博客园为例，可以对发布时间、点击数、顶的数目、评论数、top N等等进行过滤或排序，甚至对某某人进行屏蔽，非常自由。

　　我最后筛选出数据有三个属性：Text，为显示的文本，可以包含评论数、发表时间、标题之类的信息；Summary：为鼠标悬停时提示的文本；Url：为点击链接后用浏览器打开的网址。

6、显示

　　我采用Wpf作为UI，代码如下：

<Window x:Class="NewsCatcher.MainWindow"
xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
Title="MainWindow" Height="720" Width="1024"
WindowStartupLocation="CenterScreen">
<ListView Name="listView">
<ListView.View>
<GridView>
<GridView.Columns>
<GridViewColumn Header="新闻列表">
<GridViewColumn.CellTemplate>
<DataTemplate>
<TextBlock Width="960">
<Hyperlink NavigateUri="{Binding Url}"
ToolTip="{Binding Summary}"
RequestNavigate="Hyperlink_OnRequestNavigate">
<TextBlock FontSize="20" Text="{Binding Text}" />
</Hyperlink>
</TextBlock>
</DataTemplate>
</GridViewColumn.CellTemplate>
</GridViewColumn>
</GridView.Columns>
</GridView>
</ListView.View>
</ListView>
</Window>

　　事件处理程序Hyperlink_OnRequestNavigate的代码如下，启用新进程使用默认浏览器来打开网站（如果不加那个参数，那么总是用IE打开网站）：

private void Hyperlink_OnRequestNavigate(object sender, RequestNavigateEventArgs e)
{
(sender as Hyperlink).Foreground = Brushes.Red;
var uri = e.Uri.AbsoluteUri;
Process.Start(new ProcessStartInfo(WindowsHelper.GetDefaultBrowser(), uri));
e.Handled = true;
}

　　WindowsHelper类的代码：

public static class WindowsHelper
{
private static string defaultBrowser;
public static string GetDefaultBrowser()
{
if (defaultBrowser == null)
{
var key = Registry.ClassesRoot.OpenSubKey(@"http\shell\open\command\");
var s = key.GetValue("").ToString();
defaultBrowser = new string(s.SkipWhile(c => c != '"').Skip(1).TakeWhile(c => c != '"').ToArray()).Trim().Trim('"');
}
return defaultBrowser;
}
}

7、使用.NET 4.5的异步特性来处理多个网站的加载问题

　　程序会自动记录浏览记录，且已浏览的链接不再显示出来。这里比较耗时的功能有：从xml文件中反序列化出历史数据、从各个网站下载并解析，它们是可以并行的，然而解析完成之后要排除历史数据中已有的数据，这个过程需要等待反序列化过程完成，代码如下：

deserialization = new Task(delegate
{
try
{
history = NEWSHISTORY_XML.Deserialize<List<HistoryItem>>();
history.RemoveAll(h => h.Time < DateTime.Now.AddDays(-7).ToInt32());
}
catch (Exception)
{
history = new List<HistoryItem>();
}
});
cnblogs = new Task(async delegate
{
try
{
var result = Cnblogs();
await deserialization;
AddIfNotClicked(result);
}
catch (Exception exception)
{
itemsSource.Add(new ShowItem
{
Text = "Cnblogs Fails",
Summary = exception.Message
});
}
listView.Dispatcher.Invoke(() => listView.Items.Refresh());
});
cnbeta = new Task(async delegate
{
try
{
var result = CnBeta();
await deserialization;
AddIfNotClicked(result);
}
catch (Exception exception)
{
itemsSource.Add(new ShowItem
{
Text = "CnBeta Fails",
Summary = exception.Message
});
}
listView.Dispatcher.Invoke(() => listView.Items.Refresh());
});
deserialization.Start();
cnblogs.Start();
cnbeta.Start();

private void AddIfNotClicked(IEnumerable<ShowItem> result)
{
foreach (var item in result.Where(i => history.All(h => h.Url != i.Url)))
{
itemsSource.Add(item);
}
}

itemsSource = new List<ShowItem>();
listView.ItemsSource = itemsSource;

8、结语

　　以上就是给自己经常访问的网站做信息抓取的实践了，实际上做出的东西对我来说是很有用的，我再也不会像以前那样，隔一会儿就要打开网站看追的美剧有没有更新了。对博客按推荐数排序，是一种比较高效的方式了。

　　由于代码中有我的Cookie，就不放出下载了。

　　应要求，给个demo，我把需要登录的哪些网站去掉了，保留了一个福利网站。