HtmlAgilityPack 抓取页面的乱码处理
2013-06-13 15:21
351 查看
利用HtmlAgilityPack抓取页面很方便,但是当页面是gb2312编码时候就会出现乱码,上网查了一下说是默认的获取页面方法不够成熟,具体什么的我也不知道,姑且就认为是不够成熟吧。
解决方法如下:
新建一个方法来获取 HtmlDocument,传进来的是抓取页面的地址
根据@无机の剑 的评论,用这个属性就解决了(O(∩_∩)O~):
这样就可以啦!至于后面的使用方法都一样,具体可以参考这个博客,讲的很详细哈 http://www.cnblogs.com/linfei721/archive/2013/05/08/3066697.html
HtmlWeb htmlWeb = new HtmlWeb(); HtmlDocument htmlDocument = htmlWeb.Load(@url);
解决方法如下:
新建一个方法来获取 HtmlDocument,传进来的是抓取页面的地址
private static HtmlDocument GetHtmlDocument(string url) { HttpWebRequest httpWebRequest = WebRequest.Create(new Uri(@url)) as HttpWebRequest; httpWebRequest.Method = "GET"; WebResponse webResponse = httpWebRequest.GetResponse(); Stream stream = webResponse.GetResponseStream(); HtmlDocument htmlDocument = new HtmlDocument(); htmlDocument.Load(stream); return htmlDocument; }
根据@无机の剑 的评论,用这个属性就解决了(O(∩_∩)O~):
HtmlWeb htmlWeb = new HtmlWeb(); htmlWeb.OverrideEncoding = Encoding.GetEncoding("gb2312");
这样就可以啦!至于后面的使用方法都一样,具体可以参考这个博客,讲的很详细哈 http://www.cnblogs.com/linfei721/archive/2013/05/08/3066697.html
相关文章推荐
- HtmlAgilityPack 抓取页面的乱码处理
- HtmlAgilityPack 抓取页面的乱码处理
- HtmlAgilityPack 抓取页面的乱码处理
- HtmlAgilityPack 抓取页面的乱码处理
- HtmlAgilityPack 抓取中文页面乱码问题的解决方案
- HtmlAgilityPack 抓取中文页面乱码问题的解决方案
- HtmlAgilityPack 抓取中文页面乱码问题的解决方案
- 网易新闻页面信息抓取 -- htmlagilitypack搭配scrapysharp
- htmlAgilitypack抓取页面总结
- Net处理html页面元素工具类(HtmlAgilityPack.dll)的使用
- Net处理html页面元素工具类(HtmlAgilityPack.dll)的使用
- Net处理html页面元素工具类(HtmlAgilityPack.dll)的使用
- Net处理html页面元素工具类(HtmlAgilityPack.dll)的使用
- 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp)
- Net处理html页面元素工具类(HtmlAgilityPack.dll)的使用
- 使用HttpWebRequest和HtmlAgilityPack抓取网页(拒绝乱码,拒绝正则表达式)
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- 使用HttpWebRequest和HtmlAgilityPack抓取网页(拒绝乱码,拒绝正则表达式)
- 使用HttpWebRequest和HtmlAgilityPack抓取网页(拒绝乱码,拒绝正则表达式)