使用ScrapySharp快速从网页中采集数据
2015-09-13 11:43
218 查看
ScrapySharp是一个帮助我们快速实现网页数据采集的库,它主要提供了如下两个功能
从Url获取Html数据
提供CSS选择器的方式解析Html节点
安装:
ScrapySharp可以直接从Nuget上下载,直接从Package Console里面输入如下命令即可:
PM> Install-Package ScrapySharp
Html下载
首先我们来看看它的Html下载功能,它是通过ScrapingBrowser类来实现的:
var browser = new ScrapingBrowser();
var html = browser.DownloadString(new
Uri("http://www.cnblogs.com/"));
这个只是一个简单的示例,实际上ScrapingBrowser的功能还是非常全面的,常见的功能如:Charset探测,AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好,用它来获取网页比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack来实现的,它主要提供了两个扩展函数CssSelect和CssSelect:
static
IEnumerable<HtmlNode> CssSelect(this
HtmlNode node, string expression);
static
IEnumerable<HtmlNode> CssSelect(this
IEnumerable<HtmlNode> nodes, string expression);
static
IEnumerable<HtmlNode> CssSelectAncestors(this
HtmlNode node, string expression);
static
IEnumerable<HtmlNode> CssSelectAncestors(this
IEnumerable<HtmlNode> nodes, string expression);
相比HtmlAgilityPack提供的层级式解析和Xpath方式的解析比起来,CSS选择器的更为简单快捷,这里以解析博客园的首页标题为例,首先用开发者工具定位标题,可以看到其HTML结构的方式如下:
解析的代码如下:
var doc = new
HtmlDocument();
doc.LoadHtml(html);
var docNode = doc.DocumentNode;
var nodes = docNode.CssSelect(".titlelnk");
foreach (var htmlNode in nodes)
{
Console.WriteLine(htmlNode.InnerText);
}
其中关键代码只有docNode.CssSelect(".titlelnk")一句,非常简洁。另外,由于CSS方式比较灵活,如下方式也能获取到标题
var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");
最后,列举一下常用的CSS查询,以方便后续的使用:
html.CssSelect("div"); //all div elements
html.CssSelect("div.content"); //all div elements with css class 'content'
html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass
html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content'
html.CssSelect("input[type = text].login"); // textbox with css class login
更多的CSS选择器使用方法可以参看W3的网页:CSS 选择器参考手册
从Url获取Html数据
提供CSS选择器的方式解析Html节点
安装:
ScrapySharp可以直接从Nuget上下载,直接从Package Console里面输入如下命令即可:
PM> Install-Package ScrapySharp
Html下载
首先我们来看看它的Html下载功能,它是通过ScrapingBrowser类来实现的:
var browser = new ScrapingBrowser();
var html = browser.DownloadString(new
Uri("http://www.cnblogs.com/"));
这个只是一个简单的示例,实际上ScrapingBrowser的功能还是非常全面的,常见的功能如:Charset探测,AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好,用它来获取网页比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack来实现的,它主要提供了两个扩展函数CssSelect和CssSelect:
static
IEnumerable<HtmlNode> CssSelect(this
HtmlNode node, string expression);
static
IEnumerable<HtmlNode> CssSelect(this
IEnumerable<HtmlNode> nodes, string expression);
static
IEnumerable<HtmlNode> CssSelectAncestors(this
HtmlNode node, string expression);
static
IEnumerable<HtmlNode> CssSelectAncestors(this
IEnumerable<HtmlNode> nodes, string expression);
相比HtmlAgilityPack提供的层级式解析和Xpath方式的解析比起来,CSS选择器的更为简单快捷,这里以解析博客园的首页标题为例,首先用开发者工具定位标题,可以看到其HTML结构的方式如下:
解析的代码如下:
var doc = new
HtmlDocument();
doc.LoadHtml(html);
var docNode = doc.DocumentNode;
var nodes = docNode.CssSelect(".titlelnk");
foreach (var htmlNode in nodes)
{
Console.WriteLine(htmlNode.InnerText);
}
其中关键代码只有docNode.CssSelect(".titlelnk")一句,非常简洁。另外,由于CSS方式比较灵活,如下方式也能获取到标题
var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");
最后,列举一下常用的CSS查询,以方便后续的使用:
html.CssSelect("div"); //all div elements
html.CssSelect("div.content"); //all div elements with css class 'content'
html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass
html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content'
html.CssSelect("input[type = text].login"); // textbox with css class login
更多的CSS选择器使用方法可以参看W3的网页:CSS 选择器参考手册
相关文章推荐
- 在html中键入javascript代码
- ionic 学习日志01
- [BZOJ1621][Usaco2008 Open]Roads Around The Farm分岔路口
- 静态:static
- zookeeper原理(转)
- RIL_REQUEST_SET_UICC_SUBSCRIPTION 在Qcom平台的流程
- Want to write some code? Get away from your computer!
- 航道水下地形DEM构建方法比较
- Xcode问题记录 一
- 第二周 项目3-体验复杂度(1)
- 利用深度搜索法解决八皇后问题
- 建立工程时,静态库分层的调用关系,一开始就要设计好
- Java学习记录 : 画板的实现
- 1121 - Subsequence (滑动窗口)
- JS面向对象程序设计之创建对象模式
- centos7关闭防火墙
- 环信 iOS Demo 试用小记
- 线程中sleep和wait有什么区别
- 会话跟踪
- StringBuffer的用法