【技术原创】京东商城价格图片分析解析源代码下载(C#),附演示程序
2011-11-18 10:31
549 查看
前阵子研究过京东商城的价格图片采集算法,并在《【技术原创】探讨一下京东商城价格图片解析算法的优化,附演示程序下载》一文中详细阐述了这个算法的来源及推理过程,随后我又将自己演示的程序上传供大家下载。今天我就关于京东价格采集分析这块,将C#写的源代码向大家免费开放,希望能对大家有所帮助,同时也希望大家尊重本人的劳动成果,在项目中使用的时候尽量保留代码头部标示的出处。
此图片解析算法理论上是京东价格图片解析速度最快的了(当然不包括下载图片),不知道有没有朋友有比这个还快的思路或者实现Demo,有的话可以在这里交流一下。
下面就是演示程序的截图:
这两天呢,我又将代码整理了一下,将算法部分单独弄到一个项目里,使其成为DLL以供其它项目使用。其中SpiderHtml是根据商品页面的HTML代码采集价格类,它提供了两种方法:根据商品地址或根据商品页面HTML采集价格;SpiderImg是根据商品价格图片分析出价格,它同样也提供了两种方法:根据商品的ID或根据商品价格图片解析价格。HTML方式和图片方式各有各的优缺点,前者使用正则表达式直接找出价格,但容易被京东发现短时间内连续访问页面,可能会被屏蔽掉;后者不访问页面直接下载商品价格图片,并采用了性价比相当高的算法快速解析出商品价格(大家可以看到上图中,解析39个价格,比对了1115次,平均每个价格图片比对了不到29次,也就是说每张图片大约采集29个像素点即可以解析出图片上的所有数字)。
若想更安全地,高正确率地使用此接口,建议同时使用两种方案,即使用HTML方式采集价格后,也要通过图片方式再验证一下,只有两者相等再确定(经本人实验表明,采集了相当量的数据后,并未发现有解析错的地方)。
源代码下载地址:JingDongInterface.zip
演示程序下载地址:JingDongInterfaceExe.zip
注:此文章最初发布在我的个人独立博客(源地址),现在转到园子里拿来供大家讨论分享。
此图片解析算法理论上是京东价格图片解析速度最快的了(当然不包括下载图片),不知道有没有朋友有比这个还快的思路或者实现Demo,有的话可以在这里交流一下。
下面就是演示程序的截图:
这两天呢,我又将代码整理了一下,将算法部分单独弄到一个项目里,使其成为DLL以供其它项目使用。其中SpiderHtml是根据商品页面的HTML代码采集价格类,它提供了两种方法:根据商品地址或根据商品页面HTML采集价格;SpiderImg是根据商品价格图片分析出价格,它同样也提供了两种方法:根据商品的ID或根据商品价格图片解析价格。HTML方式和图片方式各有各的优缺点,前者使用正则表达式直接找出价格,但容易被京东发现短时间内连续访问页面,可能会被屏蔽掉;后者不访问页面直接下载商品价格图片,并采用了性价比相当高的算法快速解析出商品价格(大家可以看到上图中,解析39个价格,比对了1115次,平均每个价格图片比对了不到29次,也就是说每张图片大约采集29个像素点即可以解析出图片上的所有数字)。
若想更安全地,高正确率地使用此接口,建议同时使用两种方案,即使用HTML方式采集价格后,也要通过图片方式再验证一下,只有两者相等再确定(经本人实验表明,采集了相当量的数据后,并未发现有解析错的地方)。
源代码下载地址:JingDongInterface.zip
演示程序下载地址:JingDongInterfaceExe.zip
注:此文章最初发布在我的个人独立博客(源地址),现在转到园子里拿来供大家讨论分享。
相关文章推荐
- 【技术原创】京东商城价格图片分析解析源代码下载(C#),附演示程序 转
- 【技术原创】京东商城价格图片分析解析源代码下载(C#),附演示程序 转
- 【技术原创】京东商城价格图片分析解析源代码下载(C#),附演示程序 转
- 【技术原创】京东商城价格图片分析解析源代码下载(C#),附演示程序
- 【技术原创】探讨一下京东商城价格图片解析算法的优化,附演示程序下载
- 【技术原创】探讨一下京东商城价格图片解析算法的优化,附演示程序下载
- [原创][备忘]“第五期HTML5技术分享沙龙——南京站(2011年7月16日)”Demo在线演示 及 源代码下载
- c# Ftp下载程序源代码解析
- C#:一个增强的TcpClient(*)客户端演示程序及源代码下载
- [原创][备忘]“第五期HTML5技术分享沙龙——南京站(2011年7月16日)”Demo在线演示 及 源代码下载
- [原创]易学纨纨作品-C#.Net网上购物程序源代码下载
- Android 开源框架Universal-Image-Loader完全解析(七)---从源代码分析Android-Universal-Image-Loader图片下载技巧
- C#:一个增强的TcpListener(*)服务器演示程序及源代码下载
- C#:一个增强的TcpListener(*)服务器演示程序及源代码下载
- [原创]一个C#病毒源代码的分析
- [原创]C# C/S结构数据库系统框架详解及源代码下载
- 基于Tcp通信的聊天程序微风IM(c#开源) -技术分析(一) 用户管理
- 从源代码分析Android-Universal-Image-Loader图片下载技巧
- Silverlight 2 数据绑定演示程序(附源代码下载)
- [原创]NickLee.ODRM模式说明和演示源代码下载