正则方式的自动小偷抓网程序
2011-11-21 19:01
786 查看
有一些瑕疵没时间细化,只是实现了效果,大家看一看这个正则该怎么写好:
URL:http://news.szhome.com/83642.html
内容:
复制代码 代码如下:
object></div></div>
</div>
<div class="share"><div class="linkshare" style="right: 0">
这两个标记之间的代码。END标记的问题解决了,但是郁闷的是START截取的标记因为第二个DIV和第三个中间有换行,我无语了不知道怎么处理这个正则。
而且郁闷的是有多处有这种重复型标记,对正则不太熟悉,我的解决方法如下:
复制代码 代码如下:
MatchCollection mc = Regex.Matches(ghoPage.Trim(), @"(?<=<div class=['""]txtmsg['""]>)[\s\S]*?(?=<div class=['""]share['""]><div class=)", RegexOptions.CultureInvariant | RegexOptions.IgnoreCase);
foreach (Match mm in mc)
{
sb.Append(mc[0].Value.Substring(1933, mc[0].Value.Length - 1933));
}
我算出截取出来多处两个FLASH广告DIV的长度是1933,然后处理字符串截取后得到我想要的文本,这样做的劣势就是万一该站改变了两个FLASH广告DIV的长度我获取的数据就不是完整的呢,有兴趣的研究下,看看换行的DIV正则问题怎么处理。
里面用到了自己写的一个BUTTON控件,可以在点击后禁止重复点击,然后就是一些判断,在思路上蛮不错,可以做到一直抓取,因为不经常用就没做成WINDOWS服务类型,这样的程序可以做成WINDOWS服务,把规则写在INI文件中,抓录的规则和正则也放在配置文件中,这样就能实现自动抓录。
很短的代码,对这种抓录有兴趣的朋友可以尝试下。下载
URL:http://news.szhome.com/83642.html
内容:
复制代码 代码如下:
object></div></div>
</div>
<div class="share"><div class="linkshare" style="right: 0">
这两个标记之间的代码。END标记的问题解决了,但是郁闷的是START截取的标记因为第二个DIV和第三个中间有换行,我无语了不知道怎么处理这个正则。
而且郁闷的是有多处有这种重复型标记,对正则不太熟悉,我的解决方法如下:
复制代码 代码如下:
MatchCollection mc = Regex.Matches(ghoPage.Trim(), @"(?<=<div class=['""]txtmsg['""]>)[\s\S]*?(?=<div class=['""]share['""]><div class=)", RegexOptions.CultureInvariant | RegexOptions.IgnoreCase);
foreach (Match mm in mc)
{
sb.Append(mc[0].Value.Substring(1933, mc[0].Value.Length - 1933));
}
我算出截取出来多处两个FLASH广告DIV的长度是1933,然后处理字符串截取后得到我想要的文本,这样做的劣势就是万一该站改变了两个FLASH广告DIV的长度我获取的数据就不是完整的呢,有兴趣的研究下,看看换行的DIV正则问题怎么处理。
里面用到了自己写的一个BUTTON控件,可以在点击后禁止重复点击,然后就是一些判断,在思路上蛮不错,可以做到一直抓取,因为不经常用就没做成WINDOWS服务类型,这样的程序可以做成WINDOWS服务,把规则写在INI文件中,抓录的规则和正则也放在配置文件中,这样就能实现自动抓录。
很短的代码,对这种抓录有兴趣的朋友可以尝试下。下载
相关文章推荐
- 正则方式的自动小偷抓网程序
- 正则方式的自动小偷抓网程序
- 正则方式的自动小偷抓网程序
- C# 将dll打包到exe中有效方式暨.net程序自动更新有效方式
- 20_Android中apk安装器,通过WebView来load进一个页面,Android通知,程序退出自动杀死进程,通过输入包名的方式杀死进程
- winfrom,wpf程序自动启动(windows计划任务方式)
- 20_Android中apk安装器,通过WebView来load进一个页面,Android通知,程序退出自动杀死进程,通过输入包名的方式杀死进程
- PHP正则表达式匹配并输出数组(做小偷程序很有用)
- 让C#程序自动以管理员方式运行
- Tomact启动自动执行程序的三种方式
- 小偷程序正则应用实例
- 让C#程序自动以管理员方式运行
- 客户端程序自动更新(升级)的方式
- 用程序自动实现一些功能的方式
- Android程序首次运行自动创建桌面快捷方式的方法
- 正则在小偷程序中的应用
- 程序监听本身被卸载后自动删除快捷方式?| 判定快捷方式已存在
- 利用AS3编译器为程序自动添加帧: 方式一:[Frame]元数据标签的应用
- [30期] PHP正则表达式写天气预报小偷程序
- WCF快速入门——全自动方式编写WCF入门程序