Indy 组件学习注意事项
2010-03-21 22:58
246 查看
Indy 组件学习注意事项 By Shaoyun 2010年3月21日
这一段时间想做做采集这一块,很久没动,都忘记Indy怎么使用了,拿出来重新学习一下!倒是发现一些问题!看例子:
idhtp1.Request.UserAgent:= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';
idhtp1.HandleRedirects:=True;
content:=idhtp1.Get(edt1.Text);
mmo1.Text:=content;
上面的代码是请求一个网址,然后将获取的页面内容显示到文本组件中,当然这段代码没有问题!如果注释掉idhtp1.Request.UserAgent这行,再来试一下,输入163的网址,OK成功获取到了返回的信息,再尝试输入百度的网址,出现
Connection closed Gracefully 这样的错误,再试试别的网址,没问题,怎么回事!经过网上的一番搜索,发现是百度做了过滤。
Indy发送的UserAgent信息一般是这样的"Mozilla/3.0 (compatible; Indy
Library)",百度会过滤这样的请求,以防止无效的请求,屏蔽垃圾流量和恶意攻击。经过我的测试,具体规则是,如果出现“(Indy
Library)",括号中带 Indy Library 表示,就会过滤,区分大小写,所以只要修改UserAgent信息就可以避免出现这种问题。
idhtp1.HandleRedirects:=True;
这段代码也是必须的,让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现,会出现301或302错误,这两个错误是关于页面转向的。
这里解决了两个问题:
1. 部分站点检测 Indy的默认UserAgent,过滤请求导致程序出错的问题。
2. 让IDHTTP组件自己处理转向,避免服务器转向,而获取信息失败的问题。
代码测试环境:Windows XP SP3 + Delphi 2010
先到这里!本文完!
这一段时间想做做采集这一块,很久没动,都忘记Indy怎么使用了,拿出来重新学习一下!倒是发现一些问题!看例子:
idhtp1.Request.UserAgent:= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';
idhtp1.HandleRedirects:=True;
content:=idhtp1.Get(edt1.Text);
mmo1.Text:=content;
上面的代码是请求一个网址,然后将获取的页面内容显示到文本组件中,当然这段代码没有问题!如果注释掉idhtp1.Request.UserAgent这行,再来试一下,输入163的网址,OK成功获取到了返回的信息,再尝试输入百度的网址,出现
Connection closed Gracefully 这样的错误,再试试别的网址,没问题,怎么回事!经过网上的一番搜索,发现是百度做了过滤。
Indy发送的UserAgent信息一般是这样的"Mozilla/3.0 (compatible; Indy
Library)",百度会过滤这样的请求,以防止无效的请求,屏蔽垃圾流量和恶意攻击。经过我的测试,具体规则是,如果出现“(Indy
Library)",括号中带 Indy Library 表示,就会过滤,区分大小写,所以只要修改UserAgent信息就可以避免出现这种问题。
idhtp1.HandleRedirects:=True;
这段代码也是必须的,让组件自己处理转向。如果试着尝试向g.cn谷歌这个网址发送请求就会发现,会出现301或302错误,这两个错误是关于页面转向的。
这里解决了两个问题:
1. 部分站点检测 Indy的默认UserAgent,过滤请求导致程序出错的问题。
2. 让IDHTTP组件自己处理转向,避免服务器转向,而获取信息失败的问题。
代码测试环境:Windows XP SP3 + Delphi 2010
先到这里!本文完!
相关文章推荐
- 关于Runtime Permissions的学习以及使用的一些注意事项
- CentOS 7 最小化安装后的注意事项及一些必备组件的安装
- android的一些注意事项(随着学习不断更新)
- 学习PHP注意事项
- 学习PHP注意事项
- PostgreSQL学习第八篇--psql的使用技巧和注意事项
- 蓝桥杯辅导视频学习-浮点数的注意事项
- WP7开发平台介绍及开发注意事项【WP7学习札记之二】
- java8学习之Collector复合与注意事项
- 我在JSP学习中总结的注意事项(不断增加中)--内有5条
- Dubbo学习(二):dubbo中的注意事项
- OC学习,self使用总结和注意事项,理解类和对象,使用self进行理解非常好
- Ambari学习16_使用Ambari安装Hive的注意事项
- PPP 注意事项、学习要点及其总结
- android学习之GPS(google map 相关api)注意事项
- 学习OpenCV——Mat数据操作之普通青年、文艺青年、暴力青年.& Mat注意事项
- 学习:使用SPSite和SPWeb对象要注意的事项(转)
- react学习笔记之setState方法注意事项
- web前台工作笔记(时间戳、js中clone的使用、js中动态填充数据注意事项、前台查错方法的学习)
- TCP/IP协议学习(三) STM32中ETH驱动配置注意事项