实现蜘蛛捕捉的PHP代码 (WEB爬虫)
2009-05-18 16:30
393 查看
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage ");
fclose($data);
}
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage ");
fclose($data);
}
相关文章推荐
- 【代码】php 捕捉各大搜索引擎的蜘蛛、爬虫的iP和访问途径
- 服务器基于PHP CodeIgniter,Android基于Volley实现多文件/图片上传(含服务器,web版和android客户端完整代码)
- PHP代码实现爬虫记录――超管用
- PHP代码实现爬虫记录――超管用
- php/asp/asp.net中判断百度移动和PC蜘蛛的实现代码
- 利用WebHook实现PHP自动部署Git代码
- php实现webhook自动部署代码
- Nginx 配置实现web解析php代码 过程记录
- 【web】PHP网页调用Matlab代码的实现以及一些需要注意的bug~
- 利用php抓取蜘蛛爬虫痕迹的示例代码
- php+webSoket实现聊天室示例代码(附源码)
- PHP 结合 WebHook 实现代码自动部署
- 代码实现PHP web服务器下绝对路径到Web网址的转换
- (git)Bitbucket使用WebHook实现自动部署PHP代码
- CentOS利用WebHook实现PHP自动部署Git代码
- 实现WEB压缩的三种途径:Web服务器(Nginx/Apache)、Php扩展、Php代码
- 用PHP即时捕捉PHP中的错误并发送email通知的实现代码
- php实现web页面文件上传的代码
- 利用WebHook实现PHP自动部署Git代码