PHP函数:CURL抓取网站内容的,支持301 302跳转
2013-08-21 10:50
274 查看
我们在抓取网站内容的时候,经常遇到稀奇古怪的防盗链,比如上次碰到一个站的图片地址是假的,访问后要301跳转一次才到真正的图片路径,这个真实的路径又做了防盗措施,判断referer是不是上个假的图片地址。用curl试了几次,终于整出一个函数,效果不错。
$curl_loops = 0;//避免死了循环必备 02 $curl_max_loops = 3; 03 04 function curl_get_file_contents($url, $referer='') { 05 global $curl_loops, $curl_max_loops; 06 $useragent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"; 07 if ($curl_loops++ >= $curl_max_loops) { 08 $curl_loops = 0; 09 return false; 10 } 11 $ch = curl_init(); 12 curl_setopt($ch, CURLOPT_URL, $url);?curl_setopt($ch, CURLOPT_HEADER, true); 13 curl_setopt($ch, CURLOPT_USERAGENT, $useragent); 14 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 15 curl_setopt($ch, CURLOPT_REFERER, $referer); 16 $data = curl_exec($ch); 17 $ret = $data; 18 list($header, $data) = explode("\r\n\r\n", $data, 2); 19 $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); 20 $last_url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL); 21 curl_close($ch); 22 if ($http_code == 301 || $http_code == 302) { 23 $matches = array(); 24 preg_match('/Location:(.*?)\n/', $header, $matches); 25 $url = @parse_url(trim(array_pop($matches))); 26 if (!$url) { 27 ?$curl_loops = 0; 28 ?return $data; 29 } 30 $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] 31 . (isset($url['query']) ? '?' . $url['query'] : ''); 32 $new_url = stripslashes($new_url); 33 return curl_get_file_contents($new_url, $last_url); 34 } else { 35 $curl_loops = 0; 36 list($header, $data) = explode("\r\n\r\n", $ret, 2); 37 return $data; 38 } 39 }
相关文章推荐
- PHP函数:CURL抓取网站内容的,支持301 302跳转
- 【转载】PHP使用CURL抓取网站内容基础
- curl实现避开验证码模拟登入 抓取网站网页内容 https
- curl 实现抓取网站内容
- asp.net如何抓取其他网站的内容
- 抓取网站内容常见方法
- PHP学习笔记:通过curl实现采集网站内容
- 网站内容批量抓取和《著作权法》
- C# 实现抓取网站页面内容的实例方法
- 如果网页内容需要支持多语言,你会怎么做?在设计和开发多语言网站时,有哪些问题你必须要考虑?
- C# asp.net 抓取需要登录的网页内容 抓取asp.net登录验证的网站
- 配合scrapy,用请求方式抓取一些网站内容。例如抓取360手机应用APP信息。
- PHP抓取小说网站内容
- 使用Curl进行抓取远程内容时url中文编码问题示例探讨
- 用curl抓取网站数据,仿造IP、防屏蔽终极强悍解决方式
- CURL抓取网页内容
- JAVA使用爬虫抓取网站网页内容的方法
- 求助,如何使用Python3 抓取ASPX网站中翻页URL不改变的网页内容呢?求指导!谢谢!
- HttpClient4入门应用----抓取网站内容(解决中文乱码)
- 简易的抓取别人网站内容