您的位置:首页 > 编程语言 > PHP开发

PHP获取网页内容的方法

2017-01-12 11:13 375 查看



 PHP
 Liad  2个月前
(11-10)  393℃
这里收集了3种利用php获得网页源代码抓取网页内容的方法,我们可以根据实际需要选用。
1、使用file_get_contents获得网页源代码
这个方法最常用,只需要两行代码即可,非常简单方便。
参考代码:
 
$fh= file_get_contents('http://www.webkaka.com/');
 
echo $fh;
 

2、使用fopen获得网页源代码
这个方法用的人也不少,不过代码有点多。
参考代码:
 
$fh = fopen('http://www.webkaka.com/', 'r');
 
if($fh){
 
while(!feof($fh)) {
 
echo fgets($fh);
 
}
 
}
 

3、使用curl获得网页源代码
使用curl获得网页源代码的做法,往往是需要更高要求的人使用,例如当你需要在抓取网页内容的同时,得到网页header信息,还有ENCODING编码的使用,USERAGENT的使用等等。
参考代码一:
 
$ch = curl_init();// 创建一个新cURL资源
 
curl_setopt($ch, CURLOPT_URL, "http://www.webkaka.com/");// 设置URL和相应的选项
 
curl_setopt($ch, CURLOPT_HEADER, false);
 
 
$data = curl_exec($ch);// 抓取URL并把它传递给浏览器
 
echo $data;//输入结果
 
curl_close($ch);//关闭cURL资源,并且释放系统资源
 

复制代码

参考代码二:
 
$szUrl = "http://www.webkaka.com/";
 
$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';
 
$curl = curl_init();
 
curl_setopt($curl, CURLOPT_URL, $szUrl);
 
curl_setopt($curl, CURLOPT_HEADER, 0); //0表示不输出Header,1表示输出
 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
 
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
 
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
 
curl_setopt($curl, CURLOPT_ENCODING, '');
 
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);
 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
 
$data = curl_exec($curl);
 
echo $data;
 
//echo curl_errno($curl); //返回0时表示程序执行成功 如何从curl_errno返回值获取错误信息
 
exit();
 

上例里使用了几个curl_setopt()参数的定义,HEADER、ENCODING、USERAGENT等,可以参考这里http://cn2.php.net/curl_setopt查看更多参数及用途。
需要注意的是,在使用curl_init()之前,你需要做下php.ini的安全设置,否则该函数不能执行
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: