PHP curl之爬虫初步

php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。

这个时候有人就要发问了：为什么你特么不用file_get_contents?

curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。

下面先分别介绍一些常用的函数。

curl_init 初始化一个curl对话

curl_exec 执行请求

curl_close 关闭一个curl对话

curl_setopt 设置curl参数，即传输选项

curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码

curl_errror 返回一个保护当前会话最近一次错误的字符串

....

下面我先举一个例子，简单的get获取我博客首页的数据:

<?php
/**
* test get request
* User: freephp
* Date: 2015/10/8
* Time: 15:08
*/

$ch = curl_init();

// 2. 设置选项，包括URL
curl_setopt($ch, CURLOPT_URL, "http://www.cnblogs.com/freephp");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);

print_r($output);

就可以打印出首页的html代码。
也可把内容写入某个文件存储，这不就是爬虫的第一步么？

然后我们正则匹配过滤出文章的url，我封装了一个方法：

/**
* 从html内容中筛选链接
*
* @param string $web_content
* @return array
*/
function filterUrl($web_content){
$reg_tag_a = '/<[a|A].*?class="postTitle2".*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
$result = preg_match_all($reg_tag_a,$web_content,$match_result);
if($result){
return $match_result[1];
}
}

print_r(filterUrl($output));

打印出来如图：

然后再遍历去请求这些url，然后拿到所有的文章内容。

（待续.....）

为了复用，我把curl请求发起，内容写入文件，过滤得到文章内容等操作封装成方法。最终的完整代码如下：

<?php
/**
* test get request
* User: freephp
* Date: 2015/10/8
* Time: 15:08
*/

/**
* 获取网页源码
*
* @param $url get方式请求的url
* @return mixed
*/
function getRquest($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);
return $output;
}

/**
* 从html内容中筛选链接
*
* @param string $web_content
* @return array
*/
function filterUrl($web_content)
{
$reg_tag_a = '/<[a|A].*?class="postTitle2".*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
$result = preg_match_all($reg_tag_a, $web_content, $match_result);
if ($result) {
return $match_result[1];
}
}

/**
* 从html内容中筛选文章内容
*
* @param string $content
* @return array
*/
function filterContent($content)
{

$reg = '/<.*\"cnblogs_post_body\">(.*?)<\/div>/ism';
$result = preg_match_all($reg, $content, $match_result);
if ($result) {
return $match_result[1];
}
}

/**
* 抓取文章内容写入文件。
*
* @param string $fileName 存储文件名
* @param string $contents 文章内容
*/
function writeToFile($fileName, $contents)
{
$fp = fopen($fileName, 'w');

fwrite($fp, $contents);
fclose($fp);
}

$output = getRquest("http://www.cnblogs.com/freephp");

$articleUrls = filterUrl($output);
if (empty($articleUrls)) {
echo '获取文章url失败';
die();
}
$articleNum = count($articleUrls);
echo '总共文章为:', $articleNum, "\r\n";
foreach ($articleUrls as $url) {
echo '开始爬取url:', $url, "\r\n";
$out = getRquest($url);
$cont = filterContent($out);
$filename = str_replace('.html', '', str_replace('http://www.cnblogs.com/freephp/p/', '', $url));
writeToFile($filename . '.txt', $cont[0]);
echo '完成爬取url:', $url, "\r\n";
}

后面还会用使用post方式等用途的curl，等到那个时候再封装成工具类吧。