PHP + curl 实现 http 或 https 抓取数据:
2017-12-13 18:48
267 查看
PHP + curl 实现 http 或 https 抓取数据:
/** * 抓取数据 https 或 http 形式 * @param $url 链接 * @param $data 参数 * @return mixed 返回数据 */ private function curlS($url, $data) { $UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)'; $curl = curl_init(); // 启动一个CURL会话 curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 2); // 从证书中检查SSL加密算法是否存在 curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent/*$_SERVER['HTTP_USER_AGENT']*/); // 模拟用户使用的浏览器 if (ini_get('open_basedir') == '' && ini_get('safe_mode' == 'Off')) { curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); } //curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转 curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求 curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包 curl_setopt($curl, CURLOPT_TIMEOUT, 200); // 设置超时限制防止死循环 curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回 $tmpInfo = curl_exec($curl); // 执行操作 if (curl_errno($curl)) { echo 'Errno'.curl_error($curl);//捕抓异常 } curl_close($curl); // 关闭CURL会话 return $tmpInfo; // 返回数据 }
相关文章推荐
- charles抓取微信小程序数据(抓取http和https数据)
- 使用Fiddler抓取bilibili安卓客户端口数据并分析(http、https)
- Java实现多种方式的http数据抓取
- Charles抓取http与https数据
- HttpClient+jsoup实现网页数据抓取和处理
- 详解Java实现多种方式的http数据抓取
- httpclient抓取https网页数据
- Java实现多种方式的http数据抓取
- 项目实战 - 使用Fiddler抓取bilibili安卓客户端口数据并分析(http、https)
- jquery+thinkphp实现跨域抓取数据的方法
- java实现http post方法发送数据
- PHP实现抓取HTTPS内容的方法和错误处理
- android中的HttpURLConnection和HttpClient实现app与pc数据交互
- Python 实现股票数据的实时抓取
- Java Socket 实现HTTP与HTTPS协议发送POST/GET请求
- ASIHttpRequest的POST数据的实现
- Python+Selenium实现股票板块数据模拟抓取
- windows下apache配置SSL以实现http转换为https
- 利用HttpWebRequest抓取网页数据
- java实现http协议发送和接收数据