使用curl模拟登陆抓取网页指定内容

反馈：

1、curl支持的协议：http、https、ftp、gopher、telnet、dict、file和ldap协议。

2、http协议状态码：

使用php或者javascript都会用到http的不同状态，一些常见的状态码为：

200 – 服务器成功返回网页

404 – 请求的网页不存在

503 – 服务不可用

所有状态解释：点击查看

1xx（临时响应）

表示临时响应并需要请求者继续执行操作的状态代码。

代码 说明

100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。

101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。

2xx （成功）

表示成功处理了请求的状态代码。

代码 说明

200 （成功） 服务器已成功处理了请求。 通常，这表示服务器提供了请求的网页。

201 （已创建） 请求成功并且服务器创建了新的资源。

202 （已接受） 服务器已接受请求，但尚未处理。

203 （非授权信息） 服务器已成功处理了请求，但返回的信息可能来自另一来源。

204 （无内容） 服务器成功处理了请求，但没有返回任何内容。

205 （重置内容） 服务器成功处理了请求，但没有返回任何内容。

206 （部分内容） 服务器成功处理了部分 GET 请求。

3xx （重定向）

表示要完成请求，需要进一步操作。 通常，这些状态代码用来重定向。

代码 说明

300 （多种选择） 针对请求，服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。

301 （永久移动） 请求的网页已永久移动到新位置。 服务器返回此响应（对 GET 或 HEAD 请求的响应）时，会自动将请求者转到新位置。

302 （临时移动） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

303 （查看其他位置） 请求者应当对不同的位置使用单独的 GET 请求来检索响应时，服务器返回此代码。

304 （未修改） 自从上次请求后，请求的网页未修改过。 服务器返回此响应时，不会返回网页内容。

305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。

307 （临时重定向） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

4xx（请求错误）

这些状态代码表示请求可能出错，妨碍了服务器的处理。

代码 说明

400 （错误请求） 服务器不理解请求的语法。

401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。

403 （禁止） 服务器拒绝请求。

404 （未找到） 服务器找不到请求的网页。

405 （方法禁用） 禁用请求中指定的方法。

406 （不接受） 无法使用请求的内容特性响应请求的网页。

407 （需要代理授权） 此状态代码与 401（未授权）类似，但指定请求者应当授权使用代理。

408 （请求超时） 服务器等候请求时发生超时。

409 （冲突） 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。

410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。

411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。

412 （未满足前提条件） 服务器未满足请求者在请求中设置的其中一个前提条件。

413 （请求实体过大） 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。

414 （请求的 URI 过长） 请求的 URI（通常为网址）过长，服务器无法处理。

415 （不支持的媒体类型） 请求的格式不受请求页面的支持。

416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。

417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。

5xx（服务器错误）

这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误，而不是请求出错。

代码 说明

500 （服务器内部错误） 服务器遇到错误，无法完成请求。

501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。

502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。

503 （服务不可用） 服务器目前无法使用（由于超载或停机维护）。 通常，这只是暂时状态。

504 （网关超时） 服务器作为网关或代理，但是没有及时从上游服务器收到请求。

505 （HTTP 版本不受支持） 服务器不支持请求中所用的 HTTP 协议版本。
3、GET和POST的传参区别：

1. get是从服务器上获取数据，post是向服务器传送数据。
2. get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不到这个过程。
3. 对于get方式，服务器端用Request.QueryString获取变量的值，对于post方式，服务器端用Request.Form获取提交的数据。
4. get传送的数据量较小，不能大于2KB。post传送的数据量较大，一般被默认为不受限制。但理论上，IIS4中最大量为80KB，IIS5中为100KB。
5. get安全性非常低，post安全性较高。但是执行效率却比Post方法好。

建议：
1、get方式的安全性较Post方式要差些，包含机密信息的话，建议用Post数据提交方式；
2、在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式；

3、cookie在http协议的哪部分？

HTTP协议采用了请求/响应模 型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括message-header和message-body两部分。首先传
递message-header，即http header消息 。http
header 消息通常被分为4个部分：general header, request header, response header, entity header。但是这种分法就理解而言，感觉界限不太明确。根据维基百科对http header内容的组织形式，大体分为Request和Response两部分。

浏览器请求服务器时：cookie数据在request
header部分，HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。

服务器返回给浏览器时：cookie数据在request
header部分的Set-Cookie中。

4、php抓取网页内容的方式：

（1）、使用file_get_contents获得网页源代码。例如：$fh=
file_get_contents('http://www.webkaka.com/');

（2）、使用fopen获得网页源代码。例如：

$fh
= fopen('http://www.webkaka.com/', 'r');

if($fh){

while(!feof($fh)) {

echo fgets($fh);

}

}

（3）、使用curl获得网页源代码。

具体步骤：

1、获取要提交的表单元素

通过审查元素等工具，录一下登陆的过程，获取表单元素。当然也可以通过查看源代码找到需要提交的表单元素。

$post_fields = array (

'act' => 'login_submit',

'redir' => 'http://www.10jqka.com.cn/',

'uname' => 'xxxxxx',

'passwd' => 'xxxxxx',

'longLogin' => 'on'

);

需要配合http_build_query($post_fields)使用。

http_build_query会生成URL-encode之后的请求字符串。



2、保存cookie到文件

因为许多网站会在一些需要登录后才能访问的页面进行设置，检查cookie数据是否存在。因此抓取这些页面的数据需要先保存cookie到临时目录。

$cookie_file = tempnam('./temp/','cookie');

3、设置curl参数

if($post_fields){

$cookie_file = tempnam('./temp/','cookie');//建立临时文件，返回文件名，第一个参数为生成文件的路径，若不可写，则写入系统默认路径

curl_setopt($curl, CURLOPT_POSTFIELDS, $post_fields);//传递数据

curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_file);// 把返回来的cookie信息保存在$cookie_jar文件中

curl_setopt($curl, CURLOPT_POST, 1);//post形式提交数据

}else{

curl_setopt($curl, CURLOPT_COOKIEFILE, $cookie_file);

}

curl_setopt($curl, CURLOPT_URL, $url);//要从哪个页面获取信息

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);//设定返回 的数据是否自动显示

curl_setopt($curl, CURLOPT_HEADER, 0);//设定是否显示头信息

4、运行并获取数据

$content = curl_exec($curl);//运行并获取数据

curl_close($curl);//关闭请求

5、数据的抓取-正则表达式或字符串截取

//读取字符串并除去html等标签

$data = strip_tags($content);

//1、正则表达式方法

$listNumberStr = '/\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}/i';

$re = preg_match($listNumberStr, $data, $list);

rerurn $list;

//2、字符串截取方法

$t1 = mb_strpos($content,'注册时间：');

$t2 = mb_strpos($content,'*性别');

$data1 = mb_substr($content,$t1+5,$t2-$t1-5);

rerurn $data1;

知识点：

1、curl的使用

2、验证信息的进入

3、正则表达式

4、字符串匹配