PHP脚本下载知乎日报文章
2016-12-30 16:26
204 查看
这是一个知乎日报文章汇总的网站:https://zhhrb.sinaapp.com/
因为最近要用大量的知乎日报做数据库,所以写了个脚本自动下载指定日期范围的文章,省事省时间。
原理就不多说了,挺简单的代码。
因为最近要用大量的知乎日报做数据库,所以写了个脚本自动下载指定日期范围的文章,省事省时间。
原理就不多说了,挺简单的代码。
<?php set_time_limit(0); //设置页面等待时间,默认是30s,时间一到就会报错,所以这里设置成无限长时间 $reg='/https:\/\/daily.zhihu.com\/story\/\d{7}/'; //用正则匹配到网址 $count = 0; $urlList = []; //网址列表 for($i=0;$i<28;$i++) { $str=""; if($i<10) $i="0".$i; $str = file_get_contents("https://zhhrb.sinaapp.com/index.php?date=" . "201612" . $i);//date后面跟日期 preg_match_all($reg, $str, $arr); //匹配 $arr = array_unique($arr[0]); //去除重复元素 foreach ($arr as $key => $val) //遍历数组,获取网址 $urlList[] = $val; } foreach ($urlList as $key => $val) { $html = file_get_contents($val); //下载html源码 file_put_contents("C:\\Users\\ACME\\Desktop\\web\\".$count.".html",$html); //存放到指定的路径下 $count++; } echo "共下载了".$count."个文章";
相关文章推荐
- 使用PHP脚本下载远程文件
- 使用PHP脚本下载远程文件
- PHP正则分步过滤文章中的超链和文字链接,同时保留包含有图片的超链、远程引入的js脚本、独立的图片等链接
- php操作文件及下载图片脚本
- 转:最近看了一篇文章用PHP实现手机对jar,jad文件的下载 作者:陈泽|SurfChen
- php脚本生成google play url的下载链接,下载apk并自动反编译后获取android版本号
- CSDN博客专栏文章批量下载脚本[python实现]
- CSDN博客专栏文章批量下载脚本[python实现]
- 推荐10个提供免费PHP脚本下载的网站
- 使用PHP脚本下载远程文件
- 10个免费的PHP脚本资源下载网站推荐
- 10个免费的PHP脚本资源下载网站推荐
- PHP脚本实现服务器文件下载
- 10个免费的PHP脚本资源下载网站推荐
- 使用PHP脚本下载远程文件
- php脚本处理wget下载的乱码文件(包括文件夹与文件)
- 10个免费的PHP脚本资源下载网站推荐
- php正则匹配文章中的远程图片地址并下载图片到本地
- 10个提供免费PHP脚本下载的网站