Linux系统下利用wget命令把整站下载做镜像网站
2016-01-16 02:53
627 查看
Linux系统下利用wget命令把整站下载做镜像网站
2011-05-28 18:13:01 | 1次阅读 | 评论:0 条 | itokit在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。
C/C++ Code复制内容到剪贴板
wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"
wget命令参数注释:
C/C++ Code复制内容到剪贴板
"-e robots=off" 让wget耍流氓无视robots.txt协议
-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" 伪造agent信息
相关文章推荐
- 最经典的Linux内核学习方法论
- Linux培训资料之用户管理的全部过程(一)
- Linux培训资料之用户管理的全部过程(二)
- Linux开源文本编辑器培训教材(二)
- 修改 linux 系统时间
- Linux学习笔记
- Linux基本命令――备份与恢复文档
- Linux下安装Zookeeper
- linux学习
- Linux文件权限与目录配置
- Understanding Linux /proc/id/maps
- linux变量篇(三) 命令行参数变量传递
- Centos 更改语言设置为中文
- CentOs6.5中安装和配置vsftp简明教程
- linux变量篇(二) 有趣的环境变量
- linux添加新用户或删除用户
- linux变量篇(一) 变量定义
- Linux LVS高并发测试程序,内核参数设置,连接数查询指令
- Linux文件类型
- Linux基本命令――统计和检索文件内容