curl --head http://www.163.com/index.html 查服务器及相关组件
2011-04-07 10:59
531 查看
curl --head http://www.163.com/index.html
Curl是Linux下一个很强大的http命令行工具,其功能十分强大。
1)读取网页
$ curl linuxidc.com">http://www.linuxidc.com
2)保存网页
$ curl http://www.linuxidc.com > page.html $ curl -o page.html http://www.linuxidc.com
3)使用的proxy服务器及其端口:-x
$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com
4)使用cookie来记录session信息
$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com这个option: -D 是把http的response里面的cookie信息存到一个特别的文件中去,这样,当页面被存到page.html的同时,cookie信息也被存到了cookie0001.txt里面了5)那么,下一次访问的时候,如何继续使用上次留下的cookie信息呢?
使用option来把上次的cookie信息追加到http request里面去:-b
$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com
6)浏览器信息
$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com
7)referer
$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com这样就可以骗对方的服务器,你是从mail.linuxidc.com点击某个链接过来的
8)下载文件
$ curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG $ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG -O 可以按照服务器上的文件名,自动存在本地$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG
9)批量下载
$ curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样产生的下载,就是~zzh/001.JPG ~zzh/002.JPG
……
~zzh/201.JPG ~nick/001.JPG ~nick/002.JPG
……
~nick/201.JPG
$自定义文件名的下载
curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样,自定义出来下载下来的文件名,就变成了这样:原来: ~zzh/001.JPG —-> 下载后: 001-zzh.JPG 原来: ~nick/001.JPG —-> 下载后: 001-nick.JPG
这样一来就不怕文件重名啦
9)断点续传
$ curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG分块下载,我们使用这个option就可以了: -r
举例说明
比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 要下载(赵老师的电话朗诵 :D )我们就可以用这样的命令:$ curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3这样就可以分块下载啦。不过你需要自己把这些破碎的文件合并起来如果你用UNIX或苹果,用 cat zhao.part* > zhao.MP3就可以如果用的是Windows,用copy /b 来解决吧,呵呵上面讲的都是http协议的下载,其实ftp也一样可以用。用法嘛,
$ curl -u name:passwd ftp://ip:port/path/file
或者大家熟悉的
$ curl ftp://name:passwd@ip:port/path/file
10)上传的option是-T
比如我们向ftp传一个文件:
$ curl -T localfile -u name:passwd ftp://upload_site:port/path/
当然,向http服务器上传文件也可以比如$ curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi注意,这时候,使用的协议是HTTP的PUT method刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢! GET和POST都不能忘哦。
11)POST和GET模式
$ curl http://www.linuxidc.com/login.cgi?user=nickwolfe
而POST模式的option则是-d
比如,$ curl -d "user=nickwolfe http://www.linuxidc.com/login.cgi
一点需要注意的是,POST模式下的文件上的文件上传,比如
这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:$ curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi
https本地证书
$ curl -E localcert.pem https://remote_server再比如,你还可以用curl通过dict协议去查字典$ curl dict://dict.org/d:computer
Curl是Linux下一个很强大的http命令行工具,其功能十分强大。
1)读取网页
$ curl linuxidc.com">http://www.linuxidc.com
2)保存网页
$ curl http://www.linuxidc.com > page.html $ curl -o page.html http://www.linuxidc.com
3)使用的proxy服务器及其端口:-x
$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com
4)使用cookie来记录session信息
$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com这个option: -D 是把http的response里面的cookie信息存到一个特别的文件中去,这样,当页面被存到page.html的同时,cookie信息也被存到了cookie0001.txt里面了5)那么,下一次访问的时候,如何继续使用上次留下的cookie信息呢?
使用option来把上次的cookie信息追加到http request里面去:-b
$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com
6)浏览器信息
$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com
7)referer
$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com这样就可以骗对方的服务器,你是从mail.linuxidc.com点击某个链接过来的
8)下载文件
$ curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG $ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG -O 可以按照服务器上的文件名,自动存在本地$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG
9)批量下载
$ curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样产生的下载,就是~zzh/001.JPG ~zzh/002.JPG
……
~zzh/201.JPG ~nick/001.JPG ~nick/002.JPG
……
~nick/201.JPG
$自定义文件名的下载
curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样,自定义出来下载下来的文件名,就变成了这样:原来: ~zzh/001.JPG —-> 下载后: 001-zzh.JPG 原来: ~nick/001.JPG —-> 下载后: 001-nick.JPG
这样一来就不怕文件重名啦
9)断点续传
$ curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG分块下载,我们使用这个option就可以了: -r
举例说明
比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 要下载(赵老师的电话朗诵 :D )我们就可以用这样的命令:$ curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3这样就可以分块下载啦。不过你需要自己把这些破碎的文件合并起来如果你用UNIX或苹果,用 cat zhao.part* > zhao.MP3就可以如果用的是Windows,用copy /b 来解决吧,呵呵上面讲的都是http协议的下载,其实ftp也一样可以用。用法嘛,
$ curl -u name:passwd ftp://ip:port/path/file
或者大家熟悉的
$ curl ftp://name:passwd@ip:port/path/file
10)上传的option是-T
比如我们向ftp传一个文件:
$ curl -T localfile -u name:passwd ftp://upload_site:port/path/
当然,向http服务器上传文件也可以比如$ curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi注意,这时候,使用的协议是HTTP的PUT method刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢! GET和POST都不能忘哦。
11)POST和GET模式
$ curl http://www.linuxidc.com/login.cgi?user=nickwolfe
而POST模式的option则是-d
比如,$ curl -d "user=nickwolfe http://www.linuxidc.com/login.cgi
一点需要注意的是,POST模式下的文件上的文件上传,比如
这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:$ curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi
https本地证书
$ curl -E localcert.pem https://remote_server再比如,你还可以用curl通过dict协议去查字典$ curl dict://dict.org/d:computer
相关文章推荐
- linux 命令访问url: curl http://www.baidu.com/index.html
- curl 转自 http://blog.chinaunix.net/uid-22655387-id-3283161.html
- http://www.w3cpro.cn/xhtml/index.html 的css
- 微软在全国高校举办Silverlight大赛: http://www.msuniversity.edu.cn/static/silverlight/index.html
- ext4带来的新变化(原文地址:http://www.ibm.com/developerworks/cn/linux/l-anatomy-ext4/index.html)
- 用Visual C#动态生成组件(http://www.hi-blue.com/technology/index/index_40_1.asp)
- http://xsk.tehon.org/den/index.php/category/tech/short-or-long-tcp-connection-and-keepalive.html
- http://bbs.51cto.com/thread-1083322-1.html ExtJS4.2学习(二)Ext统一组件模型
- 解决新版阿里weex框架创建vue项目后打开http://localhost:8080/index.html空白
- 有的网站的相关内容必须要在登录后才可以查看,其登录信息保存在session变量之中。这样,使用asphttp等组件就难以正确得到所要的信息。
- SuperWebClient -一个基于CURL的.NET HTTP/HTTPS模拟神组件(2)
- HTTP 错误 500.100 - 内部服务器错误 - ASP 错误(不是HTTP 错误 500) 怎么解决啊?http://192.168.1.123/1/index.asp
- JavaWeb学习总结(二)——Tomcat服务器学习和使用(一) http://www.cnblogs.com/xdp-gacl/p/3734395.html
- 通过分析 JDK 源代码研究 TreeMap 红黑树算法实现 refer from http://www.ibm.com/developerworks/cn/java/j-lo-tree/index.html?ca=drs-
- GAE-修改index.html为index.jsp后遇到http 403错误
- 【script代码段】通过<script src="http://xxx.com/index.php"></script>中的src属性将服务器断数据传到客户端
- 转载 http://www.diybl.com/course/3_program/java/javajs/2008819/136428.html 了Hibernate的主要组件
- 转:导出Flex组件为jpg图片(http://xinsync.xju.edu.cn/index.php/archives/1176)
- Node fs, url, http 组合小型的服务器 ( 满足html请求, get, post 传值 )
- HttpRefer html跳过服务器验证header信息中的refer