利用curl自动获取并下载网页的方法
2009-11-30 22:37
471 查看
如果我们有一些URL,那么我们要自动下载URL对应内容,除了用网络蜘蛛之外,可以用一个很实用的工具curl,可以写一个批处理文件来调用curl,然后用自动下载对应的网页。
1.URL保存在文本文件中
1.假设所有URL都保存在url.txt中
2.利用下面程序读取(保存为getWebPage.bat):
for /f %%i in (book.txt) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O %var% //下载下来的文件的文件名按照服务器上该文件的文件名命名
goto :eof
@pause
2.URL已某种方式,比如数字递增的方式
for /l %%i in (100,1,999) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O 公共前缀%var% //下载下来的文件的文件名按照服务器上该文件的文件名命名
goto :eof
@pause
其服务器上的url是 公共前缀+数字
1.URL保存在文本文件中
1.假设所有URL都保存在url.txt中
2.利用下面程序读取(保存为getWebPage.bat):
for /f %%i in (book.txt) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O %var% //下载下来的文件的文件名按照服务器上该文件的文件名命名
goto :eof
@pause
2.URL已某种方式,比如数字递增的方式
for /l %%i in (100,1,999) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O 公共前缀%var% //下载下来的文件的文件名按照服务器上该文件的文件名命名
goto :eof
@pause
其服务器上的url是 公共前缀+数字
相关文章推荐
- 需求(Java);利用Jsoup架包获取指定网页的全部图片,并自动下载到指定文件夹中
- 利用cURL会话获取一个网页
- PHP利用Curl实现多线程抓取网页和下载文件
- 获取网页中的视频下载地址(利用抓包)
- php利用curl获取远程图片实现方法
- c# 获取网页源码,自动判断编码格式新方法!(转)
- asp.net 利用HttpWebRequest自动获取网页编码并获取网页源代码
- 利用 hadoop 的 FileSystem open 方法获取 FSDataInputStream 实现文件下载到本地 Hadoop 版本 2.7.0
- 宝宝小爬虫Selenium自动获取网页cookie+Curl数据查询
- .Net自动获取网页内容的三种方法详解
- php利用curl获取远程图片实现方法
- 利用cURL来获取网页信息-Using cURL to get webpage content
- 爬虫入门三(获取各国网址,三种网页抓取方法,下载缓存)
- 利用JavaScript从UIWebView获取、修改、提交网页内数据的方法
- android利用http协议下载网页内容到指定位置的方法
- 利用cURL来获取网页信息-Using cURL to get webpage content
- php利用curl获取网页title内容
- c# 获取网页源码,自动判断编码格式新方法!
- 利用cURL会话获取一个网页
- 自己写的从网页上获取并下载图片的方法