shell脚本写的一个图片抓取器
2014-02-28 23:24
239 查看
和大家分享下一个shell脚本写的图片抓取器,该程序来自《Linux Shell脚本攻略》。记得去年找工作面试时,听到一位同学说自己非常喜欢linux,我相信他说的是真的,我觉得喜欢linux的人很大的快乐来自shell脚本,因为它能够整合linux上的各种资源干大事。
用法:复制以下代码,命名为img_downloader.sh。使用时在shell下输入 ./img_downloader.sh www.baidu.com -d images,该shell脚本就会把百度首页上的图片下下来了。
#!/bin/bash
if [ $# -ne 3 ];
then
echo "Usage: $0 URL -d DIRECTORY"
exit -1
fi
for i in {1..4}
do
case $1 in
-d) shift; directory=$1; shift;;
*) url=${url:-$1};shift;
esac
done
mkdir -p $directory
baseurl=$(echo $url | egrep -o "https?://[a-z.]+")
echo "$baseurl"
curl -s $url | egrep -o "<img src=[^>]*>" |
sed 's/<img src=\"\([^"]*\).*/\1/g' > /tmp/$$.list
sed -i "s|^/|$baseurl/|" /tmp/$$.list
cd $directory;
while read filename
do
curl -s -O "$filename" --silent
done < /tmp/$$.list
用法:复制以下代码,命名为img_downloader.sh。使用时在shell下输入 ./img_downloader.sh www.baidu.com -d images,该shell脚本就会把百度首页上的图片下下来了。
#!/bin/bash
if [ $# -ne 3 ];
then
echo "Usage: $0 URL -d DIRECTORY"
exit -1
fi
for i in {1..4}
do
case $1 in
-d) shift; directory=$1; shift;;
*) url=${url:-$1};shift;
esac
done
mkdir -p $directory
baseurl=$(echo $url | egrep -o "https?://[a-z.]+")
echo "$baseurl"
curl -s $url | egrep -o "<img src=[^>]*>" |
sed 's/<img src=\"\([^"]*\).*/\1/g' > /tmp/$$.list
sed -i "s|^/|$baseurl/|" /tmp/$$.list
cd $directory;
while read filename
do
curl -s -O "$filename" --silent
done < /tmp/$$.list
相关文章推荐
- 一个下载网页图片的shell脚本
- 一个用于批量下载网络图片的Shell脚本
- 一个下载网页图片的shell脚本
- 一个下载网页图片的shell脚本
- 一个用于批量下载网络图片的Shell脚本
- 一个用了统计CPU 内存 硬盘 使用率的shell脚本
- 如何编写一个shell脚本
- 一个用shell写的执行java程序的脚本
- Shell 编程--本文结合大量实例阐述如何编写一个shell脚本
- shell脚本一个时间循环
- 在Windows下写了一个shell脚本,上传到Linux下执行时报错:
- shell脚本是否作为单独的一个进程执行?
- Linux下shell脚本在crontab中一个周期执行不完,下周期任务被重复执行的问题解决
- 如何编写一个shell脚本(转贴)
- shell脚本 把一个文件的内容全部转换为大写
- 一个用于导出android项目配置宏为单个独立xml文件的shell脚本
- 自己编写的一个查找Linux进程的Shell脚本
- 如何编写一个shell脚本
- [shell应用进阶]:限制同时运行脚本实例的个数 -- 串行化:换一个思路。
- 阿里云提供的一个监测cpu和内存的shell脚本(get_cpu_mem_info.sh)