从网页提取内容
2014-04-02 09:59
134 查看
问题来源:
想看看《程序员》杂志的云计算类别的文章,发现不能用有道阅读订阅。由于该类别有68篇文章,每页显示10条记录,所以查看很不方便。于是想把所有文章的名称和url提取出来,放在一个文本中,这样可以方便查看。
解决思路:
最先想到的是用curl命令,可是发现该命令只能打开第一页的网页,其他页并不能打开,无法提取。原因可能是cookie造成的。最后使用lynx命令解决,lynx -source url可以将url的网页源代码打印到stdout,代码记录如下:
想看看《程序员》杂志的云计算类别的文章,发现不能用有道阅读订阅。由于该类别有68篇文章,每页显示10条记录,所以查看很不方便。于是想把所有文章的名称和url提取出来,放在一个文本中,这样可以方便查看。
解决思路:
最先想到的是用curl命令,可是发现该命令只能打开第一页的网页,其他页并不能打开,无法提取。原因可能是cookie造成的。最后使用lynx命令解决,lynx -source url可以将url的网页源代码打印到stdout,代码记录如下:
#本程序用于从程序员官网抓取云计算类别的所有文章,打印出url和文章名称。 #!/bin/bash for i in {1..10} do lynx -source www.programmer.com.cn/category/%E4%BA%91%E8%AE%A1%E7%AE%97/page/$i | grep "<h2 class=\"posttitle\">" | sed 's/.*href="\([^"]*\)"[^>]*>\([^<]*\)<.*/\1 \2/g' done
相关文章推荐
- 在launcher上创建快捷方式
- Dlog 替代 NSLog
- Leetcode 之链表问题 (一)
- 很久没登录了,生活战胜了兴趣
- 数据型产品经理的前世今生
- 人民银行软件开发中心-IT技术
- 文章马伊琍婚变 不如尊重他们的和解
- windows下修改hosts文件,添加固定的DNS解析
- 定义动态二维数组
- linux下测试磁盘的读写IO速度
- 转]ASP.NET生成XML的一些方法
- java中number & 0xff什么解释? 0xff是指255,关键是&是怎么计算的?
- poll机制分析
- Linux驱动开发——学习笔记( 一)
- lucene学习教程
- STL之set使用方法小结
- EpicEditor – 可嵌入的 JavaScript Markdown 编辑器
- 【VMware虚拟化解决方案】服务器虚拟化案例
- Asterks(软交换)里配置两部简单的SIP软电话
- Python中对象的理解:引用和赋值