R语言:使用rvest包进行数据简单抓取
2017-03-29 10:21
363 查看
本文主要介绍用rvest包对天气后报网的空气数据进行简单的抓取。
具体代码如下:
搜索结果如下图:
上述中批量的网址可以用paste0()函数+循环语句来实现。
具体代码如下:
library(rvest) html_session("http://www.tianqihoubao.com/aqi/chengdu-201612.html") url1 <-"http://www.tianqihoubao.com/aqi/chengdu-201601.html" url2 <-"http://www.tianqihoubao.com/aqi/chengdu-201602.html" url3 <-"http://www.tianqihoubao.com/aqi/chengdu-201603.html" url4 <-"http://www.tianqihoubao.com/aqi/chengdu-201604.html" url5 <-"http://www.tianqihoubao.com/aqi/chengdu-201605.html" url6 <-"http://www.tianqihoubao.com/aqi/chengdu-201606.html" url7<-"http://www.tianqihoubao.com/aqi/chengdu-201607.html" url8 <-"http://www.tianqihoubao.com/aqi/chengdu-201608.html" url9 <-"http://www.tianqihoubao.com/aqi/chengdu-201609.html" url10 <-"http://www.tianqihoubao.com/aqi/chengdu-201610.html" url11 <-"http://www.tianqihoubao.com/aqi/chengdu-201611.html" url12 <-"http://www.tianqihoubao.com/aqi/chengdu-201612.html" fun <- function(x){web<-html(x,encoding="gb2312") qq <- web %>% html_nodes("td") %>% html_text() m <- matrix(qq,nrow=10) p <- t(m) p <- iconv(p,"utf-8","gbk") p <- gsub("^\\s+|\\s+$","",p) p[-1,] } p <- rbind(fun(url1),fun(url2),fun(url3),fun(url4),fun(url5),fun(url6), fun(url7),fun(url8),fun(url9),fun(url10),fun(url11),fun(url12)) write.table(p,file="p.txt")
搜索结果如下图:
上述中批量的网址可以用paste0()函数+循环语句来实现。
相关文章推荐
- 使用HttpClient和Jsoup进行简单数据抓取、解析
- SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出
- 使用objectdatasource结合数据绑定控件进行简单三层架构的开发
- 使用objectdatasource结合数据绑定控件进行简单三层架构的开发
- [C++]数据结构实验04:使用堆栈进行简单的四则运算
- WPF中使用MVVM模式进行简单的数据绑定
- 使用线程池和CountDownLatch计数器来进行抓取的简单事例2
- 使用EntityFramework对数据进行简单的增删查改
- 使用 AJAX,局部刷新 GridView 进行数据绑定的简单实现
- php使用curl存取cookie进行登录抓取数据示例
- 使用objectdatasource结合数据绑定控件进行简单三层架构的开发
- 使用 AJAX,局部刷新 GridView 进行数据绑定的简单实现
- 使用Jsoup进行网页数据抓取
- 使用objectdatasource结合数据绑定控件进行简单三层架构的开发
- 使用 AJAX,局部刷新 GridView 进行数据绑定的简单实现
- Android之使用ContentResolver对通信录中的数据进行简单操作
- SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出
- 【翻译】使用Knockout, Web API 和 ASP.Net Web Forms 进行简单数据绑定
- 使用PHP进行网页数据抓取小结
- android使用Jsoup进行html数据解析简单实例浅析