基于spark的网络爬虫实现
2015-12-28 22:00
567 查看
爬虫是获取网络大数据的重要手段,爬虫是一种非常成熟的技术了,然而想着在spark环境下测试一下效果.
还是非常简单的,利用JavaSparkContext来构建,就可以采用原来java中的网页获取那一套来实现.
首先给定几个初始种子,生成一个JavaRDD对象即可
JavaRDD<String> rdd = sc.parallelize("urllist");
JavaRDD<String> content = rdd.map(new Function<String, String>() {
public String call(String url) throws Exception {
System.out.println(url);
CloseableHttpClient client = null;
HttpGet get = null;
CloseableHttpResponse response = null;
try {
//## 创建默认连接
client = HttpClients.createDefault();
get = new HttpGet(url);
response = client.execute(get);
HttpEntity entity = response.getEntity();
//## 获得输出字节流
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
entity.writeTo(byteArrayOutputStream);
//## 转化为文档
String html = new String(byteArrayOutputStream.toByteArray(), Charsets.UTF_8);
Document document = Jsoup.parse(html);
return html;
} catch (Exception ex) {
ex.printStackTrace();
return "";
} finally {
if (response != null) {
response.close();
}
if (client != null) {
client.close();
}
}
}
});
当然可以从HTML再找到子页连接,继续以深度或者广度进行优先爬虫.
如输出http://docs.opencv.org/的文档如下:
还是非常简单的,利用JavaSparkContext来构建,就可以采用原来java中的网页获取那一套来实现.
首先给定几个初始种子,生成一个JavaRDD对象即可
JavaRDD<String> rdd = sc.parallelize("urllist");
JavaRDD<String> content = rdd.map(new Function<String, String>() {
public String call(String url) throws Exception {
System.out.println(url);
CloseableHttpClient client = null;
HttpGet get = null;
CloseableHttpResponse response = null;
try {
//## 创建默认连接
client = HttpClients.createDefault();
get = new HttpGet(url);
response = client.execute(get);
HttpEntity entity = response.getEntity();
//## 获得输出字节流
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
entity.writeTo(byteArrayOutputStream);
//## 转化为文档
String html = new String(byteArrayOutputStream.toByteArray(), Charsets.UTF_8);
Document document = Jsoup.parse(html);
return html;
} catch (Exception ex) {
ex.printStackTrace();
return "";
} finally {
if (response != null) {
response.close();
}
if (client != null) {
client.close();
}
}
}
});
当然可以从HTML再找到子页连接,继续以深度或者广度进行优先爬虫.
如输出http://docs.opencv.org/的文档如下:
相关文章推荐
- Android开启网络adb调试
- HttpURLConnection用法详解
- iOS经典讲解之网络编程 TCP/UDP HTTP
- Android_HttpURLConnection_Get和Post请求
- 网络编程中的spring-servlet.xml文件
- 基于HttpClient4.0的网络爬虫基本框架(Java实现)
- 机器学习公开课笔记(5):神经网络(Neural Network)——学习
- java网络编程中的web.xml配置文件
- 网络爬虫——爬百度贴吧
- HTTP Live Streaming直播(iOS直播)技术分析与实现
- iOS开发之http协议
- Liunx网络异常诊断及修复
- 一步一步实现ListView加载网络数据,下滑底部加载,顶部下拉刷新。并配有双缓存
- TCP粘包
- com.microsoft.sqlserver.jdbc.SQLServerException: 到主机 的 TCP/IP 连接失败。 java.net.ConnectException: Connection refused: connect
- http学习01
- 15.cocos2d-x网络编程一(get、post请求)
- TCP/IP、Http的区别
- TCP聊天系统开发心得
- .NET中使用HTTP 进行POST 数据