spark多个application的同时运行
2015-07-14 09:43
274 查看
在spark的Job Scheduling中介绍了spark多个任务同时执行,相关链接为:
https://spark.apache.org/docs/1.2.0/job-scheduling.html
spark要实现多个application同时运行,涉及到多个application的资源共享。在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic
Resource Allocation 功能
Dynamic
Resource Allocation有一个问题,就是executor空闲的时候,executor会被remove,但是executor执行后的数据结果很可能被其它executor使用,为了解决这个问题spark需要启动external shfuffle service,相关配置为往yarn-site.xml文件加入如下内容:
同时需要将spark-<version>-yarn-shuffle.jar放到hadoop的yarn的lib库里面,我的spark版本是1.3.1,也就是
spark-1.3.1-yarn-shuffle.jar 文件
我的yarn的lib库目录为:/usr/local/hadoop2.6.0/share/hadoop/yarn/lib/
/usr/local/hadoop2.6.0/是我的hadoop安装目录
如果spark-1.3.1-yarn-shuffle.jar 文件没有放到正确的目录,spark application在启动的时候会卡在accepted state,相关的打印如下:
/06 10:49:14 INFO yarn.Client:
client token: N/A
diagnostics: N/A
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: default
start time: 1436150953666
final status: UNDEFINED
tracking URL: http://ddos12:8088/proxy/application_1435917011732_0005/
user: root
15/07/06 10:49:15 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:16 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:17 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
......................................................................
external shuffle service的作用是托管已经被remove的executor的计算结果数据,当其它running的executor需要使用这些数据的时候,向external shuffle service请求数据
https://spark.apache.org/docs/1.2.0/job-scheduling.html
spark要实现多个application同时运行,涉及到多个application的资源共享。在spark on yarn模式下,yarn可以用来管理集群资源。为了能够比较好的利用集群的内存资源和cpu资源,需要使用spark的Dynamic
Resource Allocation 功能
Dynamic
Resource Allocation有一个问题,就是executor空闲的时候,executor会被remove,但是executor执行后的数据结果很可能被其它executor使用,为了解决这个问题spark需要启动external shfuffle service,相关配置为往yarn-site.xml文件加入如下内容:
<property> <name>yarn.nodemanager.aux-services</name> <value>spark_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property>
同时需要将spark-<version>-yarn-shuffle.jar放到hadoop的yarn的lib库里面,我的spark版本是1.3.1,也就是
spark-1.3.1-yarn-shuffle.jar 文件
我的yarn的lib库目录为:/usr/local/hadoop2.6.0/share/hadoop/yarn/lib/
/usr/local/hadoop2.6.0/是我的hadoop安装目录
如果spark-1.3.1-yarn-shuffle.jar 文件没有放到正确的目录,spark application在启动的时候会卡在accepted state,相关的打印如下:
/06 10:49:14 INFO yarn.Client:
client token: N/A
diagnostics: N/A
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: default
start time: 1436150953666
final status: UNDEFINED
tracking URL: http://ddos12:8088/proxy/application_1435917011732_0005/
user: root
15/07/06 10:49:15 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:16 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
15/07/06 10:49:17 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
......................................................................
external shuffle service的作用是托管已经被remove的executor的计算结果数据,当其它running的executor需要使用这些数据的时候,向external shuffle service请求数据
相关文章推荐
- 自定义类似RadioButton的单选、多选的ListView
- android:自定义组合控件Weight(高仿猫眼底部菜单栏)
- android的DialogFragment设置全屏之后,里面的View不能充满整个屏幕
- 【Objective-C】类
- 【IMOOC学习笔记】多种多样的App主界面Tab实现方法(三)
- Android R文件报错问题
- UnityShader实例08:溶解消融(Dissolve)材质
- Android 国内集成使用谷歌地图
- Android Studio for windows环境搭建
- Android Studio 问题 - Clear Read-Only Status
- 完美解决Android SDK Manager无法更新
- 一看就懂的Android APP开发入门教程
- 【Objective-C】03-第一个OC程序
- 基于unity的飞行模拟设计
- Android 开发 之 Fragment 详解
- 解决Android Studio中某一个Module不能启动的问题
- 【IMOOC学习笔记】多种多样的App主界面Tab实现方法(二)
- 【Objective-C】09-空指针和野指针
- Android 带清除功能的输入框控件ClearEditText,仿IOS的输入框
- Android使用自带JSONObject解析JSON数据