您的位置:首页 > 编程语言 > Python开发

方便调试spark参数的python脚本

2016-01-26 17:29 483 查看
# encoding:utf-8
__author__ = 'jwang'
import os

cmd_list = []

spark_submit = '/usr/local/datacenter/spark/bin/spark-submit'

cmd_list.append(spark_submit)

cmd_list.append('--class')
cmd_list.append('com.xx.xx.RBK')

cmd_list.append('--master')
cmd_list.append('yarn')

cmd_list.append('--name')
cmd_list.append('XXRBK')

cmd_list.append('--executor-memory')
cmd_list.append('3g')

cmd_list.append('--driver-memory')
cmd_list.append('3g')

cmd_list.append('--executor-cores')
cmd_list.append('16')

cmd_list.append('xxxx.jar')

params = []

params.append('xx')
params.append('rule')

cmd_list.extend(params)

exec_cmd = ' '.join(cmd_list)

#''
print 'start to execute ::: ' + exec_cmd

os.system(exec_cmd)
os._exit(0)

 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: