Spark运行Python代码
2016-09-05 11:42
302 查看
两种方法:
使用 spark-submit 解释执行python脚本使用 python 解释执行python脚本1. 使用Spark-submit解释执行python脚本
Python脚本中需要在开头导入spark相关模块,调用时使用spark-submit提交,示例代码如下:==========================================================="""odflow.py""" from pyspark import SparkContext fileDir = "/TripChain3_Demo.txt" # sc = SparkContext("local", "ODFlow") sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow") lines = sc.textFile(fileDir) # python不能直接写多行的lambda表达式,所以要封装在函数中 def toKV(line): arr = line.split(",") t = arr[5].split(" ")[1].split(":") return (t[0]+t[1]+","+arr[11]+","+arr[18],1) r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b) # 排序并且存入一个(repartition)文件中 r1.sortByKey(False).saveAsTextFile("/pythontest/output")===========================================================发布命令为:
spark-submit \ --master spark://ITS-Hadoop10:7077 \ odflow.py
2. 使用 python 解释执行python脚本
直接用python执行会出现错误:ImportError: No module named pyspark ImportError: No module named py4j.java_gateway缺少pyspark和py4j这两个模块,这两个包在Spark的安装目录里,需要在环境变量里定义PYTHONPATH,编辑~/.bashrc或者/etc/profile文件均可
vi ~/.bashrc # 或者 sudo vi /etc/profile # 添加下面这一行 export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH # 使其生效 source ~/.bashrc # 或者 sudo source /etc/profile
然后关闭终端,重新打开,用python执行即可
python odflow.py
原文链接:http://blog.csdn.net/houmou/article/details/50925573
python odflow.py
相关文章推荐
- 两段Python代码,你能看出运行结果吗?
- 像Python那样跑go1的代码(Windows下双击运行)
- Spark运行自己的代码
- 在 Xcode 里编译运行 Python 代码
- 深入分析在Python模块顶层运行的代码引起的一个Bug
- appium在真机上运行IOS实例要注意的几点:包括python和java运行log 和部分关键代码
- Python代码在Windows和Unix都可运行的方法
- 命令行下设置 PYTHONPATH 来正确运行Python代码
- 测量Python代码运行的时间
- 深入分析在Python模块顶层运行的代码引起的一个Bug
- 测量Python代码运行的时间
- “带锁的门”问题,并有c语言和python代码运行效率对比
- 模拟登陆网站 之 Python版(内含两种版本的完整的可运行的代码)
- VTK的Python代码的运行(VTK6.1 + window7 + vs2008)
- 测量Python代码运行时间
- 把python代码编译成exe文件,及脱离python环境运行py
- hadoop平台运行python代码
- python运行时修改代码的方法——monkey patch
- 已解决】Sublime中运行带input或raw_input的Python代码出错:EOFError: EOF when reading a line(转)
- sublime text 运行python代码,图形无显示