使用PyCharm配置Spark的Python开发环境(基础)
2016-07-06 18:21
786 查看
在本地搭建好Spark 1.6.0后,除了使用spark-submit提交Python程序外,我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单,在stackoverflow上搜索到的。同时,IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序,配置步骤一致。
0.安装PyCharm和py4j
我的系统环境(Ubuntu 14.04.4 LTS)
下载安装最新版本的PyCharm,官网地址: https://www.jetbrains.com/pycharm/download/ 。
安装步骤: - Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz - Run pycharm.sh from the bin subdirectory
安装py4j:
$ sudo pip install py4j
1.配置Pycharm
打开PyCharm,创建一个Project。 然后选择“Run” ->“Edit Configurations” ->“Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。 - SPARK_HOME:Spark安装目录 - PYTHONPATH:Spark安装目录下的Python目录
2.测试Pycharm
运行一个小的Spark程序看看:
“”“SimpleApp”“”
from pyspark import SparkContext
logFile = “/home/tom/spark-1.6.0/README.md”
sc = SparkContext(“local”,”Simple App”)
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: ‘a’ in s).count()
numBs = logData.filter(lambda s: ‘b’ in s).count()
print(“Lines with a: %i, lines with b: %i”%(numAs, numBs))
运行结果:
Lines with a: 58, lines with b: 26
0.安装PyCharm和py4j
我的系统环境(Ubuntu 14.04.4 LTS)
下载安装最新版本的PyCharm,官网地址: https://www.jetbrains.com/pycharm/download/ 。
安装步骤: - Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz - Run pycharm.sh from the bin subdirectory
安装py4j:
$ sudo pip install py4j
1.配置Pycharm
打开PyCharm,创建一个Project。 然后选择“Run” ->“Edit Configurations” ->“Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。 - SPARK_HOME:Spark安装目录 - PYTHONPATH:Spark安装目录下的Python目录
2.测试Pycharm
运行一个小的Spark程序看看:
“”“SimpleApp”“”
from pyspark import SparkContext
logFile = “/home/tom/spark-1.6.0/README.md”
sc = SparkContext(“local”,”Simple App”)
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: ‘a’ in s).count()
numBs = logData.filter(lambda s: ‘b’ in s).count()
print(“Lines with a: %i, lines with b: %i”%(numAs, numBs))
运行结果:
Lines with a: 58, lines with b: 26
相关文章推荐
- 使用uwsgi 部署python web服务
- Python入门:验证码破解(二)
- 『python学习』正则表达式学习
- python并发获取snmp信息及性能测试
- 用Python和OpenCV创建一个图片搜索引擎的完整指南
- python实现根据两点经纬度计算实际距离
- Python学习之路(Win7)之Python核心编程
- python2.0_s12_day12_html介绍
- 在windows7(64位)下安装python(3.4)的theano库
- python for循环remove同一个list
- python for循环remove同一个list 推荐
- python冒泡排序和Range用法
- Python学习笔记 —— mysql数据库使用
- python特有的输出格式
- 关于Python爬虫程序scrapy的安装问题
- 决策树--ID3
- 将自己写的Python代码打包放到PyPI上
- python setup.py用法
- yum出现“No module named yum”错误解决方法
- 用GDB排查Python程序故障