如何将PySpark导入Python的放实现(2种)

方法一

使用findspark

使用pip安装findspark：

pip install findspark

在py文件中引入findspark：

>>> import findspark
>>> findspark.init()

导入你要使用的pyspark库

>>> from pyspark import *

优点：简单快捷
缺点：治标不治本，每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点：一劳永逸
缺点：对于小白可能不太了解环境变量是什么

问题1、ImportError: No module named pyspark

现象：

• 已经安装配置好了PySpark，可以打开PySpark交互式界面；
• 在Python里找不到pysaprk。

参照上面解决

问题2、ImportError: No module named ‘py4j'

现象：

已经安装配置好了PySpark，可以打开PySpark交互式界面；
按照上面的b方式配置后出现该问题。
解决方法：

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

• Python: 3.7、2.7
• PySpark: 1.6.2 - 预编译包
• OS: Mac OSX 10.11.1
  

参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

• pyspark 随机森林的实现
• pyspark给dataframe增加新的一列的实现示例
• Pyspark获取并处理RDD数据代码实例
• Pyspark读取parquet数据过程解析
• pycharm编写spark程序，导入pyspark包的3中实现方法
• 浅谈PySpark SQL 相关知识介绍
• PyCharm搭建Spark开发环境实现第一个pyspark程序
• PyCharm+PySpark远程调试的环境配置的方法