您的位置:首页 > 运维架构

windows下安装anaconda、spark、hadoop

2017-04-10 10:52 996 查看
1、windows下安装Anaconda3后,import pyspark出错:无模块pyspark,或py4j。
解决方法:设置路径,增加系统变量:
1、PYTHONPATH=%SPARK_HOME%\Python;%SPARK_HOME%\Python\lib\py4j-0.10.3-src.zip
2、将D:\spark-2.0.2-bin-hadoop2.7\python\pyspark复制至 D:\Anaconda3\Lib\site-packages

2、程序报错
[/code]
spark.sql("CREATE TABLE user_item AS SELECT t.* FROM user AS t JOIN item AS b ON t.item_id=b.item_id  AND  t.item_category=b.item_category")

 raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: "unresolved operator 'CreateHiveTableAsSelectLogicalPlan CatalogTable(
  解决方法:
不用spark=SaprkSession(sc),换用spark=HiveContext(sc)
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: