windows下安装anaconda、spark、hadoop
2017-04-10 10:52
996 查看
1、windows下安装Anaconda3后,import pyspark出错:无模块pyspark,或py4j。 解决方法:设置路径,增加系统变量: 1、PYTHONPATH=%SPARK_HOME%\Python;%SPARK_HOME%\Python\lib\py4j-0.10.3-src.zip 2、将D:\spark-2.0.2-bin-hadoop2.7\python\pyspark复制至 D:\Anaconda3\Lib\site-packages 2、程序报错[/code]
spark.sql("CREATE TABLE user_item AS SELECT t.* FROM user AS t JOIN item AS b ON t.item_id=b.item_id AND t.item_category=b.item_category")
raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: "unresolved operator 'CreateHiveTableAsSelectLogicalPlan CatalogTable(
解决方法:
不用spark=SaprkSession(sc),换用spark=HiveContext(sc)
相关文章推荐
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- [置顶] 安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
- Ubuntu16.04下Anaconda,spark,Hadoop的安装
- windows 10 安装 spark 环境(spark 2.2.1 + hadoop2.7)
- 安装Windows环境下的hadoop
- Windows下Cygwin环境的Hadoop安装(0)- 序言及步骤索引
- windows和cygwin下hadoop安装配置
- Windows安装hadoop
- redHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
- 在windows上安装Hadoop总结
- [Hadoop]在Windows上安装Hadoop
- windows上安装hadoop 0.21方法
- Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包
- 在Windows下安装Hadoop环境遇到的问题
- 在windows上安装Hadoop总结
- Windows下Cygwin环境的Hadoop安装(1)- Cygwin安装和配置
- Windows安装hadoop
- Windows环境下hadoop安装——ssh配置
- RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
- Windows下Cygwin环境的Hadoop安装(3)- 运行hadoop中的wordcount实例遇到的问题和解决方法