spark2.0下实现IPYTHON3.5开发，兼配置jupyter，notebook降低python开发难度

spark2.0下实现IPYTHON3.5开发，兼配置jupyter，notebook降低python开发难度

1、spark2.0安装就不说了，网上有很多，不会的话给我留言。

2、我们在spark2.0下用python开发的话，不需要安装python了，直接安装anaconda就可以啦！

3、anaconda下载地址：https://www.continuum.io/downloads，这里提供3.5和2.7的，考虑到以后学习，我下载最新的3.5，界面如下：



4、通过scp将其拷贝到linux系统里面，我把它拷贝到了home目录下的Downloads下，大家可以根据自己喜好放置：界面如下：



5、输入安装命令安装命令，如下图所示：



6、回车，如下图所示：



7、输入yes，如下图所示：



8、输入回车，默认安装即可，当然也可以修改，这里默认安装，如下图所示：



9、这时候大家看到，anaconda已经还有python3.5了，所以不需要安装，如下图所示：





10、稍等一会，安装完成如下图所示：



11、anaconda默认的环境变量大家看到上一张图是在home目录下的./bashrc里面，我们vim 一下这个文件，发现环境变量已经配置完成，如下图所示：



12、这时候我们先运行一下pyspark，看下效果，我们发现是2.6.6，不是python3.5，但是还是可以启动的，如下图所示：







13、我们为了使用anaconda，所以这里在.bashrc文件里面配置一下，命令如下：

export PYSPARK_PYTHON=/root/anaconda3/bin

export IPYTHON=”1”

界面如下图所示：



14、这时候我们进入spark的bin目录执行./pyspark，看下界面，如下图所示：



15、我们发现报错了，IPYTHON和IPYTHON_OPTS已经在spark2.0+以上不使用了，所以我们删除IPYTHON=”1”，source一下.bashrc，重新reboot一下虚拟机，这个时候我们在执行./pyspark，界面如下图所示：



16、配置成功！

17、anaconda集成了IPYTHON为的是方便我们开发，大家还记得刚才报错的那个地方，新的版本已经把IPYTHON更名了，好那我们就把刚才报错提示要配置的那两个参数配置一下PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS,命令如下：

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS=”notebook –NotebookApp.open_browser=False –NotebookApp.ip=’*’ –NotebookApp.port=8880”

界面如下：



这个时候在重新启动./pyspark,发现启动界面变了，如下图所示：



我们这时候可以在浏览器里面可以按红色框提示的信息输入，例如我输入：192.168.85.100:8880，界面如下图所示：



哇塞，一不小心我们把Jupyter配置好了，关于Jupyter的使用，大家可以上官网查阅，我这里就不解释了，这样基于python学习spark是不是方便一些了。

总结：spark2.0整合python开发主要是安装一下anaconda，然后配置一下PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS参数，接下来我们就开始学习spark的开发吧。