定制带第三方库的python，解决spark/hadoop环境中sklearn的调用问题

Conda, Miniconda (Python)这是一个python定制的好工具。忙活了一整天，终于发现了它，这个工具可以让我们定制python和对应的第三方的库，方便我们在不同机器上执行这些第三方的库。 http://scikit-learn.org/stable/install.html conda/conda https://github.com/conda/conda Miniconda http://conda.pydata.org/miniconda.html
Python 2.7 64-bit (bash installer)

Python3.4 64-bit (bash installer)

去官网下载它们的安装文件，然后利用命令安装（linux下，mac是图形界面），安装后有一个目录，里边有对应的文件夹，去bin下边，
列出你目前在那一個 conda 環境

>>> conda info
Note: 不要設定 PYTHONPATH, PYTHONHOME

>>> conda info -a # 會顯示這些環境變數的值
列出目前可用的 conda 環境

>>> conda info --env
建立一個乾淨的環境 (e.g. myenv)
>>> conda create -n myenv python
指定 Python 版本

>>> conda create -n myenv python=3.4
切換 conda 環境 (e.g. myenv)
切換環境

(手動) 設定 PATH 變數

$ export PATH=~/miniconda3/envs/myenv/bin/:$PATH
OR
$ source activate myenv
>>> source deactivate
安裝套件
在 myenv 環境下安裝 scipy

>>> conda install -n myenv scipy
OR
>>> source active myenv
>>> conda install scipy
在 myenv 環境安裝 pip

>>> conda install -n myenv pip
移除套件
>>> conda remove -n myenv scipy
OR
>>> source active myenv
>>> conda remove scipy
升級 conda
>>> conda update conda
Conda 環境 (一個特別的目錄)
conda 預設被裝在家目錄的 ~/miniconda (~/miniconda3)

ROOT_DIR
conda 被安裝的目錄
/pkg (PKGS_DIR)
/envs
conda 環境
/bin
/include
/lib
/share
Directory Structure
Configuration
$ tree miniconda3 -L 1
miniconda3
├── bin
├── conda-meta
├── envs
├── include
├── lib
├── LICENSE.txt
├── pkgs
├── share
└── ssl

我主要用它来构建分布式环境下的数据挖掘和机器学习的执行环境。由于一些原因，在服务器机组中没有安装第三方的机器学习的库，而这些库的性能又比mllib自带的要好，对我们而言它非常重要。这个时候，可以利用它打包python（带有第三方库）传到对应的机器上供调用，然后，利用这个python执行我们的代码。由于是分布式的环境，我们解压这个压缩包的时候一定要注意技巧。我的做法是，在driver上利用pipe执行一个sh脚本，脚本中，先判断是否有解压的目录，如果有就利用解压好的python执行我们的代码调用，没有就先解压，再调用。