CaffeOnSpark安装和使用教程系列一：CaffeOnSpark的安装

     由于实习公司的任务要求，需要学习CaffeOnSpark的安装和使用，作为一个对DL学习不到一个月的小白，拿到这个任务的时候真的是一脸懵逼，没招只能上网找教程。可能这个技术比较新，网上的教程比较少，比较详细的一个是：

参考教程。这个教程对于有一定深度学习基础的朋友来说应该足够了，但像我这样入门级的菜鸟，中间会掉一个又一个的坑。通过半个多月的掉坑、爬坑的痛哭煎熬过程，终于完成了CaffeOnSpark的安装和测试案例的使用。废话不多说，直接上干货！

说明：本教程默认hadoop和spark集群已经搭建完成，由于网上关于搭建hadoop集群和spark集群的教程很多，在此就不过多介绍具体的搭建过程。

1、更新源
    sudo apt-get update
2、下载CaffeOnSpark
确保服务器中已经安装git，如果没有，执行如下命令：
sudo apt-get install git
下载CaffeOnSpark：
sudo git clone https://github.com/yahoo/CaffeOnSpark.git --recursive
3、安装maven
   （1）确保已经安装好jdk
   （2）下载apache-maven-3.2.5-bin.tar.gz
   （3）解压
        tar -zxvf  apache-maven-3.2.5-bin.tar.gz
   （4）修改环境变量
        sudo vim /etc/profile
       在末尾添加：
       export M2_HOME=/home/master/software/apache-maven-3.2.5
       export PATH=$M2_HOME/bin:$PATH
      使环境变量生效
       source /etc/profile
  （5）检测是否安装成功
       mvn -v
       如果出现如下结果表示安装成功：
 


4、安装Caffe
   （1）安装依赖包
        sudo apt-get install libprotobuf-dev protobuf-compiler
        sudo apt-get install libleveldb-dev
        sudo apt-get install libsnappy-dev
        sudo apt-get install libopencv-dev
        sudo apt-get install libhdf5-serial-dev
        sudo apt-get install --no-install-recommends libboost-all-dev
        sudo apt-get install libatlas-base-dev
        sudo apt-get install python-dev
        sudo apt-get install libgflags-dev
        sudo apt-get install libgoogle-glog-dev
        sudo apt-get install liblmdb-dev
   （2）下载Caffe
      git clone
https://github.com/bvlc/caffe.git
（3）修改Caffe中的Makefile.config，打开CPU_ONLY选项：
   cd caffe/
   mv Makefile.config.example Makefile.config
   vim Makefile.config
   去掉CUP_ONLY :=1前边的“#”
（4）编译Caffe
     make all
4、修改CaffeOnSpark中caffe-public下的Makefile.config配置文件：
   cd CaffeOnSpark/caffe-public
   sudo mv Makefile.config.example Makefile.config
   sudo vim Makefile.config
去掉CUP_ONLY :=1前边的“#”
 


在配置文件中添加：
 


INCLUDE_DIRS +=${JAVA_HOME}/include
5、编译CaffeOnSpark
  在CaffeOnSpark的主目录下执行命令：
  sudo make build
  使用sudo为了保证编译过程中对系统访问的权限，但是最好之前先运行：
  alias sudo=”sudo env PATH=$PATH”
  注：因为系统预装的sudo在编译时缺省使用了--with-secure-path参数，因此当前用户使用sudo时，之前设置的环境变量$PATH会被覆盖。通过添加上面那行别名设置，就会在执行sudo时把当前的$PATH的值再套用上，达到想要的效果。
出现下述信息，则表示编译成功：
 


注：1、判断编译成功有两个标志：一是比较在输出信息中明显的看到BUILD SUCCESS；二是在控制台看到All
tests passed信息输出。由于在CaffeOnSpark编译过程中会自动进行测试，有“All tests passed”信息输出，表示通过了所有的测试案例。
    2、在编译过程中需要下载很多东西，需要较长的时间。如果网络不好的话，可能出现编译出错的提示，可以等到网络稳定了在make build一次。
   在编译过程中会进行测试，可通过Spark集群的master：4040web页面查看测试案例的执行情况：



注：1、在编译CaffeOnSpark时，若出现如下错误：
 


解决办法：
          sudo apt-get install python-numpy
  2、在编译CaffeOnSpark时，出现：
 


产生原因：没有指定Spark集群的Master节点IP

解决办法：在Spark的conf目录下修改spark-env.sh配置文件：

添加：

    export SPARK_MASTER_IP=192.168.1.107

   3、在编译CaffeOnSpark时，出现如下错误（比较重要的问题，若在编译过程中不解决，在随后使用过程中也会出现类似问题）：
ERROR: testTrain (__main__.PythonApiTest)

----------------------------------------------------------------------

Traceback (most recent call last):

  File "/home/master/CaffeOnSpark/caffe-grid/src/test/python/PythonApiTest.py", line 28, in setUp

    self.cos=CaffeOnSpark(sc)

  File "/home/master/CaffeOnSpark/caffe-grid/target/caffeonsparkpythonapi.zip/com/yahoo/ml/caffe/CaffeOnSpark.py", line 25, in __init__

    self.__dict__['caffeonspark']=wrapClass("com.yahoo.ml.caffe.CaffeOnSpark")

 


产生原因：从上边截取的部分错误信息记录可以看到出现的错误在com.yahoo.ml.caffe包下的CaffeOnSpark类中。在该类中需要调用Spark
sql包中的UserDefinedFunction类的相关接口，但在Spark2.0的版本org.apache.spark.sql包已经没有UserDefinedFunction这个类。
解决办法：按照yahoo在Github上CaffeOnSpark的官方文档中的介绍更改hadoop和spark的版本，使用hadoop的版本为hadoop-2.6.4，spark的版本为spark-1.6.0。