Ubuntu 14.04 for Caffe 环境搭建

1. Ubuntu访问U盘

    在Ubuntu下，如果U盘自动被挂载了，应该在/media/你的用户名/disk

2. 使用U盘安装Ubuntu14.04

    怎样制作ubuntu安装u盘

3. Ubuntu14.04鼠标闪烁问题

   Ubuntu14.04及以上操作系统鼠标闪烁问题

4. 安装CUDA Toolkit

4.1 下载cuda及安装指南

     1）下载官方安装指南，后面的安装按照《NVIDIA
CUDA INSTALLATION GUIDE FOR LINUX》进行即可。
     2）CUDA Toolkit功能如下图所示：
         


           具体包括以下内容：
            - CUDA driver 
            - Tools needed to create, build and run a CUDA application 
            - Libraries, header files, CUDA samples source code, and other resources  
     3）下载CUDA Toolkit 7.5 （注：安装CUDA时，将一起安装CUDA
Toolkit和显卡Driver）

       

4.2 安装前工作

     1）CUDA 7.5需要的支持环境如下表所示，后面的检查按此表进行
     


     2）确认有支持CUDA的GPU     

$ lspci | grep -i nvidia

     3）确认Linux系统满足CUDA7.5要求的环境，具体要求见上表

$ uname -m && cat /etc/*release

     4）确认gcc版本满足上表要求

$ gcc --version

     5）确认系统安装了正确的Kernel Headers和开发包

$ uname -r
$ sudo apt-get install linux-headers-$(uname -r)

     6）查看GPU使用情况

$ nvidia-smi

4.3 安装

      1）选择安装方法
            - Distribution-specific packages （官方建议）
              它与本地包管理系统接口
            - Distribution-independent package (本文采用，下载deb包)
              其优点是可以安装在大部分Linux系统上，但不更新本地包管理系统
      2）如果以前安装过别的版本的CUDA Toolkit，在新安装之前，把它卸载掉

$ sudo apt-get --purge remove <package_name> # Ubuntu uninstall RPM/Deb installation

      3）Install repository meta-data

$ sudo dpkg -i cuda-repo-<distro>_<version>_<architecture>.deb

      4）Update the Apt repository cache     

$sudo apt-get update

      5）Install CUDA

$sudo apt-get install cuda

4.4 安装后工作

4.4.1 必做操作

    1）设置环境变量（在~/.bashrc中添加如下内容）

$ export PATH=/usr/local/cuda-7.5/bin:$PATH
$ export LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64:$LD_LIBRARY_PATH

    设置完成之后，就可以运行nvcc了，因为它位置/usr/local/cuda-7.5/bin目录下  
    或相关路径增加到/etc/environment中，对所有用户有效

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/cuda-7.5/bin"
LD_LIBRARY_PATH="/usr/local/cuda-7.5/lib64"

4.4.2 推荐操作

    这些操作用于验证安装的完整性
    1）安装例子程序

$ cuda-install-samples-7.5.sh <dir>  # dir with write permissions

    2）确认Driver版本

$cat /proc/driver/nvidia/version

    3）编译例子程序
            - nvcc -V  #可以验证CUDA Toolkit是否已经安装好
            - nvcc用于编译CUDA程序，它调用gcc编译器编译C代码，调用NVIDIA PTX编译器编译CUDA代码
            - 进 入NVIDIA_CUDA-7.5_Samples目录，然后执行make，即可编译例子程序，生成的文件位于NVIDIA_CUDA-7.5_Samples/bin目录下
           
    4）运行例子程序    

$./deviceQuery

5. 安装常用工具包

5.1 安装ssh server

$sudo apt-get install openssh-server

$sudo ps -e | grep -i sshd    # check ssh service startup
$sudo service ssh start       # startup ssh service

5.2 安装配置Samba

     1）安装Samba

$sudo apt-get install samba samba-common

      2）配置Samba
         参考：ubuntu14.04如何搭建samba服务器登录home目录

            在root账户下执行：gedit /etc/samba/smb.conf，按下图修改：
         


    3）重启服务         

#service smbd restart
#service nmbd restart

    4）为已有账户增加密码(如:用记名为steve)
     #smbpasswd -a steve       （设密码为123456）
    5）Windows可通过以下方式进行访问 
       路径：\\ip\steve   
       用户名：steve

      密码：123456
    6）若访问时出现错误“指定的网络名不再可用”    
      - 查看/var/log/samba/log.{计算机名} - 计算机名是你的windows主机名称
      - 若错误中含有“../source3/lib/popt_common.c:68(popt_s3_talloc_log_fn)” 
      - 重新安装以下包，原来的包版本不兼容 

$apt-get install --reinstall libsmbclient libsmbclient-dev libtevent0 libtalloc2

5.3 Ubuntu下面安装gmake

     gmake就是GNU make，在Ubuntu环境下，执行如下命令即可

$sudo ln -s /usr/bin/make /usr/bin/gmake

5.4 配置TBB

    TBB: Intel Threading Building Blocks
    1）下载源码包：https://www.threadingbuildingblocks.org/download

          比如我下载的包名为：tbb44_20160526oss_src_0.tgz

    2）把tbb44_20160526oss_src_0.tgz 拷贝到/opt/tbb目录下

    其它的参考：Linux环境下配置Google Test、TBB、OpenMP和OpenCV

#cd /opt/tbb
#tar zxvf tbb44_20160526oss_src_0.tgz
#cd tbb44_20160526oss
#make

    上面的操作之所以放在/opt下面，是因为想把TBB装在/opt/tbb目录下，然后用环境变量的方式让编译器找到这个位置，这是TBB推荐的做法。以上这些步骤完成之后，会在tbb44_20160526oss目录下产生build目录，里面是编译出来的结果，然后：

#cd build

    看到里面有两个目录：linux_intel64_gcc_cc4.8_libc2.19_kernel4.2.0_debug和linux_intel64_gcc_cc4.8_libc2.19_kernel4.2.0_release，分别是debug和release版本。如何让编译器找到这个位置呢？推荐的做法是在~/.bashrc中添加这么几行：

    如果使用release版本：

source /opt/tbb/tbb44_20160526oss/build/linux_intel64_gcc_cc4.8_libc2.19_kernel4.2.0_release/tbbvars.sh
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

    如果使用debug版本：

source /opt/tbb/tbb44_20160526oss/build/linux_intel64_gcc_cc4.8_libc2.19_kernel4.2.0_debug/tbbvars.sh
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

    关键在于tbbvars.sh，里面其实就是设置环境变量的过程，包括CPATH、LIBRARY_PATH和LD_LIBRARY_PATH，但是这个脚本直接将这三个环境变量设置为tbb的编译目录，而不是添加到当前的环境变量之后，所以需要注意一下。

5.5 安装Python接口

   安装Python接口

5.6 安装OpenCV

    参见“Ubuntu14.04
安装配置Opencv3.0和Python2.7”

6. 安装cuDNN

    cuDNN：CUDA® Deep Neural Network library (cuDNN)
    注意：cuDNN
V3.0与V5.0的接口是不兼容的，若需运行别人的代码，需要先看看代码需要哪个版本的cuDNN，然后根据GPU和CUDA的环境进行选择哪个cuDNN。
    cuDNN是一个使用GPU对深度神经网络进行加速的原语库，它为一些标准例程（如：forward, backward, convolution, pooling, normalization and activation layers）提供了高度优化的实现，它是NVIDIA
Deep Learning SDK的一部分。
    1）下载cuDNN
    


     2）安装cuDNN
     把下载好的cudnn-7.5-linux-x64-v5.0-ga.tgz 拷贝到/opt/cudnn目录下

$sudo tar zxvf cudnn-7.5-linux-x64-v5.0-ga.tgz
$cd /opt/cudnn/cuda/include
$sudo cp * /usr/local/cuda/include
$cd /opt/cudnn/cuda/lib64
$sudo cp * /usr/local/cuda/lib64

7. 安装Caffe编译环境

7.1 安装依赖包 

$sudo apt-get install libatlas-base-dev
$sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev
$sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler
$sudo apt-get install python-dev python-numpy python-scipy python-matplotlib

7.2 安装Caffe

$git clone https://github.com/BVLC/caffe.git $cd caffe
$cp Makefile.config.example Makefile.config

7.3 编译Caffe

$make all
$make pycaffe

7.4 测试Caffe

$make test
$make runtest

7.5 跑一下mnist

$cd caffe
$sh data/mnist/get_mnist.sh
$sh examples/mnist/create_mnist.sh
$vi examples/mnist/lenet_solver.prototxt # 如果没有GPU,修改solver_mode为 CPU
$./examples/mnist/train_lenet.sh