您的位置:首页 > 编程语言 > Python开发

Ubuntu18.04LTS下基于 Anaconda3 安装 Caffe-GPU及 Python3.6 + Pycharm + Mnist例子教程(超详细)

2018-06-05 15:31 836 查看
版权声明:转载请注明来源! https://blog.csdn.net/CAU_Ayao/article/details/80578600

PDF版本请点击此处下载

由于这一版教程使用的编辑器过于陈旧,不便修改界面,故又重新写一个详细的教程,可以点击访问新版详细教程:

Ubuntu18.04下基于 Anaconda3 安装编译 Caffe-GPU(超详细)

 

1.    配置Anaconda3

1.1.  下载安装包

官网下载地址:https://www.anaconda.com/download/#linux

1.2.  安装

下载完之后是后缀.sh文件

在终端输入:

[code]bash Anaconda3-5.0.0.1-Linux-x86_64.sh

2.    切换默认Python版本

2.1.  查看Python版本

终端输入python查看版本,如果默认不是python3,则在终端输入:

[code]sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150  

执行完上述两行命令之后在终端输入python,如果第一行信息是3.6,则成功。效果图如下:

如果要切换到Python2,执行:

[code]sudo update-alternatives --config python

2.2.  添加环境变量

将Python添加到环境变量中。

如果在安装Anaconda的过程中没有将安装路径添加到系统环境变量中,需要在安装后手工添加。

# 打开profile文件

[code]sudo gedit /etc/profile

# 在文件末尾处添加

[code]exportPATH=/home/liguangyao/anaconda3/bin:$PATH

其中,将“/home/liguangyao/anaconda3/bin”替换为你实际的安装路径,然后保存。

2.3.  使环境变量生效

让etc/profile文件修改后立即生效,有以下三种方法:

# 方法一 (注意:.和/etc/profile之间有空格)

[code]. /etc/profile 

# 方法二:在终端输入

[code]source /etc/profile

# 方法三:在终端输入

[code]source ~/.bashrc

然后重启系统,打开终端,输入Python,出现以下界面,表明设置成功。

也可以在终端输入ecoh $PATH查看已有的环境变量 ,确认输出是否已经有Anaconda路径了。

3.    安装Pycharm

参考Ubuntu安装Pycharm并添加系统快捷启动图标

4.    Cuda9.0安装

4.1. NVIDIA驱动安装

Ubuntu18.04自带了NVIDIA驱动,但是它没有安装完整,不能在终端使用nvidia-smi命令查看,在之后的CUDA编译测试里面也会出现问题,因此需要重新安装。重新安装的方式如下:

# 首先,检测你的NVIDIA图形卡和推荐的驱动程序的模型

[code]ubuntu-drivers devices

从中可以看到,这里有一个设备是Quadro K2000,对应的驱动是NVIDIA -390和340,系统推荐的安装390版本的驱动。有两种方法:

方法一、选择安装所有推荐的驱动

[code]sudo ubuntu-drivers autoinstall

方法二、只安装其中一个驱动

[code]sudo apt install nvidia-390

笔者选择第一种方式,执行完命令后,在终端输入:nvidia-smi 可以得到相关信息。

4.2. 降级GCC

因为Ubuntu18.04默认gcc7.0,而CUDA9.0只支持gcc6.0及以下版本,因此需要降级,笔者选择降级到的版本是gcc5.5版本。

# 首先查看自己的版本

gcc –version

笔者机器显示7.3.0,因此降级版本并激活。

# 在终端输入

[code]sudo apt-get install gcc-5 g++-5

sudo update-alternatives --install /usr/bin/gcc gcc/usr/bin/gcc-5 50

sudo update-alternatives --install /usr/bin/g++ g++/usr/bin/g++-5 50

# 这时候再在终端输入

[code]gcc –version

如果显示是5.5版本则OK。如果出现其他错误未降级情况,请自行百度/Google查看解决方案。

4.3. 依赖库的安装

# 在终端输入

[code]sudo apt-get install freeglut3-dev build-essentiallibx11-dev libxmu-dev
sudo apt-get install libxi-dev libgl1-mesa-glxlibglu1-mesa libglu1-mesa-dev

成功安装完依赖库!

4.4. 安装Cuda9.0

官网地址:点击此处进入

下载后存放的目录需要记住。

#在安装包存放目录处打开终端输入

[code]Sudo dpkg -i cuda-repo-ubuntu1704-9-0-local_9.0.176-1_amd64.deb

[code]sudo apt-key add /var/cuda-repo-9-0-local/7fa2af80.pub

[code]sudo dpkg -i cuda-repo-ubuntu1704-9-0-local-cublas-performance-update_1.0-1_amd64.deb

sudo dpkg -i cuda-repo-ubuntu1704-9-0-local-cublas-performance-update-2_1.0-1_amd64.deb

Sudo apt-get update

 

#这一步可能会出现如下错误:

The following packages have unmet dependencies:

cuda : Depends: cuda-9-0 (>= 9.0.176) but it is not going to beinstalled

E: Unable to correct problems, you have held broken packages.

解决方法参见博客:Ubuntu18.04 LTS下Caffe-GPU版本安装常见错误

#在终端继续执行:

Sudo apt-get install cuda

在/usr/local目录下可以看到cuda和cuda-9.0两个文件夹,表面安装成功,接下来进行环境变量配置。

4.5. 环境配置

完成以上的步骤以后一定要进行环境的配置。步骤如下:

#打开终端输入

[code]sudo gedit ~/.bashrc

# 会弹出一个可写的配置文件,在末尾把以下配置写入并保存

[code]export CUDA_HOME=/usr/local/cuda-9.0
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64:/usr/local/cuda-9.0/extras/CUPTI/lib64:$LD_LIBRARY_PATHs
export PATH=/usr/local/cuda-9.0/bin:$PATH
export LD_LIBRARY_PATH="/usr/local/cuda-9.0/lib64:/usr/local/cuda-9.0/extras/CUPTI/lib64:/usr/local/cuda-9.0/lib64:/usr/local/cuda-9.0/lib64"

# 最后执行

source ~/.bashrc

重启电脑。

4.6. 安装测试

在安装的时候也相应安装了一些cuda的一些例子,可以进入例子的文件夹然后使用make命令执行。

从网上找了两个例子,例一:

# 第一步,进入例子文件

cd /usr/local/cuda-9.0/samples/1_Utilities/deviceQuery

# 第二步,执行make命令

sudo make

# 第三步,运行Demo

./deviceQuery

如果结果有GPU的信息,说明安装成功。

例二:

# 进入例子对应的文件夹

 cd /usr/local/cuda/samples/5_Simulations/fluidsGL

# 执行make

 sudo make clean && sudo make

# 运行

 ./fluidsGL

自带例子测试通过,Cuna9.0安装配置完成!

5.    CuDnn7.0安装

官网下载地址:点击这里(需要注册个账号):

为适应Cudn9.0,笔者下载的是CuDnnv7.0.4 (Nov 13, 2017), for CUDA 9.0。笔者下载完的CuDnn是.solitairetheme8格式的文件。

# 解压

tar -xvzf cudnn-9.0-linux-x64-v7.solitairetheme8

# 在终端输入

sudocp cuda/include/cudnn.h   /usr/local/cuda/include

# 注意,解压后的文件夹名称为cuda ,将对应文件复制到 /usr/local中的cuda内

sudocp cuda/lib64/libcudnn*    /usr/local/cuda/lib64 

sudochmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

此处Cudnn安装完成.

# 在终端输入(此处的V是大写)

nvcc –V

安装成功!(若没有显示,可以重启电脑)

6.    Caffe-GPU安装

# 在终端输入

[code]sudo apt install caffe-cuda

6.1.基本依赖库的安装

# 在终端输入

[code]sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev

sudo apt-get install libhdf5-serial-dev protobuf-compiler

sudo apt-get install --no-install-recommends libboost-all-dev

sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

6.2.配置

# 首先我们要从GitHub的远端下载caffe的源码

git clone https://github.com/BVLC/caffe.git

[code]cd caffe sudo cp Makefile.config.example Makefile.config

sudo gedit Makefile.config

进入caffe根目录,用编辑器打开Makefile.config文件。笔者选择SublimeText。

6.2.1.修改Makefile.config的配置文件

# 将第5行注释去除

USE_CUDNN:= 1

# 将第21行注释去除

 OPENCV_VERSION := 3

将第37和38行注释或者删除

修改后如图所示

将第51行BLAS:= atlas注销,换成BLAS := open

将Python2环境注销,换成Anaconda3下的Python环境

将PYTHON_LIB:= /usr/lib注释

取消PYTHON_LIB:= $(ANACONDA_HOME)/lib的注释

[code]INCLUDE_DIRS :=$(PYTHON_INCLUDE) /usr/local/include /usr/local/hdf5/include

LIBRARY_DIRS :=$(PYTHON_LIB) /usr/local/lib /usr/lib /usr/local/hdf5/lib

6.2.2.修改Makefile文件

在终端输入:

[code]sudo gedit Makefile

# 这行去掉  

NVCCFLAGS+= -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

# 添加这行

[code]NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)  

6.3.    Caffe源码中安装Python的必要项

# 在终端输入

[code]cd /home/liguangyao/programming/caffe/python 

for req in $(cat requirements.txt); do pip install $req; done

6.4.   编译

# 进入caffe的根目录下

[code]cd /home/liguangyao/Programming/caffe

sudo make clean

sudo make all -j4   //(-j4表示使用4核处理器执行当前指令)

[code]sudo make test -j4   //最好加上sudo防止有些文件的访问权限不够

[code]sudo make runtest -j4  

此步可能会报错,解决方法参见博客:Ubuntu18.04 LTS下Caffe-GPU版本安装常见错误

[code]sudo make pycaffe -j4     //配置pycaffe

返回上一目录,输入Python测试

Congratulations!Caffe-GPU编译成功!

7.    MNIST 模型

#进入Caffe根目录

 cd /home/liguangyao/Programming/caffe

7.1. 数据集准备

#下载数据集

sudo ./data/mnist/get_mnist.sh

#转换数据格式

sudo ./examples/mnist/create_mnist.sh

7.2. 数据集训练

#训练

sudo ./examples/mnist/train_lenet.sh

#训练完成后如下所示:

7.3. 数据集测试

有三种接口可以进行数据集测试,分别是命令行、Python和MATLAB,笔者采用命令行进行测试。

在在caffe根目录下创建文件。在终端输入:

touch test_lenet.sh

sudo gedit test_lenet.sh

在文件中添加:

./build/tools/caffe.bin test -modelexamples/mnist/lenet_train_test.prototxt -weightsexamples/mnist/lenet_iter_10000.caffemodel -iterations 100

#在终端执行

sudo sh test_lenent.sh

Congratulations!测试成功!至此,Caffe-GPU版本安装测试完毕!

可以尽情的开启Caffe深度学习之旅了!

8.    参考资料

 

1. 虚拟机中ubuntu17.04+python3.6+anaconda3配置caffe(CPU)

2. linux配置Anacondapython集成环境

3. Ubuntu安装Pycharm并添加系统快捷启动图标

4. ubuntu17.04以上版本安装gpu版caffe

5. 真实机下ubuntu 18.04安装GPU +CUDA+cuDNN以及其版本选择

6. Ubuntu18.04+CUDA9.0+cuDNN7.1.3+TensorFlow1.8安装总结

7. 最全TensorFlow-gpu-1.8/1.3+Ubuntu18.04+CUDA9.0+cudnn7.0+Anaconda+pycharm+libcublas.so.9.0缺少解决办法

8. Ubuntu14.04下安装tensorflow1.7 (Cuda9.0+cudnn7.0)

9. Ubuntu18.04深度学习GPU环境配置

10. 【CPU + GPU版】Ubuntu16.04 + caffe + Anaconda2 + OpenCV3.x(附:问题集锦+测试案例)

11. ubuntu 17.10+ caffe(CPU)环境搭建

 

 

 

 

 

 

 

阅读更多
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: