mxnet 使用自己的图片数据训练CNN模型

前言

很久之前笔者就配好了mxnet环境，却因为种种原因始终没有进行系统的学习，其中一个原因是mxnet的文档不甚详细，相关教程数量和TensorFlow等框架相比也比较少，不太容易上手。因此，笔者计划近期写几篇文章来整合mxnet的零散知识，一方面补充网上很多教程都缺乏的实际使用细节，另一方面督促自己坚持深度学习实践。废话不多说，我们现在开始！

本篇笔记记录了我使用Kaggle的”dogs vs cats”图像数据集训练CNN模型的全过程，主要内容包括：数据集的获取、图像预处理成mxnet的标准格式、使用数据迭代DataIter来输入数据、使用（别人写好的）CNN、训练模型。

笔者的实现https://github.com/stormouse/mxnet-practice/tree/master/image_clf_net，供参考。

数据集的获取

本次实验使用的数据集来自Kaggle的Dogs vs. Cats竞赛，数据可以在登录Kaggle后进行下载： 
https://www.kaggle.com/c/dogs-vs-cats/data

下载后有三个文件sampleSubmission.csv, train.zip, test1,zip。其中csv文件是提交Kaggle竞赛的样例文件；train.zip中有数万张带标注的猫狗图片；test1.zip中有数万张不带标注的猫狗图片。本次实验中我们仅使用train.zip中的数据。

解压train.zip中的文件到data_folder/train，打开train文件夹可以看到许多猫猫狗狗的可爱小图： 



这样裸着的jpg图片不能直接作为训练数据，需要转化成比较规范的格式。首先，输入CNN的原始图片应当具有同样的尺寸，同样的通道数（如RGB为3通道）等等。另外，mxnet推荐所有的数据都应该以某种DataIter的形式呈现，这样我们通过mxnet的接口就可以很方便地进行训练（见后文）。

介绍一下DataIter

DataIter，简单说就是mxnet提供的一种比较完善的数据格式，每一个DataIter对应着一个完整的数据集，使用迭代的方式一次从整个数据集中读出一部分（一个样本batch，样本数=batch_size），进行模型的训练。这样的样本batch表示为一个4维的NDArray，形状为(batch_size, n_channel, width, height)，可以说是为图像输入量身定做。

本次实验我们保留图片的彩色（n_channel=3），修改图片尺寸到32*32。所以每一次取出的样本batch形状为(batch_size, 3, 32, 32)。

简单的图像预处理

mxnet支持将一种.rec格式的数据集直接导入为DataIter，同时提供了一种工具可以将一个裸的图片数据集转化成.rec格式。为了简化过程，我们采用mxnet提供的小工具来将我们的数据集转化为.rec格式。

mxnet提供的工具在mxnet/tools目录下，如果im2rec.cc/cpp已经编译成可执行文件，则可以使用该可执行文件；否则可以使用同目录下的im2rec.py。笔者使用的是im2rec.py。

在windows系统下im2rec.py可能出现不支持多线程的问题，可以查看代码将”try: import multiprocessing”的try分支去掉，直接使用except分支进行单线程处理即可。

另外，有些版本带的im2rec.py中存在拆箱错误，将, s, = q_out.get()修改为s, _ = q_out.get()即可。

出现其他（笔者未见的）问题请移步大牛的博文 
http://blog.csdn.net/sunshine_in_moon/article/details/52936088

im2rec.py的运行原理是这样的： 

首先它需要拿到一个列表文件，格式为”下标\t标签\t文件路径”，如：

0   0   dog.292.jpg
1   0   dog.5654.jpg
2   1   cat.6234.jpg
3   1   cat.10217.jpg

1
2
3
4
1
2
3
4

之后它遍历这个列表的每一行，打开文件->预处理->保存到数据集的指定下标处->给定对应的标签。

这个列表文件笔者是写Python脚本生成的，逻辑非常简单：得到文件夹中的所有文件名，使用random.shuffle来随机打乱，然后再一行一行的输出到这个列表文件当中即可。label（标签）当文件名中有”dog”时输出0，否则输出1。生成的列表后缀一定要为.lst。

我的列表生成脚本，还按0.8/0.2将数据分成了训练集和内部测试集： 
https://github.com/stormouse/mxnet-practice/blob/master/image_clf_net/listgen.py

然后使用im2rec.py工具，第一个参数prefix是列表文件的路径（不含扩展名”.lst”），第二个参数是图片所在的目录。笔者还用到了–resize参数，将图片的长边缩放至32像素。假如你的列表文件叫做list_folder/train.lst，图片位于data_folder/train目录，则运行

python im2rec.py list_folder/train data_folder/train --resize 32

1
1

等待片刻，在list_folder下可以看到生成好的.rec文件。这里我们对训练集和内部测试集分别生成.rec文件。（见笔者github的代码）

图片输入和ImageRecordIter

ImageRecordIter是一种特殊的DataIter，可以直接接受上文所说的数据集转化成4维NDArray。读取rec文件生成一个ImageRecordIter：

# 创建训练集iter
train_iter = mx.io.ImageRecordIter(
path_imgrec="data/train.rec", #rec文件路径
data_shape=(3,32,32),         #期望的数据形状，注意：
#即使图片不是这个尺寸，也可以在此被自动转换
batch_size=1000,              #每次传入1000条数据
)

# 创建内部测试集iter
val_iter = mx.io.ImageRecordIter(
path_imgrec="data/test.rec",
data_shape=(3,32,32),
batch_size=1000,              #必须与上面的batch_size相等，否则不能对应
)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
2
3
4
5
6
7
8
9
10
11
12
13
14

数据集方面已经准备完毕，我们可以确认一下获取数据集导入的正确性。

batch = train_iter.next() #导入一个样本batch
print batch

data = batch.data[0]

from matplotlib import pyplot as plt
for i in range(3):
plt.subplot(1, 3, i+1)
plt.imshow(data[i].asnumpy().astype(np.uint8).transpose((1,2,0)))
plt.show()

1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10

拿来主义：使用lenet模型

直接拷贝我代码中的get_lenet函数即可（貌似我去掉了一层tanh…所以不是标准的lenet了）。

进行训练

这里靠说不如直接贴代码，见注释。

import logging

logging.getLogger().setLevel(logging.DEBUG)  #设置logger输出级别
#删除此句则无法输出训练状态

model = mx.model.FeedForward(
ctx = mx.gpu(0),                     #使用gpu，若无gpu写mx.cpu()
symbol = get_lenet(),                #使用刚拿来的lenet
num_epoch = 50,                      #设置运行epoch数
#全体样本遍历一次是一个epoch
learning_rate = 0.01,                #学习率，可调
)

model.fit(
X = train_iter,                      #训练集
eval_data = val_iter,                #验证集
batch_end_callback = mx.callback.Speedometer(batch_size, 200)
#监视训练状态
#每200个iteration后输出一次
)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

运行！经过50个epoch，笔者的模型分类准确率达到了70%左右。