mxnet实战笔记(1) - 使用自己的图片数据训练CNN模型
2017-02-21 01:22
716 查看
前言
很久之前笔者就配好了mxnet环境,却因为种种原因始终没有进行系统的学习,其中一个原因是mxnet的文档不甚详细,相关教程数量和TensorFlow等框架相比也比较少,不太容易上手。因此,笔者计划近期写几篇文章来整合mxnet的零散知识,一方面补充网上很多教程都缺乏的实际使用细节,另一方面督促自己坚持深度学习实践。废话不多说,我们现在开始!本篇笔记记录了我使用Kaggle的”dogs vs cats”图像数据集训练CNN模型的全过程,主要内容包括:数据集的获取、图像预处理成mxnet的标准格式、使用数据迭代DataIter来输入数据、使用(别人写好的)CNN、训练模型。
笔者的实现https://github.com/stormouse/mxnet-practice/tree/master/image_clf_net,供参考。
数据集的获取
本次实验使用的数据集来自Kaggle的Dogs vs. Cats竞赛,数据可以在登录Kaggle后进行下载:https://www.kaggle.com/c/dogs-vs-cats/data
下载后有三个文件sampleSubmission.csv, train.zip, test1,zip。其中csv文件是提交Kaggle竞赛的样例文件;train.zip中有数万张带标注的猫狗图片;test1.zip中有数万张不带标注的猫狗图片。本次实验中我们仅使用train.zip中的数据。
解压train.zip中的文件到data_folder/train,打开train文件夹可以看到许多猫猫狗狗的可爱小图:
这样裸着的jpg图片不能直接作为训练数据,需要转化成比较规范的格式。首先,输入CNN的原始图片应当具有同样的尺寸,同样的通道数(如RGB为3通道)等等。另外,mxnet推荐所有的数据都应该以某种DataIter的形式呈现,这样我们通过mxnet的接口就可以很方便地进行训练(见后文)。
介绍一下DataIter
DataIter,简单说就是mxnet提供的一种比较完善的数据格式,每一个DataIter对应着一个完整的数据集,使用迭代的方式一次从整个数据集中读出一部分(一个样本batch,样本数=batch_size),进行模型的训练。这样的样本batch表示为一个4维的NDArray,形状为(batch_size, n_channel, width, height),可以说是为图像输入量身定做。本次实验我们保留图片的彩色(n_channel=3),修改图片尺寸到32*32。所以每一次取出的样本batch形状为(batch_size, 3, 32, 32)。
简单的图像预处理
mxnet支持将一种.rec格式的数据集直接导入为DataIter,同时提供了一种工具可以将一个裸的图片数据集转化成.rec格式。为了简化过程,我们采用mxnet提供的小工具来将我们的数据集转化为.rec格式。mxnet提供的工具在mxnet/tools目录下,如果im2rec.cc/cpp已经编译成可执行文件,则可以使用该可执行文件;否则可以使用同目录下的im2rec.py。笔者使用的是im2rec.py。
在windows系统下im2rec.py可能出现不支持多线程的问题,可以查看代码将”try: import multiprocessing”的try分支去掉,直接使用except分支进行单线程处理即可。
另外,有些版本带的im2rec.py中存在拆箱错误,将, s, = q_out.get()修改为s, _ = q_out.get()即可。
出现其他(笔者未见的)问题请移步大牛的博文
http://blog.csdn.net/sunshine_in_moon/article/details/52936088
im2rec.py的运行原理是这样的:
首先它需要拿到一个列表文件,格式为”下标\t标签\t文件路径”,如:
0 0 dog.292.jpg 1 0 dog.5654.jpg 2 1 cat.6234.jpg 3 1 cat.10217.jpg
之后它遍历这个列表的每一行,打开文件->预处理->保存到数据集的指定下标处->给定对应的标签。
这个列表文件笔者是写python脚本生成的,逻辑非常简单:得到文件夹中的所有文件名,使用random.shuffle来随机打乱,然后再一行一行的输出到这个列表文件当中即可。label(标签)当文件名中有”dog”时输出0,否则输出1。生成的列表后缀一定要为.lst。
我的列表生成脚本,还按0.8/0.2将数据分成了训练集和内部测试集:
https://github.com/stormouse/mxnet-practice/blob/master/image_clf_net/listgen.py
然后使用im2rec.py工具,第一个参数prefix是列表文件的路径(不含扩展名”.lst”),第二个参数是图片所在的目录。笔者还用到了–resize参数,将图片的长边缩放至32像素。假如你的列表文件叫做list_folder/train.lst,图片位于data_folder/train目录,则运行
python im2rec.py list_folder/train data_folder/train --resize 32
等待片刻,在list_folder下可以看到生成好的.rec文件。这里我们对训练集和内部测试集分别生成.rec文件。(见笔者github的代码)
图片输入和ImageRecordIter
ImageRecordIter是一种特殊的DataIter,可以直接接受上文所说的数据集转化成4维NDArray。读取rec文件生成一个ImageRecordIter:# 创建训练集iter train_iter = mx.io.ImageRecordIter( path_imgrec="data/train.rec", #rec文件路径 data_shape=(3,32,32), #期望的数据形状,注意: #即使图片不是这个尺寸,也可以在此被自动转换 batch_size=1000, #每次传入1000条数据 ) # 创建内部测试集iter val_iter = mx.io.ImageRecordIter( path_imgrec="data/test.rec", data_shape=(3,32,32), batch_size=1000, #必须与上面的batch_size相等,否则不能对应 )
数据集方面已经准备完毕,我们可以确认一下获取数据集导入的正确性。
batch = train_iter.next() #导入一个样本batch print batch data = batch.data[0] from matplotlib import pyplot as plt for i in range(3): plt.subplot(1, 3, i+1) plt.imshow(data[i].asnumpy().astype(np.uint8).transpose((1,2,0))) plt.show()
拿来主义:使用lenet模型
直接拷贝我代码中的get_lenet函数即可(貌似我去掉了一层tanh…所以不是标准的lenet了)。进行训练
这里靠说不如直接贴代码,见注释。import logging logging.getLogger().setLevel(logging.DEBUG) #设置logger输出级别 #删除此句则无法输出训练状态 model = mx.model.FeedForward( ctx = mx.gpu(0), #使用gpu,若无gpu写mx.cpu() symbol = get_lenet(), #使用刚拿来的lenet num_epoch = 50, #设置运行epoch数 #全体样本遍历一次是一个epoch learning_rate = 0.01, #学习率,可调 ) model.fit( X = train_iter, #训练集 eval_data = val_iter, #验证集 batch_end_callback = mx.callback.Speedometer(batch_size, 200) #监视训练状态 #每200个iteration后输出一次 )
运行!经过50个epoch,笔者的模型分类准确率达到了70%左右。
相关文章推荐
- mxnet 使用自己的图片数据训练CNN模型
- 【深度学习】笔记6:使用caffe中的CIFAR10网络模型和自己的图片数据训练自己的模型(步骤详解)
- Tensorflow学习笔记:用minst数据集训练卷积神经网络并用训练后的模型测试自己的BMP图片
- 使用lenet模型训练及预测自己的图片数据
- Caffe初试(三)使用caffe的cifar10网络模型训练自己的图片数据
- Faster Rcnn+ZF用自己的数据训练模型成功经验(matlab版)
- Caffe使用step by step:使用自己数据对已经训练好的模型进行finetuning
- tensorflow object_detection 用自己的数据训练目标检测模型Mobilenet
- Caffe使用step by step:使用自己数据对已经训练好的模型进行finetuning
- tensorflow训练自己的数据集实现CNN图像分类2(保存模型&测试单张图片)
- 【神经网络与深度学习】Caffe使用step by step:使用自己数据对已经训练好的模型进行finetuning
- Deep Learning_预训练CNN图片分类模型(AlexNet、VGG、GoogLeNet、Resnet.....)
- PyTorch(三)——使用训练好的模型测试自己图片
- 【深度学习】笔记7: CNN训练Cifar-10技巧 ---如何进行实验,如何进行构建自己的网络模型,提高精度
- YOLO模型训练自己数据-VOC格式数据集制作-ubuntu c++文件夹内图片批量读取与重命名
- 使用Faster R-CNN训练自己的数据
- 使用faster rcnn训练自己的数据(py-faster-rcnn )
- MXNet官方文档教程(4):使用预训练好的模型
- Tensorflow + ResNet101 + fasterRcnn 训练自己的模型 数据(一)
- Tensorflow 如何使用自己cifar10训练模型检测一张任意的图片