利用Mxnet自带的工具，进行数据转化，读取图片文件

一、MXNet，不是直接处理原生数据比如图片之类的，而是处理的自定义的一种文件格式rec。而rec格式的文件由依赖于一个描述原生数据的列表文件格式lst。

数据集：caltech256,其中包含两个文件，一个test,一个train，每个文件里面又有很多个代表类标的文件，各个文件里存放了每一类的图片。



二.从原生数据生成lst文件

这个图像文件列表的格式如下：

integer_image_index \t label_index \t path_to_image



mxnet/tools/路径下运行make_list.py

python make_list.py /root/DATA/caltech256x256-256/train/ /root/DATA/train --recursive=True

第一个参数是图片所在的根目录

第二个参数是生成lst文件的前缀，这里我们可以把路径加进去从而保证test.lst是生成在～/data/下的。

第三个参数代表每读取一个目录，增加一个类标，因为/root/DATA/caltech256x256-256/train/文件下有很多类的文件，每个文件里面存放每类的图片。



三.从lst文件生成rec

在路径mxnet/bin/下有个文件：im2rec

直接在命令行使用这个文件就行。具体使用方法可以查看源码,这里我只举个最简单的栗子：

./im2rec /root/DATA/train.lst /root/DATA/caltech256x256-256/train/ /root/DATA/train.rec

第一个参数指明lst文件

第二个参数指明图片根目录，这样才能找到图片

第三个参数指明生成的rec文件



四.创建Data Iterator

参考mxnet/example/image-classification里面train_cifar10.py或者train_imagenet.py例子进行修改即可。

# data

def get_iterator(args, kv):

data_shape = (3, 256, 256)

train = mx.io.ImageRecordIter(

path_imgrec = args.data_dir + "train.rec",

mean_r = 123.68,

mean_g = 116.779,

mean_b = 103.939,

data_shape = data_shape,

batch_size = args.batch_size,

rand_crop = True,

rand_mirror = True,

num_parts = kv.num_workers,

part_index = kv.rank)

val = mx.io.ImageRecordIter(

path_imgrec = args.data_dir + "test.rec",

mean_r = 123.68,

mean_g = 116.779,

mean_b = 103.939,

rand_crop = False,

rand_mirror = False,

data_shape = data_shape,

batch_size = args.batch_size,

num_parts = kv.num_workers,

part_index = kv.rank)

return (train, val)