制作VOC2007格式数据集用于Faster-RCNN训练

转自http://blog.csdn.net/sinat_30071459/article/details/50723212，自己加入了自己制作数据集时遇到的一些问题，和想法

首先录一段想制作成数据集的目标的视频，截成一帧一帧的图片，作为数据集的原材料。

0.文件夹名

首先，确定你的数据集所放的文件夹名字，例如我的叫logos。

（或者和voc2007一样的名字：VOC2007）

1.图片命名

虽然说图片名对训练没什么影响，但建议还是按VOC2007那样，如“000005.jpg”这种形式。至于图片格式，代码里是写的jpg。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码：

[plain] view
plain copy

%%  

%图片保存路径为：  

%E:\image\car  

%E:\image\person  

%car和person是保存车和行人的文件夹  

%这些文件夹还可以有多个，  

%放在image文件夹里就行  

%该代码的作用是将图片名字改成000123.jpg这种形式  

%%  

clc;  

clear;  

  

maindir='E:\image\';  

name_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改  

num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123  

  

subdir = dir(maindir);  

n=1;  

  

for i = 1:length(subdir)  

  if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  

     subsubdir = dir(strcat(maindir,subdir(i).name));  

    for j=1:length(subsubdir)  

         if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  

            img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  

            imshow(img);  

            str=num2str(num_begin,'%09d');  

            newname=strcat(str,'.jpg');  

            newname=newname(end-(name_long+3):end);  

            system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  

            num_begin=num_begin+1;  

            fprintf('当前处理文件夹%s',subdir(i).name);  

            fprintf('已经处理%d张图片\n',n);  

            n=n+1;  

           pause(0.1);%可以将暂停去掉  

         end  

    end  

  end  

end  

图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名，可以使用imwrite，如：

[html] view
plain copy

imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹，原图片不变  

也可以使用Total Commander来批量重命名，非常方便，推荐使用这个工具。
下载地址：Total Commander破解版
此处附上自己做的Python写的文件编号

import os

def rename(name_long):
count = 0
path_in = 'D:\\messing\\test'   #需要进行编号的图片储存文件夹
path_out = 'D:\\messing\\test\\finish'  #编号后的图片存储位置
filelist = os.listdir(path_in)  # 该文件夹下所有的文件（包括文件夹）
for files in filelist:  # 遍历所有文件
Olddir = os.path.join(path_in, files)  # 原来的文件路径
if os.path.isdir(Olddir):  # 如果是文件夹则跳过
continue
filename = os.path.splitext(files)[0]  # 文件名
filetype = os.path.splitext(files)[1]  # 文件扩展名
str_count = str(count)  #转化为string型
add_zero = name_long - len(str_count)   #计算需要补的0数
while add_zero > 0:
str_count = '0' + str_count
add_zero -= 1
Newdir = os.path.join(path_out, str_count + filetype)  # 新的文件路径
os.rename(Olddir, Newdir)  # 重命名
count += 1

name_long = 6   #文件名的总长度
rename(name_long)

如果有同学想从视频里获得一帧一帧分割好的，正确序号名称的图片，可以参考我写的以下代码

# work with opencv in linux
import cv2
import os

video_path = '/media/Ubuntu/Jetson/WYZ/messing/turtle_boot.mp4'
save_path = '/media/Ubuntu/Jetson/WYZ/messing/imageSave/'
name_length = 6

capture = cv2.VideoCapture(video_path)
#cv2.namedWindow("Video")
ret, frame = capture.read()
num_picture = 0

while ret:
#cv2.imshow("Video", frame)
#cv2.waitKey(1)
num_picture_str = str(num_picture)
add_zero = name_length - len(num_picture_str)
while add_zero > 0:
num_picture_str = '0' + num_picture_str
add_zero -= 1
final_path = save_path + num_picture_str + '.jpg'
print(final_path)
cv2.imwrite(final_path, frame)
num_picture += 1
ret, frame = capture.read()

2.画目标包围框

将图片中所框的目标信息保存起来，我的是保存到txt里，如下：

[plain] view
plain copy

000002.jpg car 44 28 132 121  

000003.jpg car 54 19 243 178  

000004.jpg car 168 6 298 164  

注： "car"是后来进行替换的，之前已有一个字母
前面是图片名，中间是目标类别，最后是目标的包围框坐标（左上角和右下角坐标）。

打框的代码(c++)我封装成了dll，下载地址：图像标注VS2013项目 （我的环境是win7vs2013旗舰版，win8
win10好像不能运行）



或者下这个EXE版本的（win7下用cmd运行，win8 win10可能运行不了）：图像标注EXE
注：博主电脑是win10系统，确实无法运行，后来再win7系统上实现的。当时还报了一个错误，百度一下，下载一个东西安装上就可以使用了，相信聪明的大家肯定没问题。

2016-10-18：
上面标注的代码使用的是别人封装的opencv动态库，现在修改为opencv2.4.10，64位，vs2013，按网上教程配置好opencv，资源地址：
图像标注EXE-2016-10-18

上面的代码好像忘写操作说明了，这里写一下：
（1）图片显示出来后，输入法切换到英文；
（2）在目标的左上角按下鼠标左键，拉一个包围框到目标右下角，然后键盘输入标签(一个字符)
（3）继续（2）操作，直到框完该张图片上的目标；
（4）按n进入下一张，esc退出。
注意：标签只能输入一个字符，你可以在生成的txt文件中替换成你实际的标签。

3.做xml

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框，可参考代码：VOC2007xml（这份代码生成的xml训练Matlab版本的FRCNN可能会出错，最好用下面修改过的）
这份代码生成的xml第一行含有版本和编码信息：<?xml version="1.0" encoding="utf-8"?>，并且含有空格，用来训练Faster RCNN可能会有问题，如下：



                                                                                

           （左边是VOC2007数据集中的xml，右边是上面代码生成的xml（第一行我删掉了），用Notepad打开就可以看到）

VOC2007中的xml前面是tab字符（左边那些箭头），上面代码生成的xml是空格（那些小黄点），所以，必须将空格转换成tab，下载修改过的代码：VOC2007xml_new
（下载VOC2007xml_new就可以了，不用下载VOC2007xml，不过如果xml用作其他用途还是可以的）
最终，得到的xml就和VOC一样。

2016-11-24：
上面做xml的代码请下载修改过的代码！！！因为第一份代码带有<?xml version="1.0" encoding="utf-8"?>以及空格，训练会出错的！！！本来想把第一份代码删掉的，但是csdn好像没法删资源啊！！！
代码是Matlab（2014b）写的，没怎么优化，当时想的就是功能能实现就行。
另外，如果同一幅图上有多个目标，[b]保存在txt文件中的包围框信息需要连续存放。[/b]

4.保存xml到Annotations

新建一个文件夹，名字为Annotations，将xml文件全部放到该文件夹里。

5.将训练图片放到JPEGImages

新建一个文件夹，名字为JPEGImages，将所有的训练图片放到该文件夹里。

6.ImageSets\Main里的四个txt文件

新建文件夹，命名为ImageSets，在ImageSets里再新建文件夹，命名为Main。
我们可以通过xml名字(或图片名)，生成四个txt文件，即：



txt文件中的内容为：

[plain] view
plain copy

000005  

000027  

000028  

000033  

000042  

000045  

000048  

000058  

即图片名字（无后缀）,test.txt是测试集，train.txt是训练集，val.txt是验证集，trainval.txt是训练和验证集.VOC2007中，trainval大概是整个数据集的50%，test也大概是整个数据集的50%；train大概是trainval的50%，val大概是trainval的50%。可参考以下代码：

[html] view
plain copy

%%  

%该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt  

%trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；  

%上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些  

%%  

%注意修改下面四个值  

xmlfilepath='E:\Annotations';  

txtsavepath='E:\ImageSets\Main\';  

trainval_percent=0.5;%trainval占整个数据集的百分比，剩下部分就是test所占百分比  

train_percent=0.5;%train占trainval的百分比，剩下部分就是val所占百分比  

  

  

%%  

xmlfile=dir(xmlfilepath);  

numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小  

  

  

trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  

test=sort(setdiff(1:numOfxml,trainval));  

  

  

trainvalsize=length(trainval);%trainval的大小  

train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  

val=sort(setdiff(trainval,train));  

  

  

ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  

ftest=fopen([txtsavepath 'test.txt'],'w');  

ftrain=fopen([txtsavepath 'train.txt'],'w');  

fval=fopen([txtsavepath 'val.txt'],'w');  

  

  

for i=1:numOfxml  

    if ismember(i,trainval)  

        fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  

        if ismember(i,train)  

            fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  

        else  

            fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  

        end  

    else  

        fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  

    end  

end  

fclose(ftrainval);  

fclose(ftrain);  

fclose(fval);  

fclose(ftest);  

注：不知道为什么，博主此处运行程序生成的四个文件夹名字为"Maintest.txt","Mainval.txt","Maintrainval.txt","Maintrain.txt"，
需要去掉Main才能顺利运行。
这四个txt放在ImageSets\Main中。

这样，数据集就基本做好了。然后新建文件夹，名字为logos(第0步确定的名字),将上面三个文件夹放到这里，即logos文件夹里有三个文件夹：

将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
（或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages，免去一些训练的修改）
注：博主这里是直接替换