使用Caffe时,数据预处理小工具集合

在使用Caffe时，我们经常需要对数据进行一些预处理，我把自己写的一些小脚本放到了github上，如果有需要大家下载使用，如果你有更好的小脚本希望与我分享！


连接在此：https://github.com/sunshineInmoon/Tools

如果你觉得还可以请给打个星星哟......



No1.CreatImagelist.py  

这个不是出自我的手，但是却非常有用，可以产生带标签的图片路径列表

No2.dir_to_picture.py  

这个主要功能是将分好类的图片（在多个文件夹中）重新整理到一个文件夹中，便于删除

No3.extract_feacture.py

这个的主要功能是批量提取图片的特征，并将特征保存成文件

No4.feature_class.py

这个也是特征分类，但是这个每张图片都一一对比，如果数据量小可以，如果数据量大这个脚本太浪费时间

No5.Math.py 里就两个函数计算1、计算cos距离；2、比较两个数的大小

No6.text_process.py

'''

函数：name_convert（）

功能：采集到的图片名字命名时是字符型，将其转换成000000001形式

     另外进行比例缩放到128*128，同时转成灰度图

输入的参数：dir_name  只存放图片的文件夹名字

           dir_name_save  保存结果文件夹

'''

'''

函数：creat_imagelist_NoLabel()

功能：是把一个文件夹下所有图片写进一个imagelist.txt文件中

输入参数：dir_path 存放图片的文件夹

         imagelist_path,保存路径

'''

'''

函数：clean_image()

功能：人脸检测后把没有检测到的人脸剔除

输入参数：imagelist---人脸检测后的路劲列表

         dir_path_save---保存路径

'''

'''

函数：CreatImageListWithLabel()

功能：创建caffe imagelist.txt 文件，此文件带标签

输入参数：dir_path 图片路径，一般为保存很多子文件夹的跟文件夹路径

         imgelist 输出文件路径默认是当前文件夹下

'''

'''

函数：load()

函数功能：将一个文本文件中的特征读取到一个list中

输入参数：file_path----文本文件路径

'''

'''

函数：Pic_Num()

功能：统计文件夹中图片的数量

输入参数：dir_path----保存图片的文件夹路径

'''

'''

函数：ReName（）

功能：重新按顺序命名文件，用在对个别文件删除后，对文件重新排序命名

输入参数：dir_path----包含文件（无文件夹的）的文件夹路径

No7.Visualize.py   网络权重可视化，未完

'''

函数：vis_square()

函数功能：一个显示辅助函数

输入参数：data

        out----保存图片的路径

'''

'''

函数：VisualWeights()

函数功能：根据层名字显示相应的权重

输入参数：layer_name----层名字

         net----初始化后的网络

         out----保存图片的路径

'''

'''

函数：VisualWeight()

函数功能：根据层名字显示相应的权重

输入参数：layer_name----层名字

         net----初始化后的网络

'''

'''

函数：VisualBlob()

函数功能：可视化Blob

输入参数：net----初始化后的网络

         layer_name----层的名字

'''

'''

函数：VisualBlobs()

函数功能：保存所有Blobs

输入参数：net----初始化后的网络

         out----保存路径

'''

'''

函数：VisualLayerShape()

函数：显示层的名字和形状

输入参数：net----初始化后的网络

'''

'''

函数：VisualLayerWeightShape()

函数功能：显示各层权重的形状

输入参数：net----初始化后的网络

'''

No8.Picture.py

'''

函数：Resize（）

函数功能：批量调整图片大小

输入参数：dir_path----文件库路径

         new_h，new_w----新图片的高度和宽度

'''

'''

函数：DataAugment（）

函数功能：扩大数据量

输入参数：dir_path----图片库路径

'''

No9.draw.py

'''

函数：Draw（）

函数功能：绘制WU_lfw_test.py 产生的result.txt文件的图

输入参数：file_path

'''

'''

函数：Draw_His（）

函数功能：计算图片库的一些统计信息，并画出直方图

输入参数：dir_path

'''

No10.CreatValSet.py

'''

函数：TestPair（）

函数功能：随机产生验证集对，来测试网络性能

输入参数：dir_path----验证集库

         class_num----验证集的类别

         leftlist----left.txt 路径

         rightlist----right.txt 路径

         label----标签路径

         pos_num----正样本数量

         neg_num----负样本数量

'''

No11.LfwTest.py  在lfw库上测试模型

No12.process.py

'''

函数：renamedir（）

函数功能：重命名文件夹，按一定顺序

输入参数：dir_path----包含子文件夹的路径

         start   ----开始序号

'''

'''

函数：Rmovedir（）

函数功能：删除文件夹中文件少于一定数量的文件夹

输入参数：dir_path----包含子文件夹的路径

         num----阈值，将文件数量小于等于num的文件夹删掉

'''

'''

函数： Romvepath（）

函数功能：删除一个imagelist中不存在的路径

输入参数：inputlist,outputlist

'''

'''

函数：Rmovepath_pair()

函数功能：成对删除文件中不存在的路径

输入参数：input1,input2,inlabel,output1,output2,outlabel

'''

'''

函数：TestPair（）

函数功能：从数据库中挑选正负样本

输入参数：dir_path----存放图片库路径

         class_num----类别数量

         neg_num----负样本数

         pos_num----正样本数

         leftlist

         rightlist

         label

'''

'''

函数：Select_K_MaxMin()

函数功能：输出文件夹中图片数量最多或最小的前K个文件夹路径

输入参数：dir_path----图片库路径

         model----选择最大还是最小默认

         K----前K个

'''