图片存储为cifar的Python数据格式

上次我们把用Python实现了cifar数据的可视化,看到了这个cifar数据到底长啥样,cifar数据可视化的链接:

http://blog.csdn.net/zengxyuyu/article/details/53232533

我们用tensorflow可能是想训练自己的图片或者其他数据集,不止局限于cifar数据集,我们应该怎样把图片转成cifar数据集那种二进制并用字典的数据结构存储的数据集呢?我们暂时用上篇博客从cifar数据集生成的图片输出作为这篇博客图片输入,图片数量100,是RGB彩色通道图像.

1.总览

我们这次用到的Python库或模块有(要先装上这些库哦)

(1) pillow:图像处理库,用来读个图像

(2) matplotlib:把从pillow读到的图像转化为数组

(3) numpy:处理一下数组,比如维度,合并数组

(4) pickle:pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

　　注解：将对象obj保存到文件file中去。

pickle.load(file)

　　注解：从file中读取一个字符串，并将它重构为原来的python对象。

　　

2.步骤:

　　(1) 将图片读出来

　　(2)将图片转成数组

　　(3) 处理一下数组,将所有图片合并为一个数组

　　(4)用pickle序列化,存入文本

　　

3.代码如下:

# -*- coding:utf-8 -*-
import pickle,pprint
from PIL import Image
import numpy as np
import os
import matplotlib.image as plimg
class DictSave(object):
def __init__(self,filenames):
self.filenames = filenames
self.arr = []
self.all_arr = []
print
def image_input(self,filenames):
for filename in  filenames:
self.arr = self.read_file(filename)
if self.all_arr==[]:
self.all_arr = self.arr
else:
self.all_arr = np.concatenate((self.all_arr,self.arr))
def read_file(self,filename):
im = Image.open(filename)#打开一个图像
# 将图像的RGB分离
r, g, b = im.split()
# 将PILLOW图像转成数组
r_arr = plimg.pil_to_array(r)
g_arr = plimg.pil_to_array(g)
b_arr = plimg.pil_to_array(b)
# 将32*32二位数组转成1024的一维数组
r_arr1 = r_arr.reshape(1024)
g_arr1 = g_arr.reshape(1024)
b_arr1 = b_arr.reshape(1024)
# 3个一维数组合并成一个一维数组,大小为3072
arr = np.concatenate((r_arr1, g_arr1, b_arr1))
return arr
def pickle_save(self,arr):
print "正在存储"
# 构造字典,所有的图像诗句都在arr数组里,我这里是个以为数组,目前并没有存label
contact = {'data': arr}
f = open('contact', 'w')
pickle.dump(contact, f)#把字典存到文本中去
f.close()
print "存储完毕"
if __name__ == "__main__":
filenames = [os.path.join("images/", "img%d" % i) for i in xrange(0, 100)] #100个图像
ds = DictSave(filenames)
ds.image_input(ds.filenames)
ds.pickle_save(ds.all_arr)
print "最终数组的大小:"+str(ds.all_arr.shape)

4.运行结果

然后就可以看到contact文件,如图所示:



这里写图片描述



5.相关代码及资源

http://download.csdn.net/detail/zengxyuyu/9687989