TensorFlow学习——CIFAR-10(python实现数据可视化)
2017-07-30 18:53
856 查看
CIFAR-10下载下来的数据都是二进制文件
(1)CIFAR-10数据集介绍
① CIFAR-10数据集包含60000个32*32的彩色图像,共有10类。有50000个训练图像和10000个测试图像。
数据集分为5个训练块和1个测试块,每个块有10000个图像。测试块包含从每类随机选择的1000个图像。训练块以随机的顺序包含这些图像,但一些训练块可能比其它类包含更多的图像。训练块每类包含5000个图像。
②data——1个10000*3072大小的uint8s数组。数组的每行存储1张32*32的图像。第1个1024包含红色通道值,下1个包含绿色,最后的1024包含蓝色。图像存储以行顺序为主,所以数组的前32列为图像第1行的红色通道值。
labels——1个10000数的范围为0~9的列表。索引i的数值表示数组data中第i个图像的标签。
③数据集中包含另外1个叫batches.meta的文件。它也包含1个Python字典对象。有如下列元素:
label_names——1个10元素的列表,给labels中的数值标签以有意义的名称。例如,label_names[0] == “airplane”, label_names[1] == “automobile”等。
(2)下载python版本的cifar数据
先给个cifar数据下载链接:http://www.cs.toronto.edu/~kriz/cifar.html
链接上提到三个数据版本,分别是python,matlab,binary版本,分别适合python,matlab,C程序
用python实现cifar数据转化为图像,要用Python版本
下载好就可以用下面的代码
(3)代码
# -*- coding:utf-8 -*-
import pickle as p
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.image as plimg
from PIL import Image
def load_CIFAR_batch(filename):
""" load single batch of cifar """
with open(filename, 'rb')as f:
datadict = p.load(f)
X = datadict['data']
Y = datadict['labels']
X = X.reshape(10000, 3, 32, 32)
Y = np.array(Y)
return X, Y
def load_CIFAR_Labels(filename):
with open(filename, 'rb') as f:
lines = [x for x in f.readlines()]
print(lines)
if __name__ == "__main__":
load_CIFAR_Labels("/data/cifar-10-batches-py/batches.meta")
imgX, imgY = load_CIFAR_batch("/data/cifar-10-batches-py/data_batch_1")
print imgX.shape
print "正在保存图片:"
for i in xrange(imgX.shape[0]):
imgs = imgX[i - 1]
if i < 100:#只循环100张图片,这句注释掉可以便利出所有的图片,图片较多,可能要一定的时间
img0 = imgs[0]
img1 = imgs[1]
img2 = imgs[2]
i0 = Image.fromarray(img0)
i1 = Image.fromarray(img1)
i2 = Image.fromarray(img2)
img = Image.merge("RGB",(i0,i1,i2))
name = "img" + str(i)
img.save("/data/images/"+name,"png")#文件夹下是RGB融合后的图像
for j in xrange(imgs.shape[0]):
img = imgs[j - 1]
name = "img" + str(i) + str(j) + ".png"
print "正在保存图片" + name
plimg.imsave("/data/image/" + name, img)#文件夹下是RGB分离的图像
print "保存完毕."
(1)CIFAR-10数据集介绍
① CIFAR-10数据集包含60000个32*32的彩色图像,共有10类。有50000个训练图像和10000个测试图像。
数据集分为5个训练块和1个测试块,每个块有10000个图像。测试块包含从每类随机选择的1000个图像。训练块以随机的顺序包含这些图像,但一些训练块可能比其它类包含更多的图像。训练块每类包含5000个图像。
②data——1个10000*3072大小的uint8s数组。数组的每行存储1张32*32的图像。第1个1024包含红色通道值,下1个包含绿色,最后的1024包含蓝色。图像存储以行顺序为主,所以数组的前32列为图像第1行的红色通道值。
labels——1个10000数的范围为0~9的列表。索引i的数值表示数组data中第i个图像的标签。
③数据集中包含另外1个叫batches.meta的文件。它也包含1个Python字典对象。有如下列元素:
label_names——1个10元素的列表,给labels中的数值标签以有意义的名称。例如,label_names[0] == “airplane”, label_names[1] == “automobile”等。
(2)下载python版本的cifar数据
先给个cifar数据下载链接:http://www.cs.toronto.edu/~kriz/cifar.html
链接上提到三个数据版本,分别是python,matlab,binary版本,分别适合python,matlab,C程序
用python实现cifar数据转化为图像,要用Python版本
下载好就可以用下面的代码
(3)代码
# -*- coding:utf-8 -*-
import pickle as p
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.image as plimg
from PIL import Image
def load_CIFAR_batch(filename):
""" load single batch of cifar """
with open(filename, 'rb')as f:
datadict = p.load(f)
X = datadict['data']
Y = datadict['labels']
X = X.reshape(10000, 3, 32, 32)
Y = np.array(Y)
return X, Y
def load_CIFAR_Labels(filename):
with open(filename, 'rb') as f:
lines = [x for x in f.readlines()]
print(lines)
if __name__ == "__main__":
load_CIFAR_Labels("/data/cifar-10-batches-py/batches.meta")
imgX, imgY = load_CIFAR_batch("/data/cifar-10-batches-py/data_batch_1")
print imgX.shape
print "正在保存图片:"
for i in xrange(imgX.shape[0]):
imgs = imgX[i - 1]
if i < 100:#只循环100张图片,这句注释掉可以便利出所有的图片,图片较多,可能要一定的时间
img0 = imgs[0]
img1 = imgs[1]
img2 = imgs[2]
i0 = Image.fromarray(img0)
i1 = Image.fromarray(img1)
i2 = Image.fromarray(img2)
img = Image.merge("RGB",(i0,i1,i2))
name = "img" + str(i)
img.save("/data/images/"+name,"png")#文件夹下是RGB融合后的图像
for j in xrange(imgs.shape[0]):
img = imgs[j - 1]
name = "img" + str(i) + str(j) + ".png"
print "正在保存图片" + name
plimg.imsave("/data/image/" + name, img)#文件夹下是RGB分离的图像
print "保存完毕."
相关文章推荐
- Tensorflow学习笔记:CNN篇(5)——CIFAR-10数据集VGG19实现(Keras版)
- Tensorflow学习笔记:CNN篇(4)——CIFAR-10数据集LeNet实现(Keras版)
- TensorFlow深度学习进阶教程:TensorFlow实现CIFAR-10数据集测试的卷积神经网络
- TensorFlow学习--卷积神经网络训练CIFAR-10数据集
- TensorFlow实现Cifar-10数据集训练
- TensorFlow学习——CIFAR-10(二)代码实现
- Tensorflow学习笔记:CNN篇(3)——CIFAR-10数据集的CNN实现
- 【tensorflow学习】使用tensorboard实现数据可视化
- python实现CIFAR-10数据集可视化
- tensorflow 卷积神经网络实现CIFAR-10数据集识别
- Tensorflow深度学习之二十二:AlexNet的实现(CIFAR-10数据集)
- Numpy学习(2):将cifar10/100数据文件读入到python数据结构(字典)中
- 学习大数据第四天:最小二乘法的Python实现
- 基于 Python 的数据结构与算法分析学习记录(6-10)—— 二叉堆实现
- 5款Python绘图库,为你轻松实现大数据可视化!
- TensorFlow学习笔记---CNN分类CIFAR-10数据集3
- tensorflow使用tensorboard实现数据可视化
- 深度学习小白——tensorflow(四)CIFAR-10实例
- python-框架-网页爬虫-文本处理-科学计算-可视化-机器学习-数据挖掘-深度学习
- Caffe学习系列(13):数据可视化环境(python接口)配置