利用mnist数据集进行深度神经网络
2020-03-17 21:48
337 查看
初始神经网络
这里要解决的问题是,将手写数字的灰度图像(28 像素 x28 像素)划分到 10 个类别中(0~9)。我们将使用 MINST 数据集,它是机器学习领域的一个经典数据集,其历史几乎和这个领域一样长,而且已被人们深入研究。这个数据集包含 60000 张训练图像和 10000 张测试图像,由美国国家标准与技术研究院(National Institute of Standards and Technology,即 MINIST 中的 NIST)在 20 世纪 80 年代收集得到。你可以将“解决”MINIST 问题看作深度学习的“Belo World”,正是用它来验证你的算法是否按预期运行。当你成为机器学习从业者后,会发现 MINIST 一次又一次地出现在科学论文、博客文章等中。下图给出了 MINIST 数据集的一些样本。
![](https://img2020.cnblogs.com/blog/1479469/202003/1479469-20200317214701611-910242817.png)
MINST 数据集预先加载在 Keras 库中,其中包括 4 个 Numpy 数组。
```python
(train_images,train_labels),(test_images,test_labels)=mnist.load_data()
```
下载完车给后是这样的
Downloading data from https://s3.amazonaws.com/img-datasets/mnist.npz
11493376/11490434 [==============================] - 0s 0us/step
Train_ Images 和 traln_1 abels 组成了训练集(training set),模型将从这些数据中进学习。然后在测试集(test set,即 test_ Images 和 test_ labels)上对模型进行测试。
图像被编码为 Numpy 数组,而标签是数字数组,取值范围为 0~9。图像和标签一一对应。我们来看一下训练数据:
```
[3] train images. Shape
(60000,2828
[5] 1 train labels. Shape
C (60000
```
接下来的工作流程如下:首先,将训练数据(traln_ Images 和 traln_1 abes)输人神经网络;其次,网络学习将图像和标签关联在一起;最后,网络对 test_ Images 生成预测而我们将验证这些预测与 test_1 abe1 s 中的标签是否匹配。
网络架构
```python
from keras import models, layers
network = models.Sequential()
network.add(layers.Dense(512,activation='relu',input_shape=(28*28, )))
network.add(layers.Dense(10,activation='softmax'))
```
神经网络的核心组件是层(layer),它是一种数据处理模块,你可以将它看成数据过滤器。进去一些数据,出来的数据变得更加有用。具体来说,层从输入数据中提取表示一一我们期望这种表示有助于解决手头的问题。大多数深度学习都是将简单的层链接起来,从而实现渐进式的数据蒸馏(data distillation)。深度学习模型就像是数据处理的筛子,包含一系列越来越精细的数据过滤器(即层)
通过summary可以查看该网络结构已经参数
```
Model: "sequential_6"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
dense_4 (Dense) (None, 512) 401920
_________________________________________________________________
dense_5 (Dense) (None, 10) 5130
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________
```
本例中的网络包含 2 个 Dense 层,它们是密集连接(也叫全连接)的神经层。第二层(也是最后一层)是一个 10 路 softmax 层,它将返回一个由 10 个概率值(总和为 1) 组成的数组。每个概率值表示当前数字图像属于 10 个数字类别中某一个的概率。
要想训练网络,我们还需要选择编译(compile)步骤的三个参数。
- 损失函数(loss function):网络如何衡量在训练数据上的性能,即网络如何朝着正确的方向前进。
- 优化器(optimizer):基于训练数据和损失函数来更新网络的机制。
- 在训练和测试过程中需要监控的指标(metric):本例只关心精度,即正确分类的图像所占的比例。
编译步骤
```python
network.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
```
在开始训练之前,我们将对数据进行预处理,将其变换为网络要求的形状,并缩放到所有值都在【0,11 区间。比如,之前训练图像保存在一个 uint8 类型的数组中,其形状为(60000,28,28),取值区间为【0,255]。我们需要将其変换为一个 f1 oat32 数组,其形状为(60000,28*28),取值范围为 0~1。
准备图像数据
```python
train_images = train_images.reshape((60000,28*28))
train_images = train_images.astype('float32') / 225
test_images = test_images.reshape((10000,28*28))
test_images = test_images.astype('float32') / 225
```
准备标签
```python
from keras.utils import to_categorical
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
```
现在我们准备开始训练网络,在 Keras 中这一步是通过调用网络的 fit 方法来完成的我们在训练数据上拟合(fit)模型。
```
.......
60000/60000 [=============] - 4s 67us/step - loss: 2.6875e-04 - acc: 1.0000
Epoch 100/100
60000/60000 [=============] - 4s 67us/step - loss: 2.6875e-04 - acc: 1.0000
```
训练过程中显示了两个数字:一个是网络在训练数据上的损失(1 oss),另一个是网络在训练数据上的精度(acc)
我们很快就在训练数据上达到了 1.0000 (100%)的精度。现在我们来检査一下模型在测试集上的性能。
```python
test_loss, test_acc = network.evaluate(test_images,test_labels)
```
测试集精度为 98.38%,比训练集精度低不少。训练精度和测试精度之间的这种差距是过拟合(overfit)造成的。过拟合是指机器学习模型在新数据上的性能往往比在训练数据上要差.
代码链接:
相关文章推荐
- DL之DNN:利用DNN【784→50→100→10】算法对MNIST手写数字图片识别数据集进行预测、模型优化
- 利用tensorflow一步一步实现基于MNIST 数据集进行手写数字识别的神经网络,逻辑回归
- Tensorflow学习教程------利用卷积神经网络对mnist数据集进行分类_利用训练好的模型进行分类
- Tensorflow学习教程------利用卷积神经网络对mnist数据集进行分类_训练模型
- 利用MNIST的数据集图片进行手写体的识别
- 利用Python进行数据分析---ch02《MovieLens 1M数据集(上)》读书笔记
- 待完成任务(一) 利用自己的数据集 利用lenet网络进行训练
- Dataset:利用Python将已有mnist数据集通过移动像素上下左右的方法来扩大数据集为初始数据集的5倍—Jason niu
- ML之RF&DT:利用RF(RFR)、DT(DTR)两种算法实现对boston(波士顿房价)数据集进行训练并预测
- 使用libsvm对MNIST数据集进行实验
- 介绍保存与读取Keras模型的方法,并对MNIST数据集的训练模型尝试进行手写识别
- 利用Sklearn对MNIST手写数据集开始一个简单的二分类判别器项目(在这个过程中学习关于模型性能的评价指标,如accuracy,precision,recall,混淆矩阵)
- 利用AE进行网络数据集的最短路径分析
- 利用数据集进行数据访问操作
- 利用python对泰坦尼克号数据集进行分析
- vs2005中利用自动生成数据集、ObjectDataSource、Gridview进行组合查询
- 利用 DataSetNavigator 在数据集上进行 XPath 查询(转载---来自MSDN)
- 【自然语言处理入门】01:利用jieba对数据集进行分词,并统计词频
- 卷积神经网络(tf.layers / estimator api)使用TensorFlow'layers'和'estimator'API构建卷积神经网络以对MNIST数字数据集进行分类。
- DL之LiR&DNN&CNN:利用LiR、DNN、CNN算法对MNIST手写数字图片(csv)识别数据集实现(10)分类预测