Tensorflow教程-TensorFlow运作方式入门

TensorFlow运作方式入门

代码：

mnist.py

构建一个完全连接（fully
connected）的MINST模型所需的代码。Yann
LeCun网站中关于MNIST的介绍 或者<a rel="nofollow" href="http://colah.github.io/posts/2014-10-Visualizing-MNIST/" "="" style="box-sizing: border-box; color: rgb(45, 133, 202); text-decoration: none; background-color: transparent;">Chris Olah对MNIST的可视化探索。

下载

在

run_training()

方法的一开始，

input_data.read_data_sets()

函数会确保你的本地训练文件夹中，已经下载了正确的数据，然后将这些数据解压并返回一个含有

DataSet

实例的字典。

data_sets = input_data.read_data_sets(FLAGS.train_dir, FLAGS.fake_data)

注意：

fake_data

标记是用于单元测试的，读者可以不必理会。

数据集	目的
data_sets.train	55000个图像和标签（labels），作为主要训练集。
data_sets.validation	5000个图像和标签，用于迭代验证训练准确度。
data_sets.test	10000个图像和标签，用于最终测试训练准确度（trained accuracy）。

了解更多数据有关信息，请查阅此系列教程的数据下载 部分.

输入与占位符（Inputs and Placeholders）

placeholder_inputs()

函数将生成两个

tf.placeholder

操作，定义传入图表中的shape参数，shape参数中包括

batch_size

值，后续还会将实际的训练用例传入图表。

images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,
IMAGE_PIXELS))
labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))

在训练循环（training loop）的后续步骤中，传入的整个图像和标签数据集会被切片，以符合每一个操作所设置的

batch_size

值，占位符操作将会填补以符合这个

batch_size

值。然后使用

feed_dict

参数，将数据传入

sess.run()

函数。

构建图表 （Build the Graph）

在为数据创建占位符之后，就可以运行

mnist.py

文件，经过三阶段的模式函数操作：

inference()

， 

loss()

，和

training()

。图表就构建完成了。

1.

inference()

 —— 尽可能地构建好图表，满足促使神经网络向前反馈并做出预测的要求。

2.

loss()

 —— 往inference图表中添加生成损失（loss）所需要的操作（ops）。

3.

training()

 —— 往损失图表中添加计算并应用梯度（gradients）所需的操作。

推理（Inference）

inference()

函数会尽可能地构建图表，做到返回包含了预测结果（output prediction）的Tensor。

它接受图像占位符为输入，在此基础上借助ReLu(Rectified Linear Units)激活函数，构建一对完全连接层（layers），以及一个有着十个节点（node）、指明了输出logits模型的线性层。

每一层都创建于一个唯一的

tf.name_scope

之下，创建于该作用域之下的所有元素都将带有其前缀。

with tf.name_scope('hidden1') as scope:

在定义的作用域中，每一层所使用的权重和偏差都在

tf.Variable

实例中生成，并且包含了各自期望的shape。

weights = tf.Variable(
tf.truncated_normal([IMAGE_PIXELS, hidden1_units],
stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),
name='weights')
biases = tf.Variable(tf.zeros([hidden1_units]),
name='biases')

例如，当这些层是在

hidden1

作用域下生成时，赋予权重变量的独特名称将会是"

hidden1/weights

"。

每个变量在构建时，都会获得初始化操作（initializer ops）。

在这种最常见的情况下，通过

tf.truncated_normal

函数初始化权重变量，给赋予的shape则是一个二维tensor，其中第一个维度代表该层中权重变量所连接（connect
from）的单元数量，第二个维度代表该层中权重变量所连接到的（connect to）单元数量。对于名叫

hidden1

的第一层，相应的维度则是

[IMAGE_PIXELS,
hidden1_units]

，因为权重变量将图像输入连接到了

hidden1

层。

tf.truncated_normal

初始函数将根据所得到的均值和标准差，生成一个随机分布。

然后，通过

tf.zeros

函数初始化偏差变量（biases），确保所有偏差的起始值都是0，而它们的shape则是其在该层中所接到的（connect
to）单元数量。

图表的三个主要操作，分别是两个

tf.nn.relu

操作，它们中嵌入了隐藏层所需的

tf.matmul

；以及logits模型所需的另外一个

tf.matmul

。三者依次生成，各自的

tf.Variable

实例则与输入占位符或下一层的输出tensor所连接。

hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)

hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)

logits = tf.matmul(hidden2, weights) + biases

最后，程序会返回包含了输出结果的

logits

Tensor。

损失（Loss）

loss()

函数通过添加所需的损失操作，进一步构建图表。

首先，

labels_placeholer

中的值，将被编码为一个含有1-hot values的Tensor。例如，如果类标识符为“3”，那么该值就会被转换为： 

[0, 0, 0, 1, 0, 0, 0, 0, 0, 0]

batch_size = tf.size(labels)
labels = tf.expand_dims(labels, 1)
indices = tf.expand_dims(tf.range(0, batch_size, 1), 1)
concated = tf.concat(1, [indices, labels])
onehot_labels = tf.sparse_to_dense(
concated, tf.pack([batch_size, NUM_CLASSES]), 1.0, 0.0)

之后，又添加一个

tf.nn.softmax_cross_entropy_with_logits

操作，用来比较

inference()

函数与1-hot标签所输出的logits
Tensor。

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits,
onehot_labels,
name='xentropy')

然后，使用

tf.reduce_mean

函数，计算batch维度（第一维度）下交叉熵（cross
entropy）的平均值，将将该值作为总损失。

loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

最后，程序会返回包含了损失值的Tensor。

注意：交叉熵是信息理论中的概念，可以让我们描述如果基于已有事实，相信神经网络所做的推测最坏会导致什么结果。更多详情，请查阅博文《可视化信息理论》(TensorFlow
Mechanics 101 翻译：LichAmnesia

上一篇: 深入
MNIST下一篇: 卷积神经网络