tf.nn.softmax_cross_entropy_with_logits的用法

tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)

除去name参数用以指定该操作的name，与方法有关的一共两个参数：

第一个参数logits：就是神经网络最后一层的输出，未经过soft_max

第二个参数labels：实际的标签，需要是one-hot格式

具体的执行流程大概分为两步：

第一步是先对网络最后一层的输出做一个softmax

softmax的公式是：



第二步是softmax的输出向量[Y1，Y2,Y3…]和样本的实际标签做一个交叉熵，公式如下：



注意！！！因为一个batch一般不止一组数据，所以softmax_cross_entropy_with_logits得到的是一组向量，向量的长度就是batch_size ，我们要再做一步tf.reduce_sum操作,就是对向量里面所有元素求和

与此相识的一个函数是tf.nn.sparse_softmax_cross_entropy_with_logits ，这个函数的输入”不是one-hot格式！！”

理论讲完了，上代码

import tensorflow as tf

# our NN's output
logits = tf.constant([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
# step1:do softmax
y = tf.nn.softmax(logits)
# true label
y_ = tf.constant([[0.0, 0.0, 1.0], [0.0, 0.0, 1.0], [0.0, 0.0, 1.0]])
# step2:do cross_entropy
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
# do cross_entropy just one step
cross_entropy2 = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_))  # dont forget tf.reduce_sum()!!

before_reduce_sum_1 = - y_ * tf.log(y)

before_reduce_sum_2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=y_)

with tf.Session() as sess:
softmax = sess.run(y)
c_e = sess.run(cross_entropy)
c_e2 = sess.run(cross_entropy2)
c_e3 = sess.run(before_reduce_sum_1)
c_e4 = sess.run(before_reduce_sum_2)
print("step1:softmax result=")
print(softmax)
print("step2:cross_entropy result=")
print(c_e)
print("Function(softmax_cross_entropy_with_logits) result=")
print(c_e2)
print("before reduce sum 1")
print(c_e3)
print("before reduce sum 2")
print(c_e4)

这个代码展示两个函数的区别

import tensorflow as tf

labels = [0, 2]

labels_one_hot = [[1, 0, 0], [0, 0, 1]]

logits = [[2, 0.5, 1],
[0.1, 1, 3]]

result1 = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits)

result2 = tf.nn.softmax_cross_entropy_with_logits(labels=labels_one_hot,logits=logits)

with tf.Session() as sess:
print(sess.run(result1))

print(sess.run(result2))