Keras笔记 -- objective

Keras定义了以下几种objective fuction：

(1) mean-squared-error

def mean_squared_error(y_true, y_pred):
return K.mean(K.square(y_pred - y_true), axis=-1)

(2) root-mean-squared-error

def root_mean_squared_error(y_true, y_pred):
return K.sqrt(K.mean(K.square(y_pred - y_true), axis=-1))

(3) mean-absolute-error

def mean_absolute_error(y_true, y_pred):
return K.mean(K.abs(y_pred - y_true), axis=-1)

(4) mean-absolute-percentage-error

def mean_absolute_percentage_error(y_true, y_pred):
diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true), K.epsilon(), np.inf))
return 100. * K.mean(diff, axis=-1)

(5) mean-squared-logarithmic-error

def mean_squared_logarithmic_error(y_true, y_pred):
first_log = K.log(K.clip(y_pred, K.epsilon(), np.inf) + 1.)
second_log = K.log(K.clip(y_true, K.epsilon(), np.inf) + 1.)
return K.mean(K.square(first_log - second_log), axis=-1)

(6) squared-hinge

def squared_hinge(y_true, y_pred):
return K.mean(K.square(K.maximum(1. - y_true * y_pred, 0.)), axis=-1)

(7) hinge(max-margin loss)

def hinge(y_true, y_pred):
return K.mean(K.maximum(1. - y_true * y_pred, 0.), axis=-1)

(8) categorical-crossentropy

def categorical_crossentropy(y_true, y_pred):
'''Expects a binary class matrix instead of a vector of scalar classes.
'''
return K.mean(K.categorical_crossentropy(y_pred, y_true), axis=-1)

单分类问题最常用的objective

(9) binary-crossentropy

def binary_crossentropy(y_true, y_pred):
return K.mean(K.binary_crossentropy(y_pred, y_true), axis=-1)

可以使网络最后一层的激活函数为sigmoid/tanh， 再将loss设置为此objective，则能够训练multi-label数据集。

(10) poisson

def poisson(y_true, y_pred):
return K.mean(y_pred - y_true * K.log(y_pred + K.epsilon()), axis=-1)

(11) cosine-proximity

def cosine_proximity(y_true, y_pred):
assert K.ndim(y_true) == 2
assert K.ndim(y_pred) == 2
y_true = K.l2_normalize(y_true, axis=1)
y_pred = K.l2_normalize(y_pred, axis=1)
return -K.mean(y_true * y_pred, axis=1)

总结

以上axis=-1/1，即以列为标准计算。

参数y_true即给定的label，y_pred为网络的输出。

clip函数的作用就是对于给定输入X（n维均可）,把其中小于min的值均设置成min，大于max的值均设置成max。可以运行下面的代码实验（numpy和theano的借口都差不多）：

x = np.empty((2,3,4,5))
print x
print np.clip(a=x,a_min=2,a_max=4)

对于custom objective函数的定义，以下给出一个例子，直接返回y_pred和y_true的差值：

def loss()：
return -np.abs(y_pred-y_true)

调用的时候：

model.compile(loss=loss(), optimizer=optimizer)

hinge loss相关：







其他几种objectives的用法以后补充