您的位置：首页 > 其它

[阿里DIN] 模型保存，加载和使用

2020-11-22 14:10 232 查看

[阿里DIN] 模型保存，加载和使用

0x00 摘要

Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。

本系列文章会解读论文以及源码，顺便梳理一些深度学习相关概念和TensorFlow的实现。

本文是系列第 12 篇：介绍DIN模型的保存，加载和使用。

0x01 TensorFlow模型

1.1 模型文件

TensorFlow模型会保 ad8 存在checkpoint相关文件中。因为TensorFlow会将计算图的结构和图上参数取值分开保存，所以保存后在相关文件夹中会出现3个文件。

下面就是DIN，DIEN相关生成的文件，可以通过名称来判别。

checkpoint

ckpt_noshuffDIN3.data-00000-of-00001
ckpt_noshuffDIN3.meta
ckpt_noshuffDIN3.index

ckpt_noshuffDIEN3.data-00000-of-00001
ckpt_noshuffDIEN3.index
ckpt_noshuffDIEN3.meta

所以我们可以认为和保存的模型直接相关的是以下这四个文件：

checkpoint
文件保存了一个目录下所有的模型文件列表，这个文件是TensorFlow自动生成且自动维护的。在
```
checkpoint
```
文件中维护了由一个TensorFlow持久化的所有TensorFlow模型文件的文件名。当某个保存的TensorFlow模型文件被删除时，这个模型所对应的文件名也会从
```
checkpoint
```
文件中删除。
```
checkpoint
```
中内容的格式为CheckpointState Protocol Buffer.
.meta
文件保存了TensorFlow计算图的结构，可以理解为神经网络的网络结构。
TensorFlow通过元图（MetaGraph）来记录计算图中节点的信息以及运行计算图中节点所需要的元数据。TensorFlow中元图是由MetaGraphDef Protocol Buffer定义的。MetaGraphDef 中的内容构成了TensorFlow持久化时的第一个文件。保存MetaGraphDef 信息的文件默认以.meta为后缀名。
.index文件保存了当前参数名。
model.ckpt
文件保存了TensorFlow程序中每一个变量的取值，这个文件是通过SSTable格式存储的，可以大致理解为就是一个（key，value）列表。
```
model.ckpt
```
文件中列表的第一行描述了文件的元信息，比如在这个文件中存储的变量列表。列表剩下的每一行保存了一个变量的片段，变量片段的信息是通过SavedSlice Protocol Buffer定义的。SavedSlice类型中保存了变量的名称、当前片段的信息以及变量取值。TensorFlow提供了
```
tf.train.NewCheckpointReader
```
类来查看
```
model.ckpt
```
文件中保存的变量信息。

1.2 freeze_graph

正如前文所述，tensorflow在训练过程中，通常不会将权重数据保存的格式文件里，反而是分开保存在一个叫checkpoint的检查点文件里，当初始化时，再通过模型文件里的变量Op节点来从checkoupoint文件读取数据并初始化变量 56c 。这种模型和权重数据分开保存的情况，使得发布产品时不是那么方便，所以便有了freeze_graph.py脚本文件用来将这两文件整合合并成一个文件。

freeze_graph.py是怎么做的呢？

它先加载模型文件；
提供checkpoint文件地址后，它从checkpoint文件读取权重数据初始化到模型里的权重变量；
将权重变量转换成权重常量 （因为常量能随模型一起保存在同一个文件里）；
再通过指定的输出节点将没用于输出推理的Op节点从图中剥离掉；
使用tf.train.writegraph保存图，这个图会提供给freeze_graph使用；
再使用freeze_graph重新保存到指定的文件里；

0x02 DIN代码

因为 DIN 源码中没有实现此部分，所以我们需要自行添加。

2.1 输出结点

首先，在model.py中，需要声明输出结点。

def build_fcn_net(self, inp, use_dice = False):
.....
# 此处需要给 y_hat 添加一个name
self.y_hat = tf.nn.softmax(dnn3, name='final_out
ad8
put') + 0.00000001

2.2 保存函数

其次，需要添加一个保存函数，调用 freeze_graph 来进行保存。

需要注意几点：

write_graph 的 as_text 参数默认是 True，我们这里设置为 False。有的环境如果设置为 True 会有问题；
因为write_graph 的 as_text 参数做了设置，所以freeze_graph的参数也做相应设置：
```
input_binary=True
```
；
input_checkpoint 参数需要针对DIN或者DIEN做相应调整；

具体代码如下：

def din_freeze_graph(sess):
# 模型持久化，将变量值固定
output_graph_def = convert_variables_to_constants(
sess=sess,
input_graph_def=sess.graph_def, # 等于:sess.graph_def
output_node_names=['final_output']) # 如果有多个输出节点，以逗号隔开
tf.train.write_graph(output_graph_def, 'dnn_best_model', 'model.pb', False)

freeze_graph.freeze_graph(
input_graph='./dnn_best_model/model.pb',
input_saver='',
input_binary=True,
input_checkpoint='./dnn_best_model/ckpt_noshuffDIN3',
output_node_names='final_output', # 指定输出的节点名称,该节点名称必须是原模型中存在的节点
restore_op_name='save/restore_all',
filename_tensor_name='save/Const:0',
output_graph='./dnn_best_model/frozen_model.pb',
clear_devices=False,
initializer_nodes=''
)

2.2 调用保存

我们在train函数中，存储模型之后，进行调用。

def train(...):
if (iter % save_iter) == 0:
print('save model iter: %d' %(iter))
model.save(sess, model_path+"--"+str(iter))
freeze_graph(sess) # 此处调用

0x03 验证

3.1 加载

加载函数如下：

def load_graph(fz_gh_fn):
with tf.gfile.GFile(fz_gh_fn, "rb") as f:
graph_def = tf.GraphDef()
graph_def.ParseFromString(f.read())

with tf.Graph().as_default() as graph:
tf.import_graph_def(
graph_def,
input_map=None,
return_elements=None,
name="prefix"  # 此处可以自己修改
)
return graph

调用加载函数如下，我们在加载之后，打印出图中对应节点：

graph = load_graph('./dnn_best_model/frozen_model.pb')
for op in graph.ge
56c
t_operations():
print(op.name, op.values())

从打印结果我们可以看出来，有些op是Inputs相关，final_output节点则是我们之前设定的。

(u'prefix/Inputs/mid_his_batch_ph', (<tf.Tensor 'prefix/Inputs/mid_his_batch_ph:0' shape=(?, ?) dtype=int32>,))
(u'prefix/Inputs/cat_his_batch_ph', (<tf.Tensor 'prefix/Inputs/cat_his_batch_ph:0' shape=(?, ?) dtype=int32>,))
(u'prefix/Inputs/uid_batch_ph', (<tf.Tensor 'prefix/Inputs/uid_batch_ph:0' shape=(?,) dtype=int32>,))
(u'prefix/Inputs/mid_batch_ph', (<tf.Tensor 'prefix/Inputs/mid_batch_ph:0' shape=(?,) dtype=int32>,))
(u'prefix/Inputs/cat_batch_ph', (<tf.Tensor 'prefix/Inputs/cat_batch_ph:0' shape=(?,) dtype=int32>,))
(u'prefix/Inputs/mask', (<tf.Tensor 'prefix/Inputs/mask:0' shape=(?, ?) dtype=float32>,))
(u'prefix/Inputs/seq_len_ph', (<tf.Tensor 'prefix/Inputs/seq_len_ph:0' shape=(?,)

......

(u'prefix/final_output', (<tf.Tensor 'prefix/final_output:0' shape=(?, 2) dtype=float32>,))

3.2 验证

验证数据可以自己炮制，或者就是从测试数据中取出两条即可，我们的验证文件名字为

local_predict_splitByUser

。

0	A3BI7R43VUZ1TY	B00JNHU0T2	Literature & Fiction	0989464105B00B01691C14778097321608442845	BooksLiterature & FictionBooksBooks

1	A3BI7R43VUZ1TY	0989464121	Books	0989464105B00B01691C14778097321608442845	BooksLiterature & FictionBooksBooks

验证代码如下，其中feed_dict如何填充，需要根据上节的输出结果来进行相关配置。

def predict(
graph,
predict_file = "local_predict_splitByUser",
uid_voc = "uid_voc.pkl",
mid_voc = "mid_voc.pkl",
cat_voc = "cat_voc.pkl",
batch_size = 128,
maxlen = 100):
gpu_options = tf.GPUOptions(allow_growth=True)
with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options), graph = graph) as sess:
predict_data = DataIterator(predict_file, uid_voc, mid_voc, cat_voc, batch_size, maxlen)
for src, tgt in predict_data:
uids, mids, cats, mid_his, cat_his, mid_mask, target, sl, noclk_mids, noclk_cats = prepare_data(src, tgt, maxlen, return_neg=True)
final_output = "prefix/final_output:0"
feed_dict = {
'prefix/Inputs/mid_his_batch_ph:0' : mid_his,
'prefix/Inputs/cat_his_batch_ph:0':cat_his,
'prefix/Inputs/uid_batch_ph:0':uids,
'prefix/Inputs/mid_batch_ph:0':mids
ad8
,
'prefix/Inputs/cat_batch_ph:0':cats,
'prefix/Inputs/mask:0':mid_mask,
'prefix/Inputs/seq_len_ph:0':sl
}
y_hat = sess.run(final_output, feed_dict = feed_dict)
print(y_hat)

预测结果如下：

[[0.95820646 0.04179354]
[0.09431148 0.9056886 ]]

3.3 为什么要在tensor后面加:0

在上节中，我们可以看到在feed_dict之中，给定的tensor名字后面都带了

:0

。

feed_dict = {
'prefix/Inputs/mid_his_batch_ph:0' : mid_his,
'prefix/Inputs/cat_his_batch_ph:0':cat_his,
'prefix/Inputs/uid_batch_ph:0':uids,
'prefix/Inputs/mid_batch_ph:0':mids,
'prefix/Inputs/cat_batch_ph:0':cats,
'prefix/Inputs/mask:0':mid_mask,
'prefix/Inputs/seq_len_ph:0':sl
}

这里需要注意，TensorFlow的运算结果不是一个数，而是一个张量结构。张量的命名形式：