您的位置:首页 > 运维架构 > Docker

Tensorflow Serving Docker compose 部署服务细节(Ubuntu)

2019-07-19 14:13 1831 查看

【摘要】 Tensorflow Serving 是tf模型持久化的重要工具,本篇介绍如何通过Docker compose搭建并调试TensorFlow Serving

TensorFlow Serving GitHub地址:

https://github.com/tensorflow/serving

建立docker-compose 文件目录

在serving下建立docker-compose.yml文件。

 

一、下载安装测试TensorFlow Serving正常运行

拉取最近版本的docker

二、用tensorflow训练模型并导出model文件

(https://www.tensorflow.org/guide/saved_model#prepare_serving_inputs)

首先将训练好的模型导出为*.pd的model文件。

导出model文件后,记录model的存放地址<export path>

模型查看

saved_model_cli show --dir <export path> --all

三、使用serving

(https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/serving_config.md)

单模型测试及演示POST请求。介绍JSON设计

docker-compose.yml文件示例:

.env 文件配置

单模型部署和多模型部署:

models.config文件示例:

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple

成功部署多模型多版本tensorflow serving

 

请求模板:

[code]{

"signature_name": "predict",

"instances": [

{

"SepalLength":

5.1,

"PetalLength":

1.7,

"PetalWidth":

0.5,

"SepalWidth":

3.3

}

]

}

返回模板:

[code]{

"predictions": [

{

"classes": [(分类名)

"0"

],

"logits": [

-3.47067

],

"logistic": [

0.0301584

],

"class_ids": [(分类ID)

0

],

"probabilities": [(分类概率)

0.969842,

0.0301584

]

}

]

}

来源:华为云社区  作者:Edison

 

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: