Tensorflow Serving Docker compose 部署服务细节(Ubuntu)
2019-07-19 14:13
1831 查看
【摘要】 Tensorflow Serving 是tf模型持久化的重要工具,本篇介绍如何通过Docker compose搭建并调试TensorFlow Serving
TensorFlow Serving GitHub地址:
https://github.com/tensorflow/serving
建立docker-compose 文件目录
在serving下建立docker-compose.yml文件。
一、下载安装测试TensorFlow Serving正常运行
拉取最近版本的docker
二、用tensorflow训练模型并导出model文件
(https://www.tensorflow.org/guide/saved_model#prepare_serving_inputs)
首先将训练好的模型导出为*.pd的model文件。
导出model文件后,记录model的存放地址<export path>
模型查看
saved_model_cli show --dir <export path> --all
三、使用serving
(https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/serving_config.md)
单模型测试及演示POST请求。介绍JSON设计
docker-compose.yml文件示例:
.env 文件配置
单模型部署和多模型部署:
models.config文件示例:
https://www.tensorflow.org/tfx/tutorials/serving/rest_simple
成功部署多模型多版本tensorflow serving
请求模板:
[code]{ "signature_name": "predict", "instances": [ { "SepalLength": 5.1, "PetalLength": 1.7, "PetalWidth": 0.5, "SepalWidth": 3.3 } ] }
返回模板:
[code]{ "predictions": [ { "classes": [(分类名) "0" ], "logits": [ -3.47067 ], "logistic": [ 0.0301584 ], "class_ids": [(分类ID) 0 ], "probabilities": [(分类概率) 0.969842, 0.0301584 ] } ] }
来源:华为云社区 作者:Edison
相关文章推荐
- tensorflow serving:bazel方式部署模型+docker方式部署模型及提供服务以及使用该服务介绍(总有一款适合你)
- Win10下基于Docker使用tensorflow serving部署模型
- 【报错求助】用Docker容器自带的tensorflow serving部署模型对外服务
- Docker使用tensorflow serving部署mnist模型
- TensorFlow Serving-GPU版Docker环境部署流程
- tensorflow serving 服务部署与访问(Python + Java)
- Tensorflow Serving 模型部署和服务
- Tensorflow Serving 模型部署和服务
- 138、Tensorflow serving 实现模型的部署
- Docker技术swarm+compose部署服务
- ubuntu16.04-LTS+cuda-9.1+docker+tensorflow-gpu
- Docker - 使用Swarm和compose部署服务(containers)
- ubuntu14.04+GTX1080 部署tensorflow+cuda8.0
- TensorFlow Serving-TensorFlow 服务
- TensorFlow Serving和Kubernetes 服务Inception模型
- vmware + ubuntu + docker+ tensorflow
- Docker使用TensorFlow Serving
- docker + tensorflow serving 踩坑记录
- 使用docker-compose 大杀器来部署服务 上
- 使用docker compose部署服务【转】