您的位置:首页 > 运维架构

mlops的一些记录

2022-05-29 10:57 766 查看 https://www.cnblogs.com/gongya

[TOC]

MLOPS

Hidden Technical Debt in Machine Learning Systems.

google对MLOPS的介绍:MLOps:机器学习中的持续交付和自动化流水线

mlops上也有不错的介绍,那么如何搭建一个MLOPS?

mymlops是一个不错的选择,提供了50+种MLOPS中会用到的工具,根据流程进行组合

看了一圈发现直接使用MLflow或许是最简洁的方案,如果是云平台kuberflow是一个不错的选择。目前来看,MLflow对前半部分:模型训练、管理做的比较好;kuberflow在模型部署方面更有优势。还需要深入使用,得出进一步结论。

一些公司的架构

美团

https://tech.meituan.com/2020/01/23/meituan-delivery-machine-learning.html

亚马逊MLOPS

模型构建、训练评估、生产、测试和质量控制、模型部署、监控

特征治理

在线:高并发,低延迟

离线:Hbase

实验管理

  • 实验版本管理

模型管理

  • 模型编录
  • 版本控制
  • 元数据管理
  • 上线状态管理
  • 自动化部署
  • 模型血缘,pipeline记录

工作流设计

  • 数据流处理
  • 模型训练
  • 超参调优
  • 模型创建
  • 模型注册
  • 模型批量管理
  • 特征质量检查
  • 可解释性检查
  • 条件分支
  • EMR
  • 回调

模型监控

  • 特征监控
  • 模型监控

数据是否有差异

指标差异

贝壳MLOPS

  • 数据平台
  • 训练平台
  • 推理平台

放弃hadoop,转向k8s

tencent music

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: