MLOps:ML 模型的部署、维护与技术支持
我们围绕模型完成哪些配置
我们基于 FastAPI 或 vLLM 将模型封装为服务,并在固定镜像版本的容器中运行。模型的每个版本都保存在 MLflow 注册表中,并附带指向数据、代码和训练指标的链接。发布通过 CI 流程完成:执行测试、在对照集上运行,并与当前运行版本对比。
- 将模型封装为服务并打包入容器
- MLflow 版本与实验注册表
- 模型 CI:测试与对照集
- 漂移、质量、延迟与成本监控
- 在 Langfuse 中追踪 LLM 请求
- 基于 Airflow 或 Prefect 的重新训练流水线
- 发布与回滚规范
- 数据保存与删除规则
发布后,我们监控输入数据、响应质量、延迟和成本,并通过 Langfuse 与 OpenTelemetry 追踪对语言模型的请求。一旦数据明显偏离训练数据或指标下降,就会触发告警:通过 Airflow 或 Prefect 流水线重新训练模型,或回滚至上一版本。
数据管理规则也会单独约定:由谁保存请求与响应、保存多久,以及工作结束后如何删除。我们将服务指标与用户内容分开存放,My Attention AI 的遥测机制也是如此。
将模型投入运行
我们先查看模型目前的运行状况,解决风险最高的问题。
审计
查看模型在何处、如何训练和运行,由谁发布,以及出现故障时会发生什么。
服务与注册表
封装模型,建立版本注册表并实现可复现的训练。
发布流水线
配置包含测试与对照集检验的 CI 流程。
监控
接入指标、告警与看板,并商定阈值。
重新训练、维护与技术支持
按时间表或根据漂移信号启动重新训练,并为系统提供维护与技术支持。
该服务的相关项目
My Attention AI:注意力管理与事务安排平台
My Attention AI 是专注于注意力管理与活动组织的平台,包含四个方向:Screen、Together、Train 和 Care。该产品已向用户开放,支持俄语、英语和哈萨克语。产品归属于独立公司 My Attention AI, Inc.,NDDev 的 CEO Danil Silantyev 在该公司担任技术总监。
数据团队关于 MLOps 的问题
我们已经有模型了,应该从哪里开始?
从审计开始:我们会查看代码、数据、运行方式和指标。审计结束后,您将收到风险清单以及优先配置计划。
可以接手其他团队训练的模型吗?
可以。我们需要访问代码、数据或其说明,以及模型运行的环境。如果训练过程无法复现,我们会首先恢复训练的可复现性。
什么是数据漂移?
数据会随时间发生变化:出现新商品、不同的客户群体以及季节性波动。基于旧数据训练的模型会更频繁地出错。漂移监控能在用户看到错误之前发现这一情况。
模型将在哪里运行?
可以在您的服务器上、商定的云端,或您租用的显卡上运行。我们会在同一环境中配置服务、监控和重新训练,并将文档移交给您的团队。
MLOps 的费用是多少?
价格模块中列出了起步价。最终费用取决于模型数量、当前的运行状态以及监控要求。服务器和计算资源费用另行支付。上线后可将系统交由我们提供维护与技术支持,每月费用通常为项目费用的 10%。
₽280,000 起
- 免费保修
- 40 天
所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。
Documents, video and forecasting
相关内容
告诉我们您有哪些模型正在运行
请介绍您的模型、数据以及目前的发布方式。我们将提供方案并给出报价。
我们将在 24 小时内回复