跳到正文
⁨NDDev AI⁩,首页
社区
语言: 简体中文
显示
主题
动效

在公司服务器上部署本地 LLM

NDDev 为因政策或合同禁止向外部服务商传输数据的公司部署本地 LLM。开源语言模型通过 vLLM 在您的 GPU 上运行,请求、响应和日志保留在您的基础设施内,内部服务通过统一的 API 接入模型。NDDev 自 2019 年起开展业务。

适合谁?

适用于银行、政府机构、法律与医疗公司、制造企业,以及所有必须将文档和通信内容保留在自有服务器上的组织。

  • 模型运行在您的 GPU 上
  • 面向各服务的统一 API
  • 日志保留在公司内部
  • 通过实测选择模型

我们在您的服务器上部署什么

我们通过 vLLM 运行模型:它能够同时处理多名用户的并发请求,并提供常用客户端库可识别的 API 格式。在模型前端,我们基于 LiteLLM 或 FastAPI 部署网关,配置访问密钥、部门限额和请求日志。员工聊天端、知识库和内部系统都接入同一个地址。

  • 任务集整理与开源模型对比
  • 根据您的负载测算服务器与显卡配置
  • 在容器中基于 vLLM 部署模型
  • 访问网关:密钥、限额与请求日志
  • 接入员工聊天端与内部服务
  • 显卡负载、延迟与错误监控
  • 模型更新规程

我们通过实测选定模型:从您的工作中整理出一组任务,用它测试几款不同规模的开源模型,对比质量、速度和显存需求。根据实测结果,我们会给出服务器配置方案,或者检查您已购置的硬件可以运行哪些模型。

验证原型时,在单台机器上运行 Ollama 即可;正式工作负载则会迁移到配有监控的 vLLM 上。如果部分任务需要更强的外部模型,我们会配置路由:脱敏后的请求按事先约定的规则发往外部,其余内容全部在您本地处理。

本地模型落地实施

先完成实测、明确所需的模型,再采购硬件设备。

  1. 任务与要求

    明确哪些数据和任务会经过模型处理、由谁调用,以及预计的请求量。

  2. 模型实测

    用您要处理的任务测试并对比开源模型,选定模型规模与运行方式。

  3. 服务器

    制定硬件配置方案,或在您的服务器上部署全部环境:vLLM、网关和监控。

  4. 接入服务

    接入聊天端、知识库和内部系统,并向各部门发放访问密钥。

  5. 移交

    移交文档以及更新和监控指南,并继续提供维护与技术支持。

关于本地语言模型的问题

需要什么样的硬件设备?

这取决于模型和负载。用您要处理的任务完成实测后,我们会给出配置方案:显存容量、显卡数量以及服务器要求。如果您已有硬件设备,我们会测试哪些模型能在上面达到所需的运行速度。

本地模型比云端模型弱多少?

差距取决于具体任务。对于文档检索、分类和起草初稿,开源模型通常已经够用;对于复杂推理,能力更强的云端模型可能更准确。因此我们会先在您的任务集上对比不同模型,并在采购硬件前向您展示实测数据。

数据确定会留在我们这里吗?

在本地模式下,模型、请求、响应和日志都保存在您的服务器上。只有当您决定将部分任务交给外部模型处理时,才会产生外部调用;届时我们会事先约定哪些数据可以外传、哪些内容需要脱敏掩码。

可以用我们的文档训练本地模型吗?

如果是基于文档回答问题,通常通过知识库检索就够了。当模型需要掌握特定的风格、格式或术语时才需要微调;我们会采用 LoRA 和 QLoRA 方法在您的硬件上完成微调。

上线后由谁来维护模型?

您的管理员会收到文档和操作指南。我们也始终提供维护与技术支持:包括模型和组件更新、功能调整以及每月一次的报告,每月费用通常为项目费用的 10%。

部署费用是多少?

报价栏中的“起价”涵盖我们的工作费用,服务器和显卡费用另计。最终费用取决于接入服务的数量、负载规模和访问权限要求,具体金额与工期会在技术规格书中明确约定。

₽420,000 起

免费保修
60 天

所列为起步价格,仅供参考,不构成公开要约。最终价格在技术规格书中确定。

Language models and company knowledge

告诉我们哪些数据必须留在公司内部

请说明需要模型处理的任务、用户数量以及您现有的硬件设备。我们将为您提供配置方案和模型实测计划。

我们将在 24 小时内回复

助手

正在加载助手…