Перейти к содержимому
⁨NDDev AI⁩, главная страница
Сообщество
Язык: Русский
Отображение
Тема
Анимация

Развёртывание локальной LLM на серверах компании

NDDev разворачивает локальные LLM для компаний, которым политика или договор запрещают передавать данные внешним провайдерам. Открытая языковая модель работает на ваших GPU через vLLM, запросы, ответы и журналы остаются в вашей инфраструктуре, а внутренние сервисы подключаются к модели через единый API. NDDev работает с 2019 года.

Кому подходит?

Банкам, государственным организациям, юридическим и медицинским компаниям, производствам и всем, чьи документы и переписка должны оставаться на собственных серверах.

  • Модель на ваших GPU
  • Единый API для сервисов
  • Журналы внутри компании
  • Выбор модели по замерам

Что мы ставим на ваши серверы

Модель запускаем на vLLM: он обслуживает одновременные запросы многих пользователей и отдаёт API в формате, который понимают распространённые клиентские библиотеки. Перед моделью ставим шлюз на LiteLLM или FastAPI с ключами доступа, лимитами по отделам и журналом запросов. Чат для сотрудников, база знаний и внутренние системы подключаются к одному адресу.

  • набор задач и сравнение открытых моделей
  • расчёт серверов и видеокарт под вашу нагрузку
  • развёртывание модели на vLLM в контейнерах
  • шлюз доступа: ключи, лимиты, журнал запросов
  • подключение чата для сотрудников и внутренних сервисов
  • мониторинг загрузки видеокарт, задержки и ошибок
  • регламент обновления модели

Модель выбираем замером. Собираем набор задач из вашей работы, прогоняем на нём несколько открытых моделей разного размера и сравниваем качество, скорость и потребность в видеопамяти. По итогам называем конфигурацию серверов или проверяем, что можно запустить на уже купленном оборудовании.

Для прототипа хватает Ollama на одной машине, рабочую нагрузку переносим на vLLM с мониторингом. Если части задач нужна более сильная внешняя модель, настраиваем маршрут: обезличенные запросы уходят наружу по заранее согласованным правилам, всё остальное обрабатывается у вас.

Внедрение локальной модели

Оборудование покупают после замера, когда понятно, какая модель нужна.

  1. Задачи и требования

    Фиксируем, какие данные и задачи пойдут через модель, кто будет к ней обращаться и сколько запросов ожидается.

  2. Замер моделей

    Сравниваем открытые модели на ваших задачах и выбираем размер и способ запуска.

  3. Серверы

    Готовим конфигурацию оборудования или разворачиваем всё на ваших серверах: vLLM, шлюз, мониторинг.

  4. Подключение сервисов

    Подключаем чат, базу знаний и внутренние системы, выдаём ключи отделам.

  5. Передача

    Передаём документацию, инструкции по обновлению и мониторингу и остаёмся на поддержке.

Вопросы о локальных языковых моделях

Какое оборудование нужно?

Это зависит от модели и нагрузки. После замера на ваших задачах называем конфигурацию: объём видеопамяти, число видеокарт и требования к серверу. Если оборудование уже есть, проверяем, какие модели на нём работают с нужной скоростью.

Насколько локальная модель слабее облачной?

Разница зависит от задачи. Для поиска по документам, классификации и черновиков открытой модели часто хватает, для сложных рассуждений сильная облачная модель может быть точнее. Поэтому сначала сравниваем модели на вашем наборе задач и показываем цифры до покупки оборудования.

Данные точно остаются у нас?

В локальном режиме модель, запросы, ответы и журналы находятся на ваших серверах. Внешние вызовы появляются, только если вы решите отдать часть задач внешней модели; тогда заранее фиксируем, какие данные ей можно передавать и что маскируем.

Можно обучить локальную модель на наших документах?

Для ответов по документам обычно хватает поиска по базе знаний. Дообучение нужно, когда модель должна усвоить стиль, формат или терминологию; его мы делаем методами LoRA и QLoRA на вашем оборудовании.

Кто будет обслуживать модель после запуска?

Ваши администраторы получают документацию и инструкции. Мы также всегда предлагаем поддержку: обновления модели и компонентов, доработки и отчёт раз в месяц, обычно за 10 % стоимости проекта в месяц.

Сколько стоит развёртывание?

Цена «от» в блоке стоимости покрывает нашу работу. Серверы и видеокарты оплачиваются отдельно. Итог зависит от числа подключаемых сервисов, нагрузки и требований к доступу, сумму и срок фиксируем в ТЗ.

от 420 000 ₽

Бесплатная гарантия
60 дней

Цены указаны «от» и носят информационный характер; они не являются публичной офертой. Итог фиксируем в ТЗ.

Языковые модели и знания компании

Расскажите, какие данные должны остаться внутри компании

Опишите задачи для модели, число пользователей и оборудование, которое у вас уже есть. Мы предложим конфигурацию и план замера моделей.

Ответим в течение 24 часов

Ассистент

Загружаем ассистента…