Компания серверлерінде жергілікті LLM орналастыру
NDDev саясаты немесе келісімшарты деректерді сыртқы провайдерлерге беруге тыйым салатын компаниялар үшін жергілікті LLM орналастырады. Ашық тілдік модель vLLM арқылы сіздің GPU-ларыңызда жұмыс істейді, сұраулар, жауаптар мен журналдар өз инфрақұрылымыңызда қалады, ал ішкі сервистер модельге бірыңғай API арқылы қосылады. NDDev 2019 жылдан бері жұмыс істейді.
Кімге лайық?
Банктерге, мемлекеттік ұйымдарға, заңгерлік және медициналық компанияларға, өндірістерге, сондай-ақ құжаттары мен хат алмасуы өз серверлерінде қалуға тиіс баршаға.
- Сіздің GPU-ларыңыздағы модель
- Сервистерге арналған бірыңғай API
- Компания ішіндегі журналдар
- Өлшемдер бойынша модель таңдау
Сіздің серверлеріңізге не орнатамыз
Модельді vLLM-де іске қосамыз: ол көптеген пайдаланушының бір мезгілдегі сұрауларына қызмет көрсетеді және кең таралған клиенттік кітапханалар түсінетін форматта API береді. Модельдің алдына кіру кілттері, бөлімдер бойынша лимиттері және сұраулар журналы бар LiteLLM немесе FastAPI шлюзін орнатамыз. Қызметкерлерге арналған чат, білім қоры және ішкі жүйелер бір мекенжайға қосылады.
- міндеттер жиынтығы және ашық модельдерді салыстыру
- жүктемеңізге сай серверлер мен бейнекарталарды есептеу
- модельді контейнерлерде vLLM-де орналастыру
- кіру шлюзі: кілттер, лимиттер, сұраулар журналы
- қызметкерлерге арналған чат пен ішкі сервистерді қосу
- бейнекарталар жүктемесінің, кідіріс пен қателердің мониторингі
- модельді жаңарту регламенті
Модельді өлшеу арқылы таңдаймыз. Жұмысыңыздағы міндеттер жиынтығын жинақтап, сонда өлшемі әртүрлі бірнеше ашық модельді жүргізіп көреміз және олардың сапасын, жылдамдығын, бейнежадқа қажеттілігін салыстырамыз. Нәтижесі бойынша серверлер конфигурациясын атаймыз немесе сатып алынып қойған жабдықта нені іске қосуға болатынын тексереміз.
Прототип үшін бір машинадағы Ollama жеткілікті, ал жұмыс жүктемесін мониторингі бар vLLM-ге көшіреміз. Егер міндеттердің бір бөлігіне күштірек сыртқы модель қажет болса, маршрутты баптаймыз: иесіздендірілген сұраулар алдын ала келісілген ережелер бойынша сыртқа жіберіледі, ал қалғанының бәрі өзіңізде өңделеді.
Жергілікті модельді енгізу
Жабдық өлшеу жүргізіліп, қандай модель қажет екені түсінікті болғаннан кейін сатып алынады.
Міндеттер мен талаптар
Модель арқылы қандай деректер мен міндеттер өтетінін, оған кім жүгінетінін және қанша сұрау күтілетінін белгілейміз.
Модельдерді өлшеу
Ашық модельдерді сіздің міндеттеріңізде салыстырып, өлшемі мен іске қосу тәсілін таңдаймыз.
Серверлер
Жабдық конфигурациясын дайындаймыз немесе барлығын сіздің серверлеріңізде орналастырамыз: vLLM, шлюз, мониторинг.
Сервистерді қосу
Чатты, білім қорын және ішкі жүйелерді қосып, бөлімдерге кілттер береміз.
Тапсыру
Құжаттаманы, жаңарту мен мониторинг бойынша нұсқаулықтарды тапсырамыз және техникалық қолдау көрсетуді жалғастырамыз.
Жергілікті тілдік модельдер туралы сұрақтар
Қандай жабдық қажет?
Бұл модель мен жүктемеге байланысты. Сіздің міндеттеріңізде өлшеу жүргізгеннен кейін конфигурацияны атаймыз: бейнежад көлемі, бейнекарталар саны және серверге қойылатын талаптар. Егер жабдық бар болса, онда қандай модельдер қажетті жылдамдықпен жұмыс істейтінін тексереміз.
Жергілікті модель бұлттық модельден қаншалықты әлсізірек?
Айырмашылық міндетке байланысты. Құжаттар бойынша іздеу, жіктеу және қараламалар үшін көбіне ашық модель жеткілікті, ал күрделі пайымдауларда күшті бұлттық модель дәлірек болуы мүмкін. Сондықтан алдымен модельдерді сіздің міндеттер жиынтығыңызда салыстырып, жабдық сатып алынғанға дейін сандарды көрсетеміз.
Деректердің өзімізде қалатыны анық па?
Жергілікті режимде модель, сұраулар, жауаптар мен журналдар сіздің серверлеріңізде орналасады. Сыртқы шақырулар міндеттердің бір бөлігін сыртқы модельге беруді өзіңіз шешсеңіз ғана пайда болады; ондай жағдайда оған қандай деректерді беруге болатынын және нені бүркемелейтінімізді алдын ала белгілейміз.
Жергілікті модельді біздің құжаттар негізінде оқытуға бола ма?
Құжаттар бойынша жауап беру үшін әдетте білім қорынан іздеу жеткілікті. Қосымша оқыту модель стильді, форматты немесе терминологияны меңгеруі керек болғанда қажет; оны сіздің жабдығыңызда LoRA және QLoRA әдістерімен орындаймыз.
Іске қосылғаннан кейін модельге кім қызмет көрсетеді?
Сіздің әкімшілеріңіз құжаттама мен нұсқаулықтарды алады. Сонымен қатар біз әрдайым техникалық қолдау ұсынамыз: модель мен компоненттерді жаңарту, жете пысықтау және айына бір рет есеп беру, бұл әдетте айына жоба құнының 10%-ын құрайды.
Орналастыру қанша тұрады?
Құн блогындағы «бастап» бағасы біздің жұмысымызды қамтиды. Серверлер мен бейнекарталар бөлек төленеді. Қорытынды баға қосылатын сервистер санына, жүктемеге және кіру талаптарына байланысты, ал сома мен мерзімді техникалық тапсырмада белгілейміз.
420 000 ₽ бастап
- Тегін кепілдік
- 60 күн
Бағалар бастапқы деңгейден көрсетілген және тек ақпарат үшін берілген; олар жария оферта болып саналмайды. Соңғы құн техникалық тапсырмада бекітіледі.
Language models and company knowledge
Тақырып бойынша
Компания ішінде қандай деректер қалуға тиіс екенін айтып беріңіз
Модельге арналған міндеттерді, пайдаланушылар санын және өзіңізде бар жабдықты сипаттап жазыңыз. Біз конфигурация мен модельдерді өлшеу жоспарын ұсынамыз.
24 сағат ішінде жауап береміз