انتقل إلى المحتوى
⁨NDDev AI⁩، الصفحة الرئيسية
المجتمع
اللغة: العربية
العرض
المظهر
الحركة

نشر نموذج لغوي كبير (LLM) محلي على خوادم الشركة

تنشر NDDev النماذج اللغوية الكبيرة (LLM) المحلية للشركات التي تمنعها سياساتها أو عقودها من نقل البيانات إلى مزوّدين خارجيين. يعمل النموذج اللغوي المفتوح على وحدات معالجة الرسوميات (GPU) لديك عبر vLLM، وتبقى الطلبات والردود والسجلات داخل بنيتك التحتية، وتتصل الخدمات الداخلية بالنموذج عبر واجهة API موحّدة. تعمل NDDev منذ عام 2019.

لمن يناسب؟

للبنوك والجهات الحكومية والشركات القانونية والطبية والمصانع، ولكل من يجب أن تبقى مستنداته ومراسلاته على خوادمه الخاصة.

  • النموذج على وحدات معالجة الرسوميات (GPU) لديك
  • واجهة API موحّدة للخدمات
  • السجلات داخل الشركة
  • اختيار النموذج بناءً على القياسات

ما الذي نثبّته على خوادمك

نشغّل النموذج على vLLM، فهو يعالج الطلبات المتزامنة لعدد كبير من المستخدمين ويوفّر واجهة API بصيغة تفهمها مكتبات العملاء الشائعة. ونضع أمام النموذج بوابة مبنية على LiteLLM أو FastAPI تتضمن مفاتيح الوصول وحدود الاستخدام لكل قسم وسجل الطلبات. وتتصل محادثة الموظفين وقاعدة المعرفة والأنظمة الداخلية بعنوان واحد.

  • مجموعة مهام ومقارنة للنماذج المفتوحة
  • حساب احتياج الخوادم وبطاقات الرسوميات وفق حمل العمل لديك
  • نشر النموذج على vLLM داخل حاويات
  • بوابة الوصول: المفاتيح، والحدود، وسجل الطلبات
  • ربط محادثة الموظفين والخدمات الداخلية
  • مراقبة إشغال بطاقات الرسوميات وزمن التأخير والأخطاء
  • إجراءات تحديث النموذج

نختار النموذج بالقياس. نجمع مجموعة مهام من عملك، ونشغّل عليها عدة نماذج مفتوحة بأحجام مختلفة، ثم نقارن الجودة والسرعة ومقدار ذاكرة الرسوميات المطلوبة. وبناءً على النتائج نحدّد مواصفات الخوادم، أو نتحقق مما يمكن تشغيله على الأجهزة المشتراة لديك بالفعل.

يكفي للنموذج الأولي تشغيل Ollama على جهاز واحد، أما حمل العمل فننقله إلى vLLM مع المراقبة. وإذا كانت بعض المهام تتطلب نموذجاً خارجياً أقوى، نضبط مسار التوجيه بحيث تُرسل الطلبات المنزوعة الهوية إلى الخارج وفق قواعد متفق عليها مسبقاً، وتُعالَج بقية الطلبات لديك.

تطبيق النموذج المحلي

تُشترى الأجهزة بعد إجراء القياسات وتحديد النموذج المطلوب.

  1. المهام والمتطلبات

    نحدّد البيانات والمهام التي ستمر عبر النموذج، ومن سيرسل الطلبات إليه، وعدد الطلبات المتوقع.

  2. قياس النماذج

    نقارن النماذج المفتوحة على مهامك ونختار حجم النموذج وطريقة تشغيله.

  3. الخوادم

    نعدّ مواصفات الأجهزة أو ننشر كل المكونات على خوادمك: vLLM، والبوابة، ونظام المراقبة.

  4. ربط الخدمات

    نربط المحادثة وقاعدة المعرفة والأنظمة الداخلية، ونصدر مفاتيح الوصول للأقسام.

  5. التسليم

    نسلّم الوثائق وتعليمات التحديث والمراقبة، ونواصل تقديم الدعم.

أسئلة عن النماذج اللغوية المحلية

ما الأجهزة المطلوبة؟

يعتمد ذلك على النموذج وحجم الحمل. بعد إجراء القياس على مهامك نحدّد المواصفات المطلوبة: سعة ذاكرة الرسوميات، وعدد بطاقات الرسوميات، ومتطلبات الخادم. وإذا كانت الأجهزة متوفرة لديك، نتحقق من النماذج التي تعمل عليها بالسرعة المطلوبة.

إلى أي مدى يكون النموذج المحلي أضعف من النموذج السحابي؟

يتوقف الفرق على طبيعة المهمة. في البحث داخل المستندات والتصنيف وإعداد المسودات يكفي النموذج المفتوح في كثير من الأحيان، أما في الاستنتاجات المعقدة فقد يكون النموذج السحابي القوي أكثر دقة. لذلك نقارن النماذج أولاً على مجموعة مهامك ونعرض عليك الأرقام قبل شراء الأجهزة.

هل تبقى البيانات لدينا بالتأكيد؟

في الوضع المحلي، يبقى النموذج والطلبات والردود والسجلات على خوادمك. ولا تحدث أي اتصالات خارجية إلا إذا قررت إسناد جزء من المهام إلى نموذج خارجي؛ وعندها نحدّد مسبقاً البيانات المسموح بإرسالها إليه وما يتم إخفاؤه.

هل يمكن تدريب النموذج المحلي على مستنداتنا؟

للإجابة بالاعتماد على المستندات، يكفي عادةً البحث في قاعدة المعرفة. وتظهر الحاجة إلى التدريب الإضافي عندما يتعيّن على النموذج اكتساب أسلوب معيّن أو صيغة أو مصطلحات خاصة؛ وعندها ننفّذه بطريقتي LoRA وQLoRA على أجهزتك.

من سيتولى صيانة النموذج بعد إطلاقه؟

يتسلّم مسؤولو النظام لديك الوثائق والتعليمات. كما نتيح دائماً خدمة الدعم التي تشمل تحديثات النموذج والمكونات، والتعديلات التطويرية، وتقريراً شهرياً، وعادةً ما تكون بتكلفة 10 % من قيمة المشروع شهرياً.

ما تكلفة النشر؟

السعر المذكور بصيغة «يبدأ من» في قسم التكلفة يغطي عملنا. أما الخوادم وبطاقات الرسوميات فتُدفع تكلفتها بشكل منفصل. وتعتمد التكلفة النهائية على عدد الخدمات المربوطة وحجم الحمل ومتطلبات الوصول، ونثبّت المبلغ والمدة في المواصفات الفنية.

ابتداءً من ‏420,000 ₽

ضمان مجاني
60 يوم

الأسعار المذكورة هي أسعار ابتدائية للمعلومات فقط، ولا تُعدّ عرضاً عاماً. يُحدَّد السعر النهائي في المواصفات الفنية.

Language models and company knowledge

أخبرنا بالبيانات التي يجب أن تبقى داخل الشركة

وضّح المهام المطلوبة من النموذج، وعدد المستخدمين، والأجهزة المتوفرة لديك حالياً. وسنقترح عليك مواصفات التشغيل وخطة لقياس النماذج.

سنرد خلال 24 ساعة

المساعد

جارٍ تحميل المساعد…