نشر بوابات التفكير القائمة على الذكاء الاصطناعي على مستوى المؤسسات: لقد قمنا بتقليل نسبة الأخطاء (رقم 429) من 13% إلى 0، ووفرنا أيضًا 28% من التكاليف.

في الشهر الماضي ، كان فريقنا التقني للتجارة الإلكترونية عبر الحدود في سنغافورة 3 خلفية في غرفة المراقبة لمدة 36 ساعة ، وأخيراً حدق في منحنى نسبة نجاح الطلب كاد يقفز - نفس العقدة الترويجية الكبيرة في العام الماضي ، ونحن نحدد التيار بسبب مزود خدمة LLM واحد ،13% من طلبات إنشاء وصف المنتجات تتلقى رسالة خطأ 429 مباشرةً.لقد تعطل خادم البائع لمدة تقارب 4 ساعات، وقد تلقينا أكثر من 2000 شكوى من العملاء فقط.

أولاً، دعونا نفهم ما هو بوابة التنبؤ على مستوى المؤسسات (Enterprise-level Prediction Gateway).

ليس إطار عمل جديدًا متطورًا للغاية؛ في الأساس، هو مجرد طبقة لتوجيه حركة المرور تقع بين خدمات عملك وواجهات الذكاء الاصطناعي المختلفة (LLMs). المعايير الأساسية له بسيطة للغاية:تحت الحمل الطبيعي، لا يجب أن يتجاوز تأخير الجدولة 10 مللي ثوانٍ.إذا تجاوزنا الحدود، فهذا يعني أننا نعيق تقدم الأعمال.

ثلاثة فوائد حقيقية تم تلخيصها بعد أن تجنبنا العقبات

• أولاً ، يتم إزالة مخاطر الحد من التيار مباشرة: نحن الآن في نفس الوقت 3 من مقدمي الخدمات LLM الرئيسيين ، وستقوم البوابة تلقائيًا بتوزيع الطلبات على الحصة الحالية والعقدة الأسرع استجابة ، وكانت القيمة السوداء الخمسة QPS أعلى من 2.3 مرة في العام الماضي ، ولم تظهر دفعة واحدة في العملية بأكملها 429.
• ثانيًا، هناك انخفاض ملحوظ في التكاليف: نقوم بتوجيه طلبات إنشاء تصنيفات للمنتجات ذات الأولوية المنخفضة تلقائيًا إلى نماذج أصغر توفر نسبة أفضل بين الجودة والسعر، دون الحاجة إلى تغيير أي كود في الأعمال، وخلال 7 أيام فقط، تم توفير 28% من تكاليف الرموز (tokens).
• وأخيرًا، تم تجنب العمل الإضافي في الخادم الخلفي: في السابق، كان يتعين تعديل واجهات البرمجة التطبيقية لثلاث وحدات أعمال بشكل منفصل في كل مرة يتم فيها تغيير النموذج أو إضافة مزود خدمة جديد، أما الآن فكل شيء يتم تكوينه على مستوى البوابة الشبكية، ويمكن إنجاز العملية في نصف يوم.

لا تنظر فقط إلى الجوانب الإيجابية، لقد وقعنا في هذه الأخطاء الثلاث بشكل حقيقي.

في الأسبوع الأول من الإنترنت ، وقعنا في حادث: بعد فتح وظيفة الاحتجاز التلقائي ، قامت البوابة بتقطيع مجموعة من طلبات النسخ المخصصة ذات الأولوية العالية التي كان من المفترض أن تستدعي GPT-4 إلى نموذج صغير ضعيف الأداء ، مما أدى إلى أكثر من 200 نسخة من محتوى الإعلانات التجارية غير المؤهلة ، وأخيرا فقدت عشرة آلاف قسيمة ترويجية.اكتشفنا لاحقاً أنه ليست جميع الطلبات مناسبة للتخفيض التلقائي ، وأن السيناريوهات عالية الحساسية يجب إضافة قواعد التحقق من الخلف.

هناك العديد من المشاكل المتعلقة بالتكاليف التي لم يتم ذكرها بعد: إذا كان معدل الطلبات في الثانية (QPS) الخاص بك منخفضًا لفترة طويلة عن 10، فإن تكاليف خادم البوابة نفسها وصيانتها ستكون أعلى من تكلفة الباقات العالية السعة التي تشتريها مباشرة من مزودي خدمات الذكاء الاصطناعي القائم على النماذج العميقة (LLM)، ولن يكون من المنطقي إطلاقًا الإصرار على استخدام هذه البوابة.

بالإضافة إلى ذلك، لا تصدقوا ما يُقال عن أن المنتجات “جاهزة للاستخدام بشكل كامل فور الفتح من العبوة”. لقد جربنا ثلاث بوابات مفتوحة المصدر، ووجدنا أن قواعد توزيع الحركة الافتراضية لا تتناسب إطلاقًا مع سيناريوهات التجارة الإلكترونية. استغرقت مجرد تعديل قواعد التوزيع يومين كاملين.

من يجب أن يذهب؟ منهم لا يحتاجون إلى إضاعة الوقت على الإطلاق

المعايير المباشرة للحكم، دون الحاجة للتردد:

• يمكن اعتبار الحالات التالية مؤهلة: إذا تجاوز عدد طلبات الذكاء الاصطناعي الاستعاري (LLM) اليومية 10 آلاف طلب، أو تم استخدام أكثر من نموذجين في نفس الوقت، أو كانت متطلبات توافر الخدمة أعلى من 99.9٪؛
• إذا كان فريقك عبارة عن شركة ناشئة صغيرة تضم أقل من 5 أشخاص، أو كانت الأعمال الأساسية لا تعتمد بشكل كبير على استدعاء النماذج الكبيرة (LLMs)، وكانت تكاليف استخدام النماذج الكبيرة لمدة شهر واحد أقل من راتب مهندس الخوادم الخلفي، فمن الأفضل عدم اللجوء إلى نظام النشر على مستوى المؤسسات. من الأكثر اقتصادية استخدام واجهات الخدمات الأصلية للمزودين.

نصيحتان عمليتان للمبتدئين:

بدلا من التبديل الكامل ، خذ 10٪ من حركة المرور ذات الأولوية المنخفضة لتشغيل درجة الرمادي لمدة أسبوع ، مع التركيز على مؤشرين: ما إذا كان هناك طلب متكرر للتسليم ، وما إذا كان التأخير الناجم عن الجدولة في نطاق مقبول.في ذلك الوقت ، قمنا أولاً بقياس حركة الرد التلقائي لما بعد البيع لمدة 3 أيام ، لتحديد الأعمال الأساسية التي لا يمكن قطعها.

س: هل يجب أن أبني البوابة من الصفر؟ ج: ما لم يكن لدى فريقك أشخاص متفرغين بشكل خاص، فمن الأفضل استخدام إصدارات مفتوحة المصدر متقدمة وتعديلها، حيث سيوفر ذلك عليكم على الأقل شهرين من الوقت، وستكون الاستقرارية أعلى أيضًا.