لقد زدنا كفاءة معالجة طلبات خدمة ما بعد البيع للعملاء بثلاث مرات باستخدام Claude 3، لكننا واجهنا مشكلتين لم يكن ينبغي أن نواجههما.

عندما انتهى يوم الجمعة السوداء في الأسبوع الماضي من سحب التقرير، لدينا 3 تطوير فريق جنوب شرق آسيا التجارة الإلكترونية SaaS تحدق في البيانات الخلفية لمدة نصف يوم: في السنوات السابقة يجب أن يكون فريق خدمة العملاء بأكمله محور 3 أيام لمعالجة أوامر ما بعد البيع، معظم هذا العام تمت معالجتها تلقائيا، وانخفضت شكاوى العملاء مباشرة بنسبة 42٪.كان هناك تغيير أساسي واحد فقط: استبدال منطق التعرف على دلالة أمر العمل الأصلي بالكامل بـ Claude 3 Opus.

أولاً: قول الحقيقة لمن لم يتصل به.

هو الجيل الثالث من نموذج اللغة الكبيرة التي أطلقتها Anthropic في عام 2024 ، ونحن نستخدمها في الواقع معلمات أساسية بسيطة للغاية: 200k في نافذة السياق ، معالجة أمر العمل ما بعد البيع مع 3 لقطات شاشة للسلع ، معدل الدقة أعلى بنسبة 18٪ من نموذج مستوى المعلمات المستخدمة سابقًا.

بالنسبة لفريق صغير مثلنا، ثلاثة مكاسب هي أموال حقيقية.

الأول هو عدم الحاجة إلى إجراء معالجة متعددة الأبعاد بشكل منفصل. في السابق، كان علينا أولاً استخدام نموذج OCR لتحويل الصور التالفة للمنتجات ولقطات الشحن التي يرسلها المستخدمون إلى نصوص، ثم دمج هذه النصوص مع الطلبات النصية وإدخالها إلى النموذج الكبير. كانت صيانة هذه السلسلة وحدها تستهلك نصف جهد الخادم الخلفي. بعد التحول إلى Claude 3، أصبح بإمكاننا إرسال الصور والنصوص معًا مباشرة، وقلت حالات الأخطاء في التعرف بشكل كبير.

والثاني هو انخفاض معدل الرفض إلى حد يكاد لا يُذكر.النماذج السابقة واجهت أوامر العمل التي كتبها المستخدمون بشكل فوضوي للغاية (مثل نصف الإنجليزية نصف اللغة المحلية ، ومختلطة باختصارات الويب) ، وكثيراً ما كانت تعود مباشرة إلى غير قابل للتعرف عليها ، وتحتاج إلى التحويل يدوي.لقد أحسبنا أن نسبة التحويلات إلى العمل كانت 27 في المائة في ذلك الوقت، والآن هذا الرقم هو 4 في المائة.

والثالث هو أن تكلفة المكالمات أقل بكثير مما كنا نتوقع.نحن ندفع على أساس الاستخدام الفعلي، ويتم معالجة 12000 أمر عمل يومياً في يوم ذروة الخمسة السوداء، بتكلفة إجمالية أقل من 800 دولار أمريكي، وهو ما يمثل وفورات بنسبة 90٪ من تكلفة توظيف 10 خدمة عملاء مؤقتة.

لكن لا تتسرع، فالحفرتان اللتان داسنا عليهما كافيتان لإبقائك مشغولاً لمدة أسبوع.

والحفرة الأولى هي مسألة التوافق بين اللغات.نصف المستخدمين لدينا في اللغة الإندونيسية، في البداية دون الضبط الدقيق مباشرة على الإنترنت، ونتيجة لمواجهة اللغة العامية المميزة المحلية، النموذج غالبا ما يتم التعرف على "السلع لون خاطئ" إلى "المستخدمين لتغيير عنوان الاستلام"، أسبوعيا 17 شكوى.بعد ذلك قمنا بتعديل 3000 ورقة عمل باللغة المحلية ، وحلنا المشكلة.

الحفرة الثانية هي إغفال المعلومات في السياق الطويل.إذا أرفق أمر العمل بأكثر من 5 صور ، فإن النموذج في بعض الأحيان يغيب عن المعلومات المتوسطة ، على سبيل المثال ، التقط المستخدم صورة تلف التعبئة والتلف البضائع ، فإنه يحدد فقط مشكلة التعبئة والتغليف.أضفنا في وقت لاحق قاعدة التحقق البسيطة: إذا كانت أكثر من 3 صور ، دع النموذج يخرج نتائج التعرف أولاً ، ثم تجميعها ، دون وقوع أخطاء أخرى.

في الواقع، ليس كل الفرق مناسبة.

الحالات التي يجب عليك استخدامها:

• تحتاج إلى عمل مع النص والصور / الصوت القصير في نفس الوقت ، لا تريد أن يكون لديك روابط نموذجية متعددة
• لديك متطلبات عالية من دقة الإخراج، مثل معالجة أوامر العمل ومراجعة العقود والسيناريوهات المرتفعة التكلفة مثل الخطأ
• فريقك غير قادر على الحفاظ على النموذج المعقد قبل معالجة الروابط.

لا تضيع المال:

• عليك فقط القيام بمهام خفيفة مثل الردود على الكلمات الرئيسية البسيطة ، وتوليد نسخة تسويقية ، مع نموذج صغير رخيص يكفي.
• لديك متطلبات تخزين محلية صارمة لبيانات عملك ، لا يمكنك نقل البيانات إلى واجهة نموذج الطرف الثالث
• كمية الطلبات الخاصة بك صغيرة جدا، أقل من 1000 مرة في الشهر، وتكلفة تطوير النموذج أكثر من الفائدة.

نصيحتان للذين يبدأون العمل لأول مرة

الأول هو الاختبار لمدة 7 أيام من المشهد الحافة قبل الوصول إلى الرابط الأساسي.في البداية ، أخذنا أمر العمل التاريخي في الأشهر الثلاثة الماضية لتشغيل الاختبار خارج الإنترنت ، معدل الدقة لأكثر من 95 ٪ فقط لقطع 10 ٪ من حركة المرور عبر الإنترنت ، وارتفع ببطء إلى الحجم الكامل ، دون وقوع حادث كبير عبر الإنترنت.

والثاني هو عدم اختيار أغلى إصدار من Opus في البداية.لقد قمنا بقياس أن معالجة أوامر العمل الاستشارية العادية بدون صور ، فإن دقة إصدار Sonnet أقل من 2٪ من Opus ، وتكلفة نصفها فقط ، وهو ما يكفي للاستخدام.

وأخيراً، سأطرح سؤالاً شائعاً: هل أنتظر الجيل القادم؟إجابتنا هي أنه إذا كان عملك الحالي عالق بالكفاءة من قبل معالجة متعددة الوسائط ، وعدم كفاية الدقة ، فاستخدامه الآن هو جيد ، بعد كل شيء ، فإن تكاليف العمالة التي تم توفيرها في وقت مبكر أعلى بكثير من النقطة التي يتم فيها الانخفاض في نموذج الجيل التالي.