لقد استطعنا خفض معدل أخطاء طلبات موسم الترويج إلى 0.2% باستخدام GPT-4 Turbo، فتجنبوا هذه الأخطاء الثلاثة.

في الشهر الماضي، خلال عروض الجمعة السوداء، لم يتم إرهاق فريقنا الصغير المكون من 3 أشخاص المسؤول عن الخدمات اللوجستية العابرة للحدود إلى أوروبا بطلبات التحقق من عناوين العملاء، مما جعلنا نعمل طوال الليل لأول مرة.

في نفس الفترة من العام الماضي، كنا نستخدم نسخة عادية من GPT-4 لتنظيم عناوين العناصر، وخلال أوقات الذروة، كانت نسبة 13% من الطلبات تعود مباشرةً بخطأ رقم 429، وقد استغرقت معالجة شكاوى العملاء وحدها 36 ساعة. هذا العام، بعد التحول إلى GPT-4 Turbo، لم يتم تفعيل أي إجراءات للحد من الطلبات (throttling) على الإطلاق، وانخفض معدل الأخطاء بشكل كبير.0.2%。

أولاً، دعونا نفهم ما هو GPT-4 Turbo بالضبط:

ببساطة، OpenAI هو نسخة محسنة من GPT-4 تتميز بسرعة أعلى في المعالجة. العامل الأساسي الذي يميز هذه النسخة هوعدد الطلبات التي يمكن لحساب واحد معالجتها في الدقيقة الواحدة هو ستة أضعاف عدد الطلبات التي يمكن لـ GPT-4 العادي معالجتها.في الوقت نفسه، انخفضت تكلفة كل توكن إلى النصف، وهذا تحسين مخصص لسيناريوهات عالية الازدحام.

ثلاث فوائد عملية للفرق التقنية الصغيرة والمتوسطة الحجم

الأول هو عدم الحاجة إلى الصداع بعد الآن.لدينا في المتوسط 500،000 طلب تحليل العنوان يوميا، قبل أن تراكم 3 منصات مختلفة من النماذج الكبيرة لموازنة الحمل، وكتبت بوابة التكيف فقط أكثر من 1000 سطر من الشفرة، والآن GPT-4 توربو وحده يمكن أن تحمل 3 مرات من حركة المرور الذروة في موسم الترويج.

الثاني هو كفاءة معالجة النصوص الطويلة. نحن غالبًا ما نحتاج إلى إدخال صفحة كاملة من وثائق التخليص الجمركي العابرة للحدود لاستخراج المعلومات منها، وفي السابق كان من الشائع أن يتم تقسيم الطلب إلى ثلاث طلبات بسبب عدم كفاية طول السياق باستخدام GPT-4، ولكن الآن يمكن معالجتها دفعة واحدة، مما يقلل من وقت التنفيذ لكل مهمة بنسبة ثلثين.

الثالث هو أن التكلفة فعلاً أقل بكثير. لقد حسبنا فواتير الشهر الماضي، ووجدنا أن تكلفة استخدام GPT-4 Turbo، مع نفس حجم الطلبات، كانت فقط 28% من تكلفة الخطة المختلطة السابقة التي استخدمت عدة نماذج. الأموال التي تم توفيرها تم استخدامها لزيادة رواتب الفريق لمدة شهرين.

لا تنظر فقط إلى الجوانب الإيجابية، لقد واجهنا هذه الثلاث مشاكل بأنفسنا.

فالحفرة الأولى هي مهمة منخفضة التعقيد، بدلا من أنها غير فعالة من حيث التكاليف.بعد أن قمنا بتخفيض جميع طلبات التحقق من العنوان ، اكتشفنا أن مهمة "تحديد ما إذا كان العنوان ينتمي إلى الاتحاد الأوروبي" البسيطة كانت أكثر تكلفة بثلاث مرات مع GPT-4 Turbo من النموذج الخفيف الوزن ، والآن قمنا بتحويل هذه الطلبات البسيطة إلى نموذج أصغر.

المشكلة الثانية هي أن مدة الاستجابة الافتراضية أطول قليلاً من GPT-4 العادي. عندما قمنا بالتحويل، اكتشفنا أن بعض الطلبات تستغرق أكثر من 200 مللي ثانية للتنفيذ، ولاحقًا علمنا أن وضع الإنتاجية العالية يعطي الأولوية لضمان عدم رفض الطلبات، بدلاً من تحقيق أقل وقت تأخير ممكن. لحل هذه المشكلة، قمنا بتعيين معلمات وقت تأخير منخفضة خصيصًا للطلبات الأمامية التي تحتاج إلى استجابة سريعة.

المشكلة الثالثة هي أن التحكم الدقيق في الصلاحيات أقل مقارنةً بالنسخة العادية. يمكن لـ GPT-4 العادي تخصيص معايير مثل درجة حرارة النموذج (temperature) وقيمة top_p ضمن نطاق دقيق جدًا، لكن نطاق التعديل في GPT-4 Turbo أصبح أضيق بكثير. وبالنسبة للسيناريوهات التي تتطلب التحكم الدقيق في أسلوب الإخراج (مثل نصوص إشعارات التخليص الجمركي التي نقوم بإنشائها للعملاء)، فمن الضروري العودة إلى النسخة العادية.

من يجب أن يستخدمه؟ ومن لا يحتاج إلى الانضمام إلى هذا الحدث؟

إذا كنت تنتمي إلى فريق صغير أو متوسط الحجم، وتتوافق مع هذه الثلاثة شروط، فقم بالتقدم مباشرة:

• يوميًا، يتم تلقي أكثر من 100,000 طلب عالي الازدحام من النماذج الكبيرة.
• غالبًا ما يكون هناك حاجة إلى معالجة مهام نصوص طويلة تتجاوز 8 كيلوبايت من السياق.
• كنا في السابق نقوم بشكل متكرر بتوزيع العبء بين النماذج المختلفة لأسباب تتعلق بالحد من الطلبات (الترافيك).

إذا كان عدد الطلبات اليومية لفريقك أقل من 10 آلاف، أو كانت المهام تتضمن فقط تصنيفًا أو استخراجًا بسيطًا، فلا حاجة على الإطلاق لتغيير النموذج، فالنموذج الخفيف يكفي تمامًا وبتكلفة أقل.

نصيحتان محددتان للمبتدئين:

لا تقم بالتحويل الكامل في الأسبوع الأول، بل قم أولاً بنقل 10% من الطلبات النصية ذات الكثافة العالية والطويلة للتشغيل التجريبي، وبعد مراقبة البيانات لمدة أسبوع، قم بزيادة الكمية تدريجياً. في ذلك الوقت، قمنا بالتحويل بنسبة 30% في اليوم الأول، وكدنا نواجه مشكلات في استخراج بعض الوثائق الجمركية بسبب عدم تكييف المعلمات بشكل صحيح.

لا حاجة لتخزين سياق طويل مسبقًا، فسياق GPT-4 Turbo البالغ 128 كيلوبايت يكفي للتعامل مع معظم سيناريوهات المستوى المؤسسي. لقد جربنا إدخال عقد اللوجستيات المكون من 30 صفحة بأكمله للتحقق من البنود، ولم نجد أي فرق بين دقة النتائج أو عند معالجتها على دفعات.

السؤالان اللذان يطرحهم الجميع كثيرًا

س: هل سيكون جودة الإخراج أقل من جودة إخراج GPT-4 العادي؟
أ: لقد أجرينا اختبارًا على مجموعة بيانات تحتوي على 1000 عنوان، وكانت نسبة الدقة 98.7٪، وهو ما لا يختلف كثيرًا عن نسبة الدقة البالغة 98.9٪ لـ GPT-4 العادي، وهو ما يكفي تمامًا للاستخدام في السيناريوهات على مستوى الشركات.

س: هل من الضروري إعادة إنشاء مشروع البرومبت (Prompt Project)؟
أ: لقد استخدمنا ببساطة جميع النصوص التوجيهية (Prompts) التي كتبناها سابقًا لنموذج GPT-4 العادي دون إجراء أي تعديلات، وكانت النتائج المخرجة تتوافق تمامًا مع توقعاتنا.