เราเพิ่มประสิทธิภาพการประมวลผลใบสั่งงานหลังการขายของลูกค้า 3 เท่าด้วย Claude 3 แต่เหยียบหลุม 2 หลุมที่ไม่ควรเหยียบ

เมื่อสิ้นสุดการดึงรายงานเมื่อสัปดาห์ที่แล้วการพัฒนา 3 ของทีม SaaS ของเอเชียตะวันออกเฉียงใต้ของเราจ้องมองข้อมูลเบื้องหลังเป็นเวลาครึ่งวัน: ในปีก่อนหน้านี้การประมวลผลใบสั่งงานหลังการขายซึ่งต้องใช้เวลา 3 วันเพื่อให้ทีมบริการลูกค้าทั้งหมดสามารถประมวลผลได้ครึ่งหนึ่งของปีนี้ได้รับการประมวลผลโดยอัตโนมัติและปริมาณการร้องเรียนของลูกค้าลดลง 42% โดยตรงมีการเปลี่ยนแปลงหลักเพียงอย่างเดียว: ตรรกะการจดจําความหมายของใบสั่งงานเดิมถูกแทนที่ด้วย Claude 3 Opus

บอกคนที่ยังไม่เคยสัมผัสมาก่อน

มันเป็นแบบจําลองภาษาขนาดใหญ่รุ่นที่สามที่เปิดตัวโดย Anthropic ในปี 2024 จุดยึดพารามิเตอร์หลักที่เราใช้จริงนั้นง่ายมาก: ภายใต้หน้าต่างบริบท 200k การประมวลผลคําสั่งงานหลังการขายที่มีภาพหน้าจอสินค้า 3 ภาพ ความถูกต้องสูงกว่าแบบจําลองระดับพารามิเตอร์เดียวกันที่ใช้ก่อนหน้านี้ 18%

สําหรับทีมงานเล็ก ๆ ของเราผลประโยชน์สามอย่างเป็นเงินจริง

ประการแรกคือการตัดการประมวลผลล่วงหน้าแบบมัลติโมเดลก่อนหน้านี้ผู้ใช้อัปโหลดแผนภาพสินค้าที่เสียหายและภาพหน้าจอโลจิสติกส์เราต้องเชื่อมต่อแบบจําลอง OCR เพื่อแปลงเป็นข้อความจากนั้นป้อนแบบจําลองขนาดใหญ่กับใบสั่งงานข้อความ การบํารุงรักษาชุดของการเชื่อมโยงนี้เพียงอย่างเดียวคิดเป็นพลังงานด้านหลังครึ่งหนึ่งหลังจากเปลี่ยน Claude 3 โดยตรงส่งภาพและข้อความพร้อมกับการระบุความผิดพลาดน้อยลง

ประการที่สองคืออัตราการปฏิเสธต่ําจนแทบจะไม่มีเลยรูปแบบก่อนหน้านี้พบคําสั่งงานที่ผู้ใช้เขียนยุ่งเกินไป (เช่นครึ่งภาษาอังกฤษครึ่งภาษาท้องถิ่นผสมกับตัวย่อเว็บ) มักจะกลับโดยตรงไม่สามารถจดจําได้และต้องเปลี่ยนด้วยตนเองเรานับว่าในช่วงเวลานั้นสัดส่วนการถ่ายโอนแรงงานอยู่ที่ 27% และตอนนี้ตัวเลขนี้อยู่ที่ 4%

ประการที่สาม ค่าใช้จ่ายในการโทรนั้นต่ํากว่าที่เราคาดไว้เราจ่ายเงินตามปริมาณการใช้งานที่เกิดขึ้นจริง การประมวลผลใบสั่งงานเฉลี่ย 12,000 ใบต่อวันในวันที่จุดสูงสุดของสีดําห้ามีค่าใช้จ่ายทั้งหมดน้อยกว่า $ 800 ประหยัด 90% เมื่อเทียบกับการจ้างบริการลูกค้าชั่วคราว 10 คน

แต่อย่ารีบเร่งสองหลุมที่เราเหยียบย่ําเพียงพอที่จะทําให้คุณยุ่งตลอดทั้งสัปดาห์

หลุมแรกคือปัญหาการจัดตําแหน่งภาษาครึ่งหนึ่งของผู้ใช้ของเราพูดภาษาอินโดนีเซียและออนไลน์โดยตรงโดยไม่มีการปรับแต่งในตอนแรก เมื่อพบคําแสลงท้องถิ่นแบบจําลองมักจะระบุว่า "สินค้าส่งสีที่ไม่ถูกต้อง" เป็น "ผู้ใช้ต้องการเปลี่ยนที่อยู่รับสินค้า" มีการร้องเรียนของลูกค้า 17 ครั้งต่อสัปดาห์ต่อมาเราป้อน 3000 ตารางการทํางานภาษาท้องถิ่นปรับแต่งปัญหาได้รับการแก้ไข.

หลุมที่สองคือการขาดข้อมูลภายใต้บริบทที่ยาวนานหากมีภาพมากกว่า 5 ภาพแนบมาในใบสั่งงานโมเดลบางครั้งจะพลาดข้อมูลที่อยู่ตรงกลางเช่นผู้ใช้ถ่ายภาพความเสียหายของบรรจุภัณฑ์และความเสียหายของสินค้าซึ่งจะระบุปัญหาเกี่ยวกับบรรจุภัณฑ์เท่านั้นต่อมาเราเพิ่มกฎการตรวจสอบง่ายๆ: ถ้ามีภาพมากกว่าสามภาพให้แบบจําลองส่งผลการจดจําทีละภาพแล้วสรุปเพื่อไม่ให้เกิดข้อผิดพลาด

จริงๆ แล้ว ไม่ใช่ทีมงานทั้งหมดที่เหมาะสม

สถานการณ์ที่คุณควรใช้:

• ธุรกิจของคุณต้องทํางานพร้อมกันทั้งข้อความและภาพ / เสียงสั้น ๆ ไม่ต้องการเชื่อมโยงหลายแบบจําลอง
• คุณต้องการความถูกต้องในการส่งออกสูงเช่นการประมวลผลใบสั่งงานการตรวจสอบสัญญาและสถานการณ์ที่มีค่าใช้จ่ายสูงสําหรับข้อผิดพลาด
• ทีมงานของคุณมีกําลังคนไม่เพียงพอที่จะรักษาการเชื่อมโยงการประมวลผลแบบจําลองที่ซับซ้อน

สถานการณ์ที่คุณไม่ควรเสียเงิน:

• สิ่งที่คุณต้องทําคือการตอบสนองคําหลักที่เรียบง่ายและการสร้างสําเนาทางการตลาดแบบจําลองขนาดเล็กราคาถูกเพียงพอ
• ข้อมูลธุรกิจของคุณมีข้อกําหนดในการจัดเก็บข้อมูลในท้องถิ่นที่เข้มงวดและไม่สามารถส่งข้อมูลไปยังอินเทอร์เฟซแบบจําลองของบุคคลที่สามได้
• การร้องขอของคุณมีขนาดเล็กมากน้อยกว่า 1,000 ครั้งต่อเดือนและค่าใช้จ่ายในการพัฒนาการเปลี่ยนรูปแบบสูงกว่าผลประโยชน์

สองคําแนะนําการออกกําลังกายที่ใช้ได้จริงสําหรับคนแรก

ครั้งแรกคือการทดสอบ 7 วันจากฉากขอบก่อนที่จะเชื่อมโยงหลักในตอนแรกเราใช้ใบสั่งงานประวัติศาสตร์ในช่วง 3 เดือนที่ผ่านมาเพื่อทดสอบแบบออฟไลน์ ความถูกต้องเกิน 95% ก่อนที่จะตัด 10% ของการจราจรออนไลน์ช้าขึ้นเต็มรูปแบบไม่มีอุบัติเหตุออนไลน์ใหญ่

ประการที่สองคือไม่ต้องเลือก Opus รุ่นที่แพงที่สุดในตอนแรกเราได้ทดสอบการจัดการคําสั่งให้คําปรึกษาทั่วไปโดยไม่มีรูปภาพความถูกต้องของรุ่น Sonnet นั้นน้อยกว่า 2% ของ Opus และมีค่าใช้จ่ายเพียงครึ่งหนึ่งเพียงพอสําหรับการใช้งาน

ปิดท้ายด้วยคําถามที่มักจะถาม: เราควรรอรุ่นต่อไปหรือไม่?คําตอบของเราคือถ้าธุรกิจของคุณในปัจจุบันติดอยู่กับประสิทธิภาพโดยการประมวลผลแบบมัลติโหมดและความแม่นยําไม่เพียงพอใช้ตอนนี้เพียงพอ ท้ายที่สุดต้นทุนแรงงานที่ประหยัดจากการใช้งานในช่วงต้นสูงกว่าค่าใช้จ่ายในการโทรจุดที่รอให้รุ่นต่อไปลดลง