Chúng tôi đã tăng hiệu quả xử lý các yêu cầu hậu mãi của khách hàng lên gấp 3 lần bằng công cụ Claude 3, nhưng cũng vấp phải 2 sai lầm mà lẽ ra không nên mắc phải.

Cuối thứ Sáu đen tuần trước, khi chúng tôi tổng hợp báo cáo, ba nhà phát triển thuộc nhóm SaaS thương mại điện tử khu vực Đông Nam Á đã ngẩn người nhìn vào dữ liệu hậu cần trong nửa ngày: Những yêu cầu hỗ trợ khách hàng mà trước đây cả nhóm chăm sóc khách hàng phải làm việc liên tục trong ba ngày mới xử lý xong, năm nay hầu hết đã được tự động xử lý, và số lượng khiếu nại từ khách hàng giảm ngay 42%. Thay đổi chính chỉ có một điều: toàn bộ logic nhận diện ý nghĩa của các yêu cầu hỗ trợ đã được thay thế bằng công nghệ Claude 3 Opus.

Nói thật với những người chưa từng tiếp xúc trước đây…

Đây là thế hệ thứ ba của mô hình ngôn ngữ lớn do Anthropic phát hành vào năm 2024. Các tham số cốt lõi mà chúng tôi sử dụng khá đơn giản: với cửa sổ ngữ cảnh khoảng 200k từ, mô hình có thể xử lý các yêu cầu hậu mãi kèm theo 3 hình ảnh sản phẩm, và độ chính xác cao hơn 18% so với các mô hình cùng cấp độ tham số mà chúng tôi đã sử dụng trước đó.

Đối với một nhóm nhỏ như chúng tôi, ba lợi ích này thực sự mang lại giá trị lớn về mặt tài chính.

Thứ nhất là không cần phải xử lý trước đa phương thức một mình nữa. Trước đó người dùng tải lên hư hỏng đồ thị hàng hóa, ảnh chụp màn hình hậu cần, trước tiên chúng ta phải nối một mô hình OCR chuyển văn bản, sau đó và văn bản đơn công việc ghép lại cùng nhau cho mô hình lớn, chỉ bộ này liên kết duy trì liền chiếm một phần cuối nửa năng lượng. Sau khi thay đổi Claude 3 trực tiếp truyền hình ảnh và văn bản cùng nhau, tình huống nhận dạng lỗi ngược lại ít hơn.

Thứ hai là tỷ lệ từ chối trả lời thấp đến mức gần như có thể bỏ qua. Các mô hình trước đây khi gặp phải các yêu cầu từ người dùng được viết quá lộn xộn (ví dụ: vừa tiếng Anh vừa tiếng địa phương, kèm theo các viết tắt trên mạng), thường trả về thông báo không thể nhận diện được và buộc phải chuyển sang người dùng để xử lý thủ công. Chúng tôi đã thống kê và thấy rằng tỷ lệ chuyển sang người dùng trong khoảng thời gian đó là 27%, còn bây giờ con số này chỉ còn 4%.

Thứ ba là chi phí gọi dịch vụ thấp hơn nhiều so với dự kiến của chúng tôi. Chúng tôi thanh toán theo lượng sử dụng thực tế; vào ngày cao điểm của sự kiện Black Friday, dịch vụ xử lý trung bình 12.000 yêu cầu mỗi ngày, với tổng chi phí chưa đến 800 đô la Mỹ, tiết kiệm được 90% so với việc thuê 10 nhân viên hỗ trợ khách hàng tạm thời.

Nhưng đừng vội vàng hành động, hai sai lầm chúng ta đã mắc phải đủ để bạn phải mất cả tuần làm việc vô ích.

Lỗi đầu tiên là vấn đề về sự đối齐 giữa các ngôn ngữ. Một nửa số người dùng của chúng tôi sử dụng tiếng Indonesia, và chúng tôi đã cho hệ thống chạy trực tiếp mà không thực hiện bất kỳ điều chỉnh nào. Kết quả là, khi gặp phải những từ lóng đặc trưng của địa phương, mô hình thường nhầm lẫn “sản phẩm được gửi sai màu sắc” thành “người dùng muốn thay đổi địa chỉ nhận hàng”, dẫn đến 17 khiếu nại từ khách hàng trong vòng một tuần. Sau đó, chúng tôi đã cung cấp thêm 3000 bản ghi dữ liệu được đánh dấu về ngôn ngữ địa phương để điều chỉnh hệ thống, và vấn đề mới được giải quyết.

Lỗi thứ hai là việc bỏ sót thông tin trong bối cảnh dài. Nếu một yêu cầu công việc (ticket) kèm theo hơn 5 bức ảnh, đôi khi mô hình có thể bỏ qua thông tin của một bức ảnh nào đó ở giữa. Ví dụ, nếu người dùng chụp ảnh về tình trạng bao bì bị hỏng và sản phẩm bị hỏng, mô hình chỉ nhận diện được vấn đề về bao bì. Sau đó, chúng tôi đã thêm một quy tắc kiểm tra đơn giản: nếu có nhiều hơn 3 bức ảnh, chúng tôi yêu cầu mô hình xuất ra kết quả nhận diện từng bức ảnh một trước, sau đó mới tổng hợp chúng lại, và từ đó không còn xảy ra lỗi nữa.

Nói thật mà, không phải tất cả các nhóm đều phù hợp để sử dụng nó.

Trường hợp bạn nên sử dụng nó:

• Doanh nghiệp của bạn cần xử lý cả văn bản lẫn hình ảnh/âm thanh ngắn một cách đồng thời, và bạn không muốn xây dựng nhiều hệ thống mô hình riêng biệt.
• Bạn yêu cầu một tỷ lệ độ chính xác rất cao trong kết quả đầu ra, chẳng hạn như trong các tình huống xử lý báo cáo lỗi, kiểm tra hợp đồng – những tình huống mà chi phí phát sinh từ sai sót có thể rất lớn.
• Đội ngũ của bạn đang thiếu nhân lực và không có đủ năng lực để duy trì các quy trình xử lý dữ liệu phức tạp trước khi sử dụng các mô hình.

Trường hợp bạn không nên lãng phí tiền:

• Bạn chỉ cần thực hiện những nhiệm vụ đơn giản như trả lời câu hỏi bằng từ khóa, tạo nội dung tiếp thị, những công việc nhẹ nhàng như vậy thôi; việc sử dụng những mô hình nhỏ, giá rẻ là hoàn toàn đủ.
• Dữ liệu kinh doanh của bạn có những yêu cầu lưu trữ địa phương hóa nghiêm ngặt, vì vậy không thể truyền dữ liệu đó đến các giao diện mô hình của bên thứ ba.
• Lượng yêu cầu của bạn rất thấp, chưa đến 1000 lần mỗi tháng, và chi phí phát triển mô hình mới cao hơn cả lợi nhuận thu được.

Hai lời khuyên thực hành dành cho những người mới bắt đầu

Đầu tiên, chúng ta tiến hành thử nghiệm trong các tình huống biên giới (edge scenarios) trong vòng 7 ngày trước khi triển khai trên hệ thống chính (core link). Ban đầu, chúng tôi sử dụng dữ liệu công việc trong 3 tháng qua để thực hiện các bài kiểm thử ngoại tuyến, và chỉ khi tỷ lệ chính xác đạt trên 95% chúng tôi mới bắt đầu chuyển 10% lưu lượng truy cập trực tuyến (online traffic) vào hệ thống thử nghiệm. Sau đó, chúng tôi từ từ tăng tỷ lệ này lên toàn bộ lưu lượng truy cập trực tuyến mà không gặp phải bất kỳ sự cố nghiêm trọng nào.

Điều thứ hai là không cần phải chọn ngay từ đầu phiên bản Opus đắt nhất. Chúng tôi đã thử nghiệm và thấy rằng, khi xử lý các yêu cầu hỗ trợ thông thường không chứa hình ảnh, phiên bản Sonnet có độ chính xác gần như không khác biệt so với phiên bản Opus (chỉ chênh lệch khoảng 2%), nhưng chi phí chỉ bằng một nửa, điều này hoàn toàn đủ để sử dụng.

Cuối cùng, tôi sẽ nói đến một câu hỏi mà mọi người thường hỏi: Có nên chờ đợi mô hình thế hệ tiếp theo không? Câu trả lời của chúng tôi là, nếu doanh nghiệp hiện tại của bạn đã bị kẹt trong hiệu quả bởi các vấn đề xử lý đa phương thức, độ chính xác không đủ, bây giờ sử dụng nó là vừa đủ, dù sao, chi phí nhân lực tiết kiệm được sớm sử dụng sớm, cao hơn nhiều so với chi phí gọi điện cho điểm chờ đợi mô hình thế hệ tiếp theo giảm.