Chúng tôi đã chuyển việc xử lý các yêu cầu hỗ trợ khách hàng sang hệ thống Claude 3.5 Sonnet, và trong vòng 3 tháng, chúng tôi đã tiết kiệm được 21.000 euro chi phí nhân sự.

Tháng trước, đội ngũ chăm sóc khách hàng thương mại điện tử của chúng tôi ở châu Âu suýt nữa phá sản: Trong tuần trước chương trình khuyến mãi lớn Black Friday, chúng tôi nhận được hơn 1200 email từ người dùng nói nhiều ngôn ngữ mỗi ngày. Mặc dù có 3 nhân viên chăm sóc khách hàng làm việc liên tục, vẫn có 40% yêu cầu từ khách hàng phải mất hơn 24 giờ mới được trả lời, và tỷ lệ đánh giá tiêu cực từ người dùng tăng thẳng lên 18%. Việc tuyển dụng nhân viên part-time tạm thời không chỉ khiến quá trình đào tạo không kịp thời, mà chi phí hàng tháng còn tăng thêm gần 20.000 euro.

Đây là một đoạn văn bản được sử dụng để giải thích cho những người chưa từng nghe về một khái niệm hoặc sản phẩm nào đó. Nó cung cấp thông tin cơ bản để giúp họ hiểu rõ hơn về nội dung đó.

Claude 3.5 Sonnet là một mô hình trí tuệ nhân tạo đa mô-đun được Anthropic phát hành vào năm 2024.Trong điều kiện hỗ trợ cửa sổ ngữ cảnh lên đến 200K, tốc độ suy luận đã nhanh gấp đôi so với thế hệ trước.Nó đủ lớn để chứa toàn bộ thông tin của một đơn hàng, cùng với gần 3 tháng lịch sử đơn hàng và hồ sơ trao đổi của người dùng.

Ba lợi ích cốt lõi mà chúng tôi sử dụng đều nhắm trực tiếp vào những điểm đau (những vấn đề thực sự mà người dùng gặp phải).

• Độ chính xác trong hiểu biết đa ngôn ngữ: Người dùng của chúng tôi bao gồm các ngôn ngữ Đức, Pháp, Tây Ban Nha và Ý. Trước đây, khi sử dụng các mô hình nhỏ để xử lý các yêu cầu không phải tiếng Anh, việc nhầm lẫn giữa “hoàn tiền” và “đổi hàng” thường xuyên xảy ra. Tuy nhiên, với Sonnet, tỷ lệ nhầm lẫn chỉ dưới 2%, và chúng tôi có thể xử lý các yêu cầu này trực tiếp mà không cần sử dụng thêm công cụ dịch.
• Xử lý tài liệu dài một cách ổn định: Khi khách hàng yêu cầu hoàn hàng, họ thường kèm theo 5-6 bức ảnh về tình trạng hỏng của sản phẩm cùng vài trăm từ mô tả. Sonnet có thể xem toàn bộ hình ảnh, văn bản và lịch sử đơn hàng một cách nhanh chóng, sau đó tự động tạo ra phương án xử lý phù hợp với quy định sau bán hàng của chúng tôi, mà không cần phải kiểm tra thông tin thủ công.
• Chi phí thấp đủ: Chúng tôi đã đo lường và thấy rằng chi phí xử lý 1000 yêu cầu công việc (ticket) chỉ dưới 10 euro. Ngay cả khi bổ sung chi phí cho gateway và các điều chỉnh nhỏ, tổng chi phí hàng tháng cũng không đến một phần năm mức lương hàng tháng của một nhân viên chăm sóc khách hàng toàn thời gian.

Ngay từ tháng đầu tiên sử dụng Sonnet, thời gian phản hồi trung bình cho các yêu cầu của chúng tôi đã giảm từ 17 giờ xuống còn 1,5 giờ.Dịch vụ khách hàng không cần phải xử lý các trường hợp trả hàng lặp đi lặp lại hay các thắc mắc về thông tin vận chuyển nữa; họ chỉ cần tập trung vào khoảng 10% các tranh chấp phức tạp. Trong thời gian các chương trình khuyến mãi lớn, cũng không có thêm nhân viên được tuyển dụng.

Đừng chỉ nhìn vào những mặt tích cực, trong hai tuần vừa qua chúng tôi đã gặp phải hai vấn đề thực sự nghiêm trọng.

Điều đầu tiên là vấn đề liên quan đến việc nhận diện các quy tắc phức tạp: Chúng tôi có một quy tắc đặc biệt là “sản phẩm đặt hàng theo yêu cầu có thể được hoàn tiền nếu có vấn đề về chất lượng ngay cả sau 7 ngày”. Ban đầu, khi chúng tôi đưa quy tắc này trực tiếp vào mô hình, nó vẫn từ chối yêu cầu của người dùng theo quy tắc chung là “sản phẩm đặt hàng theo yêu cầu không được hoàn tiền hay đổi”. Sau đó, chúng tôi tạo ra một prompt kích hoạt riêng cho loại quy tắc đặc biệt này, và khi các từ khóa liên quan xuất hiện, mô hình sẽ ưu tiên sử dụng prompt đó, từ đó giải quyết được vấn đề.

Thứ hai là việc giới hạn lưu lượng truy cập: Trong ngày diễn ra chương trình khuyến mãi lớn, lượng yêu cầu đạt đến mức gấp 3 lần so với bình thường. Ban đầu, chúng tôi không áp dụng bất kỳ chiến lược giảm tải nào, và một số yêu cầu đã bị trả về thông báo lỗi 429. Sau đó, chúng tôi thêm một cơ chế xếp hàng đơn giản, trì hoãn việc xử lý các yêu cầu không khẩn cấp trong 10 phút, và từ đó không còn xảy ra tình trạng thất bại nào nữa.

Nói rõ ra: Ai phù hợp để sử dụng thì hoàn toàn không cần phải đụng vào nó.

Nếu đội của bạn đáp ứng một trong hai điều kiện sau, bạn có thể sử dụng nó mà không sai: Thứ nhất, bạn cần xử lý một lượng lớn văn bản dài, các tác vụ có cấu trúc đa phương thức như báo cáo khách hàng, xem xét hợp đồng, tóm tắt tài liệu dài; Thứ hai, hoạt động kinh doanh của bạn bao gồm nhiều khu vực ngôn ngữ và bạn không muốn điều chỉnh từng mô hình riêng cho từng ngôn ngữ.

Nếu bạn chỉ cần thực hiện các công việc như trả lời câu hỏi bằng từ khóa đơn giản, phân loại văn bản ngắn, hoặc có yêu cầu rất cao về bảo mật dữ liệu đến mức không thể truyền dữ liệu cho các mô hình bên thứ ba, thì không cần phải chọn nó; việc sử dụng các mô hình nhỏ hơn hoặc thậm chí là các engine quy tắc cũng đã đủ rồi.

Hai lời khuyên thực hành dành cho người sử dụng lần đầu

Lần thử nghiệm đầu tiên không nên thực hiện việc chuyển đổi dữ liệu một cách toàn diện ngay lập tức. Hãy lấy dữ liệu các công việc đã được xử lý trong vòng 1 tháng qua để chạy thử, so sánh kết quả từ mô hình với kết quả xử lý thủ công. Khi độ chính xác đạt trên 90%, mới nên triển khai hệ thống mới, như vậy có thể tránh được khoảng 80% các vấn đề liên quan đến việc điều chỉnh quy tắc.

Nếu lượng yêu cầu của bạn biến động mạnh, bạn nên thiết lập một hàng đợi ưu tiên đơn giản: Lượng lưu lượng miễn phí của Sonnet được giới hạn khá chặt chẽ, vì vậy trong giờ cao điểm, bạn có thể đẩy các tác vụ có độ ưu tiên thấp xuống phía sau. Bằng cách này, bạn không cần phải chi thêm chi phí để mua lưu lượng đặc biệt, và vẫn có thể đáp ứng được nhu cầu của hầu hết các doanh nghiệp vừa và nhỏ.

Một số câu hỏi bạn có thể đặt ra

Q: Có cần phải thực hiện việc điều chỉnh nhỏ (tuning) riêng biệt không? A: Chúng tôi chỉ đơn giản là đưa các quy tắc sau bán hàng vào trong prompt (dữ liệu đầu vào), và mức độ chính xác đã đủ tốt rồi. Trừ khi quy tắc kinh doanh của bạn rất phức tạp, nếu không thì không cần phải tốn thêm chi phí cho việc điều chỉnh đó.

Câu hỏi: So với GPT-4o, cái nào tiết kiệm chi phí hơn? Trả lời: Theo kết quả đo lường của chúng tôi, khi xử lý cùng một loại yêu cầu (ticket), Sonnet tiết kiệm chi phí khoảng 30%, trong khi độ chính xác lại tương đương. Đối với các doanh nghiệp vừa và nhỏ quan tâm đến chi phí, việc lựa chọn Sonnet là phù hợp hơn.