Chúng tôi đã tiết kiệm 32% nhân lực khi xử lý hàng triệu đơn hàng sau bán hàng bằng GPT-4; đừng mắc phải 3 sai lầm này nữa.

Trong thời gian đỉnh điểm của chương trình khuyến mãi Black Friday tháng trước, ba người trong nhóm chúng tôi đã theo dõi liên tục các bảng điều khiển giám sát. Chúng tôi chứng kiến tỷ lệ lỗi 429 trong các yêu cầu hỗ trợ khách hàng tăng từ 1% lên 12% – mô hình nhỏ mà chúng tôi đang sử dụng trước đó hoàn toàn không thể xử lý được lượng truy vấn đa ngôn ngữ lên đến 1,2 triệu yêu cầu mỗi ngày, và số lượng khiếu nại từ khách hàng tăng gấp bốn lần trong vòng 24 giờ. Cuối cùng, chúng tôi đã chuyển sang sử dụng dịch vụ của GPT-4 để giảm tỷ lệ lỗi xuống dưới 0,3%.

Trước hết, hãy hiểu rõ: GPT-4 thực sự có thể giúp các đội ngũ nhỏ và vừa tiết kiệm được những gì?

Nói một cách đơn giản, đây là mô hình lớn (large model) của OpenAI hiện đang được cung cấp cho các doanh nghiệp với sự cân bằng các khả năng mạnh mẽ nhất. Mô hình này hỗ trợ đầu vào có độ dài lên đến 128k từ, và tỷ lệ hiểu ngôn ngữ đa ngôn ngữ cao hơn hơn 40% so với hầu hết các mô hình nhỏ chuyên biệt (vertical small models). Bạn không cần phải thực hiện nhiều điều chỉnh (tuning) bổ sung để có thể xử lý các tình huống phức tạp một cách trực tiếp.

Đối với đội ngũ nhỏ của chúng tôi, chỉ có 20 người, hoạt động trong lĩnh vực bán lẻ điện tử xuyên quốc gia, ba lợi ích trực tiếp nhất thì hoàn toàn không cần phải tính toán ROI phức tạp:

• Đầu tiên, việc xử lý các yêu cầu hỗ trợ khách hàng bằng nhiều ngôn ngữ không cần phải sử dụng nhân viên dịch chuyên trách nữa. Hệ thống có thể tự động hiểu được các câu hỏi tiếng Tây Ban Nha, tiếng Pháp, tiếng Ba Lan và đưa ra các phản hồi tiêu chuẩn bằng ngôn ngữ tương ứng.Chi phí nhân sự sau bán hàng của chúng tôi đã giảm trực tiếp 32%.
• Tỷ lệ đánh giá chính xác các sự cố phức tạp cao hơn nhiều so với các mô hình nhỏ mà chúng tôi đã sử dụng trước đây; trước đây, có 17% các yêu cầu cần được xác minh thêm bằng tay, nhưng bây giờ tỷ lệ đó đã giảm xuống dưới 4%.
• Không cần phải tích trữ quá nhiều dữ liệu huấn luyện để điều chỉnh nhỏ; chỉ cần thêm hướng dẫn sử dụng sản phẩm mới vào hệ thống, và sau 2 giờ là có thể phục vụ tốt cho các cuộc tư vấn sau bán hàng tương ứng. Hiệu quả sẽ được cải thiện đáng kể trong thời gian các chương trình khuyến mãi lớn.

Đừng chỉ nhìn vào những ưu điểm, chúng ta đã từng gặp phải một số vấn đề thực tế trong quá trình sử dụng những công cụ này.

Vấn đề đầu tiên là tình trạng kiểm soát chi phí mất kiểm soát. Khi chúng tôi chuyển sang sử dụng GPT-4, chúng tôi không thực hiện việc cắt giảm đầu vào; văn bản được tạo ra từ hàng chục trang ảnh chụp lỗi do người dùng tải lên được đưa thẳng vào hệ thống, dẫn đến chi phí sử dụng token trong một ngày cao hơn cả chi phí trong một tuần trước đó. Sau đó, chúng tôi thêm một bước lọc đầu vào để loại bỏ những thông tin thừa không cần thiết, và chi phí đã giảm ngay xuống một nửa.

Điều thứ hai khiến tôi đau đầu là vấn đề giới hạn lưu lượng truy cập (throttling). Nếu bạn sử dụng trực tiếp giao diện chính thức trong thời gian có sự kiện khuyến mãi lớn, bạn rất dễ gặp phải giới hạn về số lượng đồng thời (concurrency limit). Chúng tôi đã gặp tình trạng bị giới hạn lưu lượng trong 10 phút vào ngày Black Friday, và chỉ sau khi chúng tôi yêu cầu quản lý khách hàng mở rộng dung lượng tạm thời 3 ngày trước thì vấn đề mới được giải quyết. Đừng đợi đến khi lưu lượng tăng lên mới nộp đơn yêu cầu mở rộng.

Điểm thứ ba là sự nhầm lẫn trong việc xác định nội dung nhạy cảm. Có một người dùng chỉ hỏi rằng “Khi lò nướng đang được làm nóng, vỏ ngoài có hơi nóng và liệu nó có thể phát nổ không?”, nhưng hỏi đáp này đã bị hệ thống bảo mật nội dung chặn lại và trả về lỗi. Sau đó, chúng tôi đã thêm một bước kiểm tra sơ bộ từ vựng nhạy cảm, loại bỏ những từ khóa liên quan đến sự cố thông thường trước, và chỉ khi đó tỷ lệ nhầm lẫn mới giảm xuống mức có thể chấp nhận được.

Bây giờ có nên chuyển sang sử dụng GPT-4 không? Hãy xem xét hai tiêu chí này trước.

Trường hợp cần sử dụng:Nếu bạn cần xử lý nội dung đa ngôn ngữ, thực hiện các công việc suy luận trên văn bản dài và phức tạp (chẳng hạn như tóm tắt các tài liệu dài hàng chục trang, trả lời các câu hỏi hỗ trợ khách hàng qua nhiều lần, hoặc gỡ lỗi mã nguồn), hoặc nếu nhóm của bạn không có chuyên gia về thuật toán để điều chỉnh các mô hình nhỏ, thì việc sử dụng trực tiếp GPT-4 sẽ tiết kiệm chi phí hơn nhiều so với việc tự mình phát triển các mô hình đó.

Trường hợp không nên sử dụng:Nếu tình huống của bạn đơn giản, chẳng hạn như chỉ cần trả lời các câu hỏi bằng từ khóa, tạo tin nhắn theo mẫu cố định, hoặc tất cả dữ liệu đều không được phép truy cập từ bên ngoài, thì thực sự không cần thiết phải sử dụng những công cụ phức tạp như vậy. Chỉ cần một mô hình nhỏ giá rẻ hoặc thậm chí là một engine quy tắc cũng đủ để xử lý công việc đó; việc chi tiền cho những công cụ này thực sự là lãng phí.

Hai lời khuyên cụ thể dành cho nhóm mới bắt đầu:

Đầu tiên, hãy sử dụng 10% lưu lượng để thực hiện kiểm thử màu xám (gray testing) trong vòng 7 ngày để xem độ chính xác, chi phí và tốc độ phản hồi có đáp ứng kỳ vọng của bạn hay không. Đừng vội vàng chuyển đổi toàn bộ ngay từ đầu, bởi vì chúng tôi đã gặp phải vấn đề về giới hạn lưu lượng khi thực hiện việc chuyển đổi toàn diện. Hiện nay, việc kiểm thử màu xám đã trở thành quy trình cố định khi chúng tôi thay đổi mô hình.

Thứ hai, chúng ta nhất định phải thêm một lớp điều phối lưu lượng ở phía trước, để phân phối các yêu cầu đơn giản cho các mô hình nhỏ, giá rẻ; chỉ những yêu cầu phức tạp mà các mô hình nhỏ không thể xử lý được mới được chuyển đến GPT-4. Sau khi thực hiện điều này, tổng chi phí cho các mô hình của chúng ta giảm thêm 28%, mà hiệu quả vẫn không hề bị ảnh hưởng.

Hai vấn đề nhỏ phổ biến

Câu hỏi: Có thể xảy ra tình trạng rò rỉ dữ liệu không? Trả lời: Nếu bạn chọn phiên bản API dành cho doanh nghiệp, OpenAI đã nói rõ rằng họ sẽ không sử dụng dữ liệu đầu vào của người dùng để huấn luyện mô hình. Chúng tôi đã tiến hành kiểm tra tuân thủ các quy định và đáp ứng yêu cầu của GDPR của Liên minh Châu Âu, vì vậy bạn có thể yên tâm sử dụng dịch vụ này.

Câu hỏi: Tốc độ phản hồi có chậm không? Trả lời: Hầu hết các yêu cầu tư vấn thông thường về công việc sẽ được trả lời trong vòng 150ms; chỉ những trường hợp xử lý văn bản dài có thể mất đến 1 giây, nhưng điều này vẫn hoàn toàn đủ cho mục đích hỗ trợ sau bán hàng.