Thương mại điện tử tươi ở Đông Nam Á sử dụng Claude để kiểm tra chất lượng đơn đặt hàng, tiết kiệm 3 nhân viên dịch vụ khách hàng nhưng dẫm 2 hố chết người

Tuần trước, đội ngũ của chúng tôi xử lý một sự cố bất ngờ: 18% đơn sau bán hàng trong ngày khuyến mãi lớn do lỗi định dạng đầu ra của Claude, trực tiếp bị mắc kẹt trong hàng đợi xử lý, thanh toán trái cây tươi hỏng mà người dùng yêu cầu kéo dài 4 giờ mới đáp ứng, tỷ lệ hoàn đơn trực tiếp tăng 2 điểm phần trăm trong ngày hôm đó.

Trước tiên, hãy nói rõ cho những người chưa từng tiếp xúc: Claude rốt cuộc là gì

Nó là mô hình ngôn ngữ lớn được phát triển bởi Anthropic, hiện tại, cửa sổ ngữ cảnh duy nhất của phiên bản Sonnet 3.5 mới nhất có thể chứa 200k token, có lẽ là 150.000 từ tiếng Trung, chúng tôi sớm nhất chọn nó chính là bởi vì có thể nhét vào một lần hoàn chỉnh dòng lệnh, kết quả OCR của minh chứng người dùng và quy tắc bồi thường nền tảng, không cần phải tách thành nhiều vòng yêu cầu.

3 lợi ích thực sự mà chúng tôi nhận được từ nó

trực tiếp nhất là chi phí nhân lực giảm: ban đầu phụ trách kiểm tra chất lượng đơn đặt hàng 6 vị phục vụ khách hàng, bây giờ chỉ cần để lại 3 làm bất thường túi đáy, mỗi tháng chỉ chi phí nhân lực đã tiết kiệm được 4.200 đô la.

Thứ hai là tốc độ xử lý được nâng lên: ban đầu một đơn xin xét bằng tay trung bình mất 2 phút, bây giờ hầu hết các yêu cầu được hoàn thành trong vòng 15ms, sau khi người dùng nộp đơn xin bồi thường cơ bản trong vòng 5 giây có thể đưa ra kết quả, chúng tôi nhìn hậu trường mức độ hài lòng của người dùng trực tiếp tăng 17%.

Thứ ba là thực thi quy tắc thống nhất hơn: trước khi kiểm duyệt nhân công thường xuất hiện cùng một loại tình huống kết quả xấu, có người bồi thường toàn bộ số tiền, có người chỉ bồi thường 30%, tình huống người dùng khiếu nại phán quyết không công bằng mỗi tháng có hàng chục vụ, sau khi sử dụng quy tắc Claude thống nhất, loại khiếu nại này trực tiếp giảm xuống chưa đến 3 vụ mỗi tháng.

Đừng chỉ nhìn tốt, hai cái hố này chúng ta dẫm đến gần ngừng phục

Đầu tiên là hố hạn chế dòng chảy: API chính thức của chúng tôi ngay từ đầu đã trực tiếp kết nối, không làm hạ cấp nhiều lớp, lượng yêu cầu trong ngày đó tăng gấp 3 lần, chính thức trực tiếp trả về 429, chúng tôi lại không làm cơ chế kích hoạt dưới đáy nhân công, kết quả là vài ngàn đơn công việc trực tiếp bị mắc kẹt. Sau đó chúng tôi thêm cùng hiệu quả mô hình nhỏ làm giảm cấp dự án, chỉ cần liên tục 3 lần yêu cầu thất bại liền tự động cắt đến mô hình nhỏ, lại thất bại mới chuyển thủ công, hiện tại cũng không xuất hiện lần lượt hàng loạt thẻ đơn tình huống.

Thứ hai là lỗ hổng không ổn định đầu ra cấu trúc: chúng tôi bắt đầu yêu cầu nó trả về kết quả phạt theo định dạng JSON, và trong khoảng 2% trường hợp nó sẽ thêm một loạt các câu giải thích bên ngoài JSON, khiến tập lệnh phân tích của chúng tôi báo lỗi trực tiếp. Sau đó, chúng tôi đã thêm câu "Nếu đầu ra của bạn không phải là JSON thuần túy, bạn sẽ bị đóng cửa" vào cuối lời nhắc, và tỷ lệ xuất hiện của vấn đề này đã giảm xuống dưới 0.1%.

Ai là người thích hợp? Ai không được chạm vào?

Nếu đội ngũ của bạn thường phải xử lý rất nhiều công việc lặp đi lặp lại với quy tắc rõ ràng, khối lượng văn bản không nhỏ, chẳng hạn như xem xét đơn đặt hàng thương mại điện tử, phân loại đơn công việc dịch vụ khách hàng, xem xét sơ bộ các điều khoản hợp đồng, và sẵn sàng dành 1-2 tuần để điều chỉnh prompt và làm cơ chế giảm cấp, thì Claude có thể giúp bạn tiết kiệm rất nhiều tiền bạc và thời gian.

Nếu kịch bản của bạn đòi hỏi độ chính xác 100% đối với kết quả, chẳng hạn như chẩn đoán y tế, giao dịch tài chính cuối cùng, hoặc nhóm của bạn thậm chí không có chuyên viên vận hành / phát triển đều đều không, muốn lấy nó để sử dụng zero debugging, vậy đừng chạm vào, xác suất xảy ra sự cố cao hơn nhiều so với bạn tưởng tượng.

2 lời khuyên cho những người dùng lần đầu tiên

Thứ nhất, đừng trực tiếp lên sản xuất, chạy chế độ bóng tối 7 ngày trước: tất cả các yêu cầu đồng thời đi thủ công và Claude, so sánh sự nhất quán kết quả của cả hai, đợi sự nhất quán ổn định đến 95% trên thì cắt lưu lượng, chúng ta lúc đó chính là chạy bóng tối 10 ngày, phát hiện ra 3 quy tắc hiểu sai lệch, thay đổi trước prompt mới không có vấn đề.

Thứ hai, đừng nhét tất cả các yêu cầu vào phiên bản tốt nhất, đừng sử dụng Sonnet trong các trường hợp có thể sử dụng Haiku: sau đó chúng tôi đã cắt yêu cầu phân loại đơn giản vào Haiku, chi phí token trực tiếp giảm 60%, tốc độ còn nhanh gấp đôi, hiệu quả hoàn toàn không kém.

Các câu hỏi thường gặp

• Liệu có vấn đề rò rỉ dữ liệu?Nếu dữ liệu của bạn là nhạy cảm, trực tiếp mua phiên bản doanh nghiệp, ký thỏa thuận xử lý dữ liệu, Anthropic sẽ không lấy phiên bản doanh nghiệp yêu cầu dữ liệu mô hình đào tạo, chúng tôi đã sử dụng 8 tháng không có vấn đề dữ liệu.
• GPT hay GPT thì cái nào tốt hơn?Nếu cảnh của bạn cần xử lý văn bản dài và đòi hỏi sự hiểu biết về ngữ cảnh, hãy chọn Claude; nếu bạn cần tạo ra đa phương thức như vẽ tranh, hãy chọn GPT, chúng tôi đang sử dụng cả hai, mỗi trường hợp chạy khác nhau.