Chúng tôi sử dụng Claude 3 Opus để xử lý việc nhận diện các hồ sơ khai báo hải quan xuyên biên giới, giúp tiết kiệm 60% chi phí kiểm tra thủ công, nhưng cũng gặp phải 3 vấn đề phát sinh.

Tháng trước trạm châu Âu thúc đẩy, chúng tôi phụ trách báo cáo xuyên biên giới nhóm 3 người gần như bận rộn đến trục xoay: Chính sách tuân thủ mới yêu cầu mỗi lô hàng hóa khai thuế phải khớp với mã hàng hóa, chứng nhận xuất xứ và số nhận dạng thuế EU, trước đó sử dụng mô hình nhỏ nhận dạng tỷ lệ chưa đến 70%, một tuần đã tích lũy 1200 đơn bất thường để xem xét lại, làm chậm toàn bộ quá trình thông quan 2 ngày.

Claude 3 Opus là gì?

Đây là mô hình ngôn ngữ lớn mạnh nhất hiện nay của Anthropic,Mỗi lần chỉ hỗ trợ nhập 2 triệu token, tương đương với việc có thể đưa trực tiếp toàn bộ một cuốn cẩm nang tuân thủ quy định thương mại gồm 1500 trang vào để sử dụng làm tài liệu tham khảo ngữ cảnh.Không cần phải chia nội dung thành các phần để yêu cầu dịch riêng lẻ.

Ba lợi ích chính mà chúng tôi đã kiểm chứng được thông qua thực tế

Điểm đầu tiên là tỷ lệ nhận diện chính xác của các tài liệu phức tạp đã được nâng lên mức tối đa. Các mô hình trước đây thường nhầm lẫn các ghi chú viết tay trong các bản khai báo hải quan nhiều trang và mã nguồn gốc của các trang phụ; sau khi chuyển sang sử dụng Opus, chúng tôi đã kết hợp cả quy tắc tuân thủ đã được tích lũy trong 3 năm của công ty với danh sách tất cả các lô hàng trong đợt đó.Tỷ lệ nhận diện chính xác đã tăng lên đến 98%, và lượng công việc kiểm tra thủ công đã giảm đi 60%.Trong đợt khuyến mãi lớn tuần trước, cũng không có trường hợp nào bị tích tụ đơn hàng bất thường.

Thứ hai là không cần phải vất vả với những công trình phức tạp liên quan đến từ khóa hướng dẫn (prompt engineering). Trước đây, để cho các mô hình nhỏ tạo ra dữ liệu có cấu trúc phù hợp với yêu cầu của hải quan, chúng tôi đã mất nửa tháng chỉ để điều chỉnh các từ khóa hướng dẫn, và còn phải thêm nhiều lớp kiểm tra quy tắc nữa; trong khi đó, với Opus, chỉ cần cung cấp 3 ví dụ định dạng chính xác, nội dung được tạo ra có thể được truyền thẳng vào hệ thống khai báo hải quan của chúng tôi, tiết kiệm ít nhất một tuần công sức phát triển.

Thứ ba là xử lý dữ liệu nhạy cảm ít lo lắng hơn. Chúng tôi làm kinh doanh xuyên biên giới sợ nhất thông tin thuế của người dùng, dữ liệu tư cách của doanh nghiệp bị rò rỉ, Opus hỗ trợ xử lý dữ liệu zero-shot, không cần phải đưa dữ liệu nhạy cảm để làm điều chỉnh, chỉ cần thêm một quy tắc xử lý trong yêu cầu có thể trả lại kết quả, hoàn toàn phù hợp với yêu cầu của GDPR, không cần phải đi thêm thông qua phê duyệt tuân thủ dữ liệu.

Đừng vội lên xe, chúng ta đã trải qua những “cái hố” này trước đó rồi.

Đầu tiên, chi phí thực sự khá cao. Trước đây, khi chúng tôi sử dụng mô hình thông thường để xử lý 1000 tờ khai hải quan, chi phí khoảng 2 đô la Mỹ, nhưng sau khi chuyển sang sử dụng Opus, chi phí tăng lên thành 15 đô la Mỹ. Nếu lượng hồ sơ bạn xử lý mỗi ngày ít hơn 100 tờ, thì chi phí này còn cao hơn cả việc bạn thuê một nhân viên kiểm tra bán thời gian.

Tiếp theo là tình trạng tỷ lệ lưu lượng truy cập trong giờ cao điểm nghiêm trọng hơn tôi tưởng tượng. Vào ngày có sự kiện khuyến mãi lớn, chúng tôi tăng số lượng yêu cầu đồng thời lên 10, và ngay lập tức có 12% số yêu cầu nhận được lỗi 429. Sau đó, chúng tôi buộc phải thêm một hàng đợi nhiệm vụ để xử lý các yêu cầu không khẩn cấp vào lúc sáng sớm, mới giải quyết được vấn đề này.

Còn một vấn đề nhỏ nữa: tỷ lệ nhận diện đối với các ngôn ngữ viết tay hiếm gặp sẽ giảm đáng kể. Chúng tôi đã gặp trường hợp một giấy chứng nhận nguồn gốc được viết bằng tiếng Bồ Đào Nha, và Opus đã nhận diện sai mã hóa trên đó; chỉ sau khi kiểm tra thủ công thì mới phát hiện ra lỗi. Nếu công việc của bạn liên quan đến nhiều tài liệu viết tay bằng các ngôn ngữ không phổ biến, tốt nhất là bạn nên thử đo lường độ chính xác trên bộ dữ liệu của riêng mình trước.

Ai nên sử dụng nó? Ai thì hoàn toàn không cần phải đụng vào nó chút nào?

Các trường hợp phù hợp rất rõ ràng: Nếu bạn cần xử lý các tài liệu dài, nội dung phức tạp đa phương thức, chẳng hạn như việc xem xét hợp đồng pháp lý, nhận diện biểu mẫu nhiều trang, gỡ lỗi trong thư viện mã dài, và yêu cầu độ chính xác rất cao – với chi phí phát sinh từ lỗi cao hơn nhiều so với chi phí gọi mô hình – thì Opus chắc chắn có thể giúp bạn tiết kiệm rất nhiều công sức.

Nếu bạn chỉ cần sử dụng nó cho mục đích trả lời câu hỏi khách hàng, tạo nội dung văn bản thông thường, hoặc trích xuất từ khóa đơn giản, thì thực sự không cần thiết phải sử dụng những công cụ phức tạp như vậy. Các mô hình nhỏ thông thường cũng có thể đáp ứng đầy đủ nhu cầu đó, và chi phí còn có thể tiết kiệm được hơn 80%.

Hai lời khuyên thực hành dành cho nhóm mới bắt đầu

Đầu tiên, đừng thay thế toàn bộ ngay từ đầu. Hãy chọn 10% yêu cầu trong doanh nghiệp của bạn có độ phức tạp cao nhất và chi phí sai sót lớn nhất để chuyển sang sử dụng Opus, chạy thử trong một tuần để tính toán rõ ràng lợi ích (ROI), sau đó mới từ từ tăng tỷ lệ này. Chúng tôi sẽ bắt đầu với việc thử nghiệm với các biên bản khai báo hải quan đa ngôn ngữ có nguy cơ sai sót cao nhất; chỉ sau khi xác định được lợi ích rõ ràng, chúng tôi mới thực hiện việc chuyển đổi toàn diện.

Thứ hai, chắc chắn phải thêm chiến lược giảm cấp. Khi gặp phải tình trạng giới hạn lưu lượng hoặc mức độ tin cậy nhận diện dưới 90%, hãy tự động chuyển sang mô hình có chi phí thấp hơn hoặc quy trình xử lý thủ công; đừng gắn bó tất cả các dịch vụ vào chỉ một mô hình duy nhất.

Cuối cùng, chúng tôi đã giải quyết được một vấn đề mà nhóm của mình đã băn khoăn trong thời gian dài: liệu có nên chờ đợi phiên bản mới rẻ hơn hay không? Kết luận của chúng tôi là, nếu công việc của bạn đang bị ảnh hưởng bởi việc xử lý các tài liệu phức tạp và gây ra sự chậm trễ, thì việc sử dụng công cụ này càng sớm càng giúp tiết kiệm chi phí nhân công. Chi phí nhân công mà chúng tôi đã tiết kiệm được trong tháng qua từ việc sử dụng công cụ này đã đủ để bù đắp cho chi phí gọi mô hình trong nửa năm tới.