Sử dụng API của OpenAI để xác thực địa chỉ logistics ở Châu Âu: Chúng tôi đã tiết kiệm được 32% chi phí nhân công và tránh được 2 sai lầm nghiêm trọng.

Tuần trước, chương trình khuyến mãi đặc biệt “Black Week” vừa kết thúc, và khi nhóm kỹ thuật của chúng tôi tổ chức cuộc họp tổng kết, chúng tôi nhận thấy rằng tỷ lệ xác thực địa chỉ tự động năm nay cao hơn 41% so với năm ngoái. Trước đây, chúng tôi đã tuyển dụng 3 nhân viên part-time để xử lý các địa chỉ bất thường, nhưng năm nay chỉ cần giữ lại 1 người là đủ.

Nhưng không ai muốn nhắc đến lỗi 429 mà chúng ta vừa gặp phải vào tháng trước – trong ba giờ đầu tiên bận rộn nhất của sự kiện khuyến mãi lớn,13% số yêu cầu giải quyết địa chỉ bị từ chối trực tiếp.Dịch vụ khách hàng bị sập hệ thống, nhóm vận hành suýt nữa đã đến và lật bàn của chúng tôi.

Để nói thật với những người chưa từng tiếp xúc với nó: API của OpenAI là gì vậy?

Điều đó có nghĩa là bạn không cần phải tự mình huấn luyện các mô hình lớn; bạn chỉ cần gọi các giao diện của các mô hình đã được OpenAI huấn luyện sẵn như GPT-4o, GPT-3.5-turbo, và gửi yêu cầu để nhận được kết quả trả về. Chi phí được tính dựa trên số lượng token bạn sử dụng. Phiên bản hỗ trợ lên đến 128k ngữ cảnh cho mỗi yêu cầu hiện đã được mở rộng hoàn toàn.

Lý do chúng tôi chọn nó ban đầu rất đơn giản: Các định dạng địa chỉ ở các quốc gia châu Âu quá lộn xộn; mã bưu chính của Anh hoàn toàn khác với định dạng của Đức, và còn có nhiều lỗi chính tả trong các ngôn ngữ khác nhau. Trước đây, bộ quy tắc mà chúng tôi tự viết đã phải được cập nhật tới 8 lần trong vòng nửa năm nhưng vẫn còn nhiều sai sót. Khi sử dụng API để phân tích ngữ nghĩa, chỉ cần cung cấp đúng thông tin yêu cầu (prompt), tỷ lệ độ chính xác có thể tăng lên trên 96%.

Chúng tôi thực sự nhận được 3 lợi ích, không hề có điều gì giả tạo cả.

• Không cần phải duy trì một đội ngũ phát triển thuật toán để điều chỉnh các mô hình; chỉ trong vòng 1 tuần, 3 bộ phận hậu cần đã hoàn thành việc kết nối các giao diện. Trong tháng đầu tiên sau khi triển khai, chi phí nhân sự cho 3 công việc bán thời gian trước đó đã được tiết kiệm được 32%.
• Những lỗi chính tả và địa chỉ viết tắt mà trước đây cơ sở dữ liệu quy tắc không thể nhận diện được, giờ đây có thể được sửa tự động với tỷ lệ trên 90%. Tỷ lệ đơn hàng bị hủy do người dùng nhập sai địa chỉ đã giảm xuống 28% ngay lập tức.
• Hỗ trợ nhập dữ liệu bằng nhiều ngôn ngữ khác nhau; người dùng Ba Lan có thể nhập địa chỉ bằng tiếng Ba Lan, người dùng Tây Ban Nha có thể nhập địa chỉ bằng tiếng Tây Ban Nha, và không cần phải thực hiện bất kỳ việc điều chỉnh định dạng địa phương hóa nào. Chỉ cần truyền dữ liệu đó đến giao diện, nó sẽ được phân tích và chuyển đổi thành định dạng vận chuyển hàng hóa tiêu chuẩn.

Đừng chỉ nhìn vào những mặt tích cực, chúng ta suýt nữa đã gặp rất nhiều rắc rối vì hai sai lầm đó.

Lỗi đầu tiên là giới hạn lưu lượng dựa trên mô hình đơn mặc định. Trước đây, chúng tôi chỉ sử dụng GPT-4o-mini, và giới hạn lưu lượng theo phút mặc định vừa đủ cho nhu cầu thông thường. Tuy nhiên, vào ngày có chương trình khuyến mãi lớn, lượng yêu cầu tăng gấp ba lần, khiến hệ thống bị kích hoạt giới hạn lưu lượng. 13% số yêu cầu nhận được thông báo lỗi 429. Để khắc phục vấn đề, chúng tôi đã thêm logic nâng cấp, chuyển các yêu cầu không phải vào giờ cao điểm sang GPT-3.5-turbo.

Lỗi thứ hai là việc nhận diện sai địa chỉ nhạy cảm. Có một lần, người dùng nhập một địa chỉ chứa từ ngữ liên quan đến “căn cứ quân sự”, và nó bị hệ thống kiểm duyệt nội dung của API chặn ngay lập tức. Chúng tôi không có biện pháp dự phòng cho trường hợp thất bại, dẫn đến việc đơn hàng bị giữ lại trong 2 ngày mà không được gửi đi, và người dùng đã đánh giá xấu sản phẩm.

Ai nên sử dụng nó? Thực sự đừng lãng phí tiền vào những thứ không cần thiết.

Nếu bạn cũng giống như chúng tôi, đang thực hiện các công việc liên quan đến xử lý ngữ nghĩa đa ngôn ngữ và có những tình huống mà quy tắc cần được xây dựng liên tục (chẳng hạn như kiểm tra địa chỉ, trả lời tự động cho câu hỏi của người dùng, tạo nội dung bằng nhiều ngôn ngữ), và trong nhóm không có đội ngũ chuyên về lập trình thuật toán, thì việc sử dụng API của OpenAI sẽ tiết kiệm chi phí hơn nhiều so với việc tự mình huấn luyện mô hình.

Nhưng nếu bạn đang làm việc với dữ liệu cốt lõi mà không được phép truy cập từ bên ngoài, chẳng hạn như xử lý dữ liệu tài chính quan trọng, phân tích dữ liệu bảo mật y tế, hoặc trong những trường hợp có lượng yêu cầu ổn định và quy tắc rõ ràng, thì đừng tham gia vào những hoạt động này. Việc tự viết quy tắc hoặc triển khai các mô hình nhỏ ở cấp độ địa phương sẽ tiết kiệm chi phí hơn và cũng an toàn hơn.

3 lời khuyên dành cho người mới sử dụng, tất cả đều là kinh nghiệm từ những lần chúng tôi gặp phải trở ngại và học hỏi được.

• Đừng chỉ sử dụng một mô hình duy nhất; hãy chuẩn bị ít nhất hai mô hình ở các mức độ khác nhau để phục vụ các trường hợp yêu cầu khác nhau. Đối với những yêu cầu quan trọng, hãy sử dụng mô hình có độ chính xác cao, còn đối với những yêu cầu ít quan trọng hơn hoặc trong thời gian cao điểm, hãy sử dụng mô hình giá rẻ. Bằng cách này, bạn có thể tiết kiệm ít nhất 40% chi phí và tránh được tình trạng hệ thống bị giới hạn bởi tốc độ xử lý của một mô hình duy nhất.
• Mọi yêu cầu đều cần được xử lý với logic kiểm tra lại và các biện pháp dự phòng. Các trường hợp như kiểm duyệt nội dung, giới hạn lưu lượng, và quá thời gian cần được lên kế hoạch trước. Đừng đợi đến khi giao diện bị lỗi mới nghĩ đến việc xử lý thủ công.
• Đừng vội vàng sử dụng mô hình cấp cao nhất ngay từ đầu; hãy thử mô hình GPT-3.5-turbo vốn rẻ hơn trước để xem hiệu quả như thế nào. Nếu kết quả chưa đạt yêu cầu, sau đó mới chuyển sang mô hình cấp cao hơn. Đa số các tình huống đơn giản, mô hình nhỏ là hoàn toàn đủ sức đáp ứng nhu cầu.

Cuối cùng, xin trả lời hai câu hỏi mà mọi người thường đặt ra:

Câu hỏi: Việc gọi điện ở khu vực Châu Âu có bị trì hoãn quá lâu không?
Chúng tôi sử dụng nút Frankfurt, và hầu hết các yêu cầu được xử lý trong vòng 15ms; chỉ có một vài phần trăm trường hợp thời gian xử lý đột ngột tăng lên trên 200ms. Việc thêm bộ đệm có thể giải quyết vấn đề này mà không ảnh hưởng gì đến hoạt động kinh doanh.

Câu hỏi: Liệu có khả năng xảy ra tình trạng kết quả phân tích không chính xác không?
Có, hiện tại chúng tôi đang chuyển những kết quả có mức độ tin cậy dưới 80% để được xem xét bởi con người. Sau khi thêm quy tắc này, tỷ lệ sai lầm gần như có thể bị loại bỏ.